プッシュダウン実行とautomatic fast-writeのデータの流れについて

初投稿となります。どうぞよろしくお願いいたします。
内容がこちらでそぐわなければ適当な質問先をご教示いただければ幸いです。

snowflakeのデータをインプットにDataikuでデータ加工、同SnowflakeのDBの別テーブルに加工後データとしてアウトプットを行おうとしております。

方針としてはSnowflakeのデータは基本的に一般的なインターネット上には出ないようにしたい方針があります。

そのため、データ加工処理はSnowflake内で完結したいので、Recipe EngineではIn Database(SQL)を指定。プッシュダウン実行の設定をします。

次に、SnowflakeのConnectionの設定にてautomatic fast-writeを指定しないと挙動として1行単位でのデータInsertとなるといった話を伺ったので、automatic fast-writeを採用する想定でいます。
そうするとS3のバケットを指定する必要があるのですがここで相談です。

いわゆる一般回線、インターネットにデータが流れる構図にしたくない場合、automatic fast-writeで指定するS3はデフォルトのDataiku-Managed-Storageを指定すべきではない理解であっていますでしょうか。
snowflakeが使う用のS3と同じ環境(AWSの知識が浅いので表現が適当でないかもしれません)に別途バケットを作ってあげてDataikuで指定するのが正解となりますでしょうか。

ご教示のほどよろしくお願いいたします。

Welcome!

It looks like you're new here. Sign in or register to get started.

Comments

Welcome!

It looks like you're new here. Sign in or register to get started.

Welcome!

It looks like you're new here. Sign in or register to get started.