Snowflakeをデータベースとして使用する際の、スキーマ関連のエラーについて
お世話になっております。
Snowflakeをデータベースとして使用してフロー構築を行っています。
ビジュアルレシピで実装しております。
フローとしては処理は同じですが、改修タイミングで同じ列名でも別の型への変更や、結合レシピでの出力列の追加などを行っていたところスキーマ関連のエラーが多発しています。
以下のようなエラーが発生しています。
・出力列の期待する型とデータが異なる
元々int型のものを、列名は同じでstring型に変えた処理をprepare内で行った際発生しました。
テーブルドロップなどをしてビルドを試しましたがエラーは変わらず発生しました。
prepare内で別名として作成し、元の列を削除し、元の列名に戻すという処理を行えば解消しましたが、無駄なstepを作成する必要がありました。
・出力される列数と元々のテーブルの列数が異なる
結合レシピで出力列数を追加した際に発生しました。
元々15列だったが、16列に増やしたところエラーになりました。
データセット・テーブルの再作成により解消されますが、後続のデータセット全てを作りなおす必要があり、この対応は現実的ではないと思いました。
グループレシピでも発生しました。
・読み込む列の位置が異なる。
prepareの修正などにより、列の位置が変わった際、別の列が読み込まれて型エラーのようなものが発生しました。
・あるカラムの最大カラム長を超えているエラー
データが変わり、長い文字列のデータが入ってくるようになった際、スキーマ側で最大長が自動的に決められていた際、長すぎるというエラーが発生します。長さの指定は、手動では行っていません。
これらは、Snowflake連携の際に発生する必然的なものなのでしょうか。
フロー全体を一括で修正する方法などがあればご教示いただきたいです。
Dataiku version used: 14.7.1
Best Answer
-
Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 533 Dataikerご記載をいただきました4つの事象のうち、初めの3つについては私のSnowflake接続環境では特に問題やエラーは発生せず、処理を継続することができました。
このため、今回ご利用中の環境固有の設定が影響している可能性があり、原因の特定には具体的な環境設定・フロー定義・エラー内容の確認が必要と考えられます。
エラーが発生しているとのことですので、技術サポートにお問い合わせをいただくことが可能です。つきましては、お客様・パートナー様に共有されておりますガイドに従って、技術サポートへのお問い合わせをいただけますと幸いです。また、4つ目の事象は想定通りの挙動であると考えられます。string型カラムサイズの初期値としては、SnowflakeのVARCHARのデフォルト値が設定されます。それ以上のサイズのテキストを格納したい場合、手動で設定を変更する必要があるはずです。
