Snowflakeをデータベースとして使用する際の、スキーマ関連のエラーについて

t_sato
t_sato Partner, Registered Posts: 7 Partner

お世話になっております。

Snowflakeをデータベースとして使用してフロー構築を行っています。
ビジュアルレシピで実装しております。

フローとしては処理は同じですが、改修タイミングで同じ列名でも別の型への変更や、結合レシピでの出力列の追加などを行っていたところスキーマ関連のエラーが多発しています。

以下のようなエラーが発生しています。
・出力列の期待する型とデータが異なる
元々int型のものを、列名は同じでstring型に変えた処理をprepare内で行った際発生しました。
テーブルドロップなどをしてビルドを試しましたがエラーは変わらず発生しました。
prepare内で別名として作成し、元の列を削除し、元の列名に戻すという処理を行えば解消しましたが、無駄なstepを作成する必要がありました。

・出力される列数と元々のテーブルの列数が異なる
結合レシピで出力列数を追加した際に発生しました。
元々15列だったが、16列に増やしたところエラーになりました。
データセット・テーブルの再作成により解消されますが、後続のデータセット全てを作りなおす必要があり、この対応は現実的ではないと思いました。
グループレシピでも発生しました。

・読み込む列の位置が異なる。
prepareの修正などにより、列の位置が変わった際、別の列が読み込まれて型エラーのようなものが発生しました。

・あるカラムの最大カラム長を超えているエラー
データが変わり、長い文字列のデータが入ってくるようになった際、スキーマ側で最大長が自動的に決められていた際、長すぎるというエラーが発生します。長さの指定は、手動では行っていません。


これらは、Snowflake連携の際に発生する必然的なものなのでしょうか。
フロー全体を一括で修正する方法などがあればご教示いただきたいです。

Dataiku version used: 14.7.1

Best Answer

  • Tsuyoshi
    Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 533 Dataiker
    Answer ✓

    ご記載をいただきました4つの事象のうち、初めの3つについては私のSnowflake接続環境では特に問題やエラーは発生せず、処理を継続することができました。

    このため、今回ご利用中の環境固有の設定が影響している可能性があり、原因の特定には具体的な環境設定・フロー定義・エラー内容の確認が必要と考えられます。
    エラーが発生しているとのことですので、技術サポートにお問い合わせをいただくことが可能です。つきましては、お客様・パートナー様に共有されておりますガイドに従って、技術サポートへのお問い合わせをいただけますと幸いです。

    また、4つ目の事象は想定通りの挙動であると考えられます。string型カラムサイズの初期値としては、SnowflakeのVARCHARのデフォルト値が設定されます。それ以上のサイズのテキストを格納したい場合、手動で設定を変更する必要があるはずです。

    image.png
Setup Info
    Tags
      Help me…