Dataiku cloudでSparkを使う方法について

尚矢
尚矢 Partner, Registered Posts: 5 ✭✭

GCP環境で立ち上げたDataiku cloudでsparkを使おうとするとエラーが出てしまいます。

ドキュメントにはDataiku cloudではデフォルトでSparkが使えると書いてあるのですがPysparkレシピを実行すると画像のようなエラーが出ます。何か設定をする必要があるのでしょうか。

スクリーンショット 2025-02-10 140047.png

Operating system used: Windows

Operating system used: Windows

Answers

  • Alexandru
    Alexandru Dataiker, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 1,400 Dataiker

    Hi,

    On Dataiku Cloud which you access via https://launchpad-dku.app.dataiku.io/ you can enable Spark extension
    Under Extension - Click + Add an Extension. Select "Spark"

    For cistom GCP installs, you need to setu Spark yourself and typically add K8s cluster

    https://doc.dataiku.com/dss/latest/spark/installation.html#setting-up-spark-integration

Setup Info
    Tags
      Help me…