Dataiku cloudでSparkを使う方法について

尚矢

GCP環境で立ち上げたDataiku cloudでsparkを使おうとするとエラーが出てしまいます。

ドキュメントにはDataiku cloudではデフォルトでSparkが使えると書いてあるのですがPysparkレシピを実行すると画像のようなエラーが出ます。何か設定をする必要があるのでしょうか。

（globalのほうで質問をしてしまったのですが日本コミュニティのほうに再度質問させていただきます。失礼しました。）

Operating system used: Windows11

Tsuyoshi

「GCP環境で立ち上げ」と質問にご記載いただいていますので、「Dataiku Cloud」ではなくて「Dataiku Cloud Stacks」をご利用いただいていると思いますが、この点はいかがでしょうか？

「Dataiku Cloud Stacks」の場合、以下ドキュメントの手順で、Elastic computeを有効にしておく必要がございます。この手順を実行済みであるかどうか、ご確認いただけますと幸いです。
https://doc.dataiku.com/dss/latest/installation/cloudstacks-gcp/guided-setup-new-vpc-elastic-compute.html#optional-start-your-first-elastic-compute-cluster

尚矢

ご回答ありがとうございます。

環境の認識を誤っておりました。申し訳ございません。

Dataiku Cloudにおいての話でした。Dataiku Cloud上でPysparkを使用すると、前回の画像のようなエラーが発生しました。Dataiku CloudでもSparkの設定を行う必要があるのでしょうか。

Tsuyoshi

Dataiku Cloudの場合、管理画面（Launchpadの「Extension」にて、「Spark」の有効化が必要です。まずは、この点をご確認いただけますでしょうか？