dataikuをAWSへデプロイしています。dataikuへDBやフォルダからデータセットを取り込み、データ加工を施します。その場合加工したデータセットはどこへ保存されますか?

kyo
kyo Registered Posts: 4 ✭✭

Operating system used: linux

Answers

  • Turribeach
    Turribeach Dataiku DSS Core Designer, Neuron, Dataiku DSS Adv Designer, Registered, Neuron 2023 Posts: 2,162 Neuron

    Hi, it will be much more likely to get an answer if you post your message in english. You can use Google Translate. Your message translates to:

    "I am deploying dataiku to AWS. Import datasets from DB or folders into dataiku and process the data. In that case, where will the processed data set be saved?"

    The data will be saved in whichever connection you setup and allow it to create datasets. Dataiku can write datasets to pretty much all available databases and storage systems.

  • 裕也
    裕也 Partner, PartnerApplicant, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 11 Partner

    こんにちは。

    レシピで加工を施したデータの格納先は、レシピのOutputに設定したコネクション先です。

    例えばAWSのDB(RDSなど)からデータを読み取り、同じくDBのコネクションをOutputに指定した場合、AWSのDBに加工されたデータが格納されます。

    具体的な加工先は、Outputのデータセットをダブルクリックし、Settingsページからスキーマを確認できます。

    そのためDBやクラウドストレージ(S3)を使っている場合、データはDataikuには保存されません。

    ただしFilesystemをOutputにしている場合は、Dataikuのローカルディスクに書き込まれます。EC2インスタンスのEBSということです。

Setup Info
    Tags
      Help me…