DSSのメモリを解放したい

Honoka
Honoka Registered Posts: 3 ✭✭

メモリ不足が原因と思われるエラーで処理が実行できないことが続いています。

ノートブックのカーネルをシャットダウンする以外にメモリを解放する方法はありますでしょうか?

jupyter notebookで!topを実行した結果なのですが、Rのノートブックもカーネルをシャットダウンしているのにメモリが解放されません。DSSの設定画面などで操作できるのでしょうか?

また、USERに書いてあるユーザーが誰なのか組織内で特定する方法はありますか?
dssuser+がRを使っているようで、これが自分じゃないかと思うのですが、実行したい処理が終わったらちゃんとメモリを解放してそれを確認する、ということもしたいです。

よろしくお願いいたします。

Answers

  • Tsuyoshi
    Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 106 Dataiker

    @Honoka ご質問をいただいた件について、念のため一点確認させてください。

    今回の状況としましては、「以下ドキュメントに記載の管理画面上では、すべてのNotebookが停止しているが、OSのプロセス上はRのプロセスが残って動き続けている」という理解で合っていますでしょうか?
    https://doc.dataiku.com/dss/latest/operations/memory.html#jupyter-notebook-kernels

    通常はDataiku上のステータスと連動して、メモリーが解放されるはずです。場合によっては、Rの実行環境も含めた不具合等の可能性もありますので、まずは上記の点についてご教示いただけますと幸いです。

  • Honoka
    Honoka Registered Posts: 3 ✭✭

    @Tsuyoshi

    ご確認くださり、ありがとうございます。

    はい、Notebookを停止しているのに上記のようなメモリ使用状況にRが出てきています。
    KILLコマンドで強制的にプロセスを消したのですが、ユーザーの識別ができないので切ってしまっていいものなのかもわからず、非常に不安定な対処方法しか見つけられていません。

    定期実行しているタスクもあるのでDSSを止めずにメモリを解放したいのですが、何か方法は無いでしょうか?

  • Tsuyoshi
    Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 106 Dataiker

    @Honoka ご連絡ありがとうございます。ちなみに、今回ご利用の環境は何になりますでしょうか?
    OSの種類、サーバスペック、Dataikuの構成(Cloud Stacks? カスタムインストール?)などの状況を教えていただけますと助かります。

    技術的な課題が発生しているとのことですので、基本的には技術サポートにお問合せをいただく内容になると思いますが、まずは構成面を教えていただけますと幸いです。

  • Honoka
    Honoka Registered Posts: 3 ✭✭

    @Tsuyoshi

    DSSのバージョンは12.6.3、OSはalmalinuxの8.10、サーバースペックはm6i.2xlarge - 32 GB RAM, 8 vCPU (Intel)です。
    以前一時的に倍のスペックm6i.4xlargeにしても同じ現象が発生しました。構成はCloud Stackです。

    どうぞよろしくお願いいたします。

  • Tsuyoshi
    Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 106 Dataiker

    @Honoka 情報のご提供をいただきまして、ありがとうございます。今回のように、具体的な技術的問題が発生している場合には、Dataikuの技術サポートにお問合せをいただくことが可能ですので、お手数ですが、上記の情報を添えて技術サポートにお問合せをいただけますと幸いです。(必要に応じて、追加情報の提供を依頼させていただく可能性もございます。)

    ご利用のライセンス種類(評価版など)によっては、ベストエフォートの対応となる可能性もございますが、パートナー様に共有されているドキュメントを参考にしていただきまして、お問合せをいただければと思います。何卒よろしくお願いいたします。

Setup Info
    Tags
      Help me…