LLM Mesh機能を利用して、全体に対する要約を実施したい。

例えばX(Twitter)のデータで、それぞれの投稿(1つぶやき)を要約することはSummarizeレシピでできると思いますが、とある日の全関連投稿(Ex. Dataiku)に関する投稿の要約を行いたい場合、どのように実施できますか?
Ex. 投稿内容:Dataiku 投稿日:今日(12/25)
→ つまり、12/25に世界中でDataikuについて投稿があったものを要約(傾向を把握)したい。
Answers
-
こんにちは
基本的にLLMレシピによる要約は一行単位で行われるため、関連する投稿を1行のデータに集約する処理が必要なります。
たとえば1週間で100行の投稿データがあるとき、下図の様に日付でグループして連結することで、1日文のデータを1行に集約することができます。
そのうえで要約レシピを回すと、1日の全投稿の要約が可能になります(単一要約)以下は追加の私見となりますが
投稿件数が膨大で原文のままで一行に集約することが困難な場合もあるかと思います。
①まず行単位で要約して短文化する ②日付でグループして連結 ③さらにもう一度要約して一日分のサマリとする方法も可能ではと思いました(段階要約)
原文を一度要約してから、くっつけて、更に要約するため、要約の質に変化が出ますが、最終工程のボリュームを調節できます。
添付のエクセルが実際に試してみた出力結果です
(ダミーのtweetデータ(100件)を生成して、単一要約と段階要約の結果を出力)
ご参考になりましたら幸いです。 -
Kimneyさん
ご回答ありがとうございます。Dataikuの機能として、1日分の投稿全体に対する要約ができれば便利だと思うのですが、現状では一行単位もしくは段階要約ということで、アドバイス有難うございました。
担当業務に関連する投稿件数が1万件/1日ほどあるようなので、なかなか要約することが難しく、結局人の目を介して要約している現状です。Dataikuの今後のバージョンアップに期待したいと思います。