結局これ日本版OpenRouter Fusionで、正直残念だった。
Sakanaの独自性は司令塔を7Bで強化学習した部分だけ。
これなら自前のほうが圧倒的につよい。
界隈の人はみんなやってると思いますが、これを機に自分の設計を書いてみます。
自前でマルチエージェントを作って肝だと思ったのは
・委譲モデル選定
・メインセッションの聖域化
の2つ。
まず委譲モデル選定では「系統距離」「逓減の見極め」あとは各モデルの発想を縛らないことが重要でした。
・系統距離。
OpenAI派生を3つ並べても盲点は同じ。
金融工学・学術NLP・コード特化・HPC、設計DNAが被らないモデルを選ばないと並列の意味がない。
・逓減の見極め
モデル数を増やせば精度は上がるが逓減する。
5→9は劇的改善、9→11は微増。闇雲に足してもコンテキストが死ぬだけ。
ただこの微増が侮れなくて、アイデアの種類が微増なら捨て置けるが、コードレビューで他の全モデルが見逃したバグを1体だけが見つけるケースがある。その1体を切れない。
・各モデルの発想を縛らない
呼び出しプロンプトでモデルの挙動を縛らない。
せっかく別DNAのモデルを呼び出してもフォーマットや観点を固定されては多様性が潰される。
自由に考えさせて、想定外の角度から殴ってもらうのが目的。