ASI Allianceの新しいオープンAIが答えを選び、その確信度を示す

Singularity NETの技術を基盤とするSingularity Computeは、誰でも無料でダウンロードしてオープンライセンスの下で使用できるモデル「Super Decider」をリリースしました。このモデルはテキストを入力する代わりに、開発者が設定したオプション（例えば、どのチームがサポートチケットを担当すべきかなど）から選択し、各オプションに約0.3秒で確率を割り当てます。

このモデルはASI:Cloud（@CUDOS_）で稼働中です。同社独自のテストでは、NVIDIAのWhen2Callベンチマークで85.6点を獲得し、TypeSafeのJevやCloudflareのClefを上回りましたが、ツール選択テストではClefに1.6ポイント劣りました。これらの数値は開発者から提供されたものであり、独自に検証されたものではありません。

Super Deciderの仕組み

プロジェクトのGitHubリポジトリによると、Super Deciderは、選択肢、はい/いいえの質問、スコアなど、状態に関する入力された質問に、それぞれ調整済みの確率分布を単一の呼び出しで返して回答します。リポジトリでは、Super Deciderは、40億個のアクティブパラメータを持つ離散拡散混合エキスパートモデルであるGoogleのDiffusionGemma 26B-A4Bを微調整したものであると説明されています。Super Deciderは、1回のノイズ除去ステップですべての回答スロットを読み取り、単一のNVIDIA L40S GPU上で動作します。

同ページには、このAPIはJev/TypeSafeの「System One」リクエストフォーマットに準拠しており、OpenAIスタイルのチャット補完機能とも互換性があると記載されている。コードはApache-2.0ライセンスで公開されている。開発者によると、ベンチマークテスト項目はトレーニングには使用されていないとのことだ。

開発者にとって魅力的なのは、自由形式のテキストではなく、構造化された出力が得られる点です。独自の信頼度を報告する分類器型のモデルは、サポートチケットのルーティング、リクエストのトリアージ、自動アクションのゲートなどに使用でき、信頼度の低いケースは人間が対応します。

ベンチマークが測定するもの

When2CallはNVIDIAのベンチマークです。査読済みの論文によると、このベンチマークはツール呼び出しの意思決定、つまりツール呼び出しを行うタイミング、追加の質問をするタイミング、そして提供されたツールでは回答できないと認めるタイミングを評価します。呼び出し自体の正確さではなく、意思決定そのものに焦点を当てているため、複数の選択肢の中から最適なものを選ぶモデルに適しています。

この結果は、ASI AllianceによるAIインフラストラクチャへの広範な取り組みの一環である。Singularity Computeは、SingularityNETおよびASI Allianceの一員であると自称し、ASI:Cloudプラットフォームを通じて推論を提供している。Crypto.com Academyによると、このアライアンスは、Fetch.ai、SingularityNET、CUDOSを共通のトークンで結びつけている。

ベンチマーク結果は自己申告によるものであり、ツール選択に関するClefとの比較ではわずかに劣っているため、開発者は採用する前に自身のワークロードでモデルをテストすることをお勧めします。

ソース

Super Deciderリポジトリ、Singularity Compute（GitHub）
When2Call: ツールを呼び出すべき時（呼び出すべきでない時）、ACL Anthology
人工超知能同盟とは何か？、Crypto.com