GardenBench に関する報道

GardenBench は、大規模な言語モデルの毎日の動的評価メカニズムを開始します。これは、モデルのパフォーマンスに関する業界の評価が、静的なシングルクリック テストから継続的なランタイム モニタリングに移行していることを意味します。このツールは、精度、ランニングコスト、時間の日々の変動を追跡することで、大規模な言語モデルの展開後にその変更を効果的にキャプチャできます。これは、バージョンの反復プロセス中にモデル ベンダーによる隠れた劣化や進歩を明らかにするのに役立ちます。