Phi-3.5 に関する報道

logitsを直接介して大規模言語モデルのジャッジの最初のトークンを読み取る方法は、計算コストが低い一方で、位置バイアスを系統的に過大評価してしまう。このメカニズムの欠陥は、現在の多くの自動評価の結果が正確ではない可能性を示しており、モデルの動作に基づく評価手法の再評価が必要であることを反映している。