Llama-2 に関する報道

この論文では、正則化を使用して注意感度を幾何学的上限に近づけていますが、行動 ICL が依然として低下している場合、それは注意エージェントが行動評価を置き換えることができないことを意味します。これは、ICLを維持するための微調整の検証では、単に注意力の変化に注目するのではなく、行動の正確さの差を取り戻す必要があることを示唆しています。