Trainium2 に関する報道

i14がAWS Trainium2上でLaplace 3B線形アテンションモデルの実行に成功したことは、Transformerアーキテクチャに代わる長文脈推論のソリューションが、理論段階からエンジニアリングの検証段階へ移行しつつあることを意味している。リカレント状態を29.5 MBに固定することで、この技術はコンテキストの長さに伴って線形増加するという従来のKVキャッシュのメモリ制限を回避している。これは、大規模言語モデルのハードウェアおよびアーキテクチャの最適化が、長文脈におけるメモリコストの削減に向けて急速に進展していることを示している。