Articles sur 字节跳动

L'équipe Seed de ByteDance a découvert que les performances de recherche en contexte long de DeepSeek-V4 présentaient des fluctuations périodiques tous les 4 tokens, un phénomène qui trouve son origine dans la compression du KV Cache et les préférences de position des composants d'attention. Cela montre que les technologies d'optimisation des textes longs, tout en recherchant l'efficacité d'inférence, peuvent introduire des angles morts structurels inattendus. Pour les LLM lors du traitement de contextes ultra-longs, l'équilibre entre efficacité et stabilité reste un point de friction central dans la conception actuelle des architectures.