Noticias sobre 字节跳动

El equipo Byte Seed descubrió que el rendimiento de recuperación de contexto largo de DeepSeek-V4 presenta fluctuaciones periódicas cada 4 tokens; este fenómeno se origina en la compresión del KV Cache y la preferencia de posición del componente de atención. Esto demuestra que las tecnologías de optimización de textos largos, al buscar la eficiencia de inferencia, pueden introducir puntos ciegos estructurales inesperados. Al procesar contextos ultralargos por parte de los modelos de lenguaje de gran tamaño, el equilibrio entre eficiencia y estabilidad sigue siendo un punto crítico central en el diseño de arquitecturas actuales.