Noticias sobre Inception

Inception ha lanzado el modelo de lenguaje de gran tamaño de difusión Mercury 3. Su velocidad declarada de hasta 1.068 tokens por segundo y su capacidad de contexto de un millón de tokens implican que la arquitectura de generación no autorregresiva está desafiando a los modelos de lenguaje de gran tamaño mainstream tradicionales en dimensiones de rendimiento específicas. Si esta velocidad de inferencia optimizada al extremo se valida en el mercado, podría obligar a los principales fabricantes de modelos grandes a adoptar estrategias más agresivas en cuanto a la optimización de velocidad y costes.

El lanzamiento de Mercury 3 por parte de Inception muestra que el modelo de lenguaje de gran difusión está superando el cuello de botella de eficiencia y la arquitectura no autorregresiva está pasando de soluciones experimentales a comercialización a gran escala. Esto no sólo logra un salto de orden de magnitud en la velocidad de inferencia, sino que también plantea desafíos potenciales para el desempeño y la estructura de costos de los modelos autorregresivos tradicionales.