Inception Releases Mercury 3 Diffusion LLM at 1,068 Tokens per Second
- Inception propulse les modèles de langage de grande taille vers un débit ultra-élevé et une latence ultra-faible grâce à une architecture de diffusion.
- Inception remet en cause les limites de vitesse d'inférence des LLM grand public grâce à une architecture non autorégressive.
Inception lance Mercury 3 Diffusion LLM à 1 068 tokens par seconde
Inception a publié Mercury 3, un modèle de diffusion de grande taille. Sa vitesse revendiquée de 1 068 tokens par seconde et sa capacité de contexte de l'ordre du million indiquent que l'architecture de génération non autorégressive défie les modèles de langage de grande taille traditionnels et dominants sur des dimensions de performance spécifiques. Si cette vitesse d'inférence extrêmement optimisée est validée par le marché, elle pourrait contraindre les principaux fabricants de grands modèles à adopter des stratégies plus agressives en matière d'optimisation de la vitesse et des coûts.
Inception remet en cause les limites de vitesse d'inférence des LLM grand public grâce à une architecture non autorégressive.L'observation ultérieure devrait se concentrer sur les performances d'évaluation de l'API publique de Mercury 3 et sur la validation indépendante par des tiers des références de qualité afin d'évaluer la stabilité pratique des LLM à diffusion dans les tâches complexes.Vérifier la source →Création "Mercury 3", diffusion 1000 tok/s LLM
La sortie de Mercury 3 par Inception montre que le modèle de langage à grande diffusion surmonte le goulot d'étranglement en matière d'efficacité et que l'architecture non autorégressive passe des solutions expérimentales à la commercialisation à grande échelle. Cela permet non seulement d'obtenir un saut d'un ordre de grandeur dans la vitesse d'inférence, mais pose également des défis potentiels en termes de performances et de structure de coûts des modèles autorégressifs traditionnels.
Inception propulse les modèles de langage de grande taille vers un débit ultra-élevé et une latence ultra-faible grâce à une architecture de diffusion.Les observations futures devraient se concentrer sur la stabilité de Mercury 3 dans des tâches de raisonnement complexes et sur ses performances d'invocation réelles dans des environnements de production à grande échelle afin de vérifier la fiabilité des modèle de diffusion dans des tâches générales.Vérifier la source →