Articles sur PyTorch Conf
1 articles liés
DeepSeek DeepInfer : open source SOTA inférence exécutant 155 T de jetons/jour/cluster, gagnant 22 millions de dollars/jour avec une marge d'environ 80 % pour un retour sur investissement de 81 jours
DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI InsightDeepSeek a mis en open source DeepInfer et affiche des marges brutes ainsi qu'une capacité de débit extrêmement élevées, ce qui signifie que l'inférence pour les modèles de langage de grande taille passe d'une dépendance envers des piles logicielles commerciales fermées à une concurrence basée sur une infrastructure haute performance open source. Une optimisation d'ingénierie extrême brise les contraintes traditionnelles de coût d'inférence, forçant toute l'industrie à redéfinir le modèle économique des API.Importance 92/100