Articles sur 华为昇腾

DeepSeek a mis en open source DeepInfer, un framework d'inférence cloud à grande échelle, ce qui signifie que son avantage concurrentiel s'étend du niveau des algorithmes de modèles à l'ingénierie du déploiement d'une infrastructure à haute concurrence. En séparant le Prefill du Decode et en les adaptant au matériel hétérogène, ce framework offre un modèle mature pour résoudre les goulets d'étranglement liés au coût et à la latence de l'inférence des modèles de langage de grande taille dans l'industrie.