Articles sur Redis

Les créateurs de Redis lancent ds4, un moteur d'inférence de modèles de langage volumineux locaux pour les machines à mémoire élevée, ce qui signifie que le déploiement localisé de modèles de langage volumineux évolue d'un cadre général traditionnel à une pile technologique unique hautement optimisée. Grâce à la refactorisation sous-jacente du langage C et à la quantification asymétrique, l’efficacité de l’exécution locale de modèles experts mixtes (MoE) complexes est grandement améliorée. Cela encouragera davantage les développeurs à migrer les charges de travail d'inférence qui reposaient à l'origine sur le cloud vers le local.