Articles sur MInference

RouteSparse propose un routage de modèles conditionnel d'entrée, sélectionnant dynamiquement des modèles et des budgets dans une petite bibliothèque de modèles clairsemés pour chaque segment d'en-tête et d'indice, estimant l'utilité et l'incertitude avec des sondes à faible coût et prenant des décisions de routeur tenant compte de la latence. Par rapport à l'allocation de mode hors ligne fixe de MInference, c'est la première fois qu'une granularité d'adaptation peu préremplie est approfondie jusqu'à chaque segment d'invite et que des certificats d'erreur sont fournis.