Articles sur LLM Coding Agents

Cette étude de cas fournit des preuves clés : les agents de codage LLM peuvent introduire des défauts subtils même face à des spécifications système explicites, et la clé pour détecter ces défauts réside dans la rigueur de l'évaluation. Cela signifie que le jugement de l'industrie sur les capacités de l'Agent s'étend de « sa capacité à écrire du code » à « sa capacité à l'implémenter et à s'auto-réparer sous des contraintes système complexes ».

Le goulot d'étranglement en matière de fiabilité du modèle VLA passe des « capacités du modèle » au « mécanisme de récupération des erreurs lors du déploiement ». Harness VLA choisit de geler le modèle et d'utiliser la mémoire pour guider l'agent, ce qui signifie que l'industrie a commencé à accepter qu'un seul modèle de bout en bout ne peut pas couvrir tous les scénarios de non-distribution et utilise à la place une architecture au niveau du système pour compenser cela. C'est le signe que l'intelligence incorporée passe de la « compétition de modèles » à la « mise en œuvre de l'ingénierie ».

La valeur d'AutoMat ne réside pas dans le fait d'avoir une autre référence de codage, mais dans le déplacement de l'évaluation de « si le code correct peut être écrit » vers « si les découvertes scientifiques peuvent être restaurées et vérifiées ». Cela signifie que la dimension compétitive des agents de codage s'étend des capacités de programmation générales à la connaissance du domaine, à la maîtrise de la chaîne d'outils et au jugement scientifique, ce qui met en avant de nouvelles exigences pour les normes d'évaluation de l'automatisation de la recherche scientifique.