MASS de Sakana AI : amélioration autonome, angles morts persistants

Ce qui s'est passé

Sakana AI a présenté MASS, une méthode qui permet à un même modèle de langage de s'améliorer lui-même. Le modèle résout des tâches, évalue les résultats obtenus puis affine les workflows qu'il utilise. Selon The Decoder, qui rapporte les travaux, le système atteint un taux de victoire proche de 70 % face au modèle de base après deux cycles d'amélioration.

Le résultat comporte toutefois une limite importante. Lorsque le modèle commet les mêmes erreurs dans ses trois rôles, il peut interpréter ces erreurs comme des progrès et les renforcer pendant l'entraînement. Autrement dit, le système ne repère pas nécessairement ses propres angles morts, et une amélioration apparente peut masquer une dérive.

Pourquoi c'est important

Pour les dirigeants engagés dans la transformation numérique, ces travaux illustrent ce que l'intelligence artificielle sait désormais faire : organiser des boucles d'amélioration dans lesquelles la machine participe à son propre perfectionnement, au lieu de dépendre uniquement de jeux de données préparés ou de retours humains ponctuels. Cette approche pourrait modifier la façon dont les organisations conçoivent, évaluent et font évoluer leurs assistants et leurs agents, en particulier lorsque les tâches sont répétitives et les critères de réussite faciles à formaliser.

La conséquence la plus sérieuse concerne la gouvernance. Un système qui valide ses propres résultats peut consolider des erreurs sans que personne ne s'en aperçoive, car chaque étape semble confirmer la précédente. Plus l'autonomie d'un système augmente, plus la qualité de la supervision, et son indépendance, deviennent déterminantes pour la confiance des utilisateurs.

Les chiffres clés

• Près de 70 % : taux de victoire rapporté par MASS face au modèle de base, après deux cycles d'amélioration.
• Deux cycles : nombre d'itérations auxquelles ce résultat est attribué dans le reportage de The Decoder.
• Trois rôles : résolution des tâches, évaluation des résultats et affinement des workflows, tous trois exposés au risque d'erreurs partagées.

La perspective Renascence

Un modèle plus performant pour juger ses propres réponses n'est pas forcément un modèle plus fiable. La question utile pour un opérateur n'est pas seulement de savoir si le score progresse, mais si le juge peut voir ce que l'acteur ne voit pas.

La plupart des lecteurs retiendront le gain de performance, mais l'enseignement essentiel est ailleurs : un juge qui partage les angles morts de l'acteur n'est pas un contrôle, c'est une caisse de résonance. Le principe de conception est simple : séparer les rôles et confier l'évaluation finale à une source indépendante, humaine ou à un modèle dont les biais diffèrent. Un opérateur centré sur le client devrait exiger des tests sur des cas que le système n'a jamais rencontrés en interne avant de confier à une telle boucle la qualité de ce que vivent les clients.