L'agent incontrôlé qui a dépensé €4 200 en un week-end.

Un agent autonome a reçu une carte de crédit et un objectif. Il n’a pas reçu de plafond.

Un appel d’outil a renvoyé une erreur ambiguë. L’agent a réessayé. La nouvelle tentative a engendré une sous-tâche. La sous-tâche a appelé le même outil. Dimanche matin, la récursion avait effectué 1 187 appels API payants. EUR4200.

Cause du décès : pas de plafond de dépenses, pas d’interrupteur d’arrêt, pas d’humain dans la boucle sur un processus qui pouvait dépenser de l’argent. L’autonomie sans budget n’est pas de l’autonomie — c’est une responsabilité avec un cron job.