Des agents d'IA aux postes clés : l'expérience
Des chercheurs de Carnegie Mellon ont mis en scène une entreprise factice et ont confié à des agents d'intelligence artificielle des fonctions comparables à des postes réels — analyste financier, chef de projet, ingénieur logiciel, etc. Chaque agent s'appuyait sur un modèle différent : Claude 3.5 Sonnet, Gemini 2.0 Flash, ainsi que des versions avancées proposées par OpenAI, Amazon, Meta et Alibaba.
Des résultats majoritairement négatifs
L'objectif était d'évaluer la capacité de ces agents à mener à bien des tâches concrètes : fouiller des fichiers pour analyser des bases de données, organiser des visites virtuelles pour choisir des locaux, ou coordonner des interlocuteurs internes simulés (ressources humaines, par exemple). Les agents ont échoué sur la très grande majorité des missions confiées.
- Claude 3.5 Sonnet est arrivé en tête, mais n'a terminé que 24 % des tâches. En incluant les actions partiellement réussies, son taux passe à 34,4 %.
- Gemini 2.0 Flash a complété 11,4 % des tâches.
- Aucun autre agent n'a dépassé la barre des 10 % de tâches accomplies.
Coûts d'exécution et rapport performance/prix
Les dépenses opérationnelles liées aux agents ont fortement varié. Par exemple, l'agent le plus performant a coûté 6,34 dollars pour l'ensemble des opérations effectuées, contre 0,79 dollar pour le deuxième. Ces écarts invitent à mesurer non seulement l'efficacité, mais aussi la rentabilité des outils selon les usages.
| Agent | Tâches terminées | Tâches partiellement | Coût ($) |
|---|---|---|---|
| Claude 3.5 Sonnet | 24 % | 34,4 % (incl.) | 6,34 |
| Gemini 2.0 Flash | 11,4 % | — | 0,79 |
Ce que cela signifie pour les entreprises et les salariés
À court terme, l'expérience montre que les assistants automatisés peinent à remplacer des travailleurs sur des missions nécessitant compréhension contextuelle, navigation documentaire complexe et interactions multi-acteurs. Pour les dirigeants, cela veut dire qu'une substitution totale des emplois par des agents actuels est, selon ces résultats, prématurée.
Pour les salariés, l'issue est double : d'un côté, la crainte d'une mise à l'écart reste présente dans le débat public ; de l'autre, la démonstration souligne l'utilité possible des IA comme compléments — automatisation d'étapes techniques, aide à la prise de décision — plutôt que comme remplaçantes directes.
Limites et perspectives
L'étude repose sur une simulation et des scénarios définis par ses auteurs ; elle n'englobe pas toutes les variantes d'intégration en entreprise (supervision humaine, pipelines hybrides, formation de modèles sur données internes). Néanmoins, elle apporte un signal clair : les progrès des modèles ne suffisent pas, à eux seuls, à garantir la délégation complète de tâches complexes. Les choix d'implémentation, les coûts et la supervision restent déterminants.
À mesure que les outils évoluent, les entreprises doivent mesurer finement le rapport coût/efficacité et adapter les organisations pour tirer parti des bénéfices potentiels sans exposer les opérations à des risques inutiles.
