Computer Use dans Copilot Studio : automatiser sans API ni script

Beaucoup d'applications legacy critiques n'exposent aucune API exploitable : seule leur interface graphique existe. Computer Use, désormais en disponibilité générale dans Copilot Studio, répond à ce cas précis en permettant à un agent de piloter une interface comme le ferait un humain, capture d'écran après capture d'écran, sans script ni intégration technique préalable.

Comment fonctionne Computer Use

Le principe repose sur une boucle en trois temps, répétée jusqu'à l'accomplissement de l'objectif :

1. Consigne : l'agent reçoit un objectif en langage naturel, par exemple « ouvrir le portail, saisir chaque commande, valider ».
2. Observation et raisonnement : l'outil capture l'écran courant et détermine l'action suivante en fonction de la consigne et de l'état visible.
3. Action : l'action s'exécute sur la machine cible, puis la boucle recommence jusqu'à ce que l'objectif soit atteint.

Où et comment ça s'exécute

Computer Use peut piloter un navigateur hébergé dans un environnement géré par Microsoft, un pool de PC Cloud avec des politiques Intune, ou une machine fournie par l'organisation elle-même. Le contrôle d'accès permet de restreindre précisément les sites et applications accessibles par l'outil, et les identifiants sont stockés de façon sécurisée (Copilot Studio ou Azure Key Vault), scopés par agent.

La supervision humaine reste intégrée

Computer Use n'est pas conçu pour fonctionner en aveugle : l'outil sollicite une intervention humaine dès qu'il a besoin d'une information supplémentaire pour continuer, plutôt que de deviner ou de bloquer silencieusement. Chaque exécution génère un historique détaillé, consultable pour audit et amélioration continue des prompts.

Où cette approche a le plus de valeur

• Systèmes legacy sans API exposée, où le développement d'une intégration technique classique serait disproportionné par rapport au besoin.
• Applications tierces fermées, dont l'éditeur ne fournit aucune API exploitable pour l'automatisation.
• Processus de saisie répétitifs sur des interfaces qui changent rarement de structure visuelle.

À l'inverse, pour un système qui expose déjà une API ou un connecteur Power Platform natif, une intégration classique reste généralement plus robuste et plus rapide à maintenir que le pilotage d'interface.

Questions fréquentes

Computer Use nécessite-t-il du code ?

Non, la configuration se fait via un prompt en langage naturel décrivant l'objectif à atteindre ; aucun script ni développement classique n'est requis pour la mise en place initiale.

Que se passe-t-il si l'interface cible change de mise en page ?

Comme l'outil raisonne à partir de captures d'écran et non de sélecteurs techniques figés, il peut souvent s'adapter à des changements mineurs d'interface, avec un niveau de résilience variable selon l'ampleur du changement, à tester avant un déploiement critique.

Computer Use est-il adapté à des volumes de traitement très élevés ?

Pour des volumes très importants et récurrents, une intégration API classique reste généralement plus performante et plus économique ; Computer Use est particulièrement pertinent quand aucune autre option n'est disponible techniquement.