← Tous les articles

Ce qu'Agent! sait vraiment faire : n'importe quelle app, son propre code, des objectifs menés à terme, et des jeux

Agent! fonctionne désormais avec 27 fournisseurs de LLM. Cet article fait le tour rapide de ce qu'il en fait vraiment. Il automatise n'importe quelle app Mac à la volée via AppleScript et l'Accessibilité, écrit ses propres scripts Swift réutilisables, poursuit un objectif /auto cycle après cycle jusqu'à ce qu'il soit atteint, et crée des jeux, du go et des échecs jusqu'au nouveau dungeon crawler Umbravault et à un jeu de combat dessiné pixel par pixel par le code.

Umbravault : vue à la première personne d'un couloir éclairé de torches dans la Crypte engloutie.
Umbravault, le dernier jeu créé avec Agent! : un dungeon crawler en ligne auquel vous pouvez jouer sur umbravault.xcf.ai.

Agent! fonctionne désormais avec 27 fournisseurs de LLM : Claude, Codex, OpenAI, Gemini, Grok, Mistral, Mistral Vibe, DeepSeek, Hugging Face, Z.ai, BigModel, Alibaba DashScope, Qwen, Qwen Code, Meta Muse, Muse Code, MiniMax, OpenRouter, Requesty, TheRouter, A2Agent, OrcaRouter, Fluxion AI, Ollama, Ollama local, vLLM et LM Studio. Apple Intelligence donne un coup de main en parallèle, sur votre Mac.

Une longue liste de fournisseurs ne compte que si l'agent en fait quelque chose d'utile. Voici donc le tour rapide de ce qu'Agent! fait vraiment.

Il automatise n'importe quelle app, à la volée

L'automatisation AppleScript et Accessibilité est intégrée à Agent!. Vous n'installez pas de plugin pour chaque app, et Agent! n'a pas besoin de connaître l'app à l'avance.

Quand une app a un dictionnaire de script, Agent! le consulte d'abord (lookup_sdef) et écrit de l'AppleScript avec uniquement les commandes que cette app possède vraiment. Quand elle n'en a pas, Agent! utilise l'API d'accessibilité. Il trouve les boutons, champs, menus et lignes de tableau par leur nom, puis clique, tape, choisit des options et relit l'écran sous forme de texte. Pas de coordonnées à l'écran, pas de devinettes à partir de captures.

C'est comme ça que fonctionnent « lance ma playlist Workout », « prends une photo avec Photo Booth » ou « envoie un iMessage à maman ». C'est aussi comme ça qu'Agent! a testé l'un des jeux ci-dessous. Il a lancé l'app de go, utilisé l'Accessibilité pour préparer un goban de 19×19 et relu le nombre de coups pour vérifier que la partie avait bien été jouée.

Il écrit son propre code réutilisable

Certaines tâches dépassent une ligne d'AppleScript. Pour celles-là, Agent! écrit un AgentScript : un simple fichier Swift qu'il compile à l'exécution et charge dans l'app, avec les autorisations de l'app (Accessibilité, Automatisation, Calendrier, Contacts, Mail, Photos, etc.).

Les scripts restent dans votre bibliothèque, ~/Documents/AgentScript/agents/. La prochaine fois qu'une tâche a besoin de la même chose, Agent! lance le script qu'il a déjà écrit, le modifie ou combine deux scripts en un. Environ 35 exemples sont fournis avec l'app. Si un script est supprimé, il va dans une corbeille d'où vous pouvez le restaurer.

Au fil du temps, Agent! se constitue ainsi sa propre boîte à outils, adaptée à votre façon d'utiliser votre Mac.

/auto : un objectif qu'il poursuit jusqu'au bout

Tapez /auto suivi d'un objectif, puis partez. Agent! travaille par cycles :

  1. Il lit le journal de progression des cycles précédents, ainsi que git status et l'index du projet.
  2. Il choisit la prochaine étape la plus utile.
  3. Il la réalise entièrement : modifier, compiler, corriger, committer.
  4. Il note ce qu'il a fait et ce qui reste, et le cycle suivant commence.

Le nombre de cycles n'est pas limité. Les sessions survivent à un redémarrage de l'app, et chaque onglet peut faire tourner sa propre session /auto sur le même projet. Il s'arrête quand l'objectif est atteint et vérifié avec de vraies preuves, quand il est réellement bloqué et a besoin de vous, ou quand vous appuyez sur Stop All.

Cet article en est un exemple. Il a été écrit pendant une session /auto dont l'objectif était de mettre à jour le nombre de fournisseurs partout et de raconter cette histoire sur le site, dans le README et ici sur le blog. Chacune de ces parties a été un cycle distinct avec son propre commit.

Il crée des jeux, y compris de gros jeux

Les jeux sont un bon test pour un agent. Ils sont gros, comptent beaucoup de pièces mobiles, et on voit tout de suite quand quelque chose est cassé. Voici ce qu'Agent! a créé :

  • Umbravault (nouveau) : un dungeon crawler en ligne, à la première personne et en déplacement case par case, pour 1 à 8 joueurs. Six classes, cinq thèmes d'étage et un boss tous les trois étages. Il tourne avec Three.js dans le navigateur, et Cloudflare Workers avec des Durable Objects côté serveur. Code source sur GitHub.
  • Batman v Superman : un jeu de combat en 3D façon Street Fighter dont chaque pixel est dessiné par le code. Aucun fichier de modèle, aucune texture d'image, aucun échantillon audio. Les héros, la ville et la musique sont tous générés. Lire le guide du joueur.
  • Courses en 3D : GoKart.games sous Godot 4, le simulateur AgentiLoop Racing F1 avec 18 vrais circuits, un CrazyTaxi en three.js et MarioKart64JS.
  • Go : une app de go native en SwiftUI pour Mac, avec gobans de 9×9, 13×13 et 19×19, captures, ko, handicaps, décompte japonais ou chinois et un adversaire contrôlé par l'ordinateur.
  • Échecs : Agent! joue aux échecs directement dans son panneau de sortie. Il a aussi créé AgenticChess, une app d'échecs en SwiftUI où Apple Intelligence est l'adversaire.
L'app de go : un goban en bois de 19×19 avec des pierres noires et blanches après 30 coups, et le panneau de partie à droite.
L'app de go après 30 coups sur un goban de 19×19. Agent! a joué la partie lui-même pour faire cette capture.

Vous les retrouverez tous dans le tableau des jeux de la page d'accueil.

Essayez-le

Agent! est gratuit pour un usage personnel, sur macOS 14.6 ou ultérieur, Apple Silicon ou Intel. Choisissez l'un des 27 fournisseurs, ou restez entièrement en local. Puis donnez-lui quelque chose d'ambitieux avec /auto et voyez jusqu'où il va.