Sébastien Rigaux

Veille technologique

← Tous les liens

Model Evaluation

Évaluation des modèles et agents sur des tâches, critères et jeux de tests explicites.

Schéma d’une boucle agentique : l’agent agit, observe, évalue, puis recommence ou s’arrête.

Les boucles d’agents enchaînent action, observation et évaluation pour affiner une réponse ou retenter une opération jusqu’à satisfaire un critère. Jesse Liberty illustre le principe en C# avec Microsoft Agent Framework : un agent de boucle, un évaluateur et une limite d’itérations.

L’exemple distingue un marqueur déterministe comme DONE d’un évaluateur basé sur un modèle juge, puis détaille les garde-fous à prévoir : délais, appels idempotents, journalisation et suivi des coûts. Chaque itération ajoute en effet latence et consommation de tokens.

Repéré via C# Digest

Visuel GitHub du repository GoogleChromeLabs/webmcp-tools, avec son nom, une description des utilitaires et démos WebMCP et le logo Chrome Labs.

Ce repository rassemble des outils pour travailler avec l’API WebMCP : une extension Chrome inspecte les outils exposés par une page, leurs schémas d’entrée et les problèmes de connexion ; une CLI évalue la capacité des LLM à appeler les bons outils à partir de cas de test définis.

Des démonstrations montrent aussi les intégrations déclaratives et impératives dans des interfaces concrètes. L’ensemble aide à passer de l’expérimentation à des tests plus structurés, sans masquer que le projet vise à soutenir l’adoption d’une API WebMCP encore en développement.