Donner la vue aux agents IA : architecture d'un serveur MCP open source et configuration Ollama locale

L'angle mort des agents de codage : « je ne peux pas voir les images »

Au cours de l'année écoulée, les environnements de codage IA comme Cursor, Claude Code et Codex ont révolutionné le travail des développeurs.

Pourtant, les ingénieurs rencontrent régulièrement cet obstacle exaspérant :

vous capturez un bug de rendu CSS subtil ou une maquette visuelle, vous déposez la capture dans votre session de codage, et vous recevez cette réponse déconcertante :

« Je ne peux pas afficher d'images dans cet environnement de terminal. Veuillez fournir le texte directement. »

Les modèles de langage font preuve d'un raisonnement redoutable, mais dans des environnements CLI de développement découplés, ils restent aveugles.

La solution : normaliser la vision avec le Model Context Protocol (MCP)

Pour dépasser les frontières d'intégration, Anthropic a introduit le Model Context Protocol (MCP) — un protocole universel, l'équivalent d'un USB-C pour les capacités d'IA.

Nous avons développé Shadow Vision, un service de vision MCP open source conçu pour les agents de développement.

En ajoutant une seule définition de serveur, votre agent de codage accède à 6 outils visuels structurés :

1. vision_ocr: extraction haute précision du texte et des données tabulaires depuis des terminaux et des captures d'interface.
2. vision_inspect: diagnostic visuel qui identifie les défauts CSS et interprète les graphiques.
3. vision_annotate: reconnaît les annotations du développeur — cadres rouges, flèches et surlignages.
4. vision_layout: décompose les designs visuels en arbres de mise en page hiérarchiques et en valeurs d'espacement.
5. vision_reconstruct: la capacité phare — reconstruit les captures d'interface directement en ébauches de code React, HTML et Tailwind propres.
6. vision_compare: inspection des régressions visuelles au niveau du pixel entre deux itérations.

Confidentialité locale d'abord : backends enfichables et Ollama hors ligne

Les équipes en entreprise ne peuvent pas risquer la fuite de captures propriétaires vers des API tierces.

Shadow Vision implémente des backends modulaires enfichables :

• Confidentialité locale d'abord : orchestre nativement des instances Ollama locales (par ex. Qwen2-VL, LLaVA). Les inférences d'image restent à 100 % sur site, sans requête sortante.
• Fidélité cloud : route sans effort les raisonnements complexes vers les API multimodales Anthropic Claude 3.5 Sonnet ou Google Gemini.
• Compatibilité OpenAI : interopérable avec LM Studio, vLLM ou des passerelles d'entreprise propriétaires.

Configuration (Claude Desktop / Cursor) :

{
  "mcpServers": {
    "shadow-vision": {
      "command": "uv",
      "args": ["run", "shadow-vision"],
      "env": {
        "VISION_BACKEND": "ollama",
        "OLLAMA_MODEL": "qwen2-vl:7b"
      }
    }
  }
}

Donner aux agents IA la capacité de percevoir les écrans fait passer l'interaction en terminal à une véritable collaboration multimodale.