Présentation du produit

Service de vision multimodale open source pour agents IA (MCP)

Shadow Vision

v0.1.1 MCP open source

Aidez une IA textuelle à comprendre les images

Quand un modèle textuel répond « je ne peux pas voir l’image » après l’envoi d’une capture d’écran, Shadow Vision ajoute des outils de vision via MCP pour que vous puissiez continuer à travailler dans l’Agent que vous utilisez déjà.

GitHub

01 / Le résultat

Ce qu’il apporte

Voir les images dans votre Agent actuel

Une fois connectés via MCP, Codex, Claude Code, Cursor et d’autres clients peuvent traiter des images dans la même conversation.

Ne vous enfermez pas dans un seul modèle

Passez d’un backend Ollama, compatible OpenAI, Anthropic ou Gemini selon la tâche, le coût ou la qualité visée.

Gardez les images sensibles sur votre appareil

Avec Ollama, l’image et l’inférence restent en local, ce qui délimite plus clairement les captures internes et les documents privés.

Importez les images là où elles se trouvent

Utilisez un fichier local, des données base64 ou l’URL d’une image distante, avec des limites de sécurité pour les requêtes distantes.

03 / Ce qu’il peut faire

De la vision à l’action

L’Agent ne reçoit pas seulement une description : il obtient des résultats structurés qu’il peut examiner, comparer et transformer en étape suivante.

vision_ocr

Extrayez le texte des captures d’écran, reçus, documents et tableaux pour que l’Agent puisse le rechercher, l’organiser et le citer.

vision_inspect

Demandez « qu’est-ce qui ne va pas dans cette interface ? » et laissez l’Agent comprendre la scène avant de l’expliquer ou de la vérifier.

vision_annotate

Lisez les cercles, flèches, soulignements et surlignages pour que l’Agent relie le point que vous avez marqué à l’élément correct.

vision_layout

Décomposez une interface en éléments, positions, styles de texte et relations pour la revue, le débogage ou la génération de code.

vision_reconstruct

Générez une ébauche HTML, React ou SVG à partir d’une capture de référence, au lieu de partir d’une page blanche.

vision_compare

Rassemblez les images avant/après, les cadres ou les documents liés, et faites ressortir ce qui a changé et pourquoi c’est important.

04 / Choisissez votre frontière de données

Choisissez la source de vision adaptée à vos données

Modèles locaux, modèles cloud et services compatibles utilisent tous le même point d’entrée MCP.

Ollama

Gardez les images et l’inférence en local pour les captures de code, les documents internes et tout contenu que vous ne voulez pas envoyer à l’extérieur.

Compatible OpenAI

Vous utilisez déjà LM Studio, vLLM ou un autre service au protocole OpenAI ? Changez la configuration, pas le client.

Anthropic

Choisissez les modèles de vision Claude lorsque la tâche demande une compréhension et un raisonnement plus poussés sur les images.

Gemini

Choisissez Gemini lorsque le travail bénéficie d’une compréhension multimodale plus large.

05 / Compatible avec votre Agent

Gardez votre Agent, donnez-lui la vue

Connectez-le une fois, puis utilisez le même point d’entrée visuel depuis Codex, Claude Code, Cursor et d’autres.

Une seule commande de démarrage commune : uv run shadow-vision

Codex

Claude Code

Cursor

VS Code Copilot

Windsurf

Claude Desktop

OpenCode

02 / Cas d’usage

Cas d’usage

Développeurs

Donnez à un Agent une capture d’erreur, un wireframe ou une maquette, et laissez-le comprendre, relire, expliquer ou transformer le tout en code.

Recherche et travail documentaire

Extrayez des informations à partir de graphiques de publications, de documents numérisés et de tableaux, sans la boucle habituelle capture d’écran et copie.

Quand les images doivent rester privées

Utilisez un backend Ollama local pour les captures sensibles et les documents internes, et gardez la frontière des données sur votre appareil.

06 / Questions

Questions fréquentes

Réponses claires sur les fonctionnalités, la compatibilité et la confidentialité

Qu'est-ce que Shadow Vision, et comment s'intègre-t-il aux agents IA ?

Shadow Vision est un service visuel open source basé sur le Model Context Protocol (MCP). Il dote les agents de codage IA (Cursor, Claude Code, Codex) de 6 outils visuels structurés : OCR d'écran, analyse de mise en page d'interface, inspection des différences visuelles, lecture d'annotations et reconstruction d'interface en code.

Shadow Vision peut-il fonctionner entièrement hors ligne pour du code et des interfaces sensibles ?

Oui. Shadow Vision prend nativement en charge les backends de vision Ollama locaux (par ex. Qwen2-VL, LLaVA). Captures d'écran et inférences restent strictement sur votre machine, ce qui protège les maquettes internes et le code sensibles.

Quels backends de modèles de vision sont pris en charge ?

Il prend en charge des backends enfichables : Ollama local, serveurs compatibles OpenAI (vLLM, LM Studio, DeepSeek), Anthropic Claude 3.5 Sonnet et les modèles multimodaux Google Gemini, sélectionnables par une configuration simple.

« Selon la recherche en ingénierie logicielle, les agents IA spécialisés et les workflows réduisent la charge opérationnelle et augmentent la précision des tâches lorsqu’ils sont intégrés avec des frontières explicites. Des études montrent que les outils ciblés surpassent les systèmes monolithiques dans les environnements réels. »
— Cité d’après des recherches spécialisées en ingénierie logicielle et en workflows d’IA.