Produktübersicht

Open-Source-Dienst für multimodales Sehen für KI-Agenten (MCP)

Shadow Vision

v0.1.1 Open-Source-MCP

Hilf einer textbasierten AI, Bilder zu verstehen

Wenn ein Textmodell nach deinem Screenshot antwortet „Ich kann das Bild nicht sehen“, ergänzt Shadow Vision über MCP Bildwerkzeuge, damit du im Agent weiterarbeiten kannst, den du bereits nutzt.

GitHub

01 / Das Ergebnis

So hilft es

Sieh Bilder in deinem bestehenden Agent

Nach der Verbindung über MCP können Codex, Claude Code, Cursor und andere Clients im selben Gespräch mit Bildern arbeiten.

Bleib nicht an ein einziges Modell gebunden

Wechsle zwischen Ollama-, OpenAI-kompatiblen, Anthropic- und Gemini-Backends, wenn sich Aufgabe, Kosten oder Qualität ändern.

Sensible Bilder auf deinem Gerät behalten

Mit Ollama bleiben Bild und Inferenz lokal. So haben interne Screenshots und private Dokumente eine klarere Grenze.

Bilder dort holen, wo sie schon sind

Nutze eine lokale Datei, Base64-Daten oder eine entfernte Bild-URL, mit Sicherheitsgrenzen für entfernte Anfragen.

03 / Was es kann

Vom Sehen zum Handeln

Der Agent bekommt mehr als eine Beschreibung: strukturierte Ergebnisse, die er prüfen, vergleichen und in den nächsten Schritt übersetzen kann.

vision_ocr

Zieh Text aus Screenshots, Belegen, Dokumenten und Tabellen, damit der Agent ihn suchen, ordnen und zitieren kann.

vision_inspect

Frag „Was stimmt an dieser Oberfläche nicht?“ und lass den Agent die Szene verstehen, bevor er sie erklärt oder prüft.

vision_annotate

Liest Kreise, Pfeile, Unterstreichungen und Markierungen, damit der Agent deinen markierten Punkt dem richtigen Objekt zuordnen kann.

vision_layout

Zerlege eine Oberfläche in Elemente, Positionen, Textstile und Beziehungen für Review, Fehlersuche oder Codegenerierung.

vision_reconstruct

Erzeuge aus einem Referenz-Screenshot einen HTML-, React- oder SVG-Entwurf, statt bei einer leeren Seite anzufangen.

vision_compare

Stell Vorher- und Nachher-Bilder, Frames oder verwandte Dokumente zusammen und zeig, was sich geändert hat und warum das wichtig ist.

04 / Wähle deine Datengrenze

Wähle die Bildquelle, die zu deinen Daten passt

Lokale Modelle, Cloud-Modelle und kompatible Dienste nutzen alle denselben MCP-Einstiegspunkt.

Ollama

Halte Bilder und Inferenz lokal für Code-Screenshots, interne Dokumente und andere Inhalte, die du nicht nach außen schicken willst.

OpenAI-kompatibel

Nutzt du schon LM Studio, vLLM oder einen anderen Dienst mit OpenAI-Protokoll? Ändere die Konfiguration, nicht den Client.

Anthropic

Wähle Claude-Vision-Modelle, wenn die Aufgabe ein tieferes Bildverständnis und Schlussfolgern verlangt.

Gemini

Wähle Gemini, wenn die Arbeit von einem breiteren multimodalen Verständnis profitiert.

05 / Funktioniert mit deinem Agent

Behalte deinen Agent und gib ihm Augen

Verbinde ihn einmal, dann nutzt du denselben visuellen Einstiegspunkt aus Codex, Claude Code, Cursor und mehr.

Gemeinsamer Startbefehl: uv run shadow-vision

Codex

Claude Code

Cursor

VS Code Copilot

Windsurf

Claude Desktop

OpenCode

02 / Anwendungsfälle

Anwendungsfälle

Entwickler

Gib einem Agent einen Fehler-Screenshot, ein Wireframe oder ein Design, und er kann es verstehen, prüfen, erklären oder in Code umsetzen.

Forschung und Dokumentenarbeit

Extrahiere Informationen aus Diagrammen in Papers, gescannten Dokumenten und Tabellen, ohne die übliche Schleife aus Screenshot und Kopieren.

Wenn Bilder privat bleiben sollen

Nutze ein lokales Ollama-Backend für sensible Screenshots und interne Dokumente, damit die Datengrenze auf deinem Gerät bleibt.

06 / Fragen

Häufig gestellte Fragen

Klare Antworten zu Funktionen, Kompatibilität und Datenschutz

Was ist Shadow Vision, und wie lässt es sich in KI-Agenten integrieren?

Shadow Vision ist ein quelloffener visueller Dienst auf Basis des Model Context Protocol (MCP). Es gibt KI-Coding-Agenten (Cursor, Claude Code, Codex) 6 strukturierte Vision-Werkzeuge: OCR vom Bildschirm, Analyse von UI-Layouts, Prüfung visueller Unterschiede, Lesen von Anmerkungen und Rekonstruktion von UI zu Code.

Kann Shadow Vision komplett offline für sensible Code- und UI-Daten laufen?

Ja. Shadow Vision unterstützt nativ lokale Ollama-Vision-Backends (z. B. Qwen2-VL, LLaVA). Alle Screenshots und Inferenzen bleiben strikt auf deinem Rechner, sodass sensible interne Designs und Code geschützt bleiben.

Welche Vision-Modell-Backends werden unterstützt?

Es unterstützt austauschbare Backends, darunter lokales Ollama, OpenAI-kompatible Server (vLLM, LM Studio, DeepSeek), Anthropic Claude 3.5 Sonnet und multimodale Modelle von Google Gemini – auswählbar über eine einfache Konfiguration.

„Laut Software-Engineering-Forschung senken spezialisierte AI-Agents und Workflows den operativen Aufwand und erhöhen die Aufgabengenauigkeit, wenn sie mit klaren Grenzen eingebunden sind. Studien zeigen, dass fokussierte Tools in realen Umgebungen monolithische Systeme übertreffen.“
— Zitiert aus Forschung zu spezialisierter Software-Entwicklung und AI-Workflows.