01
既存のAgentの中で画像を見る
MCPで接続すれば、Codex、Claude Code、Cursorなどのクライアントが同じ会話の中で画像を扱えます。
プロダクト概要
AI エージェント向け オープンソース・マルチモーダル画像認識サービス（MCP）
Shadow Vision
v0.1.1 オープンソース MCP
テキスト中心のAIに画像を理解させる
スクリーンショットを共有したのにテキストモデルが「画像が見えません」と返すとき、Shadow VisionはMCP経由でビジョンツールを追加し、使い慣れたAgentのまま作業を続けられます。
01 / 得られる成果
役立つポイント
02
ひとつのモデルに縛られない
タスク、コスト、品質に応じて、Ollama、OpenAI互換、Anthropic、Geminiのバックエンドを切り替えられます。
03
機密画像は手元に
Ollamaなら画像と推論がローカルに留まり、社内スクリーンショットや非公開資料の境界がより明確になります。
04
画像がある場所からそのまま渡す
ローカルファイル、base64データ、リモート画像URLを使えます。リモートリクエストには安全上の制限があります。
03 / できること
見るから、行うへ
Agentが受け取るのは説明だけではありません。確認し、比較し、次の一手に変えられる構造化された結果です。
01
vision_ocrスクリーンショット、レシート、文書、表からテキストを抽出し、Agentが検索、整理、引用できるようにします。
02
vision_inspect「この画面のどこがおかしい？」と尋ねれば、Agentが状況を理解してから説明や確認を行います。
03
vision_annotate丸、矢印、下線、ハイライトを読み取り、Agentが印を付けた箇所を正しい対象につなげます。
04
vision_layout画面を要素、位置、文字スタイル、関係性に分解し、レビュー、デバッグ、コード生成に使えます。
05
vision_reconstruct参照スクリーンショットからHTML、React、SVGの下書きを生成し、白紙から始めずに済みます。
06
vision_compareビフォーアフターの画像、フレーム、関連資料を並べ、何が変わり、なぜ重要かを浮かび上がらせます。
04 / データ境界を選ぶ
データに合ったビジョン基盤を選ぶ
ローカルモデル、クラウドモデル、互換サービスは、すべて同じMCPの入口を使います。
01
Ollama
コードのスクリーンショット、社内文書など外に出したくない内容は、画像も推論もローカルに保てます。
02
OpenAI互換
すでにLM Studio、vLLM、その他のOpenAIプロトコルサービスを使っていますか？変えるのは設定だけ、クライアントはそのままです。
03
Anthropic
より深い画像理解と推論が必要なタスクには、Claudeのビジョンモデルを選べます。
04
Gemini
幅広いマルチモーダル理解が役立つ作業にはGeminiを選べます。
05 / お使いのAgentと連携
Agentはそのまま、視力を与える
一度接続すれば、Codex、Claude Code、Cursorなどから同じ視覚の入口を使えます。
共通の起動コマンド：uv run shadow-vision
Codex
Claude Code
Cursor
VS Code Copilot
Windsurf
Claude Desktop
OpenCode
02 / 活用シーン
活用シーン
01
開発者
エラーのスクリーンショット、ワイヤーフレーム、デザインをAgentに渡し、理解、レビュー、説明、コード化まで任せられます。
02
調査と文書作業
論文の図表、スキャン文書、表から情報を抽出し、スクリーンショットしてコピーする往復を省けます。
03
画像を非公開にしたいとき
機密スクリーンショットや社内文書にはローカルのOllamaバックエンドを使い、データ境界を端末内に保てます。
06 / 質問
よくある質問
機能、対応環境、プライバシーについての明確な回答
Shadow Vision とは何ですか？ AI エージェントとどのように連携しますか？
Shadow Vision は、オープンソースの Model Context Protocol（MCP）による画像認識サービスです。AI コーディングエージェント（Cursor、Claude Code、Codex）に、画面の OCR、UI のレイアウト解析、画像の差分確認、注釈の読み取り、UI からのコード再構築という 6 つの構造化された画像認識ツールを提供します。
機密性の高いコードや UI データを扱うために、Shadow Vision を完全にオフラインで動かせますか？
はい。Shadow Vision は、ローカルの Ollama の画像認識バックエンド（例：Qwen2-VL、LLaVA）をネイティブにサポートしています。スクリーンショットと推論はすべてお使いのマシン内にとどまり、機密性の高い社内のデザインやコードを守ります。
どの画像認識モデルのバックエンドに対応していますか？
差し替え可能なバックエンドに対応しています。ローカルの Ollama、OpenAI 互換サーバー（vLLM、LM Studio、DeepSeek）、Anthropic Claude 3.5 Sonnet、Google Gemini のマルチモーダルモデルを、簡単な設定で選択できます。
「ソフトウェアエンジニアリング研究によれば、明確な境界と組み合わせて導入された専門的なAIエージェントとワークフローは、運用上の負担を減らし、タスクの精度を高めます。研究は、実環境において焦点を絞ったツールが巨大なシステムを上回ることを示しています。」