Даём ИИ-агентам зрение: архитектура открытого MCP-сервера и локальная настройка Ollama

Слепое пятно агентов для программирования: «Я не вижу изображения»

За последний год среды ИИ-программирования вроде Cursor, Claude Code и Codex перевернули рабочие процессы разработчиков.

Но инженеры постоянно упираются в эту досадную преграду:

вы ловите тонкий баг рендеринга CSS или визуальный макет, бросаете скриншот в сессию программирования и получаете обескураживающий ответ:

«Я не могу просматривать изображения в этой терминальной среде. Передайте текст напрямую.»

Языковые модели показывают мощные рассуждения, но в развязанных CLI-средах разработчика остаются визуально слепыми.

Решение: стандартизировать зрение через Model Context Protocol (MCP)

Чтобы преодолеть границы интеграций, Anthropic представила Model Context Protocol (MCP) — универсальный протокол, аналог USB-C для возможностей ИИ.

Мы создали Shadow Vision — открытый MCP-сервис зрения, специально сделанный для агентов-разработчиков.

Добавив одно определение сервера, ваш агент получает доступ к 6 структурированным визуальным инструментам:

1. vision_ocr: высокоточное извлечение текста и табличных данных с терминалов и скриншотов интерфейса.
2. vision_inspect: визуальная диагностика, выявляющая глюки CSS и помогающая читать графики.
3. vision_annotate: распознаёт пометки разработчика — красные рамки, стрелки и выделения.
4. vision_layout: разбирает визуальный дизайн на иерархические деревья компоновки и токены отступов.
5. vision_reconstruct: флагманская возможность — восстанавливает скриншоты интерфейса прямо в аккуратные черновики кода React, HTML и Tailwind.
6. vision_compare: пиксельная проверка визуальных регрессий между итерациями.

Локальная приватность: подключаемые бэкенды и офлайн-Ollama

Корпоративные команды не могут рисковать утечкой закрытых скриншотов в сторонние API.

Shadow Vision реализует модульные подключаемые бэкенды:

• Локальная приватность: изначально работает с локальными экземплярами Ollama (например, Qwen2-VL, LLaVA). Вывод по изображениям остаётся на 100% на вашей инфраструктуре без исходящих запросов.
• Облачное качество: без труда направляет сложные рассуждения в мультимодальные API Anthropic Claude 3.5 Sonnet или Google Gemini.
• Совместимость с OpenAI: работает с LM Studio, vLLM и корпоративными шлюзами.

Настройка (Claude Desktop / Cursor):

{
  "mcpServers": {
    "shadow-vision": {
      "command": "uv",
      "args": ["run", "shadow-vision"],
      "env": {
        "VISION_BACKEND": "ollama",
        "OLLAMA_MODEL": "qwen2-vl:7b"
      }
    }
  }
}

Давая ИИ-агентам способность видеть экраны, мы превращаем терминальное взаимодействие в настоящее мультимодальное сотрудничество.