Dando visão a agentes de IA: arquitetura de servidor MCP open source e configuração local do Ollama

O ponto cego dos agentes de código: "Não consigo ver imagens"

No último ano, ambientes de código com IA como Cursor, Claude Code e Codex revolucionaram o fluxo de trabalho dos desenvolvedores.

Mas engenheiros esbarram rotineiramente neste obstáculo exasperante:

Você captura um bug sutil de renderização CSS ou um mockup de design, joga a captura na sua sessão de código e recebe esta resposta desanimadora:

"Não consigo ver imagens neste ambiente de terminal. Envie o texto diretamente."

Modelos de linguagem demonstram raciocínio formidável, mas dentro de ambientes CLI de desenvolvimento desacoplados eles continuam visualmente cegos.

A solução: padronizar a visão via Model Context Protocol (MCP)

Para superar fronteiras de integração, a Anthropic apresentou o Model Context Protocol (MCP) — um protocolo universal, análogo ao USB-C para capacidades de IA.

Criamos o Shadow Vision, um serviço de visão MCP open source feito sob medida para agentes de desenvolvimento.

Adicionando uma única definição de servidor, seu agente de código ganha acesso a 6 ferramentas visuais estruturadas:

1. vision_ocr: extração de alta precisão de texto e dados tabulares de terminais e capturas de interface.
2. vision_inspect: diagnóstico visual que identifica falhas de CSS e interpreta gráficos.
3. vision_annotate: reconhece marcações do desenvolvedor: caixas vermelhas, setas e destaques.
4. vision_layout: decompõe designs visuais em árvores de layout hierárquicas e tokens de espaçamento.
5. vision_reconstruct: o recurso principal — reconstrói capturas de interface diretamente em rascunhos limpos de código React, HTML e Tailwind.
6. vision_compare: inspeção de regressão visual em nível de pixel entre iterações.

Privacidade local-first: backends plugáveis e Ollama offline

Equipes corporativas não podem correr o risco de vazar capturas proprietárias para APIs de terceiros.

O Shadow Vision implementa backends modulares plugáveis:

• Privacidade local-first: orquestra nativamente instâncias locais do Ollama (por exemplo, Qwen2-VL, LLaVA). As inferências de imagem ficam 100% on-premise, sem requisições externas.
• Fidelidade na nuvem: encaminha raciocínios complexos sem esforço para as APIs multimodais do Anthropic Claude 3.5 Sonnet ou do Google Gemini.
• Compatibilidade com OpenAI: interoperável com LM Studio, vLLM ou gateways corporativos proprietários.

Configuração (Claude Desktop / Cursor):

{
  "mcpServers": {
    "shadow-vision": {
      "command": "uv",
      "args": ["run", "shadow-vision"],
      "env": {
        "VISION_BACKEND": "ollama",
        "OLLAMA_MODEL": "qwen2-vl:7b"
      }
    }
  }
}

Dar a agentes de IA a capacidade de perceber telas conecta a interação no terminal a uma colaboração multimodal de verdade.