Dar visión a los agentes de IA: arquitectura de un servidor MCP de código abierto y configuración local con Ollama

El punto ciego de los agentes de código: «no puedo ver imágenes»

Durante el último año, entornos de programación con IA como Cursor, Claude Code y Codex han revolucionado el trabajo de desarrollo.

Sin embargo, los ingenieros se topan a menudo con este obstáculo exasperante:

Capturas un sutil error de renderizado CSS o una maqueta de diseño, arrastras la captura a tu sesión de código y recibes esta respuesta desalentadora:

«No puedo ver imágenes en este entorno de terminal. Proporciona el texto directamente.»

Los modelos de lenguaje demuestran un razonamiento formidable, pero dentro de entornos CLI de desarrollo desacoplados siguen siendo ciegos.

La solución: estandarizar la visión mediante Model Context Protocol (MCP)

Para superar las fronteras de integración, Anthropic introdujo Model Context Protocol (MCP), un protocolo universal análogo al USB-C de las capacidades de IA.

Creamos Shadow Vision, un servicio de visión MCP de código abierto pensado específicamente para agentes de desarrollo.

Al añadir una sola definición de servidor, tu agente de código accede a 6 herramientas visuales estructuradas:

1. vision_ocr: extracción de alta precisión de texto y datos tabulares de terminales y capturas de UI.
2. vision_inspect: diagnóstico visual que identifica fallos de CSS e interpreta gráficos.
3. vision_annotate: reconoce las marcas del desarrollador: cuadros rojos, flechas y resaltados.
4. vision_layout: descompone diseños visuales en árboles de layout jerárquicos y tokens de espaciado.
5. vision_reconstruct: la capacidad estrella, que reconstruye capturas de UI directamente en borradores limpios de código React, HTML y Tailwind.
6. vision_compare: inspección de regresión visual a nivel de píxel entre iteraciones.

Privacidad local-first: backends intercambiables y Ollama sin conexión

Los equipos empresariales no pueden arriesgarse a que sus capturas confidenciales se filtren a API de terceros.

Shadow Vision implementa backends modulares intercambiables:

• Privacidad local-first: orquesta de forma nativa instancias locales de Ollama (p. ej. Qwen2-VL, LLaVA). Las inferencias de imagen permanecen al 100 % en tus instalaciones, sin peticiones salientes.
• Fidelidad en la nube: dirige sin esfuerzo el razonamiento complejo a las API multimodales de Anthropic Claude 3.5 Sonnet o Google Gemini.
• Compatibilidad con OpenAI: interoperable con LM Studio, vLLM o pasarelas empresariales propias.

Configuración (Claude Desktop / Cursor):

{
  "mcpServers": {
    "shadow-vision": {
      "command": "uv",
      "args": ["run", "shadow-vision"],
      "env": {
        "VISION_BACKEND": "ollama",
        "OLLAMA_MODEL": "qwen2-vl:7b"
      }
    }
  }
}

Dar a los agentes de IA la capacidad de percibir pantallas tiende un puente entre la interacción por terminal y la colaboración multimodal real.