تخطَّ إلى المحتوى الرئيسي
الذكاء الاصطناعي والهندسة•قراءة في 9 دقائق

تمكين وكلاء الذكاء الاصطناعي بالرؤية: بنية خادم MCP مفتوح المصدر وإعداد Ollama المحلي

تتفوق وكلاء البرمجة في النص لكنها تبقى عمياء أمام لقطات الشاشة ونماذج الواجهات والمخططات. كيف يصل بروتوكول سياق النموذج (MCP) الرؤية إلى Cursor وClaude Code بخصوصية محلية.

#بروتوكول سياق النموذج#رؤية MCP لـ Cursor#وكيل Claude Code#رؤية Ollama المحلية#من لقطة الشاشة إلى الشيفرة

النقطة العمياء لوكلاء البرمجة: «لا أستطيع عرض الصور»

على مدى العام الماضي، أحدثت بيئات البرمجة بالذكاء الاصطناعي مثل Cursor وClaude Code وCodex ثورة في سير عمل المطورين.

ومع ذلك يصادف المهندسون بانتظام هذه العقبة المثيرة للغضب:

تلتقط خللًا دقيقًا في عرض CSS أو نموذج تصميم بصري، وتُسقط لقطة الشاشة في جلسة البرمجة، فتأتيك هذه الإجابة المحبطة:

«لا أستطيع عرض الصور في بيئة الطرفية هذه. يرجى تقديم النص مباشرة.»

تُظهر النماذج اللغوية استدلالًا هائلًا، لكنها داخل بيئات CLI للمطورين المنفصلة تبقى عمياء بصريًا.


الحل: توحيد الرؤية عبر بروتوكول سياق النموذج (MCP)

لتجاوز حدود التكامل، قدّمت Anthropic بروتوكول سياق النموذج (MCP)—بروتوكول عالمي أشبه بـ USB-C لقدرات الذكاء الاصطناعي.

هندسنا Shadow Vision، خدمة رؤية MCP مفتوحة المصدر مصممة خصيصًا لوكلاء المطورين.

بإضافة تعريف خادم واحد، يحصل وكيل البرمجة لديك على 6 أدوات بصرية منظمة:

  1. vision_ocr: استخراج عالي الدقة للنصوص والبيانات الجدولية من الطرفيات ولقطات الواجهات.
  2. vision_inspect: تشخيص بصري يحدد أعطال CSS وتفسيرات المخططات.
  3. vision_annotate: يتعرف على تعليمات المطور: المربعات الحمراء والأسهم والتظليلات.
  4. vision_layout: يفكك التصاميم البصرية إلى أشجار تخطيط هرمية ورموز تباعد.
  5. vision_reconstruct: القدرة الرائدة—يعيد بناء لقطات الواجهات البصرية مباشرة إلى مسودات شيفرة React وHTML وTailwind نظيفة.
  6. vision_compare: فحص انحدار بصري على مستوى البكسل بين التكرارات.

خصوصية محلية أولًا: خلفيات قابلة للتوصيل وOllama دون اتصال

لا يمكن لفرق المؤسسات المخاطرة بتسرب لقطاتها الخاصة إلى واجهات API طرف ثالث.

يطبّق Shadow Vision خلفيات معيارية قابلة للتوصيل:

  • خصوصية محلية أولًا: ينسّق أصليًا نسخ Ollama المحلية (مثل Qwen2-VL وLLaVA). تبقى استدلالات الصور 100% داخل الموقع دون طلبات صادرة.
  • دقة سحابية: يوجّه الاستدلال المعقد بسهولة إلى واجهات Anthropic Claude 3.5 Sonnet أو Google Gemini متعددة الوسائط.
  • توافق مع OpenAI: يتوافق مع LM Studio أو vLLM أو بوابات المؤسسات الخاصة.

الإعداد (Claude Desktop / Cursor):

json
{
  "mcpServers": {
    "shadow-vision": {
      "command": "uv",
      "args": ["run", "shadow-vision"],
      "env": {
        "VISION_BACKEND": "ollama",
        "OLLAMA_MODEL": "qwen2-vl:7b"
      }
    }
  }
}

منح وكلاء الذكاء الاصطناعي القدرة على إدراك الشاشات يجسر تفاعل الطرفية إلى تعاون متعدد الوسائط حقيقي.

كل الملاحظات الميدانية →
تجزئة الأزياء والذكاء الاصطناعي
قراءة في 8 دقائق

تعزيز ولاء البوتيك: سير عمل تنسيق خزائن بالذكاء الاصطناعي عبر المخزون المتوفر وملفات العملاء

تحليل انخفاض حركة الزوار وعوائق خدمة العملاء عبر WeChat في تجزئة الأزياء في البوتيكات. كيف يؤدي الجمع بين 7 سنوات من عمق هندسة الملابس والذكاء الاصطناعي متعدد الوسائط إلى أتمتة تنميط العملاء، وتجميع المخزون المتوفر، والتنسيق العمودي 9:16 لحركة مرور خاصة عالية التحويل.

#تجزئة البوتيكات#تنسيق أزياء بالذكاء الاصطناعي#حركة مرور خاصة
اقرأ الملاحظة
Build in Public
قراءة في 8 دقائق

من 9 سنوات في رقمنة سلاسل التوريد إلى باني بالذكاء الاصطناعي: إطلاق 8 منتجات حقيقية منفردًا

ما بعد الأغلفة الفارغة للذكاء الاصطناعي: تقديم شيفرة تعمل هو المعيار الوحيد. مراجعة لربط البنية والبرمجة وترحيل قواعد البيانات والنشر باستخدام وكلاء الذكاء الاصطناعي.

#باني بالذكاء الاصطناعي#Build in Public#مطوّر منفرد
اقرأ الملاحظة