تعمل Google عبر ذراعها المتخصص في الذكاء الاصطناعي DeepMind على تطوير مفهوم جديد للتفاعل مع تقنيات الذكاء الاصطناعي، يقوم على تحويل مؤشر الفأرة إلى مساعد ذكي قادر على فهم ما يظهر أمام المستخدم مباشرةً، بدلًا من الاعتماد الكامل على كتابة الأوامر النصية التقليدية.
جوجل تطوّر المؤشر الذكي ثورة جديدة تجعل الفأرة تفهم ما تراه على الشاشة
بحسب باحثي ديب مايند Adrian Baranes وRob Marchant، فإن أدوات الذكاء الاصطناعي الحالية ما تزال تعتمد على نوافذ منفصلة، ما يجبر المستخدم على نسخ المحتوى أو شرح ما يراه يدويًا داخل روبوتات الدردشة.
أما المشروع الجديد، فيهدف إلى نقل الذكاء الاصطناعي إلى قلب واجهة الاستخدام نفسها، عبر جعل النظام يفهم العناصر الموجودة حول مؤشر الفأرة مباشرةً باستخدام قدرات Gemini في تحليل المحتوى البصري على الشاشة.
جوجل تطوّر المؤشر الذكي ثورة جديدة تجعل الفأرة تفهم ما تراه على الشاشة
أوامر مختصرة بدل الكتابة الطويلة
التقنية الجديدة ستسمح بتنفيذ أوامر سريعة وبسيطة مثل:
وذلك دون الحاجة إلى كتابة أوصاف طويلة أو نقل المحتوى يدويًا.
كما يدعم النظام التفاعل عبر الصوت والإيماءات، مع قدرة على التعرّف إلى العناصر الظاهرة على الشاشة مثل التواريخ والأماكن والصور والنصوص والأجسام المختلفة.
استخدامات عملية في الحياة اليومية
وأوضحت DeepMind أن التقنية الجديدة قد تُستخدم في مجموعة واسعة من المهام اليومية، مثل:
تحويل الملاحظات المكتوبة بخط اليد إلى قوائم مهام تفاعلية
حجز طاولة في مطعم مباشرةً من صورة داخل مقطع فيديو
تعديل المستندات النصية بسرعة عبر الإشارة بالمؤشر فقط
الذكاء الاصطناعي لن يستغني تمامًا عن الأوامر النصية
ورغم هذا التوجه الجديد، تؤكد ديب مايند أن التقنية لا تهدف إلى إلغاء “هندسة الأوامر النصية” بالكامل، خاصة أن المهام المعقدة ما تزال تحتاج إلى أوصاف دقيقة ومفصلة.