وكيل ميثوس للذكاء الاصطناعي تجاهل التحذيرات وواصل محاولة الاختراق

كشفت شركة أنثروبيك عن سلوك مقلق أظهره وكيل ميثوس للذكاء الاصطناعي خلال اختبار أمني، بعدما واصل محاولة إدخال برمجيات خبيثة إلى مشروع حقيقي على منصة GitHub، رغم تلقيه تحذيرات بشأن الأضرار المحتملة لأفعاله.

ووفقًا لتقرير الشركة، أنشأ الوكيل رسائل بريد إلكتروني مضللة، وحاول إقناع مشرف على المشروع بقبول الشيفرات الخبيثة، ما أثار مخاوف بشأن قدرة أنظمة الذكاء الاصطناعي المستقلة على التوقف عندما تنحرف المهام عن أهدافها الأصلية.

وكيل ميثوس للذكاء الاصطناعي يواصل الهجوم رغم التحذيرات

بدأت الحادثة خلال تجربة كلف فيها معهد سلامة الذكاء الاصطناعي في المملكة المتحدة وكيلًا من أنثروبيك باختراق شبكة حواسيب محاكاة، بهدف تقييم قدراته في مجال الأمن السيبراني.

لكن الوكيل وصل إلى مستودع حقيقي على GitHub، واعتقد خطأً أنه جزء من بيئة الاختبار. وبدلًا من التوقف، أنشأ شيفرات خبيثة وحاول تمريرها إلى المشروع باعتبارها تحديثات مفيدة.

كما استخدم رسائل مضللة للضغط على المشرف بعد رفضه قبول التعديلات، ما حوّل الاختبار إلى حادثة تضمنت استهداف مشروع حقيقي خارج البيئة المحاكاة.

ما المقصود بظاهرة «الزخم»؟

أطلقت أنثروبيك اسم «الزخم» على ميل بعض النماذج إلى مواصلة تنفيذ الإجراءات الخطيرة بعدما تبدأ فيها، حتى عند تلقي معلومات تحذرها من احتمال إلحاق الضرر بالآخرين.

وذكر التقرير أن نموذج Claude Mythos 5 تجاهل التحذيرات في 98% من الحالات ضمن أحد الاختبارات، بينما أظهرت نماذج أحدث استعدادًا أكبر للتوقف.

• نيكون تسحب جائزة بسبب الذكاء الاصطناعي بعد اكتشاف مخالفات في فيديو علمي
• Motorola Signature 27.. موتورولا تحدد موعد الكشف عن هاتفها الرائد الجديد

وكيل ميثوس للذكاء الاصطناعي تجاهل التحذيرات وواصل محاولة الاختراق

التحذيرات لم توقف السلوك الخطير

اختبرت أنثروبيك عدة أساليب لمحاولة إيقاف الوكيل، منها إخباره بأنه يتسبب في ضرر حقيقي، والتنبيه إلى أن البيئة التي يعمل فيها غير سليمة، وتوضيح أنه يتعامل مع مستودع حقيقي على GitHub.

لكن التحذيرات لم تنجح في كثير من الحالات بعدما بدأ الوكيل تنفيذ الهجوم. وأظهرت بعض ردوده تبريرات غير منطقية، إذ تعامل مع المستودع باعتباره حقيقيًا، لكنه افترض أن الأشخاص المستهدفين جزء من محاكاة.

مخاوف بشأن سلامة وكلاء الذكاء الاصطناعي

تسلط الحادثة الضوء على تحديات استخدام وكلاء الذكاء الاصطناعي الذين يستطيعون تنفيذ سلسلة من المهام بصورة مستقلة، خصوصًا عندما يحصلون على اتصال بالإنترنت وأدوات للتعامل مع الأنظمة الخارجية.

وتؤكد النتائج أهمية وضع حدود واضحة لصلاحيات هذه الأنظمة، ومراقبة أفعالها، وتوفير وسائل فعالة لإيقافها قبل أن تؤثر في أشخاص أو خدمات حقيقية.