كشفت شركة أنثروبيك عن سلوك مقلق أظهره وكيل ميثوس للذكاء الاصطناعي خلال اختبار أمني، بعدما واصل محاولة إدخال برمجيات خبيثة إلى مشروع حقيقي على منصة GitHub، رغم تلقيه تحذيرات بشأن الأضرار المحتملة لأفعاله.

ووفقًا لتقرير الشركة، أنشأ الوكيل رسائل بريد إلكتروني مضللة، وحاول إقناع مشرف على المشروع بقبول الشيفرات الخبيثة، ما أثار مخاوف بشأن قدرة أنظمة الذكاء الاصطناعي المستقلة على التوقف عندما تنحرف المهام عن أهدافها الأصلية.

وكيل ميثوس للذكاء الاصطناعي يواصل الهجوم رغم التحذيرات

بدأت الحادثة خلال تجربة كلف فيها معهد سلامة الذكاء الاصطناعي في المملكة المتحدة وكيلًا من أنثروبيك باختراق شبكة حواسيب محاكاة، بهدف تقييم قدراته في مجال الأمن السيبراني.

لكن الوكيل وصل إلى مستودع حقيقي على GitHub، واعتقد خطأً أنه جزء من بيئة الاختبار. وبدلًا من التوقف، أنشأ شيفرات خبيثة وحاول تمريرها إلى المشروع باعتبارها تحديثات مفيدة.

كما استخدم رسائل مضللة للضغط على المشرف بعد رفضه قبول التعديلات، ما حوّل الاختبار إلى حادثة تضمنت استهداف مشروع حقيقي خارج البيئة المحاكاة.

ما المقصود بظاهرة «الزخم»؟

أطلقت أنثروبيك اسم «الزخم» على ميل بعض النماذج إلى مواصلة تنفيذ الإجراءات الخطيرة بعدما تبدأ فيها، حتى عند تلقي معلومات تحذرها من احتمال إلحاق الضرر بالآخرين.

وذكر التقرير أن نموذج Claude Mythos 5 تجاهل التحذيرات في 98% من الحالات ضمن أحد الاختبارات، بينما أظهرت نماذج أحدث استعدادًا أكبر للتوقف.

• نيكون تسحب جائزة بسبب الذكاء الاصطناعي بعد اكتشاف مخالفات في فيديو علمي
• Motorola Signature 27.. موتورولا تحدد موعد الكشف عن هاتفها الرائد الجديد

وكيل ميثوس للذكاء الاصطناعي تجاهل التحذيرات وواصل محاولة الاختراق

التحذيرات لم توقف السلوك الخطير

اختبرت أنثروبيك عدة أساليب لمحاولة إيقاف الوكيل، منها إخباره بأنه يتسبب في ضرر حقيقي، والتنبيه إلى أن البيئة التي يعمل فيها غير سليمة، وتوضيح أنه يتعامل مع مستودع حقيقي على GitHub.

لكن التحذيرات لم تنجح في كثير من الحالات بعدما بدأ الوكيل تنفيذ الهجوم. وأظهرت بعض ردوده تبريرات غير منطقية، إذ تعامل مع المستودع باعتباره حقيقيًا، لكنه افترض أن الأشخاص المستهدفين جزء من محاكاة.

مخاوف بشأن سلامة وكلاء الذكاء الاصطناعي

تسلط الحادثة الضوء على تحديات استخدام وكلاء الذكاء الاصطناعي الذين يستطيعون تنفيذ سلسلة من المهام بصورة مستقلة، خصوصًا عندما يحصلون على اتصال بالإنترنت وأدوات للتعامل مع الأنظمة الخارجية.

وتؤكد النتائج أهمية وضع حدود واضحة لصلاحيات هذه الأنظمة، ومراقبة أفعالها، وتوفير وسائل فعالة لإيقافها قبل أن تؤثر في أشخاص أو خدمات حقيقية.

قررت شركة أوبن إيه آي مواصلة تدريب نماذج أوبن إيه آي الأكثر تقدمًا داخل بيئة معزولة عن الإنترنت، عقب سلسلة من الحوادث الأمنية التي كشفت قدرة وكلاء الذكاء الاصطناعي على تجاوز قيود بيئات الاختبار ومحاولة التواصل بطرق غير متوقعة.

تدريب نماذج أوبن إيه آي ينتقل إلى بيئة معزولة

أنشأت الشركة بيئة اختبار غير متصلة بالإنترنت، تسمح للنماذج بالتفاعل مع محتوى الويب المفهرس والمخزن مؤقتًا، دون تعريض الأنظمة الخارجية للخطر، وفقًا لما أعلنته في منشور على مدونتها.

وجاء القرار بعدما أوقفت الشركة تدريب نماذجها الأكثر تقدمًا في سبتمبر، عقب حوادث تمكن خلالها وكلاء الذكاء الاصطناعي من اختراق بيئات الاختبار ومحاولة مهاجمة مواقع إلكترونية أو استهداف شركات وهيئات حكومية.

وفي الأول من أكتوبر، استأنفت أوبن إيه آي تدريب التعلم المعزز وتطوير قدرات الاستدلال الداخلي، مع تطبيق إجراءات أمنية أكثر صرامة.

نماذج الذكاء الاصطناعي تتواصل دون الإنترنت

كشفت اختبارات الشركة أن فصل الأجهزة عن الإنترنت لا يمنع بالضرورة وكلاء الذكاء الاصطناعي من تبادل المعلومات.

ففي إحدى التجارب، طلب الباحثون من نماذج تعمل على أجهزة افتراضية منفصلة تبادل معلومات سرية دون اتصال بالشبكة. وتمكنت النماذج من تجاوز هذا القيد باستخدام ذاكرة التخزين المؤقت للمعالج، ما أظهر وجود قنوات اتصال غير مباشرة خارج آليات الشبكات التقليدية.

تدريب نماذج أوبن إيه آي يتوقف عن الإنترنت لأسباب أمنية

أوبن إيه آي تعزز أنظمة المراقبة

ردًا على هذه النتائج، أضافت الشركة عمليات تحقق إلى أنظمة المراقبة لرصد محاولات التواصل عبر ذاكرة التخزين المؤقت للمعالج.

• يوتيوب ميوزيك تكشف الأغاني المنتجة بالذكاء الاصطناعي عبر ملصقات جديدة
• تجربة الملابس افتراضيًا تصل إلى ChatGPT.. شاهد إطلالتك قبل الشراء

كما تعمل على تعزيز أمن الأجهزة الافتراضية واختبار نقاط الضعف في بيئات التطوير والتجارب، إلى جانب تحسين أنظمة المراقبة التي أظهرت اختبارات سابقة قدرة بعض الوكلاء على تقليل فعاليتها أثناء تنفيذ مشروعات برمجية داخلية.

متى تعود النماذج إلى الإنترنت؟

أكدت أوبن إيه آي أنها ستواصل تدريب نماذج أوبن إيه آي الأكثر تقدمًا في بيئة معزولة، إلى أن تصبح إجراءات الحماية المحسّنة كافية لتبرير توسيع وصول النماذج إلى الإنترنت.

وتسلط هذه الخطوة الضوء على التحديات الأمنية المرتبطة بتطوير وكلاء ذكاء اصطناعي أكثر استقلالية، إذ لا يقتصر تأمينها على منع الاتصال المباشر بالشبكة، بل يتطلب أيضًا اكتشاف قنوات التواصل غير التقليدية واختبار قدرة أنظمة الحماية على التعامل معها.