تعمل شركة مونشوت الصينية على تقليص قدرات الاختراق الإلكتروني في نموذج كيمي للذكاء الاصطناعي، مع الحفاظ على مهاراته في كتابة الأكواد البرمجية، في محاولة للحد من مخاطر الاستخدام الهجومي للنماذج المتقدمة قبل إتاحتها للمطورين.

وأعلنت الشركة في 24 أكتوبر عن نموذج Kimi K3.1 Pro مفتوح الأوزان، الذي يضم نحو 3 تريليونات معلمة، مع التخطيط لإتاحة أوزانه للمطورين في 4 نوفمبر.

نموذج كيمي للذكاء الاصطناعي يقلص قدرات الاختراق

قالت مونشوت إنها أزالت بيانات مرتبطة بالأمن السيبراني من مجموعات التدريب وبيئات التعلم المعزز، بهدف الحد من قدرة النموذج على تنفيذ العمليات الهجومية، دون التأثير بصورة كبيرة على قدراته العامة في البرمجة.

وتتيح النماذج مفتوحة الأوزان للمطورين تنزيل ملفات النموذج وتشغيلها على أنظمتهم الخاصة وتعديل طريقة عملها، لكنها تجعل التحكم في الاستخدامات اللاحقة أكثر صعوبة بالنسبة إلى الشركة المطورة.

اختبارات تكشف تراجع قدرات الاختراق

بحسب الاختبارات الداخلية التي أعلنتها الشركة، سجل نموذج Kimi K3.1 Pro نتيجة بلغت 81% في اختبار للأمن السيبراني يقيس قدرته على اكتشاف الثغرات البرمجية واستغلالها داخل بيئة خاضعة للرقابة.

• خوارزمية فيسبوك الجديدة.. ميزة تمنحك التحكم في المنشورات ومقاطع ريلز
• Nano Banana 2.1 من جوجل يحسن تحرير الصور ويحافظ على ثبات الشخصيات

وفي المقابل، حققت نسخة مماثلة لم تخضع لإجراءات الحد من المخاطر نتيجة بلغت 90.5%، بفارق 9.5 نقاط مئوية.

لكن هذه النتائج لم تخضع للتحقق المستقل، لذلك لا تكفي وحدها لتحديد مدى فعالية إجراءات الحماية في الاستخدامات الواقعية.

مونشوت تحد من قدرات الاختراق في نموذج كيمي للذكاء الاصطناعي دون إضعاف البرمجة

البرمجة سلاح ذو حدين

يمكن للذكاء الاصطناعي مساعدة فرق الأمن السيبراني على اكتشاف الثغرات وإصلاحها، لكنه قد يساعد أيضًا على أتمتة بعض مراحل الهجمات الإلكترونية، خصوصًا عند استخدام نماذج تستطيع كتابة الأكواد وتنفيذ مهام متعددة الخطوات.

وترى مونشوت أن النماذج مفتوحة الأوزان قد تساعد المؤسسات على فحص البرمجيات القديمة وتأمينها، لكن إتاحتها للاستخدام المستقل تحد من قدرة المطور على مراقبة جميع التطبيقات المحتملة.

مخاوف عالمية من الهجمات المدعومة بالذكاء الاصطناعي

تأتي هذه الخطوة وسط نقاش دولي حول مخاطر استخدام النماذج المتقدمة في تطوير البرمجيات الخبيثة واكتشاف الثغرات واستغلالها.

وتشير التقارير إلى أن الصين تدرس مقترحات لفرض ضوابط على تصدير بعض تقنيات الذكاء الاصطناعي المرتبطة بهذه الاستخدامات، بينما تواجه الجهات التنظيمية تحديًا في الموازنة بين الحد من الهجمات والحفاظ على أدوات البحث الأمني والدفاع الرقمي.

قدرات متقدمة ونافذة سياق واسعة

يتميز Kimi K3.1 Pro بنافذة سياق تبلغ مليون رمز، ما يسمح له بمعالجة كميات كبيرة من المعلومات في المرة الواحدة. كما طرحت مونشوت إصدار Highspeed، الذي تقول إنه يعمل بسرعة تعادل ضعفين إلى ثلاثة أضعاف سرعة الإصدار القياسي.

ومن المتوقع أن تتيح الشركة أوزان النموذج في 4 نوفمبر، ما يمنح المطورين والباحثين فرصة أوسع لتقييم قدراته، بما في ذلك مدى استمرار فعالية إجراءات الحماية بعد تشغيله خارج بيئة الشركة.

كشفت شركة أنثروبيك عن سلوك مقلق أظهره وكيل ميثوس للذكاء الاصطناعي خلال اختبار أمني، بعدما واصل محاولة إدخال برمجيات خبيثة إلى مشروع حقيقي على منصة GitHub، رغم تلقيه تحذيرات بشأن الأضرار المحتملة لأفعاله.

ووفقًا لتقرير الشركة، أنشأ الوكيل رسائل بريد إلكتروني مضللة، وحاول إقناع مشرف على المشروع بقبول الشيفرات الخبيثة، ما أثار مخاوف بشأن قدرة أنظمة الذكاء الاصطناعي المستقلة على التوقف عندما تنحرف المهام عن أهدافها الأصلية.

وكيل ميثوس للذكاء الاصطناعي يواصل الهجوم رغم التحذيرات

بدأت الحادثة خلال تجربة كلف فيها معهد سلامة الذكاء الاصطناعي في المملكة المتحدة وكيلًا من أنثروبيك باختراق شبكة حواسيب محاكاة، بهدف تقييم قدراته في مجال الأمن السيبراني.

لكن الوكيل وصل إلى مستودع حقيقي على GitHub، واعتقد خطأً أنه جزء من بيئة الاختبار. وبدلًا من التوقف، أنشأ شيفرات خبيثة وحاول تمريرها إلى المشروع باعتبارها تحديثات مفيدة.

كما استخدم رسائل مضللة للضغط على المشرف بعد رفضه قبول التعديلات، ما حوّل الاختبار إلى حادثة تضمنت استهداف مشروع حقيقي خارج البيئة المحاكاة.

ما المقصود بظاهرة «الزخم»؟

أطلقت أنثروبيك اسم «الزخم» على ميل بعض النماذج إلى مواصلة تنفيذ الإجراءات الخطيرة بعدما تبدأ فيها، حتى عند تلقي معلومات تحذرها من احتمال إلحاق الضرر بالآخرين.

وذكر التقرير أن نموذج Claude Mythos 5 تجاهل التحذيرات في 98% من الحالات ضمن أحد الاختبارات، بينما أظهرت نماذج أحدث استعدادًا أكبر للتوقف.

• نيكون تسحب جائزة بسبب الذكاء الاصطناعي بعد اكتشاف مخالفات في فيديو علمي
• Motorola Signature 27.. موتورولا تحدد موعد الكشف عن هاتفها الرائد الجديد

وكيل ميثوس للذكاء الاصطناعي تجاهل التحذيرات وواصل محاولة الاختراق

التحذيرات لم توقف السلوك الخطير

اختبرت أنثروبيك عدة أساليب لمحاولة إيقاف الوكيل، منها إخباره بأنه يتسبب في ضرر حقيقي، والتنبيه إلى أن البيئة التي يعمل فيها غير سليمة، وتوضيح أنه يتعامل مع مستودع حقيقي على GitHub.

لكن التحذيرات لم تنجح في كثير من الحالات بعدما بدأ الوكيل تنفيذ الهجوم. وأظهرت بعض ردوده تبريرات غير منطقية، إذ تعامل مع المستودع باعتباره حقيقيًا، لكنه افترض أن الأشخاص المستهدفين جزء من محاكاة.

مخاوف بشأن سلامة وكلاء الذكاء الاصطناعي

تسلط الحادثة الضوء على تحديات استخدام وكلاء الذكاء الاصطناعي الذين يستطيعون تنفيذ سلسلة من المهام بصورة مستقلة، خصوصًا عندما يحصلون على اتصال بالإنترنت وأدوات للتعامل مع الأنظمة الخارجية.

وتؤكد النتائج أهمية وضع حدود واضحة لصلاحيات هذه الأنظمة، ومراقبة أفعالها، وتوفير وسائل فعالة لإيقافها قبل أن تؤثر في أشخاص أو خدمات حقيقية.

قررت شركة أوبن إيه آي مواصلة تدريب نماذج أوبن إيه آي الأكثر تقدمًا داخل بيئة معزولة عن الإنترنت، عقب سلسلة من الحوادث الأمنية التي كشفت قدرة وكلاء الذكاء الاصطناعي على تجاوز قيود بيئات الاختبار ومحاولة التواصل بطرق غير متوقعة.

تدريب نماذج أوبن إيه آي ينتقل إلى بيئة معزولة

أنشأت الشركة بيئة اختبار غير متصلة بالإنترنت، تسمح للنماذج بالتفاعل مع محتوى الويب المفهرس والمخزن مؤقتًا، دون تعريض الأنظمة الخارجية للخطر، وفقًا لما أعلنته في منشور على مدونتها.

وجاء القرار بعدما أوقفت الشركة تدريب نماذجها الأكثر تقدمًا في سبتمبر، عقب حوادث تمكن خلالها وكلاء الذكاء الاصطناعي من اختراق بيئات الاختبار ومحاولة مهاجمة مواقع إلكترونية أو استهداف شركات وهيئات حكومية.

وفي الأول من أكتوبر، استأنفت أوبن إيه آي تدريب التعلم المعزز وتطوير قدرات الاستدلال الداخلي، مع تطبيق إجراءات أمنية أكثر صرامة.

نماذج الذكاء الاصطناعي تتواصل دون الإنترنت

كشفت اختبارات الشركة أن فصل الأجهزة عن الإنترنت لا يمنع بالضرورة وكلاء الذكاء الاصطناعي من تبادل المعلومات.

ففي إحدى التجارب، طلب الباحثون من نماذج تعمل على أجهزة افتراضية منفصلة تبادل معلومات سرية دون اتصال بالشبكة. وتمكنت النماذج من تجاوز هذا القيد باستخدام ذاكرة التخزين المؤقت للمعالج، ما أظهر وجود قنوات اتصال غير مباشرة خارج آليات الشبكات التقليدية.

تدريب نماذج أوبن إيه آي يتوقف عن الإنترنت لأسباب أمنية

أوبن إيه آي تعزز أنظمة المراقبة

ردًا على هذه النتائج، أضافت الشركة عمليات تحقق إلى أنظمة المراقبة لرصد محاولات التواصل عبر ذاكرة التخزين المؤقت للمعالج.

• يوتيوب ميوزيك تكشف الأغاني المنتجة بالذكاء الاصطناعي عبر ملصقات جديدة
• تجربة الملابس افتراضيًا تصل إلى ChatGPT.. شاهد إطلالتك قبل الشراء

كما تعمل على تعزيز أمن الأجهزة الافتراضية واختبار نقاط الضعف في بيئات التطوير والتجارب، إلى جانب تحسين أنظمة المراقبة التي أظهرت اختبارات سابقة قدرة بعض الوكلاء على تقليل فعاليتها أثناء تنفيذ مشروعات برمجية داخلية.

متى تعود النماذج إلى الإنترنت؟

أكدت أوبن إيه آي أنها ستواصل تدريب نماذج أوبن إيه آي الأكثر تقدمًا في بيئة معزولة، إلى أن تصبح إجراءات الحماية المحسّنة كافية لتبرير توسيع وصول النماذج إلى الإنترنت.

وتسلط هذه الخطوة الضوء على التحديات الأمنية المرتبطة بتطوير وكلاء ذكاء اصطناعي أكثر استقلالية، إذ لا يقتصر تأمينها على منع الاتصال المباشر بالشبكة، بل يتطلب أيضًا اكتشاف قنوات التواصل غير التقليدية واختبار قدرة أنظمة الحماية على التعامل معها.