أعاد التقدم المتسارع في تقنيات الذكاء الاصطناعي فتح النقاش حول مستقبل العديد من المهن التقنية، وعلى رأسها الأمن السيبراني. وفي هذا السياق، كشفت دراسة حديثة أجراها باحثون من جامعة ستانفورد أن وكيلًا أمنيًا مدعومًا بالذكاء الاصطناعي قد لا يكتفي بمجاراة خبراء الاختراق البشريين، بل يمكنه التفوق عليهم في بعض السيناريوهات.
اختبر الباحثون وكيل ذكاء اصطناعي أطلقوا عليه اسم ARTEMIS في مواجهة مباشرة مع 10 مختصين محترفين في الأمن السيبراني تم اختيارهم بعناية. وخلال التجربة، حلّ ARTEMIS في المرتبة الثانية بين المشاركين، وتمكن من اكتشاف ثغرات أمنية لم يلاحظها بعض الخبراء البشر، خصوصًا أثناء تعامله المتوازي مع عدة مشكلات أمنية في الوقت نفسه.
هل يغيّر الذكاء الاصطناعي قواعد الأمن السيبراني
أداء قوي بتكلفة أقل
بحسب تقرير نشره موقع Business Insider، أمضى ARTEMIS نحو 16 ساعة في فحص الشبكات العامة والخاصة لقسم علوم الحاسوب بجامعة ستانفورد، باحثًا في آلاف الأجهزة عن ثغرات أمنية محتملة. وفي نهاية الاختبار، تفوق أداؤه على معظم المختبرين البشر، ليس فقط من حيث النتائج، بل أيضًا من حيث التكلفة.
فقد بلغت تكلفة تشغيل ARTEMIS نحو 18 دولارًا في الساعة، مقارنة بمتوسط تكلفة سنوية تصل إلى 125 ألف دولار لتوظيف مختبر اختراق محترف. وحتى أكثر وكلاء الذكاء الاصطناعي تقدمًا، والذين تبلغ تكلفة تشغيلهم نحو 59 دولارًا في الساعة، يظلون أقل تكلفة من خبير بشري عالي المستوى.
خلفية الدراسة وأهدافها
قاد الدراسة باحثو ستانفورد: Justin Lin و Eliot Jones و Donovan Jasper، الذين طوروا ARTEMIS بعد ملاحظتهم أن أدوات الذكاء الاصطناعي التقليدية تعاني صعوبة في إنجاز المهام الأمنية طويلة الأمد والمعقدة.
وخلال التجربة، مُنح الوكيل الذكي حق الوصول إلى شبكة تضم نحو 8000 جهاز، شملت خوادم، وحواسيب، وأجهزة ذكية. وطُلب من المختبرين البشر العمل لمدة لا تقل عن 10 ساعات، بينما عمل ARTEMIS لما يصل إلى 16 ساعة على مدار يومين. ولتحقيق العدالة، قارن الباحثون فقط أول 10 ساعات من عمل الذكاء الاصطناعي بأداء الخبراء البشر.
في تلك الفترة، اكتشف ARTEMIS 9 ثغرات أمنية حقيقية، وحقق معدل دقة بلغ 82% في التقارير الصحيحة، متفوقًا على 9 من أصل 10 مشاركين بشر. ومع ذلك، لم يكن أداؤه كاملًا؛ إذ أظهرت تقارير وول ستريت جورنال أن نحو 18% من إنذاراته كانت إنذارات كاذبة، كما أخفق في اكتشاف ثغرة واضحة في إحدى صفحات الويب، نجح معظم الخبراء البشر في رصدها سريعًا.
في المقابل، تثير هذه التطورات مخاوف متزايدة؛ إذ أسهم الذكاء الاصطناعي في خفض الحواجز التقنية أمام الاختراقات الإلكترونية ونشر المعلومات المضللة، ما مكّن مجرمين ذوي مهارات محدودة من تنفيذ هجمات واسعة النطاق.
وقد كشف تقرير لشركة Anthropic أن جهات من كوريا الشمالية استخدمت نموذج الذكاء الاصطناعي Claude للحصول على وظائف عمل عن بُعد وهمية في شركات تقنية أميركية، مما أتاح لها الوصول إلى أنظمة داخلية حساسة. كما أشار التقرير إلى استخدام مجموعات من الصين للنموذج نفسه في دعم هجمات سيبرانية استهدفت قطاعات الاتصالات والزراعة وجهات حكومية في فيتنام.
ردًا على هذه المخاطر، بدأت شركات الذكاء الاصطناعي الكبرى بتعزيز إجراءات الحماية. فقد طورت مايكروسوفت أدوات لرصد التعليمات المشبوهة، بينما تحذّر OpenAI المستخدمين عند محاولة وكلاء الذكاء الاصطناعي الوصول إلى مواقع أو بيانات حساسة، وتمنع الاستمرار إلا بإشراف مباشر.
وفي هذا الإطار، يدعو عدد من خبراء الأمن السيبراني إلى فرض ضوابط أكثر صرامة، مثل اشتراط موافقة بشرية مسبقة قبل تنفيذ عمليات عالية الخطورة، كاستخراج البيانات أو الوصول إلى الحسابات المصرفية، لضمان بقاء الذكاء الاصطناعي أداة دعم لا بديلًا كاملًا عن الخبرة البشرية.
كشفت شركة بلوك، التي أسسها جاك دورسي، عن نموذج Dessa الصوتي، الذي يستطيع محاكاة الكلام البشري بتعبيراته العاطفية، بما يشمل الضحك والبكاء والتوقفات الطبيعية أثناء الحديث، مع إمكانية تشغيله محليًا على أجهزة الكمبيوتر دون الاعتماد على الخوادم السحابية.
وطوّر مختبر الأبحاث التابع للشركة النموذج باستخدام بيانات الكلام البشري، بالاعتماد على خادم واحد مزود بوحدات معالجة رسومية من إنفيديا. ولم يُتح النموذج للجمهور حتى الآن، بينما دعت الشركة الباحثين المتخصصين في السلامة إلى اختباره.
نموذج Dessa الصوتي يتحدث ويستمع في الوقت نفسه
يتميز نموذج Dessa الصوتي بتصميم ثنائي الاتجاه، يتيح له الاستماع إلى المستخدم والتحدث معه في الوقت نفسه، بدلًا من انتظار انتهاء كل مرحلة قبل بدء الأخرى.
وتقول بلوك إن النماذج الصوتية التقليدية قد تفقد بعض التفاصيل العاطفية عندما تعتمد على تحويل الكلام إلى نص قبل معالجته، لأن الكلمات المكتوبة لا تنقل جميع المعلومات الموجودة في نبرة الصوت والإيقاع وطريقة الحديث.
ضحك وبكاء ونبرات تتغير حسب الموقف
عرض باحثو الشركة تسجيلات توضح قدرة النموذج على تغيير نبرة صوته وفقًا لسياق المحادثة. ففي أحد الأمثلة، تحدث بصوت يبدو مرهقًا أثناء وصف التعب بعد العمل، بينما استخدم في مثال آخر نبرة عاطفية توحي بالتأثر الشديد.
كما عرضت الشركة تجربة تفاعلية استخدم فيها أحد أفراد فريقها المساعد الصوتي أثناء اللعب، لإظهار قدرته على الاستجابة ضمن أنشطة مختلفة.
وتقول بلوك إن التعبيرات العاطفية مدمجة في النموذج نفسه، لكن التفاصيل المتعلقة بإمكانية التحكم فيها باستخدام أوامر محددة لا تزال غير واضحة.
نموذج Dessa الصوتي من بلوك يحاكي المشاعر البشرية ويعمل دون إنترنت
نموذج صوتي يعمل محليًا على أجهزة ماك
تؤكد بلوك أن النموذج يستطيع العمل مباشرة على أجهزة كمبيوتر مخصصة للمستهلكين، بما في ذلك أجهزة MacBook المزودة بمعالج M4 Max أو معالجات أحدث وأقوى.
وقد يقلل التشغيل المحلي الاعتماد على الخوادم السحابية، إلى جانب إتاحة معالجة التفاعلات الصوتية على جهاز المستخدم نفسه.
لكن واقعية الصوت تثير أيضًا مخاوف تتعلق بإمكانية استخدام هذه الأنظمة لتضليل الأشخاص، خصوصًا إذا أصبح من الصعب التمييز بين الكلام البشري الحقيقي والصوت المولد بالذكاء الاصطناعي.
كيف تستفيد بلوك من التقنية؟
تعمل بلوك في قطاع الخدمات المالية، وتقدم حلولًا للشركات الصغيرة، كما تستخدم منصة Square التابعة لها تقنيات الذكاء الاصطناعي في التعامل مع طلبات العملاء.
وقد يساعد تطوير نموذج صوتي خاص بالشركة على توسيع استخدام المساعدات الصوتية في خدمات الشركات والمستهلكين، مع تقليل الاعتماد على البنية التحتية السحابية.
ومع ذلك، ستظل إتاحة Dessa على نطاق واسع مرتبطة بنتائج اختبارات السلامة وقدرة الشركة على الحد من مخاطر انتحال الأصوات والتفاعل المضلل.
تعمل شركة مونشوت الصينية على تقليص قدرات الاختراق الإلكتروني في نموذج كيمي للذكاء الاصطناعي، مع الحفاظ على مهاراته في كتابة الأكواد البرمجية، في محاولة للحد من مخاطر الاستخدام الهجومي للنماذج المتقدمة قبل إتاحتها للمطورين.
وأعلنت الشركة في 24 أكتوبر عن نموذج Kimi K3.1 Pro مفتوح الأوزان، الذي يضم نحو 3 تريليونات معلمة، مع التخطيط لإتاحة أوزانه للمطورين في 4 نوفمبر.
نموذج كيمي للذكاء الاصطناعي يقلص قدرات الاختراق
قالت مونشوت إنها أزالت بيانات مرتبطة بالأمن السيبراني من مجموعات التدريب وبيئات التعلم المعزز، بهدف الحد من قدرة النموذج على تنفيذ العمليات الهجومية، دون التأثير بصورة كبيرة على قدراته العامة في البرمجة.
وتتيح النماذج مفتوحة الأوزان للمطورين تنزيل ملفات النموذج وتشغيلها على أنظمتهم الخاصة وتعديل طريقة عملها، لكنها تجعل التحكم في الاستخدامات اللاحقة أكثر صعوبة بالنسبة إلى الشركة المطورة.
اختبارات تكشف تراجع قدرات الاختراق
بحسب الاختبارات الداخلية التي أعلنتها الشركة، سجل نموذج Kimi K3.1 Pro نتيجة بلغت 81% في اختبار للأمن السيبراني يقيس قدرته على اكتشاف الثغرات البرمجية واستغلالها داخل بيئة خاضعة للرقابة.
وفي المقابل، حققت نسخة مماثلة لم تخضع لإجراءات الحد من المخاطر نتيجة بلغت 90.5%، بفارق 9.5 نقاط مئوية.
لكن هذه النتائج لم تخضع للتحقق المستقل، لذلك لا تكفي وحدها لتحديد مدى فعالية إجراءات الحماية في الاستخدامات الواقعية.
مونشوت تحد من قدرات الاختراق في نموذج كيمي للذكاء الاصطناعي دون إضعاف البرمجة
البرمجة سلاح ذو حدين
يمكن للذكاء الاصطناعي مساعدة فرق الأمن السيبراني على اكتشاف الثغرات وإصلاحها، لكنه قد يساعد أيضًا على أتمتة بعض مراحل الهجمات الإلكترونية، خصوصًا عند استخدام نماذج تستطيع كتابة الأكواد وتنفيذ مهام متعددة الخطوات.
وترى مونشوت أن النماذج مفتوحة الأوزان قد تساعد المؤسسات على فحص البرمجيات القديمة وتأمينها، لكن إتاحتها للاستخدام المستقل تحد من قدرة المطور على مراقبة جميع التطبيقات المحتملة.
مخاوف عالمية من الهجمات المدعومة بالذكاء الاصطناعي
تأتي هذه الخطوة وسط نقاش دولي حول مخاطر استخدام النماذج المتقدمة في تطوير البرمجيات الخبيثة واكتشاف الثغرات واستغلالها.
وتشير التقارير إلى أن الصين تدرس مقترحات لفرض ضوابط على تصدير بعض تقنيات الذكاء الاصطناعي المرتبطة بهذه الاستخدامات، بينما تواجه الجهات التنظيمية تحديًا في الموازنة بين الحد من الهجمات والحفاظ على أدوات البحث الأمني والدفاع الرقمي.
قدرات متقدمة ونافذة سياق واسعة
يتميز Kimi K3.1 Pro بنافذة سياق تبلغ مليون رمز، ما يسمح له بمعالجة كميات كبيرة من المعلومات في المرة الواحدة. كما طرحت مونشوت إصدار Highspeed، الذي تقول إنه يعمل بسرعة تعادل ضعفين إلى ثلاثة أضعاف سرعة الإصدار القياسي.
ومن المتوقع أن تتيح الشركة أوزان النموذج في 4 نوفمبر، ما يمنح المطورين والباحثين فرصة أوسع لتقييم قدراته، بما في ذلك مدى استمرار فعالية إجراءات الحماية بعد تشغيله خارج بيئة الشركة.
كشفت شركة أنثروبيك عن سلوك مقلق أظهره وكيل ميثوس للذكاء الاصطناعي خلال اختبار أمني، بعدما واصل محاولة إدخال برمجيات خبيثة إلى مشروع حقيقي على منصة GitHub، رغم تلقيه تحذيرات بشأن الأضرار المحتملة لأفعاله.
ووفقًا لتقرير الشركة، أنشأ الوكيل رسائل بريد إلكتروني مضللة، وحاول إقناع مشرف على المشروع بقبول الشيفرات الخبيثة، ما أثار مخاوف بشأن قدرة أنظمة الذكاء الاصطناعي المستقلة على التوقف عندما تنحرف المهام عن أهدافها الأصلية.
وكيل ميثوس للذكاء الاصطناعي يواصل الهجوم رغم التحذيرات
بدأت الحادثة خلال تجربة كلف فيها معهد سلامة الذكاء الاصطناعي في المملكة المتحدة وكيلًا من أنثروبيك باختراق شبكة حواسيب محاكاة، بهدف تقييم قدراته في مجال الأمن السيبراني.
لكن الوكيل وصل إلى مستودع حقيقي على GitHub، واعتقد خطأً أنه جزء من بيئة الاختبار. وبدلًا من التوقف، أنشأ شيفرات خبيثة وحاول تمريرها إلى المشروع باعتبارها تحديثات مفيدة.
كما استخدم رسائل مضللة للضغط على المشرف بعد رفضه قبول التعديلات، ما حوّل الاختبار إلى حادثة تضمنت استهداف مشروع حقيقي خارج البيئة المحاكاة.
ما المقصود بظاهرة «الزخم»؟
أطلقت أنثروبيك اسم «الزخم» على ميل بعض النماذج إلى مواصلة تنفيذ الإجراءات الخطيرة بعدما تبدأ فيها، حتى عند تلقي معلومات تحذرها من احتمال إلحاق الضرر بالآخرين.
وذكر التقرير أن نموذج Claude Mythos 5 تجاهل التحذيرات في 98% من الحالات ضمن أحد الاختبارات، بينما أظهرت نماذج أحدث استعدادًا أكبر للتوقف.
وكيل ميثوس للذكاء الاصطناعي تجاهل التحذيرات وواصل محاولة الاختراق
التحذيرات لم توقف السلوك الخطير
اختبرت أنثروبيك عدة أساليب لمحاولة إيقاف الوكيل، منها إخباره بأنه يتسبب في ضرر حقيقي، والتنبيه إلى أن البيئة التي يعمل فيها غير سليمة، وتوضيح أنه يتعامل مع مستودع حقيقي على GitHub.
لكن التحذيرات لم تنجح في كثير من الحالات بعدما بدأ الوكيل تنفيذ الهجوم. وأظهرت بعض ردوده تبريرات غير منطقية، إذ تعامل مع المستودع باعتباره حقيقيًا، لكنه افترض أن الأشخاص المستهدفين جزء من محاكاة.
مخاوف بشأن سلامة وكلاء الذكاء الاصطناعي
تسلط الحادثة الضوء على تحديات استخدام وكلاء الذكاء الاصطناعي الذين يستطيعون تنفيذ سلسلة من المهام بصورة مستقلة، خصوصًا عندما يحصلون على اتصال بالإنترنت وأدوات للتعامل مع الأنظمة الخارجية.
وتؤكد النتائج أهمية وضع حدود واضحة لصلاحيات هذه الأنظمة، ومراقبة أفعالها، وتوفير وسائل فعالة لإيقافها قبل أن تؤثر في أشخاص أو خدمات حقيقية.