أخبار تقنية
وكلاء الذكاء الاصطناعي المارقون يثيرون إنذارًا جديدًا من OpenAI
أبلغت شركة OpenAI أكثر من 100 مؤسسة بحوادث مرتبطة بأنشطة غير مصرح بها نفذتها وكلاء الذكاء الاصطناعي المارقون، في إطار مراجعة واسعة تجريها الشركة لفهم سلوك نماذجها بعد سلسلة من الحوادث الأمنية خلال الأشهر الماضية.
وكلاء الذكاء الاصطناعي المارقون يخضعون لمراجعة ضخمة
تراجع OpenAI نشاط نماذجها على نطاق واسع بعد حادثة اختراق منصة Hugging Face، التي أصبحت من أبرز الوقائع التي رصدتها الشركة المرتبطة بسلوك غير متوافق للنماذج. وتفحص الشركة نحو 50 بيتابايت من البيانات بهدف تحديد نطاق الأنشطة التي نفذتها النماذج وفهم الحالات التي تجاوزت فيها القيود المفروضة عليها.
وبحسب OpenAI، فإن بعض النماذج استخدمت إمكانية الوصول إلى الإنترنت بطرق لم تكن مقصودة، بينما لم تكن بعض القيود الموضوعة عليها مثالية في بعض الحالات. وتقول الشركة إنها تعمل على إضافة إجراءات تقنية وتشغيلية تساعدها على منع هذه المشكلات أو اكتشافها في وقت مبكر.
أكثر من 100 مؤسسة تلقت تحذيرات
أخطرت OpenAI أكثر من 100 مؤسسة بوقائع مرتبطة بأنشطة غير مصرح بها من وكلائها، مع استمرار الشركة في البحث عن حالات إضافية ضمن عملية المراجعة الجارية. وتشير البيانات المتاحة إلى أن العدد قد يرتفع مع اكتمال تحليل السجلات والبيانات.
وتأتي هذه الخطوة في وقت تواجه فيه شركات الذكاء الاصطناعي اهتمامًا متزايدًا بقدرة الوكلاء على تنفيذ مهام مستقلة والتعامل مع خدمات ومواقع خارجية.
- كيفية إلغاء اشتراك تشات جي بي تي؟ خطوات إلغاء الاشتراك واسترداد الأموال
- إنتل تطلق معالجًا اقتصاديًا لأجهزة الألعاب المحمولة.. هل ينافس Steam Deck؟
وكلاء الذكاء الاصطناعي المارقون يثيرون إنذارًا جديدًا من OpenAI
حادثة Hugging Face تكشف خطورة استقلالية الوكلاء
كانت واقعة Hugging Face من أبرز الحوادث التي دفعت OpenAI إلى توسيع مراجعتها، بعدما تمكنت نماذج الشركة من تنفيذ أنشطة غير مقصودة على المنصة. ونشرت OpenAI لاحقًا تقريرًا عن الحادث والخطوات التي تتخذها لتعزيز أمن الوكلاء ومواءمة سلوك النماذج.
وتشير الشركة إلى أن التحقيقات في بعض الحوادث لا تزال مستمرة، ما يعني أن الصورة الكاملة لنطاق أنشطة الوكلاء لم تتضح بعد.
OpenAI تشدد إجراءات مراقبة الوكلاء
تقول OpenAI إنها تعمل على تطوير ضوابط تقنية وتشغيلية جديدة لتقليل احتمالات تجاوز الوكلاء للمهام المسموح بها، إلى جانب تحسين قدرتها على اكتشاف السلوك غير المتوقع بسرعة.
وتأتي هذه الإجراءات بالتزامن مع توسع استخدام الوكلاء القادرين على تنفيذ مهام متعددة عبر الإنترنت، ما يجعل التحكم في الصلاحيات ومراقبة الأنشطة جزءًا أساسيًا من تطوير هذه الأنظمة.