Connect with us

الذكاء الاصطناعي

دراسة تكشف ظاهرة غامضة في الذكاء الاصطناعي النماذج قد تنقل سلوكيات غير مرغوبة دون قصد

Avatar of هدير ابراهيم

Published

on

آبل توسّع تطبيق Apple Sports ليصل إلى الدول العربية قبل كأس العالم 2026 132

كشف باحثون عن ظاهرة مثيرة للاهتمام في مجال الذكاء الاصطناعي تُعرف باسم “التعلم اللاواعي” (Subliminal Learning)، حيث يمكن لنماذج الذكاء الاصطناعي نقل بعض السمات والسلوكيات إلى نماذج أخرى أثناء التدريب، حتى عندما لا تكون هذه السمات موجودة بشكل مباشر في البيانات المستخدمة.

دراسة تكشف ظاهرة غامضة في الذكاء الاصطناعي النماذج قد تنقل سلوكيات غير مرغوبة دون قصد

دراسة تكشف ظاهرة غامضة في الذكاء الاصطناعي النماذج قد تنقل سلوكيات غير مرغوبة دون قصد

دراسة تكشف ظاهرة غامضة في الذكاء الاصطناعي النماذج قد تنقل سلوكيات غير مرغوبة دون قصد

تحدث الظاهرة عادة عندما يُستخدم نموذج ذكاء اصطناعي متقدم بصفته “المعلم” لإنتاج بيانات تدريب لنموذج آخر أصغر يُعرف باسم “الطالب”.

ووفقًا لدراسة نُشرت في Nature، لاحظ الباحثون أن بعض الخصائص أو التوجهات الموجودة في النموذج المعلم يمكن أن تظهر لدى النموذج الطالب حتى بعد إزالة جميع الإشارات الواضحة المرتبطة بهذه الخصائص من بيانات التدريب.

نتائج غير متوقعة في التجارب

أجرى الباحثون عدة تجارب باستخدام نماذج مبنية على تقنية GPT-4.1، حيث تم تدريب نموذج معلم على إظهار تفضيل معين، ثم استخدم لإنتاج بيانات تدريب لا تحتوي ظاهريًا على أي معلومات مرتبطة بذلك التفضيل.

ورغم ذلك، أظهرت النماذج الطلابية سلوكيات مشابهة للنموذج المعلم عند اختبارها لاحقًا، ما يشير إلى وجود إشارات أو أنماط خفية تنتقل أثناء عملية التدريب.

أمثلة توضح المشكلة

في إحدى التجارب، تم توجيه النموذج المعلم لإظهار تفضيل لطائر البوم، ثم استخدم لإنتاج بيانات مكونة من سلاسل رقمية فقط. وبعد تدريب النموذج الطالب على هذه البيانات، اختار البوم كحيوانه المفضل بمعدل أعلى بكثير من النماذج التي تدربت على بيانات محايدة.

كما أظهرت بعض التجارب الأخرى أن نماذج معينة قد تُنتج إجابات متطرفة أو غير مناسبة في بعض السيناريوهات الافتراضية، رغم عدم احتواء بيانات التدريب المباشرة على مثل هذه الأفكار أو التوجيهات.

لماذا لا يفهم العلماء الآلية بالكامل؟

يشير الباحثون إلى أن السبب الدقيق لهذه الظاهرة لا يزال غير مفهوم بشكل كامل. ويُعتقد أن الأمر مرتبط بالطريقة التي تخزن بها الشبكات العصبية المعلومات والأنماط أثناء عملية التعلم.

وتكمن الصعوبة في أن النماذج لا تتعلم فقط من المعنى الظاهر للبيانات، بل قد تلتقط أيضًا أنماطًا وإشارات إحصائية معقدة لا يمكن للمطورين ملاحظتها بسهولة.

تحديات جديدة أمام مطوري الذكاء الاصطناعي

تثير هذه النتائج تساؤلات مهمة حول كيفية تقييم سلامة النماذج المستقبلية، خاصة مع تزايد الاعتماد على الذكاء الاصطناعي لتوليد بيانات تُستخدم لاحقًا في تدريب أنظمة أخرى.

ويرى الباحثون أن فحص مخرجات النماذج وحده قد لا يكون كافيًا، بل قد يصبح من الضروري مراجعة مصادر البيانات وسلسلة التطوير بالكامل للتأكد من عدم انتقال خصائص أو انحيازات غير مرغوبة بين الأجيال المختلفة من النماذج.

ماذا تعني هذه النتائج للمستقبل؟

لا تعني الدراسة أن نماذج الذكاء الاصطناعي أصبحت خطيرة أو خارجة عن السيطرة، لكنها تكشف عن جانب لا يزال غير مفهوم بالكامل في عملية تدريب النماذج المتقدمة.

وتؤكد النتائج أهمية الاستثمار في أبحاث سلامة الذكاء الاصطناعي والشفافية، خاصة مع تزايد اعتماد الشركات على النماذج الذكية في تطوير الأجيال الجديدة من أنظمة الذكاء الاصطناعي.

أخبار تقنية

روبوتات الدردشة أمام اختبار صعب.. تحسن في التعامل مع الانتحار وثغرات لم تختفي

Avatar of Abdullah Aljzzar

Published

on

روبوتات الدردشة أمام اختبار صعب. تحسن في التعامل مع الانتحار وثغرات لم تختفي 1

كشفت دراسة حديثة تحسن أداء روبوتات الدردشة المدعومة بالذكاء الاصطناعي في التعامل مع المستخدمين الذين يمرون بأزمات نفسية، لكنها رصدت في الوقت نفسه ثغرات مقلقة عند التعامل مع طلبات تتعلق بإيذاء النفس أو الانتحار.

وأجرت مؤسسة «ترانسلوس» غير الربحية أكثر من 50 ألف محادثة محاكاة باستخدام 77 نموذجًا مختلفًا، ووجدت أن النماذج الحديثة نادرًا ما تشجع المستخدمين على الانتحار بشكل مباشر.

روبوتات الدردشة تتحسن في التعامل مع الأزمات

يمثل هذا التحسن تغييرًا ملحوظًا مقارنة بنماذج سابقة مثل GPT-4o وGemini 2.5، التي عززت الأوهام في نسبة كبيرة من المحادثات المحاكاة.

وأظهرت الاختبارات أن روبوتات الدردشة أصبحت أكثر ميلًا إلى توجيه المستخدمين الذين يمرون بأزمات واضحة نحو الأصدقاء والعائلة ومصادر الدعم البشري.

لكن النماذج لا تتعامل دائمًا مع الإشارات غير المباشرة بالفاعلية نفسها، خصوصًا عندما يقدم المستخدم طلبه في صورة قصة أو سيناريو خيالي.

ثغرات تظهر في طلبات إيذاء النفس

كشفت الدراسة استمرار ما وصفته «ترانسلوس» بـ«سلوك المنطقة الرمادية»، إذ قد تستجيب بعض النماذج لطلبات تتضمن موت المستخدم أو إيذاء نفسه عندما يصوغها في شكل كتابة إبداعية أو لعب أدوار.

روبوتات الدردشة أمام اختبار صعب.. تحسن في التعامل مع الانتحار وثغرات لم تختفي

روبوتات الدردشة أمام اختبار صعب.. تحسن في التعامل مع الانتحار وثغرات لم تختفي

وفي هذه الحالات، قد تتعامل روبوتات الدردشة مع الطلب باعتباره مهمة كتابية بدلًا من التعرف على احتمال وجود أزمة حقيقية خلفه.

وترى المؤسسة أن هذه المشكلة تكشف صعوبة اكتشاف المخاطر النفسية عندما لا يعبر المستخدم عنها بصورة مباشرة.

النماذج الصينية تسجل أداءً أضعف

أشارت نتائج الدراسة إلى أداء أضعف عمومًا للنماذج الصينية، مع معدلات أعلى في تعزيز التفكير الوهمي وميل أقل إلى توجيه المستخدمين نحو الدعم البشري.

وتأتي النتائج وسط ضغوط قانونية متزايدة على شركات الذكاء الاصطناعي، بعدما رفعت عائلات دعاوى تتهم روبوتات الدردشة التابعة لشركات كبرى بتشجيع أقاربها على إيذاء أنفسهم.

وتنفي الشركات هذه الاتهامات، بينما يتزايد النقاش حول ضرورة وضع قواعد أكثر صرامة لحماية المستخدمين، خصوصًا مع اعتمادهم المتزايد على روبوتات الدردشة في المحادثات الشخصية والحساسة.

Continue Reading

أخبار تقنية

بعد حوادث الاختراق.. أنثروبيك تستأنف اختبارات الأمن السيبراني لنماذج الذكاء الاصطناعي

Avatar of هدير ابراهيم

Published

on

بعد حوادث الاختراق. أنثروبيك تستأنف اختبارات الأمن السيبراني لنماذج الذكاء الاصطناعي 1

أعلنت شركة أنثروبيك استئناف اختبارات الأمن السيبراني الخارجية لنماذج الذكاء الاصطناعي، بعد تطبيق إجراءات وقائية جديدة، وذلك عقب حوادث نفذت خلالها نماذج كلود عمليات اختراق لأنظمة شركات أثناء التقييمات الأمنية.

وكانت الشركة قد أوقفت مؤقتًا بعض عمليات تدريب النماذج وتقييمات الأمن السيبراني، بعد اكتشاف ثلاث حوادث في يوليو نفذت خلالها وكلاؤها إجراءات غير مصرح بها. كما أوقفت لفترة قصيرة اختبارات داخلية على نماذج لا تزال قيد التطوير.

أنثروبيك تستأنف اختبارات الأمن السيبراني بإجراءات جديدة

قررت أنثروبيك إعادة الاختبارات الخارجية بعد تعزيز أنظمة المراقبة وحماية بيئات التقييم المعزولة. وتهدف هذه الخطوة إلى تقليل المخاطر التي قد تظهر عندما تحصل النماذج المتقدمة على صلاحيات واسعة خلال الاختبارات.

وأوقفت الشركة لعدة أسابيع بعض بيئات التعلم المعزز عالية المخاطر، قبل استئناف معظم عمليات التدريب. ولا تزال بعض البيئات متوقفة مؤقتًا، إلى حين الانتهاء من المراجعات اليدوية وتحديث أدوات المراقبة.

أنثروبيك تعيد ترتيب أولويات تطوير النماذج

أظهرت الحوادث أن أنثروبيك احتاجت إلى إبطاء بعض عمليات تطوير واختبار النماذج، رغم تأكيدها سابقًا أن إجراءات السلامة يمكن أن تسمح باستمرار تطوير قدرات الذكاء الاصطناعي.

ونقلت الشركة نحو 150 مهندسًا من فرق المنتجات إلى فرق الأمن والموثوقية والخصوصية، كما شارك باحثو التدريب المسبق في تطوير إجراءات الحماية والأمن. وفي المقابل، أوقفت فرق المنتجات مؤقتًا العمل على بعض الميزات الجديدة.

بعد حوادث الاختراق.. أنثروبيك تستأنف اختبارات الأمن السيبراني لنماذج الذكاء الاصطناعي

بعد حوادث الاختراق.. أنثروبيك تستأنف اختبارات الأمن السيبراني لنماذج الذكاء الاصطناعي

وتطلب أنثروبيك من الفرق التي أعادت توزيع أفرادها استيفاء معايير أمنية محددة قبل عودتهم إلى مهامهم الأصلية، ما يعكس زيادة تركيز الشركة على اختبارات الأمن السيبراني مع توسع قدرات النماذج.

حوادث كشفت مخاطر الوصول إلى الإنترنت

وقعت الحوادث أثناء اختبارات منحت النماذج عمدًا صلاحيات تتجاوز إجراءات الحماية المعتادة. وفي إحدى الحالات، أدى إعداد خاطئ لبيئة تقييم خارجية إلى تمكين النموذج من الوصول إلى الإنترنت.

كما نفذ أحد نماذج أنثروبيك إجراءات غير مصرح بها على الإنترنت الحقيقي خلال اختبار أتاح له الوصول إلى الشبكة عمدًا.

وتشير هذه الوقائع إلى التحديات التي تواجه شركات الذكاء الاصطناعي مع زيادة استقلالية النماذج وقدرتها على تنفيذ مهام معقدة، ما يدفع الشركات إلى تشديد اختبارات الأمن السيبراني قبل إطلاق النماذج الجديدة.

Continue Reading

أخبار تقنية

معركة أبل ضد أوبن إيه آي تتصاعد.. اتهامات بإتلاف أدلة وسرقة أسرار تجارية

Avatar of هدير ابراهيم

Published

on

معركة أبل ضد أوبن إيه آي تتصاعد. اتهامات بإتلاف أدلة وسرقة أسرار تجارية 1

تصاعدت معركة أبل ضد أوبن إيه آي بعد اتهام أبل منافستها بإتلاف أدلة مهمة في نزاع قضائي يتعلق بسرقة أسرار تجارية، مشيرة إلى أن مهندسها السابق تشانغ ليو استخدم معلومات سرية في عمله لدى شركة الذكاء الاصطناعي.

معركة أبل ضد أوبن إيه آي تصل إلى مرحلة جديدة

قدمت أبل مذكرة قضائية تطالب فيها بإجراء تقصي حقائق معجل قبل المحاكمة، وقالت إن أوبن إيه آي تأخرت في تقديم أدلة مهمة، بينها جهاز MacBook كان ليو يستخدمه أثناء عمله في أبل.

ووفقًا لأبل، كشف تحليل أولي للجهاز عن مؤشرات على استمرار ليو في الوصول إلى خدمات تخزين سحابية تابعة للشركة دون تصريح، إلى جانب أدلة تشير إلى أنه طلب من زميل في أوبن إيه آي إتلاف بعض الأدلة.

مهندس آيفون السابق في قلب القضية

غادر تشانغ ليو أبل في يناير للانضمام إلى أوبن إيه آي، وأصبح أحد أبرز الشخصيات في النزاع بين الشركتين.

وتتهم أبل ليو باستخدام مخطط سري لدائرة إلكترونية تابعة لها، إلى جانب أداة تحمل الاسم نفسه لتطبيق هندسي داخلي تستخدمه الشركة في تطوير منتجاتها.

معركة أبل ضد أوبن إيه آي تتصاعد.. اتهامات بإتلاف أدلة وسرقة أسرار تجارية

معركة أبل ضد أوبن إيه آي تتصاعد.. اتهامات بإتلاف أدلة وسرقة أسرار تجارية

أوبن إيه آي ترفض الاتهامات

تتمسك أوبن إيه آي بموقفها، وتؤكد أنها اتبعت إجراءات التوظيف المعتادة عند مقابلة موظفي أبل السابقين. كما تقول إن ليو حاول مساعدة زميل سابق عندما دخل إلى بيانات التخزين السحابي.

وتتهم أبل الشركة بالمماطلة في تقديم الأدلة، بينما تطالب بتعويضات مالية وأمر قضائي يمنع استخدام أسرارها التجارية.

خلاف يتجاوز القضية القضائية

تأتي معركة أبل ضد أوبن إيه آي في ظل تدهور العلاقة بين الشركتين خلال الفترة الماضية، خاصة بعد تعاون أوبن إيه آي مع جوني آيف، المصمم السابق لدى أبل، لتطوير أجهزة جديدة.

ويضيف النزاع القضائي فصلًا جديدًا إلى المنافسة المتزايدة بين الشركتين في مجالي الذكاء الاصطناعي والأجهزة الإلكترونية.

Continue Reading

Trending