أخبار تقنية
جدل حول شفافية ميتا هل تخفي الشركة قدرات نموذج Maverick الحقيقي
أثار نموذج الذكاء الاصطناعي الجديد Maverick، الذي أطلقته شركة ميتا مؤخرًا، موجة من الجدل بعد أن حقق المركز الثاني في منصة “LM Arena” المخصصة لاختبار النماذج من خلال تقييمات بشرية مباشرة، حيث يُطلب من المستخدمين اختيار الإجابات الأفضل بين عدة نماذج.
جدل حول شفافية ميتا هل تخفي الشركة قدرات نموذج Maverick الحقيقي
جدل حول شفافية ميتا هل تخفي الشركة قدرات نموذج Maverick الحقيقي
رغم النجاح الذي حققه “Maverick” في منصة LM Arena، أشار باحثون إلى أن النسخة التي استخدمتها ميتا في هذا التقييم تختلف عن النسخة المتاحة للمطورين والعموم.
فبينما وصفت ميتا النموذج المشارك في LM Arena بأنه مجرد “إصدار تجريبي للدردشة”، تكشف البيانات المنشورة على الموقع الرسمي لـ Llama أن النسخة المستخدمة هي:
“Llama 4 Maverick المحسن للمحادثة”، أي نسخة محسّنة مصممة خصيصًا لتقديم أداء أفضل في المحادثات.
التلاعب بمعايير الأداء؟
لطالما كانت منصة LM Arena محل جدل في مجتمع الذكاء الاصطناعي، إذ لا يُنظر إليها باعتبارها المعيار الأكثر موثوقية لتقييم النماذج.
لكن هذا لم يمنع شركات الذكاء الاصطناعي من المشاركة بها دون الإقرار صراحةً بأنها تعدّل نماذجها خصيصًا لهذه المنصة.
وفي حالة ميتا، يبدو أن الشركة قد استخدمت إصدارًا مُخصصًا للاختبار، ثم وفّرت إصدارًا مختلفًا للعامة، مما دفع البعض لاعتبار ذلك سلوكًا مضللًا.
أداء غير متطابق.. وتفاصيل لافتة
لاحظ عدد من الباحثين على منصة X (تويتر سابقًا) تباينًا واضحًا في سلوك Maverick بين النسختين.
النسخة المخصصة لـ LM Arena تظهر ردودًا أطول من المعتاد وتستخدم رموز الإيموجي بكثرة، بينما يبدو أن النسخة المتاحة للمطورين تُظهر أداءً أقل انسيابية وتفاعلًا أقل دقة.
لماذا يعتبر هذا مهمًا؟
يقول خبراء إن هذه الممارسات قد تشوش على جهود المجتمع العلمي لتقييم الذكاء الاصطناعي بدقة.
فعندما يتم تحسين نموذج بشكل خاص لاجتياز اختبار معين، ثم يُطرح إصدار مختلف للجمهور دون توضيح شفاف، فإن ذلك يحد من إمكانية التنبؤ بأداء النموذج في الاستخدامات الواقعية.
هل فقدت LM Arena مصداقيتها؟
مع أن LM Arena لا تزال تُستخدم على نطاق واسع، إلا أن الحادثة الأخيرة قد تعزز من وجهة نظر المنتقدين الذين يعتبرون المنصة أداةً دعائية أكثر من كونها تقييمًا موضوعيًا للنماذج.
في المقابل، لم تصدر ميتا حتى الآن توضيحًا رسميًا حول سبب هذا التباين في النسخ، ولا ما إذا كانت ستُطلق النسخة المستخدمة في LM Arena للجمهور مستقبلًا.