شهد روبوت ChatGPT تطورًا ملحوظًا في مهارات إنتاج الأكواد البرمجية، مما أثار اهتمام الباحثين والمطورين حول العالم. ومع ذلك، لا تزال هناك تساؤلات حول موثوقيته في المهام البرمجية، وقدرته على اكتشاف الأخطاء وتصحيحها. في هذا المقال، نستعرض دراسة حديثة أجرتها جامعة جيجيانغ حول أداء ChatGPT في البرمجة، مع التركيز على التحديات والتحسينات الممكنة.
ChatGPT في البرمجة بين الدعم والتحديات
أظهرت الدراسة التي قادتها الأستاذة المساعدة Xing Hu نتائج متباينة عند اختبار نموذج GPT-3.5 في إنشاء الأكواد البرمجية. وأبرز النتائج:
ChatGPT في البرمجة بين الدعم والتحديات
معدل نجاح 57% في إنتاج أكواد صحيحة تؤدي المهام المطلوبة.
معدل نجاح 73% في إنشاء أكواد خالية من الثغرات الأمنية.
معدل نجاح 70% في إصلاح الأخطاء البرمجية.
على الرغم من هذه النتائج الإيجابية نسبيًا، إلا أن الأداء كان دون المستوى المطلوب في بعض الحالات، مما يشير إلى وجود تحديات تستدعي الحذر.
القدرة على التحقق من دقة الأكواد البرمجية
ركز الباحثون في الدراسة على تقييم قدرة ChatGPT على التحقق من صحة الأكواد البرمجية التي ينتجها باستخدام طريقتين:
المطالبات المباشرة:
تضمنت توجيه أسئلة مباشرة للنموذج حول صحة الكود.
معدل الخطأ في تقييم الأكواد الصحيحة بلغ 39%.
أخطاء التقييم المتعلقة بالأمان وصلت إلى 25%.
نسبة الخطأ في تقييم إصلاحات الكود بلغت 28%.
الأسئلة التوجيهية:
تضمنت أسئلة موجهة لتسليط الضوء على نقاط محددة في الكود.
ساهمت هذه الطريقة في تحسين دقة ChatGPT، حيث:
ارتفعت نسبة اكتشاف الأخطاء بمعدل 25%.
تحسنت القدرة على اكتشاف الثغرات الأمنية بنسبة 69%.
زادت دقة تقييم إصلاح الكود بنسبة 33%.
الهلوسة المتناقضة: تحدٍ جديد
كشفت الدراسة عن ظاهرة أطلق عليها الباحثون اسم “الهلوسة المتناقضة ذاتيًا”، حيث:
مقارنة أداء GPT-4 بـ GPT-3.5
عند اختبار نموذج GPT-4، أظهرت النتائج تحسنًا في إنشاء وإصلاح الأكواد مقارنة بـ GPT-3.5، ولكن المشكلة الأساسية المتعلقة بالتحقق الذاتي ظلت قائمة:
توصيات وتحذيرات
أكدت البروفيسورة Xing Hu أن ChatGPT يجب أن يُستخدم كأداة داعمة للمطورين، وليس كبديل لهم، مع ضرورة تقييم مخرجاته بعناية. يمكن أن يساهم ChatGPT في:
تسريع إنشاء النماذج الأولية.
اقتراح حلول للمشكلات البرمجية.
ومع ذلك، يبقى القرار النهائي حول جودة الأكواد وسلامتها مسؤولية المطور البشري.