دراسة DecodingTrust لتقييم موثوقية نموذج GPT

مؤخراً، أصدرت دراسة مشتركة من جامعة إلينوي في أوربانا شامبين، جامعة ستانفورد، جامعة كاليفورنيا في بيركلي، مركز أمان الذكاء الاصطناعي، ومعهد أبحاث مايكروسوفت منصة تقييم شامل لثقة نماذج اللغة الكبيرة (LLMs). تحمل هذه الدراسة اسم "DecodingTrust" وتقوم بتقييم شامل لثقة نموذج GPT.

أظهرت الأبحاث وجود بعض الثغرات غير المعلنة المتعلقة بالموثوقية. على سبيل المثال، من السهل على نموذج GPT إنتاج مخرجات ضارة ومتحيزة، وقد يكشف أيضًا عن بيانات التدريب والمعلومات الخاصة بالتاريخ المحادثة. على الرغم من أن GPT-4 عادة ما يكون أكثر موثوقية من GPT-3.5 في الاختبارات القياسية، إلا أنه يصبح أكثر عرضة للهجمات عند مواجهة تعليمات مصممة بشكل خبيث. قد يكون هذا بسبب أن GPT-4 يتبع التعليمات المضللة بشكل أكثر صرامة.

قامت فريق البحث بتقييم شامل لنموذج GPT من ثمانية زوايا مختلفة، بما في ذلك متانة الهجمات العدائية، والمحتوى الضار والتحيز، وانتهاكات الخصوصية وغيرها من الجوانب. تم استخدام مجموعة متنوعة من السيناريوهات والمهام والمعايير ومجموعات البيانات في التقييم.

فيما يتعلق بالعروض التنافسية، وجدت الأبحاث أن GPT-3.5 و GPT-4 لا يتم تضليلهما بواسطة الأمثلة المضادة للواقع، ولكن في بعض الحالات قد يتم تضليلهما لإجراء تنبؤات خاطئة. فيما يتعلق بالمحتوى الضار والتحيز، فإن كلا النموذجين من GPT لا يظهران انحرافًا كبيرًا في معظم موضوعات الصور النمطية تحت المطالبات العادية، ولكن قد ينتج عنهما محتوى متحيز تحت المطالبات المضللة. كما أن GPT-4 أكثر تأثرًا بهذا التأثير من GPT-3.5.

فيما يتعلق بحماية الخصوصية، أظهرت الأبحاث أن نماذج GPT قد تكشف عن معلومات حساسة في بيانات التدريب، مثل عناوين البريد الإلكتروني. يتمتع GPT-4 بأداء أفضل من GPT-3.5 في حماية المعلومات الشخصية، ولكن كلا النموذجين قويان في حماية أنواع معينة من المعلومات. ومع ذلك، في بعض الحالات، يكون GPT-4 أكثر عرضة للكشف عن الخصوصية مقارنةً بـ GPT-3.5.

تقدم هذه الدراسة منظورًا شاملاً لتقييم موثوقية نماذج GPT، كاشفة عن بعض المخاطر المحتملة. يأمل فريق البحث أن تشجع هذه العمل المزيد من الباحثين على التركيز على هذا المجال، والعمل معًا لإنشاء نماذج ذكاء اصطناعي أكثر قوة وموثوقية.