كشفت دراسة جديدة أن الاستمرار في مجادلة روبوتات الذكاء الاصطناعي وتكرار معلومات خاطئة أمامها قد يدفع بعض النماذج إلى التخلي عن إجاباتها الصحيحة والموافقة في النهاية على معلومات مضللة، في نتيجة تكشف جانبًا جديدًا من مشكلات الاعتماد على روبوتات الدردشة كمصدر للمعلومات.

واختبر باحثون من جامعة أريزونا 7 نماذج للذكاء الاصطناعي، هي GPT-3.5 وGPT-4o وGPT-4o-mini، وClaude 3.5 Sonnet، وGemini 1.5 Pro، وLlama-3-70B، وDeepSeek-R1، بهدف معرفة مدى مقاومتها للمعلومات المضللة خلال المحادثات الممتدة. ونُشرت الدراسة في دورية Scientific Reports التابعة لمجموعة Nature.

100 معلومة خاطئة.. وتكرارها 50 مرة

لم يكتف الباحثون بطرح سؤال واحد على كل نموذج، وإنما صمموا تجربة أكثر تعقيدًا، قدموا خلالها للنماذج 100 عبارة خاطئة عمدًا، تتراوح بين معلومات واضحة الخطأ وأخرى غامضة يصعب التحقق منها، ثم كرر الباحثون هذه المعلومات الخاطئة داخل محادثات متتابعة، ووصل التكرار في بعض الحالات إلى 50 مرة، بهدف معرفة ما إذا كان النموذج سيظل متمسكًا بالإجابة الصحيحة أم سيتأثر بإصرار المستخدم وتكراره للمعلومة نفسها، وأظهرت النتائج أن جميع النماذج السبعة يمكن أن تتأثر بدرجات مختلفة، إذ تراوحت معدلات تأكيد المعلومات المضللة بعد التكرار بين 0.08% و12.3%، وهو فارق يتجاوز 150 مرة بين بعض النماذج.

ChatGPT 3.5 الأكثر قابلية للتأثر

كان GPT-3.5 النموذج الأكثر قابلية لتأكيد المعلومات الكاذبة أثناء المحادثات التي تضمنت تكرارًا مستمرًا للمعلومات المضللة، بينما سجل Claude 3.5 Sonnet أقل معدل لتأكيد هذه المعلومات، وتشير النتائج إلى أن أداء النموذج في سؤال منفرد لا يعكس بالضرورة سلوكه خلال محادثة طويلة، إذ يمكن أن تتغير الإجابة مع استمرار الحوار وازدياد الضغط من المستخدم.
وهذه النقطة تحديدًا تعد من أبرز نتائج الدراسة، إذ يرى الباحثون أن اختبارات الذكاء الاصطناعي التقليدية التي تعتمد على سؤال واحد قد تفشل في الكشف عن بعض نقاط الضعف التي تظهر فقط خلال الحوارات الممتدة.

ظاهرة غريبة.. الروبوت يرفض المعلومة ثم يصدقها

رصد الباحثون أيضًا ظاهرة أطلقوا عليها "التردد الحواري" أو Conversational Reverberation، وتحدث هذه الظاهرة عندما يتنقل النموذج بين قبول المعلومة الخاطئة ورفضها عبر الرسائل المتتالية، بحيث يمكن أن يرفض الادعاء في إحدى الإجابات، ثم يوافق عليه لاحقًا، قبل أن يعود مرة أخرى إلى رفضه، وبالتالي، فإن المشكلة لا تقتصر على أن الذكاء الاصطناعي قد يعطي إجابة خاطئة، وإنما قد يصبح موقفه نفسه غير مستقر خلال المحادثة.

المعلومات الغامضة تجعل الذكاء الاصطناعي أكثر عرضة للخداع

وجد الباحثون كذلك أن النماذج السبعة كانت أكثر عرضة لقبول المعلومات المضللة عندما كانت تتعلق بموضوعات غامضة أو غير شائعة، وأظهرت الدراسة ارتباطًا إحصائيًا بين درجة غموض المعلومات واحتمال قبول النموذج لها خلال اختبار التكرار، وهو ما يشير إلى أن كمية المعلومات المتاحة للنموذج حول موضوع معين قد تلعب دورًا في قدرته على مقاومة الادعاءات الكاذبة، وبمعنى آخر، قد يكون النموذج أكثر صمودًا أمام معلومة خاطئة تتعلق بموضوع واسع ومشهور، لكنه يصبح أكثر قابلية للتأثر عندما تكون المعلومة متخصصة أو نادرة أو يصعب التحقق منها.

ماذا يحدث عندما يتحول النقاش إلى جدال؟

لم يتوقف الباحثون عند اختبار التكرار، بل اختبروا أيضًا ما يحدث عندما يصبح المستخدم أكثر إصرارًا وجدلية في محاولة إقناع النموذج بالمعلومة الخاطئة، وكان DeepSeek-R1 هو النموذج الأكثر قابلية للتأثر في هذا الاختبار، إذ ارتفعت نسبة قبوله للمعلومات المضللة من نحو 1% في اختبار التكرار إلى 22.2% عند تعرضه لضغط جدلي متزايد.
لكن الباحثين وضعوا تحفظًا مهمًا على هذه النتيجة، لأن DeepSeek-R1 كان يميل أحيانًا إلى استخدام السخرية والفكاهة، ما جعل من الصعب تحديد ما إذا كان بعض ردوده يمثل موافقة حقيقية على المعلومة أم سخرية منها.

الخبر الجيد.. بعض النماذج تستطيع تصحيح أخطائها

رغم النتائج المقلقة، كشفت الدراسة عن جانب إيجابي يتعلق بقدرة النماذج على تصحيح أخطائها، فعندما مُنحت النماذج فرصة ثانية لإعادة النظر في المعلومات التي سبق أن قدمتها بشكل خاطئ، تمكنت أربعة نماذج هي GPT-4o وGPT-4o-mini وGemini 1.5 Pro وDeepSeek-R1 من تصحيح أخطائها بنسبة 100% في الاختبار المستخدم، لكن المفارقة أن النموذج الذي سجل أقل معدل للأخطاء لم يكن بالضرورة الأفضل في تصحيح الأخطاء النادرة التي وقع فيها، وهو ما يوضح أن انخفاض معدل الخطأ وحده لا يكفي للحكم على موثوقية النموذج.

لماذا تهم هذه النتائج مستخدمي ChatGPT وGemini وغيرهما؟

تكمن أهمية الدراسة في أنها تنقل النقاش حول "هل الذكاء الاصطناعي يهلوس؟" إلى سؤال أكثر تعقيدًا: ماذا يحدث عندما يستمر المستخدم في الضغط على النموذج؟، فالروبوت قد يبدأ المحادثة بإجابة صحيحة ويرفض معلومة خاطئة، لكن تكرار الادعاء أو تغيير طريقة صياغته أو تصعيد النقاش يمكن أن يؤدي في بعض الحالات إلى تغير الإجابة، ولهذا يحذر الباحثون من تقييم موثوقية نماذج الذكاء الاصطناعي بناءً على تفاعل واحد فقط، خصوصًا في المجالات التي تكون فيها دقة المعلومات مسألة حاسمة.

الذكاء الاصطناعي ليس "شاهدًا" على صحة المعلومة

وتشير نتائج الدراسة إلى نقطة مهمة للمستخدمين: ثقة الروبوت في إجابته لا تعني بالضرورة أن الإجابة صحيحة، فاللغة الواثقة والطلاقة في الحوار يمكن أن تخفي وراءها حالة من عدم اليقين أو حتى معلومة خاطئة، كما أن استمرار المحادثة لا يضمن أن النموذج سيصبح أكثر دقة؛ بل قد يحدث العكس في بعض الظروف، ولهذا يظل التحقق من المصادر الخارجية ضروريًا عند التعامل مع المعلومات الحساسة أو غير المؤكدة، خاصة عندما تكون المعلومة نادرة أو متخصصة.

دراسة تكشف حدود اختبارات الذكاء الاصطناعي التقليدية

يرى الباحثون أن النتائج تكشف عن نقاط ضعف قد لا تظهر في اختبارات الذكاء الاصطناعي التي تعتمد على أسئلة وإجابات منفردة، فالنماذج لا تعمل في الواقع دائمًا من خلال سؤال واحد ثم إجابة واحدة، وإنما تدخل في محادثات طويلة مع المستخدمين، وقد تتعرض خلالها للتكرار والإقناع والضغط والجدال، ومن هنا، تقترح الدراسة أن تقييم سلامة وموثوقية نماذج الذكاء الاصطناعي يجب أن يأخذ في الاعتبار ديناميكيات المحادثة الطويلة، وليس فقط دقة الإجابة الأولى.
وفي النهاية، لا تقول الدراسة إن روبوتات الذكاء الاصطناعي ستصدق أي معلومة يكررها المستخدم، لكنها توضح أن التكرار والضغط الحواري يمكن أن يكشفا نقاط ضعف لا تظهر في التفاعلات القصيرة، وأن مقاومة المعلومات المضللة تختلف بصورة كبيرة من نموذج إلى آخر.