إضافة شرح للقرار الذي يصدره الذكاء الاصطناعي تبدو للوهلة الأولى وسيلة طبيعية لجعله أكثر أمانًا، لكن تجربة واسعة في التشخيص الجلدي تكشف مفارقة لافتة، فالشرح الذي يولده النموذج قد يساعد المستخدم عندما تكون الإجابة صحيحة، لكنه قد يجعله أيضًا أكثر استعدادًا لقبول الخطأ بثقة، بينما أظهر الأطباء ذوو الخبرة مقاومة أكبر لهذا التأثير، وهو ما يطرح سؤالًا مهمًا حول التطبيقات الطبية الموجهة مباشرة إلى الجمهور.

شرح مقنع لا يعني تشخيصًا صحيحًا
 

وفقًا لدراسة علمية بعنوان «الذكاء الاصطناعي المفسر في تشخيص الأمراض الجلدية سلاح ذو حدين بين الأطباء والجمهور» نقلها موقع معهد ماساتشوستس للتكنولوجيا ونُشرت في مجلة نيتشر ميديسن، أجرى الباحثون تجربتين واسعتين شملتا مئات من غير المتخصصين وأطباء الرعاية الأولية، واختبروا عدة طرق لشرح تشخيصات نموذج ذكاء اصطناعي للأمراض الجلدية، من بينها عرض درجة الثقة والصور المشابهة وخرائط توضح مناطق الصورة المهمة وتفسيرات مكتوبة بلغة سهلة أنتجها نموذج لغوي كبير. وأظهرت النتائج أن النظام المصمم لتحقيق أداء أكثر توازنًا عبر ألوان البشرة ساعد المشاركين على رفع الدقة وتقليل بعض الفوارق المرتبطة بلون الجلد، لكن طريقة عرض تفسير الذكاء الاصطناعي أحدثت تأثيرات مختلفة بصورة واضحة بين الجمهور والأطباء.

المستخدم المبتدئ هو الحلقة الأكثر حساسية
 

وجد الباحثون أن غير المتخصصين كانوا أكثر عرضة لما يعرف بالانحياز إلى الأتمتة، أي الميل إلى اتباع توصية النظام حتى عندما تكون خاطئة، وكان التأثير ملحوظًا خصوصًا عندما قدم النموذج اللغوي تفسيرًا يبدو منطقيًا ومقنعًا، في المقابل أظهر أطباء الرعاية الأولية الأكثر خبرة قدرة أكبر على الاستفادة من الذكاء الاصطناعي من دون الانجرار بالدرجة نفسها وراء أخطائه. كما أشارت الدراسة إلى أن ترتيب عرض المعلومات مهم، لأن مشاهدة تشخيص الآلة قبل تكوين المستخدم رأيه قد تخلق انحيازًا مبكرًا يصعب التخلص منه. وتمنح هذه النتائج مطوري تطبيقات التشخيص الصحي رسالة شديدة الأهمية، فالأمان لا يتحقق بمجرد إضافة تفسير إلى القرار الآلي، بل يجب تصميم التفاعل وفق مستوى خبرة المستخدم وتوقيت عرض توصية النظام، خصوصًا إذا كان التطبيق يصل مباشرة إلى ملايين الأشخاص الذين لا يمتلكون خلفية طبية تمكنهم من اكتشاف الخطأ المقنع.