كشفت جوجل عن ميزة جديدة في سلسلة هواتف Pixel 11 تهدف إلى تسهيل التواصل بين المستخدمين الصم وضعاف السمع والأشخاص الذين لا يجيدون لغة الإشارة، من خلال تحويل إشارات اليد إلى نص مكتوب بشكل مباشر باستخدام كاميرا الهاتف وتقنيات الذكاء الاصطناعي.

كاميرا الهاتف تترجم لغة الإشارة إلى نص

تعتمد الميزة الجديدة على نموذج ذكاء اصطناعي طورته جوجل ديب مايند يحمل اسم SL2T، وهو مصمم للتعرف على لغة الإشارة وتحويلها إلى نص ، وبذلك يستطيع المستخدم التوقيع أمام كاميرا الهاتف، ليظهر الكلام على هيئة نص يمكن استخدامه في الرسائل والبحث على الإنترنت والمستندات وحتى أثناء التفاعل مع خدمات الذكاء الاصطناعي.

وتقول جوجل ، إن الهدف من التقنية هو جعل الهاتف وسيلة تساعد على إجراء محادثات أكثر طبيعية في المواقف اليومية، بدلاً من اضطرار الشخص الأصم إلى التوقف عن استخدام لغة الإشارة والاعتماد على الكتابة للتواصل مع الطرف الآخر.

تقنية مصممة مع التركيز على الخصوصية

وتولي جوجل اهتماماً أيضاً بخصوصية المستخدمين، إذ يعتمد النظام على معالجة نقاط الحركة الخاصة بجسم الشخص على الهاتف بدلاً من إرسال تسجيل الفيديو الخام إلى خوادم الشركة ، وترسل البيانات المتعلقة بهذه النقاط للترجمة، بينما يتم التخلص من الفيديو الأصلي.

وتشير جوجل ديب مايند ، إلى أن النموذج تدرب على أكثر من 100 ألف ساعة من البيانات التي تغطي أكثر من 50 لغة إشارة، كما جرى اختبار أدائه مع مستخدمين يستخدمون اليد اليسرى، إضافة إلى حالات استخدام يد واحدة، وهي حالة قد تحدث عندما يمسك الشخص الهاتف باليد الأخرى.

وعند الإطلاق، تدعم الميزة لغة الإشارة الأمريكية وتحويلها إلى الإنجليزية على هواتف Pixel 11، بينما تخطط جوجل لتوسيع دعم اللغات والأجهزة مستقبلاً.

وتوضح جوجل ، أن ترجمة لغة الإشارة تختلف عن ترجمة الكلام، لأن لغات الإشارة لها قواعد ومفردات مستقلة ولا تعتمد على تحويل الكلمات بشكل حرفي ، لذلك سيكون الاختبار الحقيقي للميزة هو مدى قدرتها على التعامل مع المحادثات السريعة والطبيعية وفي ظروف الإضاءة والاستخدام اليومية، وليس فقط في بيئات الاختبار المنظمة.

وإذا نجحت التقنية في التعامل مع هذه الحالات بكفاءة، فقد تمثل خطوة مهمة نحو جعل الهواتف الذكية أدوات أكثر شمولاً، وتسهيل التواصل اليومي بين الصم والأشخاص الذين لا يعرفون لغة الإشارة.