تتبع اليد في الوقت الحقيقي
يستخدم ملايين الأشخاص حول العالم لغة الإشارة. يعمل الباحثون على بناء تقنيات يمكنها فهم الإيماءات وتحويلها تلقائيًا إلى لغة مفهومة لدى الإنسان. ومع ذلك ، لم تحقق مثل هذه المشاريع نجاحًا كبيرًا من حيث الدقة.
طورت Google مؤخرًا خوارزمية يمكن استخدامها لتتبع اليد في الوقت الفعلي. يستفيد النظام الذكي من التعلم الآلي لإنشاء خريطة لليد. تم إنشاء الخريطة بمساعدة كاميرا أو هاتف ذكي. لا يمكننا إنكار حقيقة أن معظم الأنظمة تفشل في التقاط حركات اليد السريعة بدقة. لقد عالجت Google هذه المشكلة على وجه التحديد في هذا البحث. ومن المثير للاهتمام أنهم حدوا من كمية البيانات التي تمت معالجتها مسبقًا بواسطة الخوارزميات.
كيف يعمل تتبع اليد في الوقت الحقيقي؟
تترجم معظم المشاريع الحالية لغة الإشارة من خلال الكشف عن حجم وموقع اليد الكاملة. مع هذا البحث. ألغى الباحثون الحاجة إلى التعامل مع الأشكال المستطيلة بأحجام مختلفة. يتعرف نظام Google فقط على راحة اليد التي تكون مربعة الشكل. ثانيًا ، يتم إجراء عملية تحليل منفصلة للأصابع.
حركات اليد
استخدم الباحثون حوالي 30.000 صورة يدوية لتدريب خوارزمية التعلم الآلي. تم التقاط هذه الصور في ظروف إضاءة مختلفة ووضعية. يكتشف النظام بعد ذلك الإيماءة من خلال إجراء مقارنة بين وضع اليد وقائمة الكيانات المعروفة مثل الكرة أو السعادة. تصف Google التعرف على الإيماءات في ملف مشاركة مدونة .
ثم نقوم بتعيين مجموعة حالات الإصبع إلى مجموعة من الإيماءات المحددة مسبقًا. تسمح لنا هذه التقنية المباشرة والفعالة بتقدير الإيماءات الثابتة الأساسية بجودة معقولة. يدعم خط الأنابيب الحالي حركات العد من ثقافات متعددة ، على سبيل المثال لافتات يدوية أمريكية وأوروبية وصينية ومختلفة منها 'الإبهام' والقبضة المغلقة و 'موافق' و 'روك' و 'سبايدرمان'.
تنتج خوارزمية تتبع اليد النهائية أحدث النتائج من حيث السرعة والدقة. تستخدم الخوارزمية إطار عمل MediaPipe للتشغيل. يبدو أن هذه التقنية تقدم كبير في مجال لغة الإشارة. على الرغم من أنه لا يزال هناك مجال كبير للتحسين. لخلق فهم أفضل للغة الإشارة. يمكن لأي شخص تمديد هذا العمل لاستخدام تعابير الوجه وكلتا اليدين لتحقيق نتائج أفضل.
على الرغم من عدم وجود كلمة من Google ، إلا أنه من المحتمل أن تتمكن Google من تحسين تقنية التتبع اليدوي هذه في الوقت الفعلي لاستخدامها في منتجاتها. في هذه الأثناء ، إذا كنت تريد التلاعب بالكود ، فهو كذلك متاح للجمهور على GitHub .
العلامات جوجل
