توقع أفعال الإنسان

مستودع المشروع على GitHub

skr

التفاصيل

كان هذا المشروع هو المشروع رقم 3 في فصل دراسي “روبوتات موجهة نحو الإنسان” (CSCI473) للدكتور زانغ في مدرسة كولورادو للمناجم خلال فصل الربيع 2020. تم تصميمه لتقديم مقدمة في تعلم الآلة في الروبوتات من خلال استخدام آلات الدعم المتجهة (SVM). يمكن عرض تسليمات/وصف المشروع الأصلي هنا.

skr

بالنسبة لهذا المشروع، تم استخدام مجموعة بيانات النشاط اليومي 3D من MSR (الشكل 2)، مع بعض التعديلات. تحتوي هذه المجموعة على 16 نشاطًا بشريًا تم جمعها من مستشعر Xbox Kinetic وتخزينها كهيكليات عظمية. الهيكليات هي مصفوفة من إحداثيات العالم الحقيقي، (x، y، z)، لـ 20 مفصلًا من جسم الإنسان تم تسجيلها في إطار واحد. هنا شكل يوضح ما هو الهيكل العظمي:

skr

لتحقيق توقع أفعال الإنسان، يجب تمثيل البيانات الخام في شكل يمكن معالجته بواسطة SVM. بالنسبة لهذا المشروع، تم استخدام التمثيلات التالية:

  • تمثيل الزوايا النسبية والمسافات (RAD)
  • تمثيل اختلافات موضع المفاصل (HJPD)

للتصنيف، يتم إرسال التمثيل (أو التمثيلات) إلى SVM، المدعوم بـ LIBSVM، لإنشاء نموذج يمكنه توقع أفعال الإنسان. سيتم إنشاء نموذجين، واحد باستخدام RAD وآخر باستخدام HJPD. الهدف هو جعل هذه النماذج دقيقة قدر الإمكان ورؤية أي تمثيل يؤدي بشكل أفضل.

مع معرفة ذلك، إليك نظرة عامة على ما يفعله الكود:

  1. تحميل البيانات الخام من مجموعة البيانات المعدلة
  2. إزالة أي بيانات شاذة و/أو بيانات خطأ من مجموعة البيانات المحملة
  3. تحويل البيانات الخام النهائية إلى تمثيلات RAD و HJPD
  4. يتم إرسال التمثيلات إلى SVM (SVMs) المعدلة لتوليد نموذجين
  5. يتم بعد ذلك تغذية النموذجين ببيانات اختبار خام ويتم إنشاء مصفوفة ارتباك لقياس كيفية أداء النموذج (النماذج).

النتائج

بعد تشغيل الكود وضبط النماذج بأفضل ما أستطيع، إليك مصفوفة الارتباك النهائية لكل من نماذج RAD و HJPD:

التمثيل: RAD
الدقة: 62.5%
تصنيف LIBSVM   8.0   10.0  12.0  13.0  15.0  16.0
رقم النشاط الفعلي
8.0                        8     0     0     0     0     0
10.0                       1     5     0     0     1     1
12.0                       0     1     1     0     3     3
13.0                       0     0     0     6     1     1
15.0                       0     0     0     1     5     2
16.0                       0     0     0     0     3     5

التمثيل: HJPD
الدقة: 70.83%
تصنيف LIBSVM   8.0   10.0  12.0  13.0  15.0  16.0
رقم النشاط الفعلي
8.0                        7     1     0     0     0     0
10.0                       1     5     0     0     0     2
12.0                       0     0     7     0     1     0
13.0                       2     0     1     5     0     0
15.0                       0     0     0     0     7     1
16.0                       0     2     0     0     3     3

الخاتمة

نظرًا لأن كلا الدقتين تتجاوزان 50%، كان هذا المشروع ناجحًا. أيضًا، يبدو أن تمثيل HJPD هو التمثيل الأكثر دقة للاستخدام في هذا التصنيف. مع هذا، هناك نموذج (نماذج) تتوقع أفعال الإنسان باستخدام بيانات الهيكل العظمي. النموذج (النماذج) هنا بعيدة عن الكمال لكنها أفضل من العشوائية. كان هذا المشروع هو الذي أعطى الحياة لمشروع الوضع المتحرك لاحقًا.

ملاحظات إضافية: