توقع أفعال الإنسان

مستودع GitHub للمشروع

skr

التفاصيل

كان هذا المشروع هو المشروع رقم 3 لمقرر الروبوتات المتمحورة حول الإنسان (CSCI473) للدكتور زانغ في كلية كولورادو للمعادن خلال فصل الربيع 2020. تم تصميمه لتقديم مقدمة لتعلم الآلة في الروبوتات من خلال استخدام آلات الدعم الناقل (SVM). يمكن الاطلاع على مخرجات/وصف المشروع الأصلي هنا.

skr

لهذا المشروع تم استخدام مجموعة بيانات النشاط اليومي 3D من MSR (الشكل 2)، مع بعض التعديلات. تحتوي هذه المجموعة على 16 نشاطًا بشريًا تم جمعها من مستشعر Xbox Kinetic وتخزينها كهيكليات عظمية. الهيكليات هي مصفوفة من إحداثيات العالم الحقيقي (x, y, z) لـ 20 مفصلًا للإنسان مسجلة في إطار واحد. إليكم صورة توضح ما هي الهيكل العظمي:

skr

لتحقيق توقع أفعال الإنسان، يجب تمثيل البيانات الخام بطريقة يمكن معالجتها بواسطة SVM. لهذا المشروع، تم استخدام التمثيلات التالية:

  • تمثيل الزوايا والمسافات النسبية (RAD)
  • تمثيل مخطط الفروقات في مواضع المفاصل (HJPD)

للتصنيف، يتم إرسال التمثيل(ات) إلى SVM، المدعومة من قبل LIBSVM، لإنشاء نموذج يمكنه توقع أفعال الإنسان. سيتم إنشاء نموذجين، أحدهما يستخدم RAD والآخر يستخدم HJPD. الهدف هو جعل هذه النماذج دقيقة قدر الإمكان ومعرفة أي تمثيل يقدم الأداء الأفضل.

مع معرفة ذلك، إليكم نظرة عامة على ما يفعله الكود:

  1. تحميل البيانات الخام من مجموعة البيانات المعدلة
  2. إزالة أي بيانات شاذة أو خاطئة من مجموعة البيانات المحملة
  3. تحويل البيانات الخام النهائية إلى تمثيلات RAD و HJPD
  4. يتم إرسال التمثيلات إلى SVM(s) المضبوطة لتوليد نموذجين
  5. يتم بعد ذلك تغذية النموذجين ببيانات اختبار خام ويتم إنشاء مصفوفة ارتباك لقياس أداء النموذج(ات).

النتائج

بعد تشغيل الكود وضبط النماذج بأفضل ما يمكنني، إليكم مصفوفة الارتباك النهائية لكل من نماذج RAD و HJPD:

Representation: RAD
Accuracy: 62.5%
LIBSVM Classification   8.0   10.0  12.0  13.0  15.0  16.0
Actual Activity Number
8.0                        8     0     0     0     0     0
10.0                       1     5     0     0     1     1
12.0                       0     1     1     0     3     3
13.0                       0     0     0     6     1     1
15.0                       0     0     0     1     5     2
16.0                       0     0     0     0     3     5

Representation: HJPD
Accuracy: 70.83%
LIBSVM Classification   8.0   10.0  12.0  13.0  15.0  16.0
Actual Activity Number
8.0                        7     1     0     0     0     0
10.0                       1     5     0     0     0     2
12.0                       0     0     7     0     1     0
13.0                       2     0     1     5     0     0
15.0                       0     0     0     0     7     1
16.0                       0     2     0     0     3     3

الخلاصة

نظرًا لأن كلا الدقتين تتجاوزان 50٪، فقد كان هذا المشروع ناجحًا. كما يبدو أن تمثيل HJPD هو التمثيل الأكثر دقة للاستخدام في هذه التصنيفات. وبالتالي، هناك نموذج(ات) يتوقعون أفعال الإنسان باستخدام بيانات الهيكل العظمي. النماذج هنا بعيدة عن الكمال لكنها أفضل من العشوائية. هذا المشروع هو ما أدى إلى نشوء مشروع Moving Pose لاحقًا.

ملاحظات إضافية: