మానవ చర్యలను అంచనా వేయడం

ప్రాజెక్ట్ యొక్క GitHub రిపోజిటరీ

skr

వివరాలు

ఈ ప్రాజెక్ట్ 2020 వసంత సెమిస్టర్‌లో Colorado School of Mines‌లోని Dr. Zhang యొక్క Human Centered Robotics (CSCI473) తరగతికి ప్రాజెక్ట్ #3గా ఉండేది. Support Vector Machines (SVM) ఉపయోగించడం ద్వారా రోబోటిక్స్‌లో మెషీన్ లెర్నింగ్‌కు ఒక పరిచయాన్ని అందించడానికి ఇది రూపొందించబడింది. అసలు ప్రాజెక్ట్ డెలివరబుల్స్/వివరణను ఇక్కడ చూడవచ్చు.

skr

ఈ ప్రాజెక్ట్ కోసం MSR Daily Activity 3D Dataset (Figure 2), కొన్ని మార్పులతో, ఉపయోగించబడింది. ఈ డేటాసెట్ Xbox Kinetic సెన్సర్ నుండి సేకరించి స్కెలిటన్‌లుగా నిల్వ చేసిన 16 మానవ కార్యకలాపాలను కలిగి ఉంది. స్కెలిటన్‌లు ఒక ఫ్రేమ్‌లో రికార్డ్ చేయబడిన మానవుని 20 జాయింట్ల వాస్తవ ప్రపంచ, (x, y, z), కోఆర్డినేట్ల శ్రేణి. స్కెలిటన్ అంటే ఏమిటో చూపించే చిత్రం ఇక్కడ ఉంది:

skr

మానవ చర్యల అంచనాను సాధించడానికి, SVM ద్వారా ప్రాసెస్ చేయగల రూపంలో ముడి డేటాను తప్పనిసరిగా ప్రాతినిధ్యం చేయాలి. ఈ ప్రాజెక్ట్ కోసం, కింది ప్రాతినిధ్యాలు ఉపయోగించబడ్డాయి:

  • సాపేక్ష కోణాలు మరియు దూరాలు (RAD) ప్రాతినిధ్యం
  • జాయింట్ స్థాన వ్యత్యాసాల హిస్టోగ్రామ్ (HJPD) ప్రాతినిధ్యం

వర్గీకరణ కోసం, మానవ చర్యలను అంచనా వేయగల ఒక మోడల్‌ను రూపొందించడానికి ప్రాతినిధ్యం(లు) LIBSVM ద్వారా నడిచే SVMలోకి పంపబడతాయి. రెండు మోడళ్లను రూపొందిస్తారు, ఒకటి RAD ఉపయోగించి, మరొకటి HJPD ఉపయోగించి. ఈ మోడళ్లను సాధ్యమైనంత ఖచ్చితమైనవిగా చేయడం మరియు ఏ ప్రాతినిధ్యం ఉత్తమంగా పనిచేస్తుందో చూడడం లక్ష్యం.

ఇది తెలిసినందున, కోడ్ ఏమి చేస్తుందో ఇక్కడ ఒక అవలోకనం ఉంది:

1. మార్చబడిన డేటాసెట్ నుండి ముడి డేటాను లోడ్ చేయడం 2. లోడ్ చేసిన డేటాసెట్ నుండి ఏదైనా అవుట్‌లయర్ మరియు/లేదా లోపభూయిష్ట డేటాను తొలగించడం 3. తుది ముడి డేటాను RAD మరియు HJPD ప్రాతినిధ్యాలుగా మార్చడం 4. రెండు మోడళ్లను రూపొందించడానికి ప్రాతినిధ్యాలను ట్యూన్ చేసిన SVM(ల)లోకి పంపడం 5. ఆ రెండు మోడళ్లకు పరీక్షా ముడి డేటాను అందించి, మోడల్(లు) ఎలా పనిచేశాయో కొలవడానికి ఒక కన్ఫ్యూజన్ మ్యాట్రిక్స్‌ను రూపొందించడం.

ఫలితాలు

కోడ్‌ను అమలు చేసి, నా సామర్థ్యానికి తగ్గట్టు మోడళ్లను ఉత్తమంగా ట్యూన్ చేసిన తర్వాత, RAD మరియు HJPD మోడళ్ల రెండింటి తుది కన్ఫ్యూజన్ మ్యాట్రిక్స్‌లు ఇవి:

Representation: RAD
Accuracy: 62.5%
LIBSVM Classification   8.0   10.0  12.0  13.0  15.0  16.0
Actual Activity Number
8.0                        8     0     0     0     0     0
10.0                       1     5     0     0     1     1
12.0                       0     1     1     0     3     3
13.0                       0     0     0     6     1     1
15.0                       0     0     0     1     5     2
16.0                       0     0     0     0     3     5

Representation: HJPD
Accuracy: 70.83%
LIBSVM Classification   8.0   10.0  12.0  13.0  15.0  16.0
Actual Activity Number
8.0                        7     1     0     0     0     0
10.0                       1     5     0     0     0     2
12.0                       0     0     7     0     1     0
13.0                       2     0     1     5     0     0
15.0                       0     0     0     0     7     1
16.0                       0     2     0     0     3     3

ముగింపు

రెండు ఖచ్చితత్వాలు 50% కంటే ఎక్కువగా ఉన్నందున, ఈ ప్రాజెక్ట్ విజయవంతమైంది. అలాగే, ఈ వర్గీకరణ కోసం ఉపయోగించడానికి HJPD ప్రాతినిధ్యం మరింత ఖచ్చితమైన ప్రాతినిధ్యంగా కనిపిస్తోంది. దీనితో, స్కెలిటన్ డేటాను ఉపయోగించి మానవ చర్యలను అంచనా వేసే ఒక మోడల్(లు) ఉన్నాయి. ఇక్కడి మోడల్(లు) పరిపూర్ణతకు చాలా దూరంగా ఉన్నప్పటికీ, యాదృచ్ఛిక అంచనా కంటే మెరుగ్గా ఉన్నాయి. ఈ ప్రాజెక్ట్ తరువాత Moving Pose ప్రాజెక్ట్‌కు జన్మనిచ్చింది.

అదనపు గమనికలు: