Titlu Proiect:
SoV Lite – Substituție Senzorială Audio-Haptică Naturalistă, Accesibilă și Ergonomică pentru Nevăzători (Contract UEFISCDI numarul 34PTE din 01/06/2020)
Coordonator project:
SC INFO WORLD SRL
Manager proiect:
Alexandru Gradinaru
Buget Total Proiect:
1.546.952,00 RON/
Buget Public : 1.183.000,00 RON
Durata implementare proiect:
24 luni
Finanțat de
UEFISCDI – Transfer la operatorul economic (PTE) – Cod depunere: PN-III-P2-2.1-PTE-2019-0810 http://uefiscdi.gov.ro/
REZUMATUL PROIECTULUI
Proiectul SoV Lite își propune să ajute persoanele cu deficiențe de vedere să perceapă și să navigheze în aproape orice tip de mediu (interior / exterior), fără nevoia de a utiliza etichete sau senzori predefiniți, în condiții normale de iluminare (pe timp de zi, cu lumină naturală / artificială). Acest proiect construiește peste rezultatele obținute în proiectul Sound of Vision (www.soundofvision.net), în direcția dezvoltării unui sistem de asistență mai ergonomic și mai accesibil.
În cadrul proiectului SoV Lite a fost proiectat, dezvoltat si validat un dispozitiv portabil original neinvaziv capabil să genereze o reprezentare auditivă multisenzorială + haptică a mediului înconjurător. Această reprezentare este creată, actualizată și transmisă utilizatorului cu deficiențe de vedere în mod continuu și în timp real. Această reprezentare permite utilizatorului să perceapă mediul într-o oarecare măsură, fără a bloca informațiile auditive relevante din mediu. Dispozitivul SoV Lite include componente hardware pentru scanarea 3D a mediului înconjurător, componente de procesare și componente de redare audio și haptică.
În plus față de această reprezentare transmisă în mod continuu, sistemul monitorizează permanent evenimentele de interes reprezentând situații speciale, atât de natură pozitivă (de exemplu, întâlnirea unei cunoștințe sociale), cât și de natură negativă (de exemplu, pericolul de a lovi un obiect sau de a cădea într-o groapă). În cazul în care este detectat un astfel de eveniment, acesta va fi semnalizat utilizatorului, într-un mod specific, pe baza importanței și priorității acestuia.
Figura: imagine RGB asupra mediului și imaginea segmentată pentru percepție-navigare
Figura: antrenarea în medii virtuale
Figura: antrenamente și teste în medii reale controlate
Figura: Sound of Vision / SoV Lite la World Expo Dubai 2022
SoV Lite
SoV Lite va aduce foarte aproape de stadiul de produs finit și comercial prototipul final al proiectului Horizon 2020 Sound of Vision – un sistem care îi va ajuta pe nevăzători să perceapă dinamic și navigheze orice medii interioare și exterioare, crescând astfel substanțial mobilitatea și calitatea vieții lor.
Rezultatele proiectului SoV Lite vor consta în obținerea unui sistem care va utiliza o cameră stereo de ultimă generație, cu deschidere mare (>100 grade pe orizontală și 60 grade pe verticală) și care, deși are anumite limitări în spații interioare (dificultate în estimarea distanței în cazul obiectelor lipsite de textură), pune întotdeauna la dispoziție informație completă de culoare de rezoluție foarte ridicată, care poate fi corelată cu alte date achiziționate (ex. inerțiale, ultrasunete) pentru obținerea unei hărții de adâncime satisfăcătoare și asigurarea funcționalității dorite (navigare și percepție).
Astfel, trecerea la stereo de ultimă generație + senzori inerțiali + sensor ultrasunete, și adaptarea algoritmilor, vor acoperi printr-un singur echipament, de greutate redusă și cost accesibil, toate mediile indoor și outdoor și vor permite unificarea și optimizarea fluxurilor de procesare 3D.