Rezultate

Etapa 1 – Experimentare și stabilire soluții tehnice

Această secțiune prezintă principalele rezultate pentru activitățile care au avut loc în cadrul Etapei 1 – Experimentare și stabilire soluții tehnice a proiectului SoV Lite.

Rezultate obinute:
(1) Raport asupra echipamentelor și algoritmilor selectați

În cadrul etapei 1 am studiat domeniul sistemelor asistive, identificând cele mai noi metode de prelucrare a imaginilor pentru navigarea și înțelegerea mediului înconjurător, precum și ultimele camere video care oferă informații de adâncime. S-au realizat experimente preliminare cu echipamentele candidat și s-au identificat cele mai potrivite soluții pentru pipeline-ul 3D. Ținând cont de constrângerile din cadrul proiectului SoV Lite în ce privește unitățile de achiziție procesare, cele mai potrivite soluții pentru navigarea sigură și înțelegerea spațială a mediului înconjurător traversat se bazează pe reconstrucția spațiului printr-o tehnică SLAM (simultaneous localization and mapping) în care se utilizează o reprezentare a spațiului fie printr-un nor de puncte rar (sparse), fie prin obiecte individuale (caracterizate prin cutii încadratoare sau puncte reprezentând centrele de greutate ale cutiilor încadratoare).

În cadrul acestei etape am realizat o trecere în revistă și o analiză comparativă a soluțiilor pentru descrierea semantică a scenei, identificând posibile avantaje și dezavantaje ale acestor metode din punct de vedere al cerințelor unui sistem asistiv dedicat persoanelor nevăzătoare.

(2) Raport asupra experimentelor cu noile echipamentele hardware

În urma experimentelor preliminare s-a selectat camera stereo ZED pentru achiziția imaginilor color și de adâncime și unitatea de procesare Jetson. O analiză comparativă ZED 2 – ZED mini și Jetson Nano – Jetson Xavier NX a concluzionat oportunitatea utilizării ZED 2 și Jetson Xavier NX în noua arhitectură. Avantajul esențial al ZED 2 fiind posibilitatea utilizării modulului de IA integrat în SDK, în timp ce Jetson Xavier NX beneficiază de resurse net superioare și de modul WiFi/BT integrat în dimensiuni fizice și consum comparabil cu Jetson Nano.

Camera ZED 2 a fost integrată în sistemul SoV Lite, iar secvențele achiziționate au putut fi procesate utilizând modulele din vechiul sistem (Sound of Vision). În vederea validării arhitecturii prototipului s-au efectuat teste de segmentare semantică și detecția de obiecte pe platforma Nvidia Jetson.

(3) Raport asupra experimentelor și implementărilor preliminare ale modulelor de computer vision baze de date cu înregistrări video adnotate

În cadrul etapei 1 s-au realizat de asemenea experimente cu algoritmi de înțelegere spațială a mediului înconjurător, pentru modul de funcționare de percepție și navigare. S-au identificat posibile tehnici care pot fi incluse în pipeline-ul SoV Lite, ținând cont de constrângerile impuse de cerințele proiectului. Printre acestea, s-au dovedit promițătoare două soluții. Pe de o parte putem folosi SDK-ul ZED (care are suport pentru detecția de oameni și mașini în imagini) în combinație cu TensorFlow (pentru a putea folosi propriile seturi de date). Pe de altă parte, YOLOv3 s-a dovedit promițător.

În cadrul acestei etape am selectat și evaluat o serie de soluții existente în literatură pentru descrierea semantică a scenei. Am identificat două tipuri de metode, bazate fie pe detecție și recunoaștere de obiecte, fie pe segmentare semantică. Experimentele realizate subliniază faptul că atât timpul de rulare cât și acuratețea metodelor selectate depinde în mod direct de rezoluția imaginilor. De asemenea, pe baza observațiilor expuse anterior am identificat o posibilă soluție pentru a îmbunătăți timpul de inferență păstrând totodată acuratețea rezultatelor.

(4) Documentul de specificatii ale sistemului

În cadrul acestei etape s-au identificat actorii și necesarul echipamentelor hardware, și s-au stabilit cerințele funcționale și nefuncționale ale sistemului. Administratorul realizează gestiunea abonamentelor și a jocurilor și vizualizează rapoarte despre abonații sistemului SoV Lite. Cercetătorul realizează analiza informațiilor obținute în urma testării sistemului. Acesta are acces la selecția datelor obținute de la sesiuni de testare a sistemului și poate vizualiza statistici și grafice. Persoanele nevăzătoare sunt principalii beneficiari ai sistemului. Aceștia au acces la setările modului de funcționare a sistemului (distanța și deschiderea vizuală a dispozitivului de scanare, modul de redare, etc.). Ei pot utiliza funcționalitatea “Navigarea și redarea mediului înconjurător”, modul default de funcționare a sistemului. De asemenea, persoanele nevăzătoare pot utiliza funcționalitate de descriere semantică a scenei și de identificare și citire a textelor. O funcționalitate foarte folositoare este aceea de antrenare în medii virtuale și de jucare a unor jocuri. Persoanele nevăzătoare au acces și la funcționalități de achiziție a unor abonamente și de realizare de actualizări software ale sistemului.

Specificațiile sistemului definite prin cazuri de utilizare

(5) Documentul de proiectare arhitecturala

Proiectarea arhitecturala a sistemului SoV Lite se bazează pe descrierea cerințelor funcționale și nefuncționale stabilite în specificatiile sistemului. În baza aceasta au fost stabilite o serie de obiective ale proiectării ce vor fi luate în considerare în implementarea detaliată a arhitecturii software. De asemenea a fost definită o schema arhitecturală ce va sta la baza implementării sistemului hardware-software.

Diagrama UML a sistemului SoV ce include toate modulele hardware și software ale sistemului, inclusiv partea de servicii server

(6) Redactarea a 2 articole tip review (navigare; segmentare semantică)

A Brief Classification of Computer Vision-Based Solutions for the Visually Impaired

Andrei Lăpușteanu, Otilia Zvorișteanu, Anca Morar, Alin Moldoveanu, Florica Moldoveanu, Simona Caraiman, Victor Asavei, Ștefan Achirei

On improving perception for visually impaired:requirements, research and practicality

Otilia Zvorișteanu, Ștefan Daniel Achirei, Nicolae Alexandru Botezatu, Robert Gabriel Lupu, Adrian Burlacu and Simona Caraiman – e-Health and Bioengineering (EHB) 2020.

Etapa 2 – Implementare și validare prototip

Această secțiune prezintă principalele rezultate pentru activitățile care au avut loc în cadrul Etapei 2 – Implementare și validare prototip a proiectului SoV Lite.

Rezultate obinute:
(1) Produs: Prototip initial
(2) Produs: Aplicatie mobil pentru control
(3) Produs: Aplicatie mobil pentru antrenarea persoanelor cu deficiente de vedere
(4) Produs: Prototip final parțial
(5) Manual de utilizare parțial

Livrabile obtinute:

(1) Descrierea prototipului initial

În această etapă a fost realizat primul prototip complet funcțional (denumit prototip inițial) al sistemului informatic SoV Lite, de substituție senzorială audio-haptică naturalistă, accesibilă și ergonomică pentru nevăzători. Sistemul cuprinde, din punct de vedere hardware un sistem de achiziție, un sistem de control și prelucrare și un sistem de redare audio, iar din punct de vedere software o componentă centrală de control și procesare, o componentă de percepție și navigare și una de descriere semantică. Sistemul este capabil să înțeleagă mediul scanat și să asiste utilizatorul în navigarea și înțelegerea mediului înconjurător – prin identificarea obiectelor din jur și a unor pericole potențiale și codificarea acestora în informații sonore și haptice.

(2) Evaluarea capabilitatilor tehnice

Au fost definite și realizate mai multe teste, atât hardware cât și software, pentru a se verifica și evalua functionalitatea elementelor componente ale prototipului inițial SoV Lite. În urma acestui proces de evaluare și testare au fost extrase o primă serie de îmbunătățiri și corecturi tehnice necesare.

(3) Raport la testarea prototipului în medii de laborator și condiții reale

Au fost definite și realizate mai multe scenarii de utilizare pentru a se asigura funcționarea corectă a sistemului în cât mai multe cazuri posibile, cât și accesibilitatea elementelor componente ale prototipului inițial SoV Lite. În urma acestui proces de evaluare și testare au fost extrase o nouă serie de îmbunătățiri atât la nivel de funcționalitate cât și la nivelul interfeței cu utilizatorul, adaptată pentru persoanele cu deficienţe de vedere.

(4) Descrierea tehnică parțială a prototipului final
În această etapă a fost începută realizarea prototipului complet, denumit prototip final al sistemului informatic SoV Lite. Pentru realizarea acestuia au fost îmbunătățite considerabil sistemele de achiziție, procesare, percepție, navigare și descriere semantică în urma testelor efectuate folosind prototipul inițial. A fost de asemenea creată o aplicație de mobil pentru antrenament în medii virtuale.

(5) Raport asupra tehnicilor de antrenare a nevăzătorilor

Au fost definite protocoale și proceduri de antrenament și instruire centrate pe utilizator, clare, flexibile, adaptabile progresului fiecărui individ. Programul de instruire urmează o abordare treptată pe trei niveluri de dificultate: în mediul virtual, în lumea reală, în interior și în lumea reală, în aer liber.

(6) Raport parțial asupra capabilităților tehnice finale

Au fost definite și realizate mai multe teste atât hardware cât și software pentru a se verifica și evalua functionalitatea elementelor componente ale prototipului final SoV Lite. În urma acestui proces de evaluare și testare au fost extrase o nouă serie de îmbunătățiri necesare.

(7) Raport parțial al testării prototipului final

Au fost definite și realizate mai multe scenarii de utilizare pentru a se asigura funcționarea corectă a sistemului în cât mai multe cazuri posibile, cât și accesibilitatea elementelor componente ale prototipului final SoV Lite. În urma acestui proces de evaluare și testare au fost extrase o nouă serie de îmbunătățiri.

(8) Manual de utilizare parțial

S-a început elaborarea unui manual de utilizare detaliat care cuprinde atât detalii de instalare, întreținere și utilizare a sistemului SoV Lite, cât și a aplicației de antrenament. Au fost elaborate de asemenea o serie de măsuri de siguranță necesare pe care utilizatorii direcți și îngrijitorii acestora trebuie să le respecte înainte, în timpul și după utilizarea dispozitivului.

(9) Redactarea a 3 articole

Pothole Detection for Visually Impaired Assistance

Ștefan Daniel Achirei, Ioana Ariana Opariuc, Otilia Zvoristeanu, Simona Caraiman and Vasile Ion Manta – 2021 International Conference on Intelligent Computer Communication and Processing (ICCP), Cluj-Napoca, România: 2021

Environment Understanding Framework for Intelligent Mobile Systems

Otilia Zvoristeanu, Ștefan Daniel Achirei, Simona Caraiman, and Vasile Ion Manta – 25th International Conference on System Theory, Control and Computing (ICSTCC), Iasi, Romania: IEEE, 2021 10.1109/ICSTCC52150.2021.9607078

Sensory Substitution for the Visually Impaired: A Study on the Usability of the Sound of Vision System in Outdoor Environments

Otilia Zvorișteanu, Simona Caraiman, Robert-Gabriel Lupu, Nicolae Alexandru Botezatu, Adrian Burlacu – Electronics 2021. https://doi.org/10.3390/electronics10141619

(10) Actualizarea site-ului web

Etapa 3 – Pregatire tranziție și continuare (ro)

Această secțiune prezintă principalele rezultate pentru activitățile care au avut loc în cadrul Etapei 3 – Pregatire tranziție și continuare. Intrucat proiectul a fost devansat din motive care nu au tinut de noi, perioada raportată acoperă intervalul ianuarie – mai 2022, și astfel reprezintă o perioadă de 5 luni din cele 24 previzionate ale proiectului (lunile L20 – L24).

În cadrul etapei curente au fost continuate și finalizate o parte din activitățile demarate în cadrul Etapei 2 a proiectului, fiind definitivata activitatea de dezvoltare.

Pe baza unui un prototip inițial care a fost testat în medii de laborator și condiții reale au fost extrase cerințe noi, optimizări și probleme de funcționare sau operabilitate. Aceste rezultate au fost folosite pentru a îmbunătăți considerabil sistemele de achiziție, procesare, percepție, navigare și descriere semantică, realizand astfel prototipul final care a fost testat si pilotat cu persoane nevazatoare.

Prototipul final realizat asigura o functionalitate completa, conform cu obiectivele propuse, si are un grad ridicat de usurinta in utilizare autonoma, validat la nivel TRL 6, fiind astfel foarte aproape de necesitățile pentru un produs finit comercial. Pentru folosirea sistemului au fost ajustate tehnicile de antrenare pentru a acomoda noul sistem, introducand de asemenea si tehnici de antrenare individuala sau de la distanta, a fost finalizat manualul de utilizare și a fost finalizata aplicația de mobil pentru antrenament în medii virtuale de tip joc (VTE – virtual training environment) destinata antrenamentului și pregătirii persoanelor nevazatoare cu sistemul de redare audio/haptic al sistemului SoV Lite. Rezultatele testelor au furnizat in general feedback pozitiv, dar si observatii de utilizare practica, foarte importante mai ales pentru a asigura o accesibilitate si utilitate cat mai mare a sistemului.

De asemenea, in cadrul proiectului au fost dezvoltate si o serie de aplicatii grafice experimentale, de tip joc, care pot fi folosite de utilizatori ca mijloc de relaxare sau divertisment. Acest domeniu este unul putin explorat si de noutate pentru persoanele nevazatoare, care au fost placut impresionate si foarte receptive. Astfel, in acest proiect au fost definite si implementate bazele unei platforme de distribuire de aplicatii grafice interactive sau jocuri dedicate persoanelor cu deficiente de vedere, un lucru cu adevarat inedit.

A fost de asemenea elaborat un plan de continuare științifică, tehnica și de comercializare a proiectului.

Activitățile de diseminare au fost derulate conform planului și au constat în publicarea a 2 articole științifice, și actualizarea site-ul web.

În concluzie, au fost îndeplinite toate obiectivele etapei 3 și ale proiectului, atingand un nivel de maturitate TRL-6.

La momentul finalizării proiectului, putem raporta următoarele rezultate obținute pe durata Etapei curente de implementare:

Rezultate obinute:

(1) Produs: Prototip final SoV Lite

(2) Produs: Aplicatie de mobil pentru control si redare audio

(3) Produs: Aplicatie de mobil pentru antrenarea persoanelor cu deficiente de vedere

(5) Manual de utilizare

Livrabile obtinute:

(1) Prototipul inițial

În această etapă a fost finalizat si testat primul prototip complet funcțional, denumit prototip inițial al sistemului informatic SoV Lite, de substituție senzorială audio-haptică naturalistă, accesibilă și ergonomică pentru nevăzători. Sistemul cuprinde, din punct de vedere hardware un sistem de achiziție, un sistem de control și prelucrare și un sistem de redare audio, iar din punct de vedere software o componentă centrală de control și procesare, o componentă de percepție și navigare și una de descriere semantică. Sistemul este capabil să înțeleagă mediul scanat și să asiste utilizatorul în navigare sigură și în înțelegerea mai bună a mediului înconjurător prin redarea de informații, identificarea obiectelor din jur și în special a pericolelor și codificarea acestora în informații sonore.

(2) Tehnici de antrenare a nevăzătorilor

Au fost finalizate protocoale și proceduri de antrenament și instruire centrate pe utilizator, clare, flexibile, adaptabile progresului fiecărui individ. Programul de instruire urmează o abordare treptată pe trei niveluri de dificultate: în mediul virtual, în lumea reală, în interior și în lumea reală, în aer liber.

(3) Prototipul final

În această etapă a fost finalizata realizarea prototipului complet, denumit prototip final al sistemului informatic SoV Lite. Pentru realizarea acestuia au fost îmbunătățite considerabil sistemele de achiziție, procesare, percepție, navigare și descriere semantică în urma testelor efectuate folosind prototipul inițial. A fost de asemenea creată o aplicație de mobil pentru antrenament în medii virtuale.

(4) Evaluarea capabilitatilor finale

(5) Testarea prototipului final

Au fost definite și realizate mai multe scenarii de utilizare pentru a se asigura funcționarea corectă a sistemului în cât mai multe cazuri posibile, cât și accesibilitatea elementelor componente ale prototipului final SoV Lite. În urma acestui proces de evaluare și testare au fost extrase o nouă serie de îmbunătățiri.

(6) Manual de utilizare

S-a finalizat elaborarea unui manual de utilizare detaliat care cuprinde atât detalii de instalare, întreținere și utilizare a sistemului SoV Lite, cât și a aplicației de antrenament. Au fost elaborate de asemenea o serie de măsuri de siguranță necesare pe care utilizatorii direcți și îngrijitorii acestora trebuie să le respecte înainte, în timpul și după utilizarea dispozitivului.

(7) Planul tehnic de continuare a proiectului

Sistemul SoV Lite a ajuns într-un stadiu avansat de prototipare (TRL-6) și poate fi pregatit pentru comercializare. În acest sens, a fost realizat un plan pentru finalizarea dezvoltării tehnice, pregatirea pentru lansarea unei versiuni comerciale și un plan de exploatare comercială.

(8) Diseminare

Redactarea a 2 articole:

Gradient-based image segmentation for inadequately lit or textured environments

Andrei Laptusteanu, Florica Moldoveanu, Anca Morar, Alin Moldoveanu, Maria Anca Balutoiu, Victor Asavei – 2022 Tenth International Workshop on Assistive Computer Vision and Robotics (ACVR), European Conference on Computer Vision (ECCV) 2022

SoV Lite – More Steps Towards Affordable Visual to Audio-Haptic Sensory Substitution

Anca Morar, Alexandru Gradinaru, Maria-Anca Băluțoiu, Ștefan Achirei, Otilia Zvorișteanu, Alin Moldoveanu, Florica Moldoveanu, Simona Caraiman, Andrei Lăpușteanu, Gabriel Ivănică, Robert Lupu, Computer Vision and Image Understanding Journal, Elsevier, ISSN: 1077-3142

De asemenea, au fost efectuate și alte forme importante de diseminare a proiectului, respectiv:

Stabilirea de contacte în presă; prezentări preliminare ale obiectivelor proiectului către punctele de contact. Vor permite diseminarea eficientă a rezultatelor finale, prin televiziuni, radio și presă online si susținerea exploatării;
Stabilirea de contacte cu un număr mare de terapeuți și prezentări preliminare ale obiectivelor proiectului. Vor permite, ulterior, susținerea exploatării;
Teme de cercetare studențească la nivel de masterat, finalizate cu lucrări de disertație, în UPB, Facultatea de Automatică și Calculatoare.
Teme de doctorat la UPB în domeniul jocurilor pentru nevăzători (Silviu Ivașcu) + doctorat la TUI Otilia Zvorișteanu (“Environment perception and understanding for intelligent mobile systems”)

(9) Actualizarea site-ului web