Μια εφαρμογή πλοήγησης για smartphone για άτομα με τύφλωση ή μειωμένη όραση

 

Το Mobilio χρησιμοποιεί τεχνητή νοημοσύνη και ενσωματωμένους αισθητήρες για να παρέχει στους χρήστες συνεχή καθοδήγηση.

Μηχανικοί του Χάρβαρντ ανέπτυξαν το Mobilio, μια εφαρμογή για smartphone που χρησιμοποιεί τεχνητή νοημοσύνη, ενσωματωμένους αισθητήρες και εξατομικευμένα ηχητικά σήματα για να παρέχει σε άτομα με τύφλωση ή μειωμένη όραση συνεχή καθοδήγηση και αποφυγή εμποδίων.

Στις πρώτες δοκιμές, η χρήση του Mobilio μαζί με λευκό μπαστούνι επέτρεψε ταχύτερη πλοήγηση και σημαντικά λιγότερες συγκρούσεις με εμπόδια σε σύγκριση με τη χρήση του Google Maps μαζί με μπαστούνι.

Για τα άτομα με τύφλωση ή μειωμένη όραση, η ανεξάρτητη μετακίνηση αποτελεί καθημερινή πρόκληση. Ερευνητές του Χάρβαρντ ανέπτυξαν ένα νέο εργαλείο που θα μπορούσε να βοηθήσει αυτά τα άτομα να μετακινούνται πιο γρήγορα και με μεγαλύτερη ασφάλεια, χρησιμοποιώντας απλώς μια συσκευή που πιθανότατα ήδη διαθέτουν — ένα smartphone.

Μηχανικοί της John A. Paulson School of Engineering and Applied Sciences (SEAS) δημιούργησαν μια νέα εφαρμογή για smartphone, το Mobilio, η οποία συνδυάζει μηχανική μάθηση, αλγορίθμους που συντονίζουν τα δεδομένα από πολλαπλούς αισθητήρες και εξατομικευμένα ηχητικά σήματα, ώστε να παρέχει σε ένα άτομο με τύφλωση ή μειωμένη όραση οδηγίες στροφή-στροφή, συνεχή καθοδήγηση της διαδρομής και αποφυγή εμποδίων.

Η έρευνα πραγματοποιήθηκε υπό την ηγεσία του υποψήφιου διδάκτορα Raymond Liu, σε συνεργασία με τον Patrick Slade, επίκουρο καθηγητή βιομηχανικής και μέλος του διδακτικού προσωπικού του Kempner Institute. Η έρευνα δημοσιεύθηκε στο επιστημονικό περιοδικό Nature Biomedical Engineering.

https://www.youtube.com/watch?v=Qa5EOkcOT_Y&t=46s

Το βίντεο παρουσιάζει τους αλγορίθμους πλοήγησης και την ηχητική χωρική ανατροφοδότηση που παρέχει η εφαρμογή Mobilio κατά τη διάρκεια πειραμάτων σε διαδρομές της κοινότητας και σε διαδρομές με εμπόδια.

 

Κατανόηση των αναγκών των χρηστών

Αρχικά, οι ερευνητές πραγματοποίησαν έρευνα σε περισσότερα από 100 άτομα με τύφλωση ή μειωμένη όραση, προκειμένου να κατανοήσουν τις ανάγκες τους. Οι συμμετέχοντες ανέδειξαν τρεις βασικές δυνατότητες που θεωρούν απαραίτητες για τις τεχνολογίες πλοήγησης:

• αξιόπιστες οδηγίες στροφή-στροφή,
• συνεχή καθοδήγηση κατά μήκος πεζοδρομίων και διαδρομών,
• εντοπισμό και αποφυγή εμποδίων.

Υφιστάμενα εργαλεία, όπως τα μπαστούνια, οι σκύλοι-οδηγοί και τα ηλεκτρονικά βοηθήματα μετακίνησης, αντιμετωπίζουν ορισμένες από αυτές τις ανάγκες, αλλά σπάνια και τις τρεις ταυτόχρονα. Επιπλέον, πολλά από αυτά τα συστήματα είναι ακριβά και δύσκολα προσβάσιμα.

Το λογισμικό χαρτών GPS παρέχει μεν οδηγίες στροφή-στροφή, όμως δεν είναι αρκετά ακριβές ώστε ένα άτομο με τύφλωση ή μειωμένη όραση να μπορεί να το χρησιμοποιεί με ασφάλεια.

Αντίθετα, οι περισσότεροι άνθρωποι διαθέτουν ήδη smartphone. Η ομάδα του Χάρβαρντ είδε, επομένως, την ευκαιρία να δημιουργήσει ένα βοήθημα πλοήγησης μέσω μιας αυτόνομης εφαρμογής, η οποία στο μέλλον θα μπορούσε να κατεβαίνει από ένα κατάστημα εφαρμογών και να λειτουργεί εξ ολοκλήρου στο τηλέφωνο.

Πώς λειτουργεί το Mobilio

Το Mobilio αξιοποιεί τους ενσωματωμένους αισθητήρες του smartphone, όπως:

• την κάμερα,
• το GPS,
• τη μονάδα αδρανειακής μέτρησης (IMU), η οποία ανιχνεύει την κίνηση και τον προσανατολισμό,
• και, εφόσον υπάρχει, τον αισθητήρα LiDAR.

Μια σημαντική τεχνολογική καινοτομία είναι ένα ειδικά σχεδιασμένο μοντέλο υπολογιστικής όρασης, το οποίο αναλύει σε πραγματικό χρόνο την εικόνα από την κάμερα, όπως αυτή καταγράφεται από την οπτική γωνία ενός πεζού, ώστε να εντοπίζει τις διαδρομές στις οποίες μπορεί να κινηθεί ο χρήστης.

«Το σύστημά μας χρησιμοποιεί τους αισθητήρες ενός smartphone, πληροφορίες GPS και την πραγματική κίνηση του ανθρώπου, για να δημιουργήσει ουσιαστικά ένα μικρό σχέδιο αυτόνομου οχήματος σχετικά με το πώς θα τον μετακινήσει από το σημείο όπου βρίσκεται στο σημείο όπου θέλει να πάει», δήλωσε ο Slade.

https://www.youtube.com/watch?v=2eaFf7OY2EI&t=57s

 

Ο επίκουρος καθηγητής βιομηχανικής Patrick Slade περιγράφει την εργασία του εργαστηρίου του για τη δημιουργία εφαρμογών smartphone που βοηθούν άτομα με τύφλωση και μειωμένη όραση.

Επειδή τα περισσότερα διαθέσιμα δημόσια σύνολα δεδομένων με εικόνες δρόμων έχουν καταγραφεί από αυτοκίνητα, πολλά τυπικά μοντέλα τεχνητής νοημοσύνης αναγνωρίζουν λανθασμένα υποδομές που είναι σημαντικές για τους πεζούς, εξήγησε ο πρώτος συγγραφέας της μελέτης, Liu.

Για να αντιμετωπίσει αυτό το πρόβλημα, ο Liu εκπαίδευσε ένα μοντέλο σημασιολογικής κατάτμησης (semantic segmentation) ειδικά με εικόνες από την οπτική γωνία πεζών. Έτσι, το μοντέλο μπορούσε να αναγνωρίζει αξιόπιστα πεζοδρόμια, διαβάσεις πεζών, δρόμους και άλλες βασικές επιφάνειες κατά τη διάρκεια της μετακίνησης.

«Υπάρχει ανάγκη για περισσότερα δεδομένα που προέρχονται από την οπτική γωνία ανθρώπων που περπατούν σε πεζοδρόμια ή κινούνται σε εξωτερικούς χώρους», πρόσθεσε ο Liu.

Ο Liu ανέφερε επίσης ότι μία από τις σημαντικότερες σχεδιαστικές προκλήσεις ήταν να διασφαλιστεί ότι όλοι οι αλγόριθμοι και τα μοντέλα θα μπορούσαν να λειτουργούν σε πραγματικό χρόνο σε ένα συνηθισμένο smartphone, το οποίο διαθέτει πολύ μικρότερη υπολογιστική ισχύ από έναν φορητό υπολογιστή ή εξειδικευμένο εξοπλισμό.

Εξατομικευμένη ηχητική καθοδήγηση

Αντί να παρέχει μόνο φωνητικές οδηγίες, το Mobilio χρησιμοποιεί συνεχή ηχητικά σήματα με τη μορφή «μπιπ» καθώς ο χρήστης περπατά.

Τα ηχητικά σήματα προέρχονται από μια συγκεκριμένη κατεύθυνση, για παράδειγμα από τα αριστερά ή τα δεξιά του χρήστη, ώστε να υποδεικνύουν προς τα πού πρέπει να κινηθεί.

Η καθοδήγηση εξατομικεύεται σε πραγματικό χρόνο μέσω μιας διαδικασίας βελτιστοποίησης που λαμβάνει υπόψη τη συμπεριφορά του ίδιου του χρήστη. Καθώς το άτομο περπατά, το σύστημα μετρά πόσο με ακρίβεια ακολουθεί τα ηχητικά σήματα και προσαρμόζει αυτόματα τα σήματα και τα μοτίβα τονικότητας, ώστε να λειτουργούν όσο το δυνατόν καλύτερα για το συγκεκριμένο άτομο.

 

Οι δοκιμές

Για την αξιολόγηση της εφαρμογής, η ερευνητική ομάδα πραγματοποίησε πειράματα με 14 εθελοντές, οι οποίοι προσλήφθηκαν από το Carroll Center for the Blind στο Newton της Μασαχουσέτης.

Κάθε συμμετέχων ολοκλήρωσε τις δοκιμές δύο φορές:

• με το Google Maps να παρέχει οδηγίες στροφή-στροφή, σε συνδυασμό με λευκό μπαστούνι,
• με την εφαρμογή Mobilio, επίσης σε συνδυασμό με το μπαστούνι.

Οι συμμετέχοντες περπάτησαν τόσο σε μια προκαθορισμένη εξωτερική διαδρομή όσο και σε μια εσωτερική διαδρομή με εμπόδια, σχεδιασμένη να προσομοιώνει συνηθισμένες προκλήσεις του περιβάλλοντος.

https://www.youtube.com/watch?v=MMIaTgfPoZY&t=65s

Ένας συμμετέχων πραγματοποιεί τα τρία πειράματα της μελέτης: εξατομίκευση της ηχητικής ανατροφοδότησης, πλοήγηση σε διαδρομή της κοινότητας και πλοήγηση σε διαδρομή με εμπόδια.

Σε σύγκριση με τη χρήση Google Maps και μπαστουνιού, οι συμμετέχοντες που χρησιμοποίησαν Mobilio και μπαστούνι ολοκλήρωσαν την εξωτερική διαδρομή περίπου 13% γρηγορότερα και μείωσαν την επαφή με εμπόδια στην εσωτερική διαδρομή κατά περίπου 41%.

Όσον αφορά την αξιοπιστία —δηλαδή το πόσο σταθερά καθοδηγούσε το σύστημα τους χρήστες στον προορισμό τους χωρίς σημαντικά λάθη— το Mobilio είχε απόδοση συγκρίσιμη με εκείνη ενός ανθρώπινου οδηγού.

 

Προσωπική διάσταση της έρευνας

Πέρα από την τεχνική συνεισφορά, το συγκεκριμένο έργο επηρεάστηκε και από προσωπικά βιώματα. Ο Liu έχει έναν μεγαλύτερο αδελφό που είναι τυφλός και η προσπάθειά του να υποστηρίξει την ανεξάρτητη μετακίνησή του επηρέασε σημαντικά τους στόχους της έρευνας.

Η ερευνητική ομάδα τόνισε ότι η λήψη τόσο ποσοτικής όσο και ποιοτικής ανατροφοδότησης από πραγματικούς χρήστες ήταν απαραίτητη.

«Το να δοκιμάζουν πραγματικοί άνθρωποι τη συσκευή σου είναι απολύτως κρίσιμο, επειδή είναι αδύνατο να προβλέψεις πώς θα αντιδράσει κάποιος στη συσκευή σου», δήλωσε ο Liu. «Ιδιαίτερα στην περίπτωση της τύφλωσης και της οπτικής αναπηρίας, που περιλαμβάνει ένα τεράστιο και διαφορετικό φάσμα προβλημάτων.»

 

Ο ερευνητής

Γνωρίστε τον ερευνητή: Διαβάστε περισσότερα για την πορεία του μεταπτυχιακού φοιτητή Raymond Liu μέχρι τη SEAS.

 

Τι ακολουθεί

 

Στη συνέχεια, οι ερευνητές σχεδιάζουν να δοκιμάσουν το Mobilio σε ένα ευρύτερο φάσμα ρεαλιστικών περιβαλλόντων στην περιοχή της Βοστώνης, ώστε να αξιολογήσουν περαιτέρω κατά πόσο το σύστημα μπορεί να λειτουργεί αποτελεσματικά σε διαφορετικές συνθήκες και πώς μπορεί να ενσωματωθεί στις καθημερινές συνήθειες των ανθρώπων.

Οι ερευνητές υποστηρίζονται από το Harvard Grid Accelerator, με στόχο να μετατραπεί η τεχνολογία σε ένα ευρέως προσβάσιμο μελλοντικό προϊόν.

Η χρηματοδότηση του έργου περιλάμβανε το National Science Foundation Graduate Research Fellowship DGE-2140743, το Harvard Grid Accelerator, το Amazon Greater Boston Tech Initiative, το Harvard Dean’s Competitive Fund for Promising Scholarship και το Kempner Institute.

Το Harvard Office of Technology Development έχει κατοχυρώσει τις καινοτομίες που σχετίζονται με την έρευνα και εξετάζει ενεργά ευκαιρίες για την εμπορική αξιοποίησή τους.

Πηγή: https://seas.harvard.edu/news/smartphone-navigation-app-people-blindness-and-low-vision  -μετάφραση με ΑΙ