1.5.1 Αλγοριθμική Μεροληψία και Αντιπροσώπευση
Τα συστήματα μηχανικής μάθησης και τεχνητής νοημοσύνης που χρησιμοποιούνται σε υποστηρικτικές τεχνολογίες για άτομα με αναπηρία βασίζονται σε τεράστιες ποσότητες δεδομένων για να «εκπαιδευτούν». Ωστόσο, αυτά τα δεδομένα δεν είναι ουδέτερα: συχνά προέρχονται από πηγές που αντικατοπτρίζουν προϋπάρχουσες κοινωνικές ανισότητες, στερεότυπα ή ακόμα και δομικές διακρίσεις (Barocas, Hardt, & Narayanan, 2019). Όταν αυτά τα δεδομένα τροφοδοτούν αλγορίθμους χωρίς κατάλληλο έλεγχο και φιλτράρισμα, το αποτέλεσμα είναι η αναπαραγωγή – ή και ενίσχυση – αυτών των ανισοτήτων.
Ένα χαρακτηριστικό παράδειγμα αποτελεί η μελέτη των Buolamwini και Gebru (2018), η οποία ανέδειξε ότι συστήματα αναγνώρισης προσώπων είχαν σημαντικά μειωμένη ακρίβεια στην αναγνώριση προσώπων με σκούρο τόνο δέρματος, ιδιαίτερα γυναικών. Συγκεκριμένα, τα σφάλματα στην αναγνώριση λευκών ανδρών ήταν κάτω του 1%, ενώ στις μαύρες γυναίκες ξεπερνούσαν το 34%. Αυτό οφείλεται στο γεγονός ότι τα σύνολα δεδομένων που χρησιμοποιήθηκαν για την εκπαίδευση αυτών των συστημάτων ήταν δυσανάλογα πλούσια σε εικόνες λευκών ανδρών, γεγονός που ενισχύει τη φυλετική και έμφυλη μεροληψία.
Στο πεδίο της υποστηρικτικής τεχνολογίας για άτομα με οπτική αναπηρία, τέτοια μεροληψία μπορεί να έχει κρίσιμες επιπτώσεις. Εφαρμογές περιγραφής σκηνών, αναγνώρισης αντικειμένων ή ανθρώπων (όπως το Seeing AI της Microsoft ή το Be My Eyes) ενδέχεται να παρέχουν ανακριβείς ή αποπροσανατολιστικές πληροφορίες σε χρήστες που εξαρτώνται από αυτές για καθημερινές τους δραστηριότητες. Αν ένα σύστημα περιγράφει έναν άνθρωπο με βάση λανθασμένα πολιτισμικά ή σωματικά πρότυπα, το άτομο με οπτική αναπηρία λαμβάνει μια εσφαλμένη ερμηνεία της πραγματικότητας, με πιθανές κοινωνικές ή και σωματικές συνέπειες (Keyes et al., 2019).
Αυτές οι μεροληψίες δεν είναι απλώς τεχνικά ζητήματα· είναι βαθιά κοινωνικά και πολιτικά προβλήματα που σχετίζονται με το ποιος παράγει την τεχνολογία, για ποιον, και με ποιες αξίες. Η μη ύπαρξη πολυμορφίας στις ομάδες ανάπτυξης αλγορίθμων – από άποψη φύλου, φυλής, πολιτισμικής ταυτότητας ή αναπηρίας – συμβάλλει στη δημιουργία τεχνολογιών που αντανακλούν μόνο μια περιορισμένη εμπειρία του κόσμου (Noble, 2018; Costanza-Chock, 2020).
Ως εκ τούτου, η ενσωμάτωση προσεγγίσεων ηθικού και συμπεριληπτικού σχεδιασμού (inclusive and participatory design) είναι απαραίτητη. Πρέπει να διασφαλίζεται η συμμετοχή ατόμων με αναπηρία σε όλα τα στάδια του σχεδιασμού, από τη συλλογή δεδομένων έως τη δοκιμή των εφαρμογών, προκειμένου να αποφεύγονται τέτοιες προκαταλήψεις και να διαμορφώνονται τεχνολογίες πραγματικά χρήσιμες και δίκαιες (Shinohara & Wobbrock, 2016; Binns, 2018).
