Părtinirea demografică și cross-culturală în sistemele biometrice

Algoritmii biometrici nu performează identic pe toate grupurile demografice. Cercetările din ultimul deceniu au arătat repetat că recunoașterea facială și alte tehnologii biometrice pot prezenta diferențe măsurabile de acuratețe în funcție de factori precum nuanța pielii, vârsta și genul, ridicând întrebări de echitate și drepturi civile pe care orice implementare responsabilă trebuie să le abordeze.

Părtinirea își are de regulă originea în datele de antrenament folosite pentru a construi algoritmii de recunoaștere, în special pentru recunoașterea facială bazată pe învățare automată. Dacă un set de date folosit pentru dezvoltarea sau testarea unui sistem conține disproporționat mai multe imagini din anumite grupuri demografice, precum persoane cu piele mai deschisă la culoare sau o anumită categorie de vârstă, algoritmul rezultat tinde să performeze mai bine pe grupurile bine reprezentate și mai slab pe cele subreprezentate, deoarece modelul a „văzut" efectiv mai puține exemple din care să învețe pentru acele grupuri.

• Sistemele de recunoaștere facială au arătat rate mai mari de potrivire falsă și nepotrivire falsă pentru femei comparativ cu bărbații în mai multe studii independente
• Au fost documentate diferențe de acuratețe în funcție de nuanța pielii, persoanele cu piele mai închisă experimentând uneori rate de eroare mai mari, în special în sistemele mai vechi sau antrenate pe seturi de date mai puțin diverse
• Adulții în vârstă și copiii văd adesea rate de eroare mai mari decât populația adultă de vârstă medie, cel mai frecvent folosită în seturile de date de antrenament și testare
• Hardware-ul senzorilor poate introduce el însuși părtinire: anumiți algoritmi de expunere ai camerelor au captat istoric nuanțele deschise ale pielii cu mai multe detalii vizuale decât nuanțele închise, în condiții de lumină identice

Disparitățile de acuratețe contează mult mai mult în unele aplicații decât în altele. O experiență ușor mai puțin comodă de deblocare a telefonului este un inconvenient minor, dar un sistem de recunoaștere facială părtinitor folosit în aplicarea legii, angajare sau eligibilitate pentru beneficii se poate traduce direct în tratament inegal al diferitelor grupuri demografice, generând suspiciuni nedrepte, refuzul serviciilor sau rezultate injuste care afectează disproporționat grupurile pentru care sistemul performează mai slab.

Organizațiile independente de testare a acurateței publică acum periodic defalcări demografice ale performanței algoritmilor furnizorilor, presând furnizorii să reducă diferențele de acuratețe, în loc să raporteze doar rate agregate de eroare care pot masca disparitățile. Unele jurisdicții au introdus reguli specifice care impun testarea privind părtinirea înainte ca sistemele biometrice să poată fi folosite în contexte guvernamentale sau de aplicare a legii cu miză mare, iar mai mulți furnizori și-au publicat propriile date de performanță demografică ca parte a angajamentelor pentru AI responsabil.

O atenuare eficientă începe cu seturi de date de antrenament și testare deliberat diverse și echilibrate, care reprezintă întreaga populație pe care un sistem o va deservi de fapt, nu doar populația care s-a întâmplat să fie convenabilă de colectat. Auditurile continue după implementare, nu o verificare unică a acurateței înainte de lansare, sunt tot mai des considerate cea mai bună practică, deoarece performanța demografică se poate schimba pe măsură ce un algoritm este actualizat sau populația din implementare se schimbă în timp.