Pesquisadores acusam Amazon de vender sistemas falhos de reconhecimento facial

Pesquisadores da Google, Microsoft, Facebook e diversas universidades estão pedindo que a Amazon pare de oferecer sua tecnologia de reconhecimento facial — sobretudo para as autoridades policiais. Segundo os especialistas, a empresa aplica um algoritmo falho em seus sistemas, que já se mostraram incapazes, segundo estudos, de identificar pessoas com a pele negra.

Em uma carta aberta, os autores argumentam que se essa tecnologia acabar sendo adotada pela polícia, há um grande potencial de amplificar casos de discriminação racial, casos de erro de identidade, além de encorajar o monitoramento invasivo de grupos marginalizados e minorias.

“Tecnologias falhas de reconhecimento facial reforçam preconceitos humanos”, diz Morgan Klaus Scheuerman, estudante de PhD da Universidade de Colorado Boulder e um dos signatários da carta. “Essas tecnologias podem ser apropriadas para intenções maliciosas... em formas que as empresas que as estão fornecendo desconhecem”.

As avaliações sobre os sistemas da Amazon não são infundadas: a empresa é uma das líderes na oferta de tecnologia desse tipo e já foi alvo de críticas similares no passado. Um estudo publicado em janeiro de 2019 mostrou que os algoritmos aplicados pela empresa têm dificuldade de identificar o gênero de pessoas negras, ao passo que um teste conduzido em 2018 mostrou que o Amazon Rekognition — assim se chama o software — incorretamente reconheceu como criminosos 28 membros do Congresso norte-americano, comparando fotos oficiais com retratos da polícia.

A Amazon defende seus algoritmos, oferecendo refutações como o fato de que nenhum problema foi relatado pelas forças policiais que fazem uso de sua tecnologia. Entretando, a carta aponta que isso não é um argumento válido, já que, atualmente, não existem leis de fiscalização e auditoria que possam avaliar esse tipo de software. Basicamente, não há padrão para dizer que algo está certo ou errado no que tange ao reconhecimento facial tecnológico.

“Essas tecnologias devem ser desenvolvidas de forma que não causem danos aos seres humanos ou perpetuem mais problemas a grupos historicamente marginalizados”, diz Scheuerman. “Esse é um problema interdisciplinar, que requer uma abordagem interdisciplinar”.

Outros signatários da carta incluem Timnit Gebru, um pesquisador da Google cujo trabalho auxiliou na identificação de falhas em algoritmos de reconhecimento facial; Yoshua Bengio, um especialista em inteligência artificial e recente vencedor do Prêmio Turing; e Anima Anandkumar, professora da Caltech e ex-cientista chefe em uma subsidiária da Amazon AWS.

Anandkumar espera que a carta funcione como uma via pública de diálogo sobre como podemos avaliar as tecnologias de reconhecimento facial. “A regulamentação do governo só pode vir quando tivermos criado a estrutura básica de avaliação desses sistemas”.

Fonte: On Recent Research Auditing Commercial Facial Analysis Technology; The Verge