IA que reconheceu congressistas como bandidos estava mal configurada, diz Amazon
Por Felipe Demartini | 31 de Julho de 2018 às 12h33
A Amazon liberou um pronunciamento oficial sobre a polêmica relacionada a seu sistema de reconhecimento facial, que, em um estudo divulgado na última semana, categorizou erroneamente congressistas americanos como criminosos. De acordo com a companhia, os responsáveis pela pesquisa feita pela União Americana pelas Liberdades Civis (ACLU, na sigla em inglês) não configuraram direito os sistemas, o que levou a dezenas de falsos positivos.
Matt Wood, diretor de desenvolvimento de tecnologias relacionadas a deep learning e inteligência artificial da Amazon, explicou o que aconteceu. De acordo com ele, o instituto utilizou o sistema de reconhecimento em sua configuração padrão, com nível de confiabilidade em 80%, enquanto o recomendado pela documentação fornecida pela companhia é 99%.
Em sua pesquisa, a ACLU comparou as fotos oficiais dos 535 membros do Congresso dos Estados Unidos com um banco de dados de 25 mil “mugshots”, os retratos produzidos pela polícia após prisões. O Rekognition, como é chamado o sistema da Amazon, identificou 28 representantes como indiciados, de maneira errônea.
Para a organização, a ideia era comprovar como os sistemas de reconhecimento facial ainda estão longe de serem confiáveis, principalmente quando são utilizados em operações policiais ou de investigação. A Amazon, em seu comunicado concorda, mas afirma que uma configuração correta dos sistemas é necessária e capaz de reduzir a zero o número de falsos positivos.
Além disso, a companhia afirma que todas as utilizações do Rekognition por forças da lei não são definitivas, mas apenas uma forma de reduzir o escopo das investigações. De acordo com a Amazon, o julgamento humano ainda é definidor em trabalhos dessa categoria, com um olhar real sendo o responsável por acabar definitivamente com qualquer chance, ainda que pequena, de uma identificação equivocada.
Por isso mesmo, em seu comunicado, Wood afirma que a recomendação da Amazon é a utilização de níveis de confiança de 99% em todos os casos ligados à aplicação jurídica e sempre como uma linha de investigação. A empresa considera que seus sistemas de machine learning e inteligência artificial vêm apresentando resultados significativos em prol da aceleração do trabalho da polícia.
“Não devemos jogar o forno fora quando a temperatura está errada e acaba queimando a pizza”, afirma Wood, em uma metáfora usada para explicar o que considera ser um erro, cometido pela ACLU. O especialista diz que níveis mais baixos podem ser usados para identificação de objetos ou fotos, mas nunca em abordagens policiais ou jurídicas.
Em resposta, a União exigiu mais transparência por parte da Amazon e pediu que a empresa entre em contato com todos os seus clientes, principalmente dos setores governamentais e policiais, para explicar melhor como seus sistemas funcionam. Além disso, solicitou que a companhia repare eventuais danos causados por falsos positivos e tome atitudes para que eles não aconteçam mais, deixando de vender essa tecnologia para as autoridades até que tais medidas estejam em vigor.