O software de prevenção ao crime é racista e falho

Prever a capacidade de uma pessoa cometer crimes com base em reconhecimento facial e inteligência artificial (IA) é a pesquisa controversa que será publicada em breve pela Springer, a prestigiada editora. Um coletivo de cerca de cinquenta especialistas em IA trabalhando no Facebook, Google e Microsoft assinou e enviou uma carta aberta ao editor pedindo que reconsiderasse a decisão de publicar tal pesquisa.

De acordo com Nathaniel JS Ashby, professor da Universidade de Harrisburg e coautor da polêmica pesquisa, o reconhecimento facial pode prever se uma pessoa se tornará criminosa ou não. “Ao automatizar a identificação de ameaças potenciais […]nosso objetivo é produzir ferramentas para prevenção do crime, aplicação da lei e aplicações militares que sejam menos afetadas por preconceitos implícitos e respostas emocionais”, acrescenta Ashby.

Um coletivo de mais de 2.000 pesquisadores, acadêmicos e especialistas em IA se levantou contra a condução de tais pesquisas citando motivos éticos e o uso de métodos científicos não confiáveis.

O artigo não será publicado

O conteúdo da carta aberta evoca as “sérias preocupações” dos signatários sobre o tema do estudo. Eles, portanto, exortam o comitê de revisão da Springer a não publicar o trabalho de Ashby e até mesmo ir mais longe, pedindo a outros editores que se recusem a publicar tal pesquisa. De fato, segundo eles, o reconhecimento facial e a tecnologia de previsão de crimes exigem extrema cautela para evitar a categorização de certas comunidades.

Questionada sobre o assunto, Felicitas Behrendt, gerente de comunicação da Springer Nature, disse: “Reconhecemos a preocupação levantada por este documento. [l’article de Ashby] e gostaria de esclarecer que não foi aceito para publicação em nenhum momento. Ele foi submetido a uma próxima conferência para a qual a Springer publicará os anais da série. Transações em Ciência Computacional e Inteligência Computacional e tem sido objeto de extensa revisão por pares. A decisão do editor da série de rejeitar o documento final foi tomada na terça-feira, 16 de junho, e foi comunicada oficialmente aos autores na segunda-feira, 22 de junho. »

Algoritmos discriminatórios

Especialistas na área de IA há muito criticam a eficácia dos algoritmos de reconhecimento facial. Esses algoritmos de identificação são frequentemente criticados por sua falta de confiabilidade ao identificar rostos não caucasianos. Essas limitações poderiam, então, reforçar a discriminação contra comunidades consideradas vulneráveis.

Além disso, como indica um dos autores da carta aberta, “os programas de aprendizado de máquina não são neutros […] e os dados com os quais trabalham muitas vezes herdam crenças culturais dominantes sobre o mundo. “A aceitação acrítica de suposições padrão inevitavelmente leva a um design discriminatório em sistemas algorítmicos, reproduzindo ideias que normalizam hierarquias sociais e legitimam a violência contra grupos marginalizados. ele adiciona.