Um sistema automatizado para detecção de fraudes em benefícios sociais foi implantado na Austrália em 2016. O sistema chamava Robodebt e funcionou até o ano de 2020. Mas foi uma verdadeira arma de destruição em massa.
O Robodebt usava algoritmos falhos para identificar supostos pagamentos indevidos de benefícios. As pessoas recebiam notificações com as acusações onde era exigido a devolução de milhares de dólares, com pouca explicação e muita confusão.
Quando acessavam o site, as pessoas encontravam um documento em uma linguagem pouco acessível, com termos jurídicos. A armadilha era maior ainda, pois para ver todo o conteúdo era necessário clicar em "next" para prosseguir. E quando você clicava, estava admitindo o pagamento indevido e perdia o direito de contestar.
(Quem nunca deixou de ler as instruções de um site?)
Já que estavam devendo, as pessoas começaram a tomar empréstimos ou vender seus bens. O caso ainda está sob investigação. E como sempre, alguns poderosos conseguiram escapar - até agora - das punições. O problema afetou 470 mil pessoas, sendo importante lembrar que a Austrália tem 28 milhões de habitantes.
(P.S. O título da postagem é inspirado em "Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy", livro de Cathy O'Neil. Cartoon aqui