Arma de destruição em massa

Um sistema automatizado para detecção de fraudes em benefícios sociais foi implantado na Austrália em 2016. O sistema chamava Robodebt e funcionou até o ano de 2020. Mas foi uma verdadeira arma de destruição em massa. 

O Robodebt usava algoritmos falhos para identificar supostos pagamentos indevidos de benefícios. As pessoas recebiam notificações com as acusações onde era exigido a devolução de milhares de dólares, com pouca explicação e muita confusão.  

Quando acessavam o site, as pessoas encontravam um documento em uma linguagem pouco acessível, com termos jurídicos. A armadilha era maior ainda, pois para ver todo o conteúdo era necessário clicar em "next" para prosseguir. E quando você clicava, estava admitindo o pagamento indevido e perdia o direito de contestar. 

(Quem nunca deixou de ler as instruções de um site?) 

Já que estavam devendo, as pessoas começaram a tomar empréstimos ou vender seus bens. O caso ainda está sob investigação. E como sempre, alguns poderosos conseguiram escapar - até agora - das punições. O problema afetou 470 mil pessoas, sendo importante lembrar que a Austrália tem 28 milhões de habitantes.

(P.S. O título da postagem é inspirado em "Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy", livro de Cathy O'Neil. Cartoon aqui

Aversão a algoritmos

Existe e um artigo mostra uma estratégia para reduzir, através do conceito de perda.  O resumo 

Conforme as ferramentas de inteligência artificial (IA) se tornam onipresentes nas aplicações empresariais, também aumentam as interações entre IA e humanos nos processos de negócios e na tomada de decisão. Uma área crescente de pesquisa tem se concentrado na delegação de tarefas e decisões humanas para assistentes de IA. Paralelamente, estudos extensivos sobre a aversão a algoritmos — a resistência humana a ferramentas de decisão baseadas em algoritmos — têm demonstrado potenciais barreiras e problemas para o uso da IA nos negócios. Neste artigo, testamos uma estratégia simples para mitigar a aversão a algoritmos no contexto da delegação de tarefas para IA. Mostramos que apenas mudar a forma de enquadrar (framing) as tarefas de decisão pode reduzir essa aversão. Em vários estudos, observamos que os participantes preferiam fortemente assistência humana à IA quando eram recompensados pelo desempenho (ganhando dinheiro por bom desempenho), mesmo quando a IA se mostrava superior. Por outro lado, quando reformulamos a tarefa em termos de perdas (dinheiro era retirado do saldo por mau desempenho), o viés de preferência por humanos desapareceu. Nessa condição, os participantes delegaram a tarefa a humanos e IA em taxas semelhantes. Demonstramos esse resultado em tarefas com diferentes níveis de complexidade e valores de incentivo e fornecemos evidências de que o enquadramento por perdas aumenta a consciência situacional, explicando os efeitos observados. Nossos resultados oferecem insights úteis para reduzir a aversão a algoritmos, ampliando a literatura e trazendo sugestões práticas para gestores.

Auditoria de algoritmos

Por mais de uma década, jornalistas e pesquisadores têm escrito sobre os perigos de depender de algoritmos para tomar decisões pesadas: quem é preso , quem consegue um emprego, quem consegue um empréstimo - mesmo quem tem prioridade para vacinas COVID-19. 

(...) A grande questão desde então: como resolvemos esse problema? Legisladores e pesquisadores têm defendido auditorias algorítmicas, que dissecariam e testariam algoritmos para ver como eles funcionam e se estão cumprindo seus objetivos declarados ou produzindo resultados tendenciosos. E há um campo crescente de firmas de auditoria privadas que pretendem fazer exatamente isso. Cada vez mais, as empresas estão recorrendo a essas empresas para revisar seus algoritmos, principalmente quando enfrentam críticas por resultados tendenciosos, mas não está claro se essas auditorias estão realmente tornando os algoritmos menos tendenciosos - ou se são simplesmente boas relações públicas. 

É uma discussão importante. Uma das profissionais citadas no texto é Cathy O ' Neil, autora de Algoritmos de Destruição em Massa. (Ela também foi palestrante TED)

Algoritmo do amor

Na coluna de Fernando Reinach, publicada no Estado de S Paulo do sábado, o biológo comenta uma pesquisa sobre o encontro entre casais.

A formação de pares entre humanos não é um processo randômico. Apesar da diversidade de raça, nível educacional e classe social, a maioria dos casamentos ocorre entre semelhantes.

Usando dados de sites de namoro, cientistas analisaram as mensagens encaminhadas e recebidas pelas pessoas. Alguns recebem muitas mensagens, mas isto é uma minoria: somente 10% das pessoas receberam mais de 10 mensagens. A partir daí, calculou-se um índice de atratividade dos candidatos: mulheres asiáticas são mais atrativas entre os homens; homens brancos com pós-graduação são as preferencias das mulheres (a pesquisa foi feita nos EUA). Com base nisto, foi possível verificar que as pessoas tendem a mandar mensagens para outras com o mesmo índice de atratividade. Mas o desejo é conquistar uma pessoa com um índice melhor que o seu, muito embora o resultado final - igual ao casamento - geralmente é feito com pessoas com o mesmo índice.

A questão também foi tratada em um artigo recente da The Economist (Amor moderno, traduzido e publicado na edição impressa do Estado de S Paulo de 19 de agosto de 2018, p. A21). Para o periódico inglês, a internet tem transformado a procura do amor, assim como o resultado. São 200 milhões de pessoas que usam apps de namoro online e estes programas se tornando o mercado de namoro mais eficiente. É bem verdade que os números sugerem que 5% dos homens nunca conseguirão marcar um encontro, mas os resultados parecem melhores que a apresentação de amigos ou a ida a um bar, duas outras formas populares para encontrar um parceiro (a).

Uma pesquisa concluiu que nos EUA os casamentos entre pessoas que se conheceram pela internet têm probabilidade de durar mais; esses casais se dizem mais felizes do que aqueles que se conheceram offline. (...) evidências sugerem que a internet está fomentando os casamentos interraciais, contornando os grupos sociais homogêneos. Mas eles também estão mais aptos a escolher parceiros iguais a eles próprios [vide a pesquisa citada acima]

A presença e domínio de apps assusta alguns pela possibilidade de manipulação. Isto pode ser mais perigoso quando estas bases de dados ficarem mais dominantes.

Para ler mais: A matemática do amor, de Hannah Fry.

Auditoria de algoritmo

Já sabemos que os algoritmos são construidos, em muitos casos, baseados na experiência prévia. Por este motivo, muitas vezes estão incorporados nas linhas de código preconceitos e falhas, o que pode levar a um aumento da desigualdade e, até, uma ameaça a democracia. O que ocorreu com as eleições dos Estados Unidos e o Facebook é um alerta desses problemas.

Uma solução para corrigir isto é um processo de auditoria. Neste caso, as empresas abrem sua tecnologia para avaliação. O lado negativo é revelar segredos existentes nos algoritmos. Mesmo assim,

as empresas estão começando a empregar auditorias algorítmicas para ajudá-las a pensar nesses sistemas (...) A Deloitte desenvolveuuma prática para ajudar as empresas a gerenciar o risco algorítmico, e a Accenture também relata aconselhando clientes sobre o tópico.

O´Neill, autora de Weapons of Math Destruction e do site Mathbabe, criou uma matriz ética que ajuda as empresas a pensarem nos efeitos dos algoritmos. A matriz olha aspectos como transparência e justiça presente nos algoritmos.

Algoritmos

Um texto muito interessante foi publicado na revista da Fapesp (Grato, Cláudio Santana, pela dica). Com diversos exemplos práticos, o artigo é sobre a utilização dos algoritmos. Eis um trecho interessante:

O antropólogo norte-americano Nick Seaver, pesquisador da Universidade Tufts, nos Estados Unidos, dedica-se atualmente a um projeto baseado em pesquisa etnográfica e entrevistas com criadores de algoritmos de recomendação de músicas em serviços de streaming. Seu interesse é compreender como esses sistemas são desenhados para atrair usuários e chamar a sua atenção, trabalhando na interface de áreas como aprendizado de máquina e publicidade on-line. “Os mecanismos que controlam a atenção e suas mediações técnicas tornaram-se objeto de grande preocupação. A formação de bolhas de interesse e de opinião, as fake news e a distração no campo político são atribuídas a tecnologias desenhadas para manipular a atenção dos usuários”, explica.

Ser humano e Algoritmo

Dois textos procuraram mostrar a relação entre algoritmos e processo decisório. The Economist ressalta a importância de compreender os algoritmos (To Understand Digital Advertising, Study its Algorithms). O texto destaca a pesquisa de Alan Mislove do MIT sobre a resposta dos algoritmos a variações diversos do ambiente. Usando um conceito de Skinner, que inventou um dispositivo para experimentação comportamental, Mislove coloca em um algoritmo os dados e procura verificar como os dados são processados: por exemplo, se trata os rostos das pessoas levando em consideração aspectos raciais.

Isto é importante já que a existência de algoritmos é cada vez maior. E muitas vezes não sabemos as bases de sua fundamentação.

O segundo texto foi publicado na Harvard Business Review e é mais prático: A/B Testing: How To Get It Right. O autor destaca o fato de muitas empresas estão fazendo experimentos do tipo A/B. Assim, quando uma empresa deseja mudar o layout de sua página de comércio eletrônico, ela faz um teste limitado para um grupo de consumidores e observa sua reação. Se as pessoas compram mais com este layout, o mesmo será adotado a partir de então. O experimento A/B ocorre quando “A” é o controle e “B” é a modificação que tenta melhorar o sistema.

O assustador do segundo texto é saber que estamos servido de cobaias para empresas como Microsoft, Google, entre outras.

Links

Quem administra melhor os recursos: robô ou guru?

Algoritmos e sites de namoros

Impacto da demografia sobre a taxa de desconto de longo prazo

Hyundai e o risco de governança

O fim da contabilidade como conhecemos, redução de custo e aumento de transparência

Tricia Wang: As percepções humanas que faltam no big data

Por que tantas empresas tomam decisões ruins, mesmo com acesso a quantidades de dados sem precedentes? Com histórias da Nokia à Netflix e aos oráculos da Grécia antiga, Tricia Wang desmistifica o big data e identifica suas armadilhas, sugerindo que nos concentremos em "thick data" - percepções preciosas e não quantificáveis de pessoas reais - para tomar as decisões de negócios corretas e prosperar no desconhecido.

Mehdi Ordikhani-Seyedlar: o que acontece com o nosso cérebro quando prestamos atenção

Atenção não é somente sobre o que nos concentramos - é também sobre o que nosso cérebro filtra. Investigando padrões no cérebro quando as pessoas tentam se concentrar, o neurocientista computacional Mehdi Ordikhani-Seyedlar espera unir o cérebro ao computador, construindo modelos que podem ser usados para tratar TDAH e ajudar quem perdeu a habilidade de se comunicar. Ouça mais sobre essa interessante ciência nessa curta e fascinante palestra.

Interação algoritmos e seres humanos

[...] Although algorithms are growing ever more powerful, fast and precise, the computers themselves are literal-minded, and context and nuance often elude them. Capable as these machines are, they are not always up to deciphering the ambiguity of human language and the mystery of reasoning. Yet these days they are being asked to be more humanlike in what they figure out.

“For all their brilliance, computers can be thick as a brick,” said Tom M. Mitchell, a computer scientist at Carnegie Mellon University.

And so, while programming experts still write the step-by-step instructions of computer code, additional people are needed to make more subtle contributions as the work the computers do has become more involved. People evaluate, edit or correct an algorithm’s work. Or they assemble online databases of knowledge and check and verify them — creating, essentially, a crib sheet the computer can call on for a quick answer. Humans can interpret and tweak information in ways that are understandable to both computers and other humans.

Question-answering technologies like Apple’s Siri and I.B.M.’s Watson rely particularly on the emerging machine-man collaboration. Algorithms alone are not enough.

Twitter uses a far-flung army of contract workers, whom it calls judges, to interpret the meaning and context of search terms that suddenly spike in frequency on the service.

For example, when Mitt Romney talked of cutting government money for public broadcasting in a presidential debate last fall and mentioned Big Bird, messages with that phrase surged. Human judges recognized instantly that “Big Bird,” in that context and at that moment, was mainly a political comment, not a reference to “Sesame Street,” and that politics-related messages should pop up when someone searched for “Big Bird.” People can understand such references more accurately and quickly than software can, and their judgments are fed immediately into Twitter’s search algorithm.

“Humans are core to this system,” two Twitter engineers wrote in a blog post in January.

Even at Google, where algorithms and engineers reign supreme in the company’s business and culture, the human contribution to search results is increasing. Google uses human helpers in two ways. Several months ago, it began presenting summaries of information on the right side of a search page when a user typed in the name of a well-known person or place, like “Barack Obama” or “New York City.” These summaries draw from databases of knowledge like Wikipedia, the C.I.A. World Factbook and Freebase, whose parent company, Metaweb, Google acquired in 2010. These databases are edited by humans.

When Google’s algorithm detects a search term for which this distilled information is available, the search engine is trained to go fetch it rather than merely present links to Web pages.

“There has been a shift in our thinking,” said Scott Huffman, an engineering director in charge of search quality at Google. “A part of our resources are now more human curated.”

Other human helpers, known as evaluators or raters, help Google develop tweaks to its search algorithm, a powerhouse of automation, fielding 100 billion queries a month. “Our engineers evolve the algorithm, and humans help us see if a suggested change is really an improvement,” Mr. Huffman said.

[...]

Fonte: aqui