Uma fraqueza dos modelos de IA

Veja a imagem abaixo. Um problema de matemática, com a mesma formulação, mas o texto de baixo tem uma informação desnecessária, que está em vermelho. Quando o problema é submetido a um ser humano, ele simplesmente desconsidera a parte em vermelho.

Mas uma pesquisa (via aqui) mostrou que a inserção dessa frase no problema prejudica a resposta dada pela IA. Em língua inglesa isso chama CatAttack. 

O estudo descobriu que a inserção de "gatilhos adversariais independentes da pergunta" — trechos curtos e irrelevantes que, ao serem adicionados a problemas matemáticos, induzem sistematicamente os modelos a respostas incorretas — confunde os modelos. Alguns ficaram até 700% mais propensos ao erro quando expostos ao chamado CatAttack.