Black Mirror está próximo, e é pior do que você imagina.

Essa reportagem conta como um algoritmo conseguiu distinguir com praticamente 90% de acurácia criminosos de não-criminosos, com base apenas na foto das faces das pessoas.

É importante, porém, especialmente para quem não tem o conhecimento técnico, entender o que o algoritmo faz e o que ele não faz.

O que ele faz:
1. Dadas fotos de pessoas na China (uma amostra apenas com homens), ele parece ser capaz de acertar com 90% de acurácia se a pessoa já foi condenada por um crime ou não.

O que ele não faz:
1. Ele não mostra que existe uma relação causal entre características da face e tendência a cometer crime. Mesmo que o algoritmo distinguisse com 100% de acurácia criminosos de não-criminosos, ainda assim ele não demonstraria que pessoas com determinada face têm a face de criminosos ,e outros de não-criminosos. E isso porque a amostra é resultado do processo humano de produzir criminosos e não-criminosos. Se a justiça for viesada e nós seres humanos (ainda que sem perceber) condenarmos mais pessoas com determinado tipo de face, então essa variável (Determinado tipo de face) vai ser um preditor de se a pessoa é um criminoso condenado, mas não necessariamente se ele de fato tem maior propensão a cometer crime. Ele vai refletir apenas nosso sistema judicial viesado, ainda que o viés não seja conscientemente aplicado.

2. Ele não identifica os mecanismos que fazem alguém cometer crime. Ou seja, isso não quer dizer que pessoas com determinado tipo de face porque têm essa face têm maior tendência a cometer crimes.

3. As características identificadas não são marcadores confiáveis de criminalidade. Como o estudo usa redes neurais, não é tão simples entender o que são as variáveis preditoras. Embora eles façam um estudo interpretativo das variáveis (e digam que, por exemplo, a curvatura do lábio superior etc. é preditivo), nós sabemos que algoritmos de reconhecimento de imagem com redes neurais são sensíveis a modificações pequenas em alguns pixels imperceptíveis ao olho humano. Então o que parece ser a curvatura do lábio superior, pode ser alguma outra coisa, de forma que seres humanos não deveriam usar tais características (medindo analogicamente) e esperar o mesmo grau de acurácia. Aliás, isso pode ser verificado justamente fazendo medições analógicas e utilizando métodos estatísticos mais simples que redes neurais como regressão, para ver que há essa sensibilidade. Pelo que vi do paper, eles não fizeram isso. Eu aposto (e espero!) que se eles fizessem, em uma nova amostra, os resultados seriam desapontadores.

Então, minhas conclusão é:
1. O paper mostra que é possível (mas não certo) que com mais dados e estudos se consiga construir um algoritmo que prevê com grande acurácia quem a nossa sociedade julga como criminoso.

2. Ele não mostra nada sobre pessoas com determinado tipos de faces serem mais propensas a cometerem crimes, nem que seja possível identificar tipos criminoso apenas pelo rosto. E felizmente, não estamos perto de isso acontecer.

3. É extremamente preocupante, porque dada nossa sociedade racista etc. etc., pode vir a ser usada para colocar na cadeia quem a própria sociedade já usa como alvo. É preciso ficar de olho. E a história da tecnologia mostra como o racismo estrutural impactou o desenho da tecnologia para prejudicar ou não funcionar tão bem para algumas minorias (veja por exemplo a história das máquinas fotográficas, cuja revelação de foto foi otimizada para brancos, prejudicando a qualidade das fotos dos negros). Em suma, não existem dados neutros nem tecnologia neutra.

Anúncios

Sobre Manoel Galdino

Corinthiano, Bayesiano e Doutor em ciência Política pela USP.
Esse post foi publicado em ciência, estatística, Política e Economia e marcado , , , , , , , . Guardar link permanente.

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s