Black Mirror está próximo, e é pior do que você imagina.

Essa reportagem conta como um algoritmo conseguiu distinguir com praticamente 90% de acurácia criminosos de não-criminosos, com base apenas na foto das faces das pessoas.

É importante, porém, especialmente para quem não tem o conhecimento técnico, entender o que o algoritmo faz e o que ele não faz.

O que ele faz:
1. Dadas fotos de pessoas na China (uma amostra apenas com homens), ele parece ser capaz de acertar com 90% de acurácia se a pessoa já foi condenada por um crime ou não.

O que ele não faz:
1. Ele não mostra que existe uma relação causal entre características da face e tendência a cometer crime. Mesmo que o algoritmo distinguisse com 100% de acurácia criminosos de não-criminosos, ainda assim ele não demonstraria que pessoas com determinada face têm a face de criminosos ,e outros de não-criminosos. E isso porque a amostra é resultado do processo humano de produzir criminosos e não-criminosos. Se a justiça for viesada e nós seres humanos (ainda que sem perceber) condenarmos mais pessoas com determinado tipo de face, então essa variável (Determinado tipo de face) vai ser um preditor de se a pessoa é um criminoso condenado, mas não necessariamente se ele de fato tem maior propensão a cometer crime. Ele vai refletir apenas nosso sistema judicial viesado, ainda que o viés não seja conscientemente aplicado.

2. Ele não identifica os mecanismos que fazem alguém cometer crime. Ou seja, isso não quer dizer que pessoas com determinado tipo de face porque têm essa face têm maior tendência a cometer crimes.

3. As características identificadas não são marcadores confiáveis de criminalidade. Como o estudo usa redes neurais, não é tão simples entender o que são as variáveis preditoras. Embora eles façam um estudo interpretativo das variáveis (e digam que, por exemplo, a curvatura do lábio superior etc. é preditivo), nós sabemos que algoritmos de reconhecimento de imagem com redes neurais são sensíveis a modificações pequenas em alguns pixels imperceptíveis ao olho humano. Então o que parece ser a curvatura do lábio superior, pode ser alguma outra coisa, de forma que seres humanos não deveriam usar tais características (medindo analogicamente) e esperar o mesmo grau de acurácia. Aliás, isso pode ser verificado justamente fazendo medições analógicas e utilizando métodos estatísticos mais simples que redes neurais como regressão, para ver que há essa sensibilidade. Pelo que vi do paper, eles não fizeram isso. Eu aposto (e espero!) que se eles fizessem, em uma nova amostra, os resultados seriam desapontadores.

Então, minhas conclusão é:
1. O paper mostra que é possível (mas não certo) que com mais dados e estudos se consiga construir um algoritmo que prevê com grande acurácia quem a nossa sociedade julga como criminoso.

2. Ele não mostra nada sobre pessoas com determinado tipos de faces serem mais propensas a cometerem crimes, nem que seja possível identificar tipos criminoso apenas pelo rosto. E felizmente, não estamos perto de isso acontecer.

3. É extremamente preocupante, porque dada nossa sociedade racista etc. etc., pode vir a ser usada para colocar na cadeia quem a própria sociedade já usa como alvo. É preciso ficar de olho. E a história da tecnologia mostra como o racismo estrutural impactou o desenho da tecnologia para prejudicar ou não funcionar tão bem para algumas minorias (veja por exemplo a história das máquinas fotográficas, cuja revelação de foto foi otimizada para brancos, prejudicando a qualidade das fotos dos negros). Em suma, não existem dados neutros nem tecnologia neutra.

Publicado em ciência, estatística, Política e Economia | Marcado com , , , , , , , | Deixe um comentário

Comparando editoriais do Estadão sobre Trânsito/multas em SP antes e depois da eleição

Guest Post por Caio Carbone (texto originalmente publicado no facebook do Caio, e que ele gentilmente aceitou republicar aqui no blog). Para quem quiser ler mais textos do Caio, recomendo o blog dele.

Hoje [04/11] o Estadão traz o seguinte editorial: “Maior Rigor no Trânsito”. Apesar de tratar de uma medida aprovada pela gestão Haddad, vale comparar com editoriais pré-eleição para identificar algo meio estranho.

Começa o texto de hoje, que trata da elevação de multas para o uso do celular, dirigir embriagado e outras coisas mais: “O aumento das multas de trânsito (…) é uma medida importante para tentar reduzir o altíssimo número de acidentes com vítimas”. Ao longo do texto há diversas afirmações no mesmo sentido, como “o rigor no combate às infrações justifica-se plenamente, em vista do elevado número de acidentes de trânsito nas ruas e estradas do País”, citando inclusive dados de mortes no trânsito e estudos relacionando o ilícito a riscos concretos de acidente. Diz também que “o fenômeno é universal e (…) vem sendo combatida com muito rigor em todo o mundo. A nova lei apenas adapta o Brasil a essa nova realidade”. Há só um alerta no final do texto (duas frases no último parágrafo) sobre o cuidado para que a ação não seja culminada numa “indústria”, por meio de ações educacionais. Quem ótimo texto!

Mas como o assunto foi tratado há alguns poucos meses? Para começar, vale notar que até muito recentemente não havia muita reverberação de informações como a redução dos limites de velocidade em diversos países (sob recomendação da ONU) e estudos sobre a letalidade de acidentes acima de 40km/h (o Estadão publicou recentemente um vídeo muito informativo sobre o assunto, mas infelizmente só depois das eleições). Mas sejamos mais específicos. Em 17/08/2016, por exemplo, o título de outro editorial do jornal já era claro (“muita multa, pouca educação”), e a única menção ao mérito da política de redução de velocidade era a seguinte frase: “o limite estabelecido para praticamente todas as demais vias [fora as marginais] é razoável e segue padrões internacionais”. O restante consistia em críticas às multas. Vamos a mais algumas diferenças entre esse editorial e o publicado hoje, ponto a ponto:

Antes: “Se a Prefeitura tivesse (…) preparando os motoristas para se adaptarem às novas regras, certamente não seria tão elevado o número dos multados”

Agora: “os motoristas tiveram tempo suficiente para se preparar para essa nova realidade, porque o projeto nesse sentido aprovado pelo Congresso, e amplamente divulgado, foi sancionado há seis meses”
____

Antes: “O Departamento de Operações do Sistema Viário (DSV) vem atrasando o envio ao Detran de solicitações de quem conduzia o veículo, quando multado – se o proprietário ou alguém mais. (…) O problema é grave porque, em decorrência da multiplicação das multas, aumentou muito também o número de CNHs suspensas – 14 mil, em média, por mês”

Agora: “O aumento do tempo de suspensão do direito de dirigir, quando o motorista atinge 20 pontos na Carteira Nacional de Habilitação por causa de infrações cometidas, é mais uma medida que pode levar os motoristas a serem cuidadosos. O prazo de suspensão passa de um para seis meses”
____

Antes (esse de um editorial de 10/mar/2016, “mais radares e multas”): “A multa, por si só, não educa. E a melhor prova disso é o seu próprio aumento constante e acelerado. Se elas sozinhas educassem, teriam de estar diminuindo.”

Agora: “Para o especialista em trânsito Paulo Bacaltchuck, a multa certamente vai ajudar, ‘porque o bolso é o que mais pesa na tomada de decisão do motorista’”.
____

Aí o editorial de hoje diz “mas para melhorar esse quadro desolador é preciso mais do que apenas elevar o valor das multas (…) A isso é indispensável acrescentar a melhoria da fiscalização”. E eu pergunto: vai fiscalizar com educação ou agora o radar e os agentes da CET de repente viraram bons instrumentos auxiliares?

Note que não estou dizendo que os textos são necessariamente contraditórios – apesar de serem algumas vezes. Apenas chamo atenção que a escolha da pauta e de como abordar o assunto define a ideia que se quer passar (escrevi um post sobre isso no meu blog, chamado “pauta já é discussão”). E para mim o objetivo, há alguns meses, não era informar o cidadão.

 

Publicado em Política e Economia | Deixe um comentário

Medicina baseada em evidências?

Estava lendo uma recomendação da Associação Americana de Pediatria sobre onde um bebê deve dormir (na cama com os pais? em uma lugar separado, mas no mesmo quarto dos pais? em outro quarto? etc.). Aí fui ler uma das referências que fundamenta as conclusões da recomendação.

Estou lendo o estudo, e aí, na parte da análise dos dados, encontro o seguinte:

Models were constructed with the backward stepwise procedure for variables significant at the 5% level in the univariate analysis [ênfase minha].

Really? Stepwise? Talvez em 1999 (ano do estudo) não fosse tão claro que stepwise é uma forma horrível de selecionar variáveis para entrar num modelo. Eu mesmo acho que aprendi a usar stepwise nos cursos de econometria durante a graduação (1999-2003). Aliás, acho até que cheguei a utilizar stepwise nas minhas primeiras análises de dados. Mas o fato concreto é: agora que sei mais, como eu vou confiar num estudo com esse tipo de metodologia?

É certo que há outros estudos, e que (espero) apontem todos na mesma direção, com amostras independentes, o que vai tornar o resultado (um pouco) mais robusto. Mas não é lá muito animador saber que a medicina baseada em evidências não é baseada em evidências tão rigorosas.

Publicado em Manoel Galdino, medicina | Marcado com , , , , , , , , | Deixe um comentário

Sentences to Ponder

Ptolemy had (…) a universal approximator. He just didn’t know it. With enough epicycles and cycles, one could approximate any orbital system as closely as one wanted. In essence, the mistake (but he couldn’t have known it) was to try to construct a theory to fit the details of the approximation machinery.

Fuzzy logic rules and neural nets are other universal approximators. I wouldn’t go around trying to construct significance into their details, either.

Tha was a commenter at Andrew Gelman´s blog. I find the insight really powerfull. Think, for instance, of IQ and the theory of general intelligence. Or, for that matter, linear regression with interactions and polinomal, or splines or alike.

Publicado em english, estatística | Marcado com , , , , , , , , , , | Deixe um comentário

Sobre a redução de deputados e senadores no Brasil

Há uma consulta sobre uma PEC que reduziria o número de senadores e deputados federais. E me perguntaram o que eu achava. Realmente nunca li nada sobre o assunto, então não tenho muita opinião, exceto que acho muito difícil ser aprovada, os benefícios não me parecem claros, e prefiro gastar a energia com outros assuntos também difíceis mas com benefícios mais claros.

De todo modo, para quem se interessar, achei dois artigos sobre o assunto, dos quais destaco os principais achados.

  1. We find that large legislatures spent more, as implied by the “Law of 1/n” from the fiscal commons/logrolling literature. We also find (…) that only the size of the upper house was important.
  2. In contrast to previous findings, I find a negative relationship between council size and government size: on average, spending and revenues are decreased by roughly 0.5
    percent for each additional council member.
Publicado em english, Política e Economia | Marcado com , , , | Deixe um comentário

Sentences to Ponder

In terms of practical political implications, we conclude that voters will learn about true values of fundamental political variables if given enough competitive information and time. Thus, we suggest caution to campaign reformers who advocate shortening campaigns due to the disengagement or increased cynicism of the electorate. In this analysis, time is information – and length of the campaign helped voters to make use of important electoral information. Shorter campaigns may produce ‘happier’ voters, in the sense that they do not watch leaders attacking each other for so long; but shorter campaigns may also produce less ‘enlightened’ voters who don’t know as much about the candidates and issues facing them.

Do artigo “Does Campaign Length Matter? Testing for Cross-National Effects“, de Stevenson e Vavreck (2000), no British Journal of Political Science

Publicado em ciência, english, Política e Economia | Marcado com , , , | Deixe um comentário

Opinião, racionalidade e simplificação, o que a ciência tem a nos ensinar sobre esses temas

Está na moda falar em fla-flu político, em criticar a falta de racionalidade e objetividade alheia, o simplismo dos nossos debates, enfim, a pobreza intelectual dos outros. Infelizmente o que a ciência da formação de opinião tem produzido não chegou por essas plagas, aparentemente. Como não serei eu quem irei explicar tudo aqui, quero apenas deixar recomendando alguns trabalhos, para quem tiver interesse em entender o que a ciência descobriu sobre como funciona o cérebro humano e como formamos opiniões sobre temas caros para nós.

  1. Apesar da crise de replicação em muitas pesquisas sobre “priming” e outros temas relacionados na psicologia, ainda vale ler o livro do Daniel Kahneman falando como funciona o sistema 1 e 2 em todos os seres humanos, inclusive no próprio Daniel Kahneman.
  2. Esse artigo do Brendan Nyhan, que eu comentei aqui mesmo no blog, foi creio o primeiro que li sobre o assunto e que começou a transformar como via a questão.
  3. Esse outro artigo (versão ungated), sobre misinformation (desinformação) e como corrigi-la é bastante citado. Eu só dei uma lida bem por cima, e é uma grande revisão da literatura. Vale a pena lê-lo para ter uma visão mais ampla dos argumentos e hipóteses sobre como os vieses ocorrem e podem ser minorados.
  4. Estou na metade desse livro do Tetlock sobre como fazer previsões. Aparentemente, se alguém leu o livro anterior dele, esse novo não traz tanta novidade. No entanto, a tese central dele, de que para fazer previsões e, no geral, avaliações objetivas de situações incertas, devemos partir do geral em comparações com outras situações similares, e aos poucos ir para o particular (mas sempre estabelecendo bases de comparações mesmo no particular) parece-me um bom remédio para evitar conclusões apressadas e errôneas, e preservar o espírito crítico. A vantagem desse método é que ele evita os vieses introduzidos pela tendência a avaliar informações a partir do quanto elas são consistentes com o que acreditamos previamente.
  5. Esse aqui eu não li, também do Brendan Nyhan, mas destaco a conclusão do abstract, pois parece ser um resultado mais geral da literatura, qual seja: que indivíduos mais ideologicamente motivados e sofisticados vão ter mais dificuldade de aceitar informações corretivas que contrariem sua visão de mundo. Ou seja, contrariamente ao popularmente suposto, mais educação pode implicar em menor capacidade de corrigir a própria percepção.

    Findings: The correction reduced belief in death panels and strong opposition to the reform bill among those who view Palin unfavorably and those who view her favorably but have low political knowledge. However, it backfired among politically knowledgeable Palin supporters, who were more likely to believe in death panels and to strongly oppose reform if they received the correction.

    Conclusions: These results underscore the difficulty of reducing misperceptions about health care reform among individuals with the motivation and sophistication to reject corrective information.

    6. Esse livro não li, e fica aqui mais como referência para mim. Portanto não recomendo nem nada.

Publicado em ciência, Manoel Galdino, Política e Economia | Marcado com , , , , , , , , | 1 Comentário