QI está correlacionado com sucesso na vida?

Quem conhece a literatura sobre fatores que afetam o sucesso na vida, sabe que inteligência, medida por testes de QI, é um destes fatores (supostamente). Para vocês, recomendo que leiam este paper. O abstract:

Intelligence tests are widely assumed to measure maximal intellectual performance, and predictive associations between intelligence quotient (IQ) scores and later-life outcomes are typically interpreted as unbiased estimates of the effect of intellectual ability on academic, professional, and social life outcomes. The current investigation critically examines these assumptions and finds evidence against both. First, we examined whether motivation is less than maximal on intelligence tests administered in the context of low-stakes research situations. Specifically, we completed a meta-analysis of random-assignment experiments testing the effects of material incentives on intelligence-test performance on a collective 2,008 participants. Incentives increased IQ scores by an average of 0.64 SD, with larger effects for individuals with lower baseline IQ scores. Second, we tested whether individual differences in motivation during IQ testing can spuriously inflate the predictive validity of intelligence for life outcomes. Trained observers rated test motivation among 251 adolescent boys completing intelligence tests using a 15-min “thin-slice” video sample. IQ score predicted life outcomes, including academic performance in adolescence and criminal convictions, employment, and years of education in early adulthood. After adjusting for the influence of test motivation, however, the predictive validity of intelligence for life outcomes was significantly diminished, particularly for nonacademic outcomes. Collectively, our findings suggest that, under low-stakes research conditions, some individuals try harder than others, and, in this context, test motivation can act as a third-variable confound that inflates estimates of the predictive validity of intelligence for life outcomes.

 

Publicado em ciência, estatística, Política e Economia | Marcado com , , , | Deixe um comentário

Livros de 2016 (e 2015…)

Se eu fosse bom em escrever, ia conseguir resumir em poucas linhas os livros que li em 2016 (e 2015, porque minha memória é ruim e tem livro que devo ter lido em 2015 e acho que foi 2016). Como não sou, falo dos livros mal-ajambradamente mesmo.

  1. Between the World and Me, do Ta–Nehisi Coates. Quase certeza que li esse livro em 2015 ainda. Livro fantástico, e que teve um impacto profundo na minha forma de ver o mundo.
  2. Nexus (outro que pode ter sido de 2015). Livro de ficção científica. É um mundo em que dá para fazer upload de conhecimentos no cérebro, por meio de uma mistura de drogas e programas de computador. Divertido e que coloca algumas questões interessantes, mas nada muito profundo.
  3. Superforecasting, the art and science of prediction, do Tetlock. Livro bem fraco. Dava para resumir em umas 30 páginas. Nessas 30 páginas teriam coisas bem úteis, o resto não acrescenta muito. Se você não conhece nada do trabalho dele, dá para tirar um pouco mais de coisa do livro e pode valer ler a metade dele. O final, em que ele fica falando de liderança, é pura bullshetagem para vender na seção de business.
  4. Misbehaving: the making of behavioral economics, do Richard Thaller. Livro muito bom. Conta a história intelectual do Thaller e, por extensão, da criação do campo da ciência comportamental (behavioral economics + na psicologia, direito etc.), os embates no interior da academia… Aprendi muito com o livro, mesmo já tendo lido o livro do Kahneman e outros trabalhos na área. Não chega a ser um manual, mas creio que serviria como auxílio para um curso.
  5. On Bullshit, do Harry Frankfurt. Descobri esse livro pequeno após uma referência a ele num artigo sobre o Trump. Esperava um pouco mais do livro, mas é útil a distinção entre quem se engaja em bulhestagem e o mentiroso. Ainda mais que pós-verdade foi escolhida palavra do ano pelo dicionário Oxford. Eu não li o que eles escreveram sobre pós-verdade, mas parece-me que, mais do  que dizer que o Trump é um mentiroso, ele de fato é cheio da bullshetagem.
  6. Tempos vividos, sonhados e perdidos, do Tostão. O livro mostra a visão do Tostão sobre o futebol, misturado com a vida do próprio Tostão, numa espécie de curto livro de memórias. Tem várias passagens deliciosas, mas o livro não tem uma fluidez tão boa. Às vezes parece uma coletânea de artigos de jornais.
  7. Without You, There is no Us, de Suki Kim. É um livro que conta o tempo que a autora passou na Coreia do Norte, ensinando inglês numa Universidade de lá. Instrutivo sobre como é a Coréia do Norte. Tem umas passagens emocionantes sobre como foi a separação da Coréia do Norte e do Sul, já que a autora é sul-coerana e a família dela viveu na pele o drama da separação (o avô estava em viagem de negócios no que seria Coréia do Norte e nunca pode voltar pro Sul, por exemplo). Mas é meio repetitivo e no geral a leitura não flui tanto. E as partes sobre a vida dela são… desinteressantes. Parei um pouco depois da metade.
Publicado em Política e Economia | Marcado com , , , , | Deixe um comentário

Black Mirror está próximo, e é pior do que você imagina.

Essa reportagem conta como um algoritmo conseguiu distinguir com praticamente 90% de acurácia criminosos de não-criminosos, com base apenas na foto das faces das pessoas.

É importante, porém, especialmente para quem não tem o conhecimento técnico, entender o que o algoritmo faz e o que ele não faz.

O que ele faz:
1. Dadas fotos de pessoas na China (uma amostra apenas com homens), ele parece ser capaz de acertar com 90% de acurácia se a pessoa já foi condenada por um crime ou não.

O que ele não faz:
1. Ele não mostra que existe uma relação causal entre características da face e tendência a cometer crime. Mesmo que o algoritmo distinguisse com 100% de acurácia criminosos de não-criminosos, ainda assim ele não demonstraria que pessoas com determinada face têm a face de criminosos ,e outros de não-criminosos. E isso porque a amostra é resultado do processo humano de produzir criminosos e não-criminosos. Se a justiça for viesada e nós seres humanos (ainda que sem perceber) condenarmos mais pessoas com determinado tipo de face, então essa variável (Determinado tipo de face) vai ser um preditor de se a pessoa é um criminoso condenado, mas não necessariamente se ele de fato tem maior propensão a cometer crime. Ele vai refletir apenas nosso sistema judicial viesado, ainda que o viés não seja conscientemente aplicado.

2. Ele não identifica os mecanismos que fazem alguém cometer crime. Ou seja, isso não quer dizer que pessoas com determinado tipo de face porque têm essa face têm maior tendência a cometer crimes.

3. As características identificadas não são marcadores confiáveis de criminalidade. Como o estudo usa redes neurais, não é tão simples entender o que são as variáveis preditoras. Embora eles façam um estudo interpretativo das variáveis (e digam que, por exemplo, a curvatura do lábio superior etc. é preditivo), nós sabemos que algoritmos de reconhecimento de imagem com redes neurais são sensíveis a modificações pequenas em alguns pixels imperceptíveis ao olho humano. Então o que parece ser a curvatura do lábio superior, pode ser alguma outra coisa, de forma que seres humanos não deveriam usar tais características (medindo analogicamente) e esperar o mesmo grau de acurácia. Aliás, isso pode ser verificado justamente fazendo medições analógicas e utilizando métodos estatísticos mais simples que redes neurais como regressão, para ver que há essa sensibilidade. Pelo que vi do paper, eles não fizeram isso. Eu aposto (e espero!) que se eles fizessem, em uma nova amostra, os resultados seriam desapontadores.

Então, minhas conclusão é:
1. O paper mostra que é possível (mas não certo) que com mais dados e estudos se consiga construir um algoritmo que prevê com grande acurácia quem a nossa sociedade julga como criminoso.

2. Ele não mostra nada sobre pessoas com determinado tipos de faces serem mais propensas a cometerem crimes, nem que seja possível identificar tipos criminoso apenas pelo rosto. E felizmente, não estamos perto de isso acontecer.

3. É extremamente preocupante, porque dada nossa sociedade racista etc. etc., pode vir a ser usada para colocar na cadeia quem a própria sociedade já usa como alvo. É preciso ficar de olho. E a história da tecnologia mostra como o racismo estrutural impactou o desenho da tecnologia para prejudicar ou não funcionar tão bem para algumas minorias (veja por exemplo a história das máquinas fotográficas, cuja revelação de foto foi otimizada para brancos, prejudicando a qualidade das fotos dos negros). Em suma, não existem dados neutros nem tecnologia neutra.

Publicado em ciência, estatística, Política e Economia | Marcado com , , , , , , , | Deixe um comentário

Comparando editoriais do Estadão sobre Trânsito/multas em SP antes e depois da eleição

Guest Post por Caio Carbone (texto originalmente publicado no facebook do Caio, e que ele gentilmente aceitou republicar aqui no blog). Para quem quiser ler mais textos do Caio, recomendo o blog dele.

Hoje [04/11] o Estadão traz o seguinte editorial: “Maior Rigor no Trânsito”. Apesar de tratar de uma medida aprovada pela gestão Haddad, vale comparar com editoriais pré-eleição para identificar algo meio estranho.

Começa o texto de hoje, que trata da elevação de multas para o uso do celular, dirigir embriagado e outras coisas mais: “O aumento das multas de trânsito (…) é uma medida importante para tentar reduzir o altíssimo número de acidentes com vítimas”. Ao longo do texto há diversas afirmações no mesmo sentido, como “o rigor no combate às infrações justifica-se plenamente, em vista do elevado número de acidentes de trânsito nas ruas e estradas do País”, citando inclusive dados de mortes no trânsito e estudos relacionando o ilícito a riscos concretos de acidente. Diz também que “o fenômeno é universal e (…) vem sendo combatida com muito rigor em todo o mundo. A nova lei apenas adapta o Brasil a essa nova realidade”. Há só um alerta no final do texto (duas frases no último parágrafo) sobre o cuidado para que a ação não seja culminada numa “indústria”, por meio de ações educacionais. Quem ótimo texto!

Mas como o assunto foi tratado há alguns poucos meses? Para começar, vale notar que até muito recentemente não havia muita reverberação de informações como a redução dos limites de velocidade em diversos países (sob recomendação da ONU) e estudos sobre a letalidade de acidentes acima de 40km/h (o Estadão publicou recentemente um vídeo muito informativo sobre o assunto, mas infelizmente só depois das eleições). Mas sejamos mais específicos. Em 17/08/2016, por exemplo, o título de outro editorial do jornal já era claro (“muita multa, pouca educação”), e a única menção ao mérito da política de redução de velocidade era a seguinte frase: “o limite estabelecido para praticamente todas as demais vias [fora as marginais] é razoável e segue padrões internacionais”. O restante consistia em críticas às multas. Vamos a mais algumas diferenças entre esse editorial e o publicado hoje, ponto a ponto:

Antes: “Se a Prefeitura tivesse (…) preparando os motoristas para se adaptarem às novas regras, certamente não seria tão elevado o número dos multados”

Agora: “os motoristas tiveram tempo suficiente para se preparar para essa nova realidade, porque o projeto nesse sentido aprovado pelo Congresso, e amplamente divulgado, foi sancionado há seis meses”
____

Antes: “O Departamento de Operações do Sistema Viário (DSV) vem atrasando o envio ao Detran de solicitações de quem conduzia o veículo, quando multado – se o proprietário ou alguém mais. (…) O problema é grave porque, em decorrência da multiplicação das multas, aumentou muito também o número de CNHs suspensas – 14 mil, em média, por mês”

Agora: “O aumento do tempo de suspensão do direito de dirigir, quando o motorista atinge 20 pontos na Carteira Nacional de Habilitação por causa de infrações cometidas, é mais uma medida que pode levar os motoristas a serem cuidadosos. O prazo de suspensão passa de um para seis meses”
____

Antes (esse de um editorial de 10/mar/2016, “mais radares e multas”): “A multa, por si só, não educa. E a melhor prova disso é o seu próprio aumento constante e acelerado. Se elas sozinhas educassem, teriam de estar diminuindo.”

Agora: “Para o especialista em trânsito Paulo Bacaltchuck, a multa certamente vai ajudar, ‘porque o bolso é o que mais pesa na tomada de decisão do motorista’”.
____

Aí o editorial de hoje diz “mas para melhorar esse quadro desolador é preciso mais do que apenas elevar o valor das multas (…) A isso é indispensável acrescentar a melhoria da fiscalização”. E eu pergunto: vai fiscalizar com educação ou agora o radar e os agentes da CET de repente viraram bons instrumentos auxiliares?

Note que não estou dizendo que os textos são necessariamente contraditórios – apesar de serem algumas vezes. Apenas chamo atenção que a escolha da pauta e de como abordar o assunto define a ideia que se quer passar (escrevi um post sobre isso no meu blog, chamado “pauta já é discussão”). E para mim o objetivo, há alguns meses, não era informar o cidadão.

 

Publicado em Política e Economia | Deixe um comentário

Medicina baseada em evidências?

Estava lendo uma recomendação da Associação Americana de Pediatria sobre onde um bebê deve dormir (na cama com os pais? em uma lugar separado, mas no mesmo quarto dos pais? em outro quarto? etc.). Aí fui ler uma das referências que fundamenta as conclusões da recomendação.

Estou lendo o estudo, e aí, na parte da análise dos dados, encontro o seguinte:

Models were constructed with the backward stepwise procedure for variables significant at the 5% level in the univariate analysis [ênfase minha].

Really? Stepwise? Talvez em 1999 (ano do estudo) não fosse tão claro que stepwise é uma forma horrível de selecionar variáveis para entrar num modelo. Eu mesmo acho que aprendi a usar stepwise nos cursos de econometria durante a graduação (1999-2003). Aliás, acho até que cheguei a utilizar stepwise nas minhas primeiras análises de dados. Mas o fato concreto é: agora que sei mais, como eu vou confiar num estudo com esse tipo de metodologia?

É certo que há outros estudos, e que (espero) apontem todos na mesma direção, com amostras independentes, o que vai tornar o resultado (um pouco) mais robusto. Mas não é lá muito animador saber que a medicina baseada em evidências não é baseada em evidências tão rigorosas.

Publicado em Manoel Galdino, medicina | Marcado com , , , , , , , , | Deixe um comentário

Sentences to Ponder

Ptolemy had (…) a universal approximator. He just didn’t know it. With enough epicycles and cycles, one could approximate any orbital system as closely as one wanted. In essence, the mistake (but he couldn’t have known it) was to try to construct a theory to fit the details of the approximation machinery.

Fuzzy logic rules and neural nets are other universal approximators. I wouldn’t go around trying to construct significance into their details, either.

Tha was a commenter at Andrew Gelman´s blog. I find the insight really powerfull. Think, for instance, of IQ and the theory of general intelligence. Or, for that matter, linear regression with interactions and polinomal, or splines or alike.

Publicado em english, estatística | Marcado com , , , , , , , , , , | Deixe um comentário

Sobre a redução de deputados e senadores no Brasil

Há uma consulta sobre uma PEC que reduziria o número de senadores e deputados federais. E me perguntaram o que eu achava. Realmente nunca li nada sobre o assunto, então não tenho muita opinião, exceto que acho muito difícil ser aprovada, os benefícios não me parecem claros, e prefiro gastar a energia com outros assuntos também difíceis mas com benefícios mais claros.

De todo modo, para quem se interessar, achei dois artigos sobre o assunto, dos quais destaco os principais achados.

  1. We find that large legislatures spent more, as implied by the “Law of 1/n” from the fiscal commons/logrolling literature. We also find (…) that only the size of the upper house was important.
  2. In contrast to previous findings, I find a negative relationship between council size and government size: on average, spending and revenues are decreased by roughly 0.5
    percent for each additional council member.
Publicado em english, Política e Economia | Marcado com , , , | Deixe um comentário