Os setes pecados capitais da análise política quantitativa

Esse é o título de um artigo, de Philip Shrodt, que já tinha visto antes do encontro da APSA (que ocorreu em setembro, salvo engano) e foi me repassado agora pelo Luiz Gusmão. Como o artigo é tought-provoking, e está circulando por aqui também, deixe-me compartilhar o que penso dele. Obviamente o autor sabe muito mais do que eu do assunto. não bastasse isso, ele efetivamente dá parecer em artigos quantitativos e, portanto, tem uma idéia muito melhor do que se passa na terra do Tio Sam em matéria de análise quantatitativa. Então, correndo o risco de cometer o pecado da soberba, vou ser pretensioso e comentar o artigo aqui. Pra quem quiser uma análise mais qualificada, o artigo foi comentado pelo Gelman e no Blog de Métodos Quantitativos em Ciências Sociais de Harvard. Se você, como eu, acompanha o blog do Gelman, não sei se tenho muito a acrescentar, embora certamente possa diminuir seu conhecimento com algum comentário errado.

O artigo gira em torno de 7 pecados, a saber:i) multicolinearidade, ii) falta de poder preditivo dos modelos, iii) múltiplas reanálises do mesmo conjunto de dados, iv) uso de modelos complexos sem entender as assumptions desses modelos, v) problemas da síntese frequentista, vi) insuficiência do modelos lineares (de regressão), vii) confusão entre controles estatísticos e experimentais.

Na verdade tem mais alguns outros pecados no meio, e o autor ainda propõe uma visão de filosofia da ciência que explica alguns desses pecados, bem como a necessidade de virarmos todos Bayesianos como a melhor solução (filosoficamente e praticamente) para todos os nossos problemas. Bem, eu sou Bayesiano, então…

Pra ser sincero, em geral eu concordo com as críticas apontadas por Schrodt, mas tenho algumas reservas aqui e ali. Por exemplo, multicolinearidade é um problema apenas se for perfeita. Quando a correlação nas variáveis independetentes não é perfeita, tudo dependerá de qual método você utiliza para inverter matrizes. Minha impressão é que os algoritmos atuais são bem robustos e isso não é mais um problema, salvo em casos muito especiais. Mas pode ser que eu esteja errado. Além disso, como em geral interações são importantes, não vejo correlação como um problema.

Sobre a importâncioa da previsão eu concordo com ele, embore o problema é mais cabeludo do que ele dá a entender no texto. A seleção de modelos que melhor se ajustam aos dados é um problema na análise Bayesiana. E na comunidade de data-mining overfitting é uma questão real, além da necessidade de ter dados de “treino” e de “classificação”, o que não sei muito bem como fazer em ciências sociais, já que nem sempre temos acesso a dados de treino e temos apenas os dados de classificação.

Além disso, mais dois comentários sobre previsão: i) a grita dele contra a falta de citação em filosofia da ciência que justifique essa outra visão (explicação sem previsão é ciência) me parece que deriva apenas do deconhecimento dele. Já não lembro mais direito, mas salvo engano a escola histórica alemã tinha essa perspectiva. É o tal do verstehen, ou entendimento. No caso das ciências humanas, diria essa visão, é preciso não apenas predizer com base em correlações, mas explicar o propósito da ação humana como causa fundamental. Diferentemente da física, que pode dizer que dois corpos se atraem na razão direta das massas e no inverso da distância, nas ciências sociais alguém teria de explicar porque catzo dois corpos iriam querer se atrair dessa forma. Quem os faz se atraírem assim? Qual é o mecanismo?, diria alguém. ii) Nas ciências da complexidade, qual o significado da previsão? Por exemplo, na ciência do clima, a previsão se dá em termos de aumento da temperatura em escalas de décadas, sendo que as mensurações ocorrem todos os anos (todos os dias, na verdade). Já pra gente, guerras, eleições etc. ocorrem com menos frequência e nossas “leis” são mais instáveis no tempo e espaço que as do clima. Então, qual o sentido de previsão nesse contexto? Não tenho resposta fácil, exceto que acho que ele devia ter uma visão mais nuançada aqui.

Reanálise de dados. Eu confeso que à primeira vista fiquei surpreso. Geralmente replication é recomendável, certo? Ele aponta corretamente que o problema é que falta ajustar os p-valores, e ainda lembra do viés de publicação. Concordo com ele, mas a solução é fácil, parece-me. Façam uma metanálise! Se é tudo análise do mesmo banco de dados, a metanálise permitirá uma avaliação geral dos resultados, certo?

Por fim, sobre a crítica dele quanto ao frequentismo e a defesa do Bayesianismo. Bom, eu sou bayesiano, e já pensei exatamente como ele. Mas hoje em dia penso um pouco diferente. Dou alguns exemplos aqui.

Parece-me natural que um cientista social, ao aprender inferência Bayesiana, pense que esse paradigma é adequado para amostras pequenas e grandes, ou seja, desde estudos de caso até estudos de n-large. Mas depois de um tempo eu percebi que estudos de caso não são passíveis em geral de integração no formato Bayesiano, porque é em geral impossível formular uma verossimilhança, ou o processo gerador dos dados. Ao fazer isso o caso fica tão anódino que perde-se todo o sentido de fazer estudo de caso. Então, sejamos realista: Bayesianismo não irá unificar a inferência (quali e quanti) em ciência política.

Os desenvolvimentos da econometria ocorrem justamente porque a economia, como a política, não tem dados de amostras a partir de experimentos controlados. E raramente eles utilizam métodos Bayesianos. Então, também discordo de Schrodt de que estatística frequentista é mais adequada naturalmente para contextos experimentais controlados.

Eu particularmente acho a modelagem Bayesiana (especialmente modelos hierárquicos Bayesianos) flexível e fácil suficiente para me ajudar nas estratégias de modelagem. Mas não me parfece que seja fácil mostrar isso, pelo menos não para mim, dado meu conhecimento atual.

Em resumo, o texto faz uns bons alertas, embora eu ache o Bayesianismo dele excessivamente otimista contra o frequentismo. Além disso, não sei quão as pessoas que fazem as coisas erradas que ele comenta irão conseguir entender que estão fazendo coisas erradas ao ler o texto dele. Por fim, algumas sugestões deles (redes neurais, por exemplo) só vão complicar mais as coisas, não facilitar. Não me surpreenderia se essas técnicas de data mining produzissem modelos com muito over-fitting nas ciências sociais, pelas razões aventadas anteriormente (não temos dados de treinamento etc.).

Sobre Manoel Galdino

Corinthiano, Bayesiano e Doutor em ciência Política pela USP.
Esse post foi publicado em estatística, Manoel Galdino e marcado , , , . Guardar link permanente.

Deixe uma resposta

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s