P-valor – again and again

Saiu um comentário, na BPSR, dos colegas Glauco Peres e Fernando Guarnieri, sobre um artigo de Figueiredo Filho et. al. que falava sobre p-valor. Eu até comentei o artigo original aqui no Blog. Eu realmente recomendo que vocês leiam meu comentário original. Embora hoje em dia eu tenha mudado um pouco de opinião (na época do texto eu acreditava mais no uso do p-valor), o meu comentário original explica mais como penso.

Voltando ao texto da BPSR, nós temos uma situação curiosa. Meu post original apresentava minhas discordâncias com Figueiredo Filho et. al. Peres e Guarnieri apresentam críticas ao texto de Figueiredo Filho et. al. E nas conclusões falam coisas que eu concordo quase que integralmente. E no entanto, eu não concordo com a maior parte do argumento utilizados para criticar Figueiredo Filho et. al. Ou seja, eu estou numa situação em que consegui discordar de ambos os trabalhos sobre p-valor! O que aliás reforça meu ponto original de que tenho muitas dúvidas se esse tipo de discussão vai levar a gente a algum lugar. E, pior ainda, apesar disso continuo aqui discutindo o ponto!

***********

O primeiro ponto deles é uma crítica à limitação da análise gráfica, defendida por Figueiredo Filho et. al. O problema atual dos trabalhos de ciência política não é que utilizem muitos gráficos, mas que utilizem poucos! Ora, a análise gráfica não precisa se limitar à análise exploratória de dados (EDA, na sigla em inglês). Conforme Gelman (2003) e Gelman(2004), a análise gráfica pode ser utilizada para avaliar a adequação dos modelos aos dados.  No caso da análise Bayesiana, isso pode ser feito por meio de posterior predictive checks. Mas mesmo que você não seja Bayesiano, é possível pelo menos fazer uma análise de resíduos, no caso de análise de regressão.

O caso deles é ainda mais prejudicado porque o exemplo que utilizam, de uma análise completamente sem teoria, é completamente desvinculado da realidade dos trabalhos em ciência política. Ninguém sai analisando dados sem teoria. A análise gráfica (seja de EDA, seja de posterior predictive checks ou similar) é feita junto com a teoria. O propósito da análise gráfica não é substituir a teoria ou os resultados quantitativos, mas complementá-los.

O segundo ponto deles é que podemos sim usar p-valor em amostras não aleatórias. A situação aqui é curiosa, pois eu concordo com eles – contra Figueiredo Filho et. al -, mas eu discordo dos argumentos apresentados por Peres e Guarnieri!

Eles estão corretos em chamar a atenção para a origem fisheriana do p-valor. Eu inclusive comentei aqui na minha outra postagem esse fato. Mas quando eles dizem que “Conditional upon the null hypothesis being true, if the observed values discern enough from the expected values we can then reject the hypothesis that the difference between them is due to chance“(p. 130), eles deveriam atentar para o “expected values“da frase. De onde afinal vem os valores esperados? Ora, sendo o p-valor um conceito frequentista, vem da ideia da repetição dos dados infinitas vezes sob condições similares. É esse fato que torna a estatística t (ou qualquer outra) uma variável aleatória. Ou seja, é o próprio fato da amostra ser aleatória que uma estatística da amostra é uma variável aleatória, com uma distribuição de probabilidade e sob a qual eu posso calcular o p-valor (que é a probabilidade de encontrar, em outras amostras, sob condições similares, estatística tão ou mais extrema do que a observada). Se a amostra não for aleatória, o p-valor só pode ser calculado se nos modelarmos o processo gerador dos dados com algum modelo probabilístico (e aqui eu discordo de Figueiredo Filho et. al.). Então, sem amostras aleatórias, o p-valor só faz sentido no contexto de uma modelagem do processo de geração dos dados.

O terceiro ponto deles toca em duas questões: tamanho da amostra e p-valor e magnitude dos efeitos. Vou considerar esses dois pontos separadamente.

Sobre o primeiro ponto, Peres e Guarnieri argumentam que não é verdade que sempre é possível achar um p-valor significante aumentando o tamanho da amostra. Embora eles estejam tecnicamente corretos (se a hipótese nula for verdadeira, o p-valor não será significativo aos níveis usuais), é um ponto irrelevante. Pois a hipótese nula nunca é verdadeira. Eu desafio qualquer pessoa a me dar um único exemplo de uma hipótese nula verdadeira em ciências sociais. Ora, nós já sabemos de antemão que modelos nunca são perfeitos e, portanto, estão sempre errados. Mas se eles estão sempre errados, então a hipótese nula nunca poderá ser verdadeira.

O segundo ponto é mais interessante, pois eles não acreditam que a significância estatística tem qualquer relação com a magnitude do efeito estimado. Mas, como Gelman já apontou, achados estatisticamente significantes tendem a superestimar a magnitude dos efeitos. A razão é que se nós estamos procurando estimativas significantes, então em média nossos achados vão ser maior do que o “verdadeiro” valor dos parâmetros. Vale notar que o problema aqui não está no uso do p-valor para quantificar incerteza, mas na prática de reportar achados que são significantes e não reportar achados não-significantes. De todo modo, a lição é clara: significância estatística tende a estimar valores do parâmetro viesados para cima.

No quarto ponto deles, segundo o qual a gente pode sim utilizar o p-valor em populações, eu estou de acordo.

Ao final, Peres e Guarnieri concluem o artigo deles com recomendações que eu concordo inteiramente. E, como eles mesmos argumentam no comentários deles, espero que esse meu comentário mostre que a questão é realmente controversa. Como case in point, lembro aqui uma discussão que ocorreu no blog do Andrew Gelman, sobre a própria definição de p-valor, e que eu comentei aqui no próprio blog. Estatísticos do mais alto gabarito não conseguiram nem mesmo concordar com a definição de p-valor. A definição que usamos aqui (e que Peres e Guarnieri usaram) é a mesma utilizada por Gelman, mas atacada por exemplo por Wasserman, um reconhecido estatístico frequentista.

A dúvida maior, porém, é saber o que fica para o leitor com menos conhecimento do assunto. Diante de três opiniões distintas sobre o p-valor, o que fazer? Eu sinceramente não sei. A minha recomendação é radical e envolve abandonar o p-valor quase inteiramente. O p-valor não serve para determinar se uma variável deve ou não entrar no modelo, a confusão do p-valor com o nível de significância impede que o p-valor seja usado corretamente para quantificar a incerteza de uma variável e, por fim, o filtro da significância estatística e o p-hacking tornam a própria utilizam do p-valor muitas vezes em algo pernicioso.  Mas o que colocar no lugar? Essa a verdadeira questão. Deixemos a resposta para outro dia.

 

Publicado em estatística, Manoel Galdino | Marcado com , , , , | Deixe um comentário

Socialismo ou O que posso esperar?

Eu participei, no começo da semana, de uma série de inquisições no twitter sobre porque ainda falar em socialismo. A premissa dos meus inquisidores era algo como: “Socialismo a essa hora, zero dois?”.

E ontem, em conversa com amigos, retomávamos a questão do que podemos esperar em termos de transformação do capitalismo.

Eu pensei em fazer uma espécie de FAQ para explicar o que penso sobre esses assuntos. Mas lembrei de um texto do Cosma Shalizi e que, creio, pode explicar como vejo essas questões, se colocado no contexto apropriado. Vamos então ao contexto.

O Francis Spufford publicou um dos melhores livros de ficção que li nos últimos anos, chamado Red Plenty. Eu já falei sobre o livo aqui no blog, E o The Crooked Timber fez um seminário sobre o livro lá no blog deles. O Cosma Shalizi participou do seminário com um texto. E a certa altura, o Cosma diz:

There is a passage in Red Plenty which is central to describing both the nightmare from which we are trying to awake, and vision we are trying to awake into. Henry has quoted it already, but it bears repeating.

Marx had drawn a nightmare picture of what happened to human life under capitalism, when everything was produced only in order to be exchanged; when true qualities and uses dropped away, and the human power of making and doing itself became only an object to be traded. Then the makers and the things made turned alike into commodities, and the motion of society turned into a kind of zombie dance, a grim cavorting whirl in which objects and people blurred together till the objects were half alive and the people were half dead. Stock-market prices acted back upon the world as if they were independent powers, requiring factories to be opened or closed, real human beings to work or rest, hurry or dawdle; and they, having given the transfusion that made the stock prices come alive, felt their flesh go cold and impersonal on them, mere mechanisms for chunking out the man-hours. Living money and dying humans, metal as tender as skin and skin as hard as metal, taking hands, and dancing round, and round, and round, with no way ever of stopping; the quickened and the deadened, whirling on. … And what would be the alternative? The consciously arranged alternative? A dance of another nature, Emil presumed. A dance to the music of use, where every step fulfilled some real need, did some tangible good, and no matter how fast the dancers spun, they moved easily, because they moved to a human measure, intelligible to all, chosen by all.

There is a fundamental level at which Marx’s nightmare vision is right: capitalism, the market system, whatever you want to call it, is a product of humanity, but each and every one of us confronts it as an autonomous and deeply alien force. Its ends, to the limited and debatable extent that it can even be understood as having them, are simply inhuman. The ideology of the market tell us that we face not something inhuman but superhuman, tells us to embrace our inner zombie cyborg and loose ourselves in the dance. One doesn’t know whether to laugh or cry or running screaming.

But, and this is I think something Marx did not sufficiently appreciate, human beings confront all the structures which emerge from our massed interactions in this way. A bureaucracy, or even a thoroughly democratic polity of which one is a citizen, can feel, can be, just as much of a cold monster as the market. We have no choice but to live among these alien powers which we create, and to try to direct them to human ends. It is beyond us, it is even beyond all of us, to find “a human measure, intelligible to all, chosen by all”, which says how everyone should go. What we can do is try to find the specific ways in which these powers we have conjured up are hurting us, and use them to check each other, or deflect them into better paths. Sometimes this will mean more use of market mechanisms, sometimes it will mean removing some goods and services from market allocation, either through public provision or through other institutional arrangements. Sometimes it will mean expanding the scope of democratic decision-making (for instance, into the insides of firms), and sometimes it will mean narrowing its scope (for instance, not allowing the demos to censor speech it finds objectionable). Sometimes it will mean leaving some tasks to experts, deferring to the internal norms of their professions, and sometimes it will mean recognizing claims of expertise to be mere assertions of authority, to be resisted or countered.

These are all going to be complex problems, full of messy compromises. Attaining even second best solutions is going to demand “bold, persistent experimentation”, coupled with a frank recognition that many experiments will just fail, and that even long-settled compromises can, with the passage of time, become confining obstacles. We will not be able to turn everything over to the wise academicians, or even to their computers, but we may, if we are lucky and smart, be able, bit by bit, make a world fit for human beings to live in.

O Cosma está, em primeiro lugar, retomando a crítica de Marx segundo a qual a lógica do sistema capitalista é subsumir tudo à valorização do lucro. Que muitos tenham entendido essa lógica como algo determinista diz mais sobre quem leu Marx do que sobre o próprio Marx. Afinal, a lógica aí não passa de uma tendência, de uma das principais forças do sistema, mas obviamente não é a única. Mas divago. O ponto é que a tendência é real. Os melhores apologistas do sistema, como Hayek, reconheceram que o sistema é alienante. O que ele e outros argumentam é que não é possível fugir da alienação e o capitalismo é o melhor que podemos esperar.

O que as pessoas de esquerda, especialmente da tradição socialista, defendem é que não precisamos aceitar o argumento conservador do Hayek. Mas, e aqui concordo com o Cosma, é preciso reconhecer que

human beings confront all the structures which emerge from our massed interactions in this way. A bureaucracy, or even a thoroughly democratic polity of which one is a citizen, can feel, can be, just as much of a cold monster as the market. We have no choice but to live among these alien powers which we create, and to try to direct them to human ends. It is beyond us, it is even beyond all of us, to find “a human measure, intelligible to all, chosen by all”, which says how everyone should go. What we can do is try to find the specific ways in which these powers we have conjured up are hurting us, and use them to check each other, or deflect them into better paths

Em outras palavras, buscar o socialismo, hoje, não pode e não deve significar construir (ou achar?) uma sociedade gloriosa em que viveremos num mundo transparente e não-alienado. Mas significa tentar, com cuidado, experimentações para reduzir a alienação e também conduzir as estruturas emergentes como algo que satisfaçam fins humanos. Significa jamais aceitar o capitalismo como uma fatalidade.

É preciso portanto ao mesmo tempo ter mais humildade e ousadia nas tentativas de luta contra o capitalismo. Humildade para aceitar que o mercado e mesmo a lógica do lucro são a forma menos pior de funcionamento em certos arranjos sociais. A ousadia para rejeitar em outros arranjos esse mesmo mercado e a lógica do lucro.

Para finalizar. Quando eu digo que o socialismo é sobre liberdade, o sentido preciso é justamente aquele de libertar nós humanos, o máximo possível, dos arranjos sociais que nos aprisionam. Que a nossa liberdade será sempre limitada é a conclusão lógica de quem aceita o diagnóstico acima sobre as estruturas emergentes.

Publicado em internet, Manoel Galdino, Política e Economia | Marcado com , , , , , , , | 2 Comentários

Martin Amis

Creio que a primeira vez que ouvi falar no Martin Amis foi no livro de memórias do Christopher Hitchens. Eu já conhecia o Ian McEwan, outro autor bastante citado pelo Hitchens. Então fiquei curioso para ler algo do Martin Amis.

Então comprei o livro dele Trem Noturno, mas não gostei muito. Resolvi ler um livro de contos, em inglês, pois talvez a tradução tivesse atrapalhado. Unimpressed.

********************

Eu devo ter pelo menos uns 500 livros na minha casa, dos quais eu não li metade. O Som e a Fúria, Esperando Godot, Irmãos Karamazov, Em Busca do Tempo Perdido, Ulisses, A Divina Comédia e Dom Quixote são alguns dos livros que eu já iniciei alguma vez a leitura, mas não cheguei nem à metade do livro (exceto talvez Esperando Godot). São todos livraços que eu espero ler algum dia. Mas a verdade é que nenhum deles me dá vontade de ler. Eu olho pra eles, eles olham pra mim, mas continuam lá, enfeitando a minha estante.

Atualmente eu tenho tido muita vontade de ler os livros do Philip Roth. Já li 8 novelas dele – quatro do Zuckerman no livro Zuckerman Acorrentado, mais um outro livro também sobre o Zuckerman, e ainda humilhação, homem comum e professor do desejo. São cinco livros no total. Ele já é o autor que eu mais li!

Por isso que, outro dia, passando na livraria da Vila, resolvi comprar mais um livro do Philip Roth. Porque estou ávido por ficção, mas só consigo ler os livros dele. Então, que seja mais um livro dele. E acabei encontrando um livro do Martin Amis, A Viúva Grávida, e resolvi dar uma última chance ao Amis. Estou só no começo, mas estou adorando o livro. Diálogos fantásticos, palavras muitíssimo bem escolhidas, personagens interessantes. Eu ainda tenho algum incômodo com o fato de que, nos livros dele, eu sempre tenho a sensação de que não tô entendendo tudo, de que perdi alguma coisa. Mas suponho que esse efeito é proposital. A vida nunca é transparente, nem sempre entendemos o porquê das coisas. Nós não somos transparentes a nós mesmos, que dirá o mundo. Então suponho que os livros dele são um pouco como a vida. E que precisamos aceitar isso tanto na vida como na literatura. Mas o livro, por enquanto pelo menos, está demais. Digo inclusive que já valeu a pena comprá-lo, mesmo que o resto não seja tão bom. O começo já valeu a pena.

Publicado em Arte e Cultura, literatura, Manoel Galdino, orquídeas selvagens | Marcado com , , , , , , | Deixe um comentário

Links

Really nice post about leaving Brazil.

A Alemanha também é uma jabuticaba (só aqui no Brasil edition)

Belo texto do Gregório Duvivier sobre o conservadorismo nas eleições.

Uma viagem a se fazer.

Celular causa câncer/Alzheimer? (ainda cético, leiam por conta e risco).

Publicado em english, Manoel Galdino | Marcado com , , , , , , | Deixe um comentário

Aquecimento global

John Quiggin, no The Croked Timber, tem um post sobre as dificuldades de convencer a direita negacionista a aceitar o aquecimento global. Mas mais interessante mesmo é o comentário do do Bruce Wilder nesse mesmo post. Um trecho:

I don’t imagine many rich people are actually in denial, though maybe — the rich people I know personally are pretty stupid about politics. I would think a common instinct would be some combination of:
1. something will turn up, be invented to rescue us, and I will probably invest in it and make money;
2. various ways will turn up to allow us to adapt to a changing climate — capitalism is infinitely adaptable, and I, or my heirs, can afford to cope with whatever comes.
Therefore, there’s no reason to panic. Why are these hysterical leftists always panicking?

The reality is that most rich people are rich, partly because they are very good at keeping the profit and socializing the losses. They put the costs off on some one else: pollution they do not want to pay to contain is the community’s problem; a loan they cannot afford to repay is a reason for a government bailout; the best cure for high unemployment is a lower wage — you just can’t get good help these days for $12/hour!

Mas leiam todo o comentário, além é claro do post do Quiggin.

ps.: sim, o aquecimento global e sua importância é um grande motivo para votar na Marina.

Publicado em ciência, Manoel Galdino, meio ambiente, Política e Economia | Marcado com , , , , , , , , , | 1 comentário

Crap

Em Teresina, vento frio e pálido
Tremelique, pileque, pastiche
Silêncio, gritava Antônio, calado
Condenado, murmurava cabisbaixa Alice
A que deu o azo?

shhhhhhhhh shhhhhhhhhh



Mais um minuto de silêncio
Cores, cores, mil cores
Quem ousa deixar de ser penso?

Pedes razão? Entendimento? Clareza?
Já vi que não entendeste nada deste mundo
Não há metafísicas. Não há Clarices
O significado não significa o que tu pensas
Este é o problema. Pensas demais.
Pensas que pensando o pensamento inteligirá o mundo
Mas não há pensamento no mundo.

Abraça a loucura
Não invente sentido para as coisas
Elas detestam sentidos. Gostam de partidos
Parte, quebra, toma e chuta. Faz.
Mentira! Como podem detestar se nem mesmo sentem?

Publicado em Arte e Cultura, Manoel Galdino, orquídeas selvagens, poesia | Marcado com , , , | Deixe um comentário

“Só muita torcida contra pode impedir uma pessoa racional de perceber como Dilma é favorita”

A Thaís Zara, uma colega dos tempos de faculdade (graduação), aparentemente escreveu um relatório, pela consultoria em que trabalha, em que faz algumas previsões sobre as eleições vindouras. Eu não li o relatório, então é difícil falar sobre o que não li, mas algumas passagens foram destacadas que me surpreendem um pouco. Eles dizem que

o cenário mais provável é a continuidade da mediocridade, do descompromisso com a lógica, do mau humor prepotente do poste que se transformou em porrete contra o senso comum.

Não me parece exatamente uma análise isenta. Falar de política ruim, equivocada, errada ou mesmo inconsistente acho ok. Mas que análise objetiva fala de “mau humor prepotente do poste que se transformou em porrete contra o senso comum”. Sério? Isso tem algum significado, além de mostrar uma raiva com a presidenta?

Mas o que me incomodou mesmo foi outro trecho destacado na reportagem. “Só muita torcida contra pode impedir uma pessoa racional de perceber como Dilma é favorita”. Será que eu não sou racional então? Ou talvez seja um problema de vocabulário apenas.

Novamente, não sei o que o relatório contém, mas acho que algumas perguntas são de ordem para falar dessas coisas. Em primeiro lugar, o que significa ser favorito? 60% de chance faz a Dilma Favorita? 70% de chance de vitória? 80% de chance? Talvez o relatório contenha esses números e o destaque foi dado apenas para o uso informal do termo favorito. Mas seria bom que a gente fosse um pouco mais rigoroso no uso de vocábulos, para definir melhor o que significa favorito. E seria bom também parar de acusar quem discorda dessas análises de irracional ou fazer torcida contra. Ora, nem torço contra a Dilma (minha inclinação atual é o nulo, mas acho que dificilmente posso ser qualificado como alguém que torce contra), nem pretendo aceitar que eles são racionais, e eu não.

Nas últimas eleições presidenciais americanas, houve um momento em que Nate Silver previu que Obama tinha 70% de chance de ganhar a eleição. E, no entanto, Andrew Gelman argumentou que, mesmo com esse nível de chance de vitória, a eleição era “too close to call“. Tanto quanto eu sei, nossos melhores modelos preditivos de eleições brasileiras estão, ainda, a anos luz da assertividade dos modelos americanos. Logo, nossas previsões devem conter muito mais incerteza que as previsões sobre eleições americanas, tudo o mais constante. E se com 70% de chance de ser eleito o Andrew Gelman ainda acha que ela seria too close to call, eu realmente quero saber o que significa ser favorito ou porque uma pessoal racional não acharia a Dilma favorita.

Eles dizem ainda sobre a eleição estadual em São Paulo que “[é] muito profunda a admiração do povo pelo seu governador discreto, muito enraizada a rejeição ao petismo para este quadro se alterar”. Eu confesso que gostaria de ler o relatório para saber quais são os dados e evidências empíricas que permitem um analista dizer que “é muito profunda a admiração do povo pelo seu governador discreto”. Fico imaginando uma pesquisa de opinião sendo feita: A sua admiração pelo governador de São Paulo é: Muito profunda, pouco profunda ou nada profunda? Deve ser uma revolução nos modos de fazer survey eleitoral. Eu nunca vi nenhum pergunta parecida que permitisse esse tipo de afirmação em análise de intenção de voto.

Novamente, se nós entendemos pouco sobre os determinantes do voto em nível presidencial, entendemos menos do nível estadual. Isso não quer dizer que não possamos fazer nossas análise, ter nossas opiniões nem fazer nossas apostas. Acho até natural achar que vai dar Alckmin. Mas contrastem esse tipo de afirmação com a análise do site Plano Político sobre as eleições estaduais. Nem digo que estão certos. Mas gostaria que quem faz análise política reconhecesse o caráter especulativo das análises e a incerteza que nós temos atualmente em nossas previsões. Algumas coisas parecem mais óbvias e são mais fáceis de se preverem, mas acho que podíamos prestar um pouquinho de atenção no que a ciência política tem a nos ensinar para termos um pouco mais de humildade em nossas previsões.

Eu, de minha parte, ainda acho as eleições de Dilma e Aclkmin too close to call. O que a ciência política tem nos ensinado, tanto no caso americano quanto em termos comparados é que, com tempo suficiente, o resultado eleitoral tende a convergir para os fundamentos.  Eu já falei sobre esse tema anteriormente, nas eleições presidenciais de 2010. Mas me parece que os fundamentos são ruins para a Dilma e também ruins para o Aclkmin*. Isso não quer dizer que acredito em determinismos econômicos. Mas é de se esperar que o mal desempenho em questões importantes como a economia e a água em SP tenham algum impacto no resultado eleitoral. Se serão suficientes para mudar os resultados, eu não sei. Ainda acho too close to call.

* eu tenho dúvidas, no caso do Brasil, qual o impacto do crescimento econômico medíocre mas com desemprego baixo.

Publicado em estatística, Manoel Galdino, Política e Economia | Marcado com , , , , , , , , , , , , , | 6 Comentários