Comentando um paper sobre efeito das palavras s/ taxa de juros do Brasil

Via @vncarrasco, no twitter, cheguei a esse interessante paper sobre o efeito dos discursos do COPOM sobre a taxa de juros no Brasil. Eu fiz uma leitura rápida, e ainda sobre dois temas que não tenho tanto conhecimento assim: política monetária e série de tempo. De todo modo, como me pareceu importante, alguns comentários. O propósito não é criticar o paper, mas levantar algumas dúvidas e apontar algumas coisas que são recorrentes e que precisamos tomar cuidado.

Em primeiro lugar, realmente seria bom se os economistas parassem de gostar tanto de tabelas e utilizassem mais visualizações gráficas para mostrar os resultados. Há toneladas de literatura na estatística sobre isso, mas que por alguma razão não chega aos economistas. É claro que Carvalho, Cordeiro e Vargas apenas seguiram o padrão das revistas de economia e não é difícil imaginar pareceristas pedindo tabelas ao invés de gráficos.

Sobre os resultados.

Minha primeira dúvida está na equação 4. Ei-la:

 y_{k} = Beta_{0} + Beta_{1} MP_{k} (1 – Tomb) + Beta_{2} Delta GSO_{k} (1 – Tomb) + Beta_{3} MP_{k} Tomb + Beta_{4} Delta GSO_{k} Tomb + \epsilon_{k}

Parece-me que aí tem alguns erros de digitação. Tomb, que é uma variável indicadora, assume 1 se o presidente do BC é o Tombine, e zero c.c. – deveria estar indexada por k. Os coeficientes deveriam estar indexados por n, assim como o erro.

Outra dificuldade é que, aparentemente, não estimaram o “main effect” de Tomb.

Além disso, não entendi porque às vezes aparece (1 – tomb), e às vezes aparece tomb. Provavelmente eles querem indicar o “main effect” de MP e GSO e mais o termo de interação. Nesse caso, porém, era mais fácil (pelo menos pra mim!) eles terem escrito a equação do jeito tradicional, com os “main effects” de MP e GSO e mais o termo de interação com Tomb. Para o restante do comentário irei assumir essa interpretação do modelo deles.

Olhando a tabela 5, temos os resultados das estimações. Na primeira especificação, o efeito do B1 é 1,022. O paper não reporta (ou não vi) quais os valores da variável MP, então é difícil avaliar o tamanho desse coeficiente. De todo modo, como tem um efeito de interação com a variável tomb, é preciso olhar combinadamente com o coeficiente de B3. E aí, vemos que na gestão Tombini (tomb = 1), B3 = 1,047. Computando a diferença entre B3 e B1, temos 0,025. O cálculo de erro padrão de diferenças de coeficientes não é tão complexo, mas como ele reportou zero como erro padrão, não dá para calcular aqui.

O mesmo raciocínio vale para a principal variável deles no estudo, GSO. Computando a diferença dos coeficientes da gestão Tombini e não-Tombini, vemos que para algumas especificações a diferença é positiva, e para outras é negativa. Além disso, nem sempre o coeficiente é significativo. E, por fim, vale lembrar o que o Gelman sempre fala: a diferença entre significante e não-significante não é em si estatisticamente significante! Isso significa que um dos principais resultados do paper não é válido. Apenas a título de ilustração, na especificação de 6 meses, o coeficiente na gestão pré-Tombini é 0,021 e pós Tombini 0,01. A diferença, portanto, é de 0,11 pré tombini, ou seja, um discurso de política monetária mais apertada antes do tombini aumentaria em média 0,011 (eu não sei qual a unidade que eles usam, se é 0,011 pp ou 1,1pp) a taxa de juros. Porém, será essa diferença significativa?  O erro padrão da diferença é (0,034^2 + 0,67^2)^0,5 = 0,67. Ou seja, a diferença não é significativamente diferente de zero.

Essa comparação que fiz aqui, de olhar a significância da diferença (ao invés da diferença da significância) levanta dúvidas sobre os resultados do trabalho. Eu não fiz os cálculos para os demais resultados. Os autores podem eles mesmos fazer esse cálculos e ver quais resultados se mantém, e quais não. De todo modo, não acho surpreendente que a diferença não seja significativa, dado o tamanho da amostra. Todo mundo já deveria estar cansado de saber os problemas do p-valor.

Por fim, há o problema da falta de conexão entre os achados do modelo e os dados brutos. Eu realmente gostaria de ver como o modelo diz que os dados deveriam se comportar e como os dados de fato se comportam, para ter uma ideia do ajuste do modelo, onde ele funciona e onde ele não funciona. Em suma, o famoso posterior predictive checks desenvolvido pelo Gelman.

Em resumo, é um paper interessante. Mas eu gostaria de ver mais gráficos, comparações dos dados com o modelo e o enfrentamento dessas questões de significância estatística. Seria melhor ainda se saíssemos do paradigma do efeito significativamente diferente de zero, mas esse é outro problema, que deixo para outra oportunidade.

 

Anúncios

Sobre Manoel Galdino

Corinthiano, Bayesiano e Doutor em ciência Política pela USP.
Esse post foi publicado em estatística, Política e Economia e marcado , , , , . Guardar link permanente.

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s