O que se pode aprender em comentários de blogs de estatística

O Gelman fez dois posts interessantes no blog dele, e os comentários foram, se me permitem, melhores ainda. Começo pelo post em que o Gelman discute sobre fazer uma regressão polinomial (y = a + b1*x + b2*x^2) para testar a hipótese de que o efeito de colocar jogadores talentosos num time de basquete é em formato de U invertido (quanto mais talento melhor, até o ponto em que talento demais atrapalha).

O Daniel Lakeland, então, numa série de comentários, vai defender o modelo polinomial. Primeiro ele argumenta que se restringirmos a análise ao conjunto de times mais talentosos, o formato em U invertido pode aparecer nos dados. A plotagem e modelagem podem sugerir esse caminho. E ele faz um rápido comentário sobre usar expansão de Taylor para justificar essa opção da polinomial.

Após o Gelman fazer uma réplica, ele vai expandir seu comentário sobre a expansão de Taylor. O que eu acho fantástico no comentário do Lakeland é que ele mostra o melhor da forma de pensar de quem é físico. Ele vai construir um modelo formal* (mas sem essas baboseiras de ter que ser microfundamentado) para justificar a modelagem estatística. A vantagem dessa abordagem é que os pressupostos do modelo ficam bem explícitos e, do ponto de vista aplicado, o que tem que ser testado para saber se as aproximações são razoáveis ou não.

**********

O outro comenário do Lakeland foi uma jóia a partir de outro post do Gelman, sobre posterior predictive checks. A parte bacana começa com um comentário do Bob Carpenter sobre a diferença entre machine learners e estatísticos. Machine learners acreditam em separar dados em amostra de treinamento e amostra de teste, e não usar os dados de teste no processo de estimação. No máximo, com cross-validação. Eu mesmo sou particularmente favorável à abordagem dos machine learners, exceto pelo fato de que também sou simpático ao contra-argumento dos estatísticos (quero usar todos os meus dados na minha estimação. Deixar dados fora é obter estimativas piores).

Na linha dos estatísticos, o Lakeland então vai argumentar que muitas vezes nós estamos interessados em aprender sobre o valor de um parâmetro, e não em predição. Cito aqui, porque é muito bom:

On the yet-another-hand, if you are interested in the temperature distribution of the Corona of the sun, this is not an directly observable quantity, so we’re going to have to get some data (maybe spectral data or something) and then we’re going to have to fit a model to the data, and we’re not going to care even a LITTLE bit about predicting future data, we’re ONLY going to be interested in what have we learned about the parameter (Temperature and its distribution in the Corona).

a LOT of good science has this character.

O exemplo dele é no contexto da física, mas o mesmo vale, mutatis mutandis, para as ciência política por exemplo, quando estimamos pontos ideais ou os tópicos de discursos dos deputados.

Quando eu dei meu curso de R e topic models no Rio, no meio de ano, lá no IESP, eu apresentei os resultados do projeto retórica com estimação de tópicos mais enfatizados pelos deputados no pequeno expediente da Câmara dos Deputados Federais. E fui questionado justamente sobre qual o interesse nesse tipo de análise. Se não faltava explicar o conteúdo e tal. Eu acho super importante explicar o conteúdo, mas de verdade eu acho importante em si mesmo aprender sobre o parâmetro em questão, qual seja, quais os temas sobre os quais os deputados falam. Como diz Lakeland, a lot of good science has this character.

ps.: Eu não estou dizendo que o trabalho que fizemos é “good science”. Deixo essa avaliação para os outros. Mas o fato de ser um trabalho puramente descritivo não desvaloriza em nada o trabalho. Essa é a características de muitos bons trabalhos.

* o modelo não é de todo formal porque é um comentário de blog, mas dá para ver que uma análise séria extrairia um modelo formal fácil dali.

Publicado em estatística | Marcado com , , , , , , , , , , , | Deixe um comentário

A propósito de um filme já antigo do Kar Wai

Tem um filme do Kar Wai, chamado Hands (mãos), que faz parte de três históricas curtas de um filme chamado Eros. As outras duas histórias são do Sorderbergh e do Antonioni.

Nesse filme, a história se concentra em torno de dois personagens Zhang, um alfaiate iniciante, e Miss Hua, uma prostituta de luxo no auge de sua beleza.

A coisa que sempre me atraiu nesse filme é como o erotismo pode ser apresentado no seu mais alto grau, e no entanto é totalmente diferente do que estamos acostumados. Num filme padrão de hollywood, por exemplo, tudo se passa em torno do tesão sexual crescente, que pede um desenlace sexual meio que mecânico dos corpos.

No filme do Kar Wai, é o não dito, o toque de uma mão, o tecido de uma roupa que traz todo o erotismo à tela e cativa o telespectador.

Há uma cena maravilhosa, em que Zhang, o alfaiate, está com as roupas que ele fez para Miss Hua. O vestido está em cima da mesa, mas nele não há o corpo de Miss Hua, apenas o vazio. Ele então toca o vestido com as mãos, e vagarosamente enfia a mão por dentro do vestido, como se passeasse pelo corpo de Miss Hua. Ele se excita e todo clima erótico vem à cena. É a alusão, o que não está ali, mas aquilo a que o vestido remete que traz a carga de sensualidade. É o tato que será o poderoso afrodisíaco da imaginação, e não a visão, esse lugar comum do poder imaginativo da mente.

É claro que poderíamos ver aí apenas um amor platônico, mas creio que essa é uma chave errada. Se as interdições têm um papel importante, não é por negar o caráter carnal do amor deles. Mas para desviar o erótico do óbvio e levar para um outro lugar. Sendo ela uma prostituta, parece-me que não haveria outro modo de ter um lugar para o amor deles com erotismo senão fugindo da carnalidade mais óbvia e, de certo modo, nos ensinando que lá onde aparentemente não poderia haver amor e erotismo, podemos encontrá-los ambos, mas transfigurados. Talvez seja hora de achar esses outros espaços.

Publicado em Arte e Cultura, orquídeas selvagens | Marcado com , , , , , , , | 2 Comentários

A crise da água em São Paulo

Já me cobraram de dizer umas palavras sobre a crise da água. Mas a verdade é que não tenho nada muito original a dizer que já não tenha sido dito mais e melhor alhures. Então, m vez de de simplesmente repetir obviedades, deixo aqui o link para o local onde eu me atualizo sobre a nossa marcha da insensatez, o Boletim da Falta d’Água que é atualizado diariamente pela Camila Pavanelli. A Camila está fazendo um trabalho incrível e que merece ser lido mais do que já é.

Publicado em Política e Economia | Marcado com , , , , , | Deixe um comentário

Corrupção

A propósito da corrupção na Petrobrás, queria enfatizar algo que vejo faltando do noticiário e das discussões. Quais reformas institucionais podemos adotar para reduzir a corrupção? Eu acho a questão moral e do caráter das pessoas importante, vide meu último post. Mas não creio que iremos muito longe nos focando excessivamente na moralização da corrupção. Todos nós estamos sujeitos a erros e a cometer desvios, desde os menos graves (furar o semáforo, andar no acostamento, fumar onde é proibido) até os mais graves. Além disso, há muita ideologia no meio (sonegar imposto é menos grave que receber suborno? E quem é pior, quem suborna ou o subornado? Subornar um guarda é tão grave quanto subornar um fiscal? etc.). Então fui procurar os que a literatura acadêmica têm dito sobre o assunto (ht afinetheorem.wordpress.com). Resumo aqui alguns dos principais achados meus:

1. Do ponto de vista teórico,  o artigo de Rahman, sobre quem monitora o monitor, é bem interessante. Traduzo a principal conclusão/recomendação do artigo:

Ana é dona de um restaurante. Ela contrata Bob para fechar o caixa toda noite e reportar se há alguma diferença entre o caixa e as vendas. Ana é muito ocupada para ela mesma fazer essa checagem e tem de confiar no que Bob diz. Como Ana pode oferecer a Bob os incentivos apropriados para ele exercer o esforço requerido e reportar a verdade?

(…)

Ana pode motivar Bob a exercer o esforço e reportar verdadeiramente ao às vezes secretamente pegar dinheiro do caixa e fechar o seguinte acordo com Bob: se Ana pegar algum dinheiro, ela paga a Bob o salário dele apenas quando ele reportar a diferença; se ana não pegar dinheiro, pagará a Bob apenas quando a diferença não é reportada.

2. Um survey sobre corrupção discute em detalhes os principais problemas do tema (dados, como medir corrupção, a própria definição, como combatê-la, efeito sobre crescimento etc.)

3.  Eu descobri que os EUA têm um Government Accountability Officce. É uma agência do Congresso, cujo presidente é escolhido pelo presidente da República, para um mandato de 15 anos, a partir de uma lista de candidatos escolhidos pelo congresso. Eu diminuiria o tempo do mandato (a rotatividade parece algo importante para reduzir ligações com mesmas pessoas) e adicionaria algum componente de sorteio aí. Alguém consegue comparar o MP do Brasil ou a CGU com essa agência?

4. Uma questão que pode surpreender as pessoas sobre corrupção, é: does it matter? O ponto é que num processo de leilão em que o selecionador pode cobrar propina/suborno, ele pode acabar selecionando a mesma firma que venceria o leilão na ausência de suborno, com o mesmo preço e qualidade do projeto. A única diferença é que o excedente, ao invés de ficar com a firma vencedora, fica com o funcionário público. Do ponto de vista do gasto do governo e da qualidade do projeto, porém, a corrupção não alteraria o equilíbrio. O paper de Burguet e Che  apresenta um modelo em que a corrupção sim importa, isto é, afeta negativamente o preço e/ou a qualidade do projeto contratado pelo governo. Se o funcionário público tiver uma discricionariedade suficientemente grande, então a corrupção gerará ineficiência. O modelo é simples de entender (a matemática, já que é só cálculo), mas não achei particularmente intuitivo. De todo modo, é bom se questionar sobre isso. É claro que o assunto é complexo e os resultados dinâmicos devem ser diferentes de estáticos (o paper é estático).

5. Um survey de 11 mil empresas em 125 países sobre corrupção estimou a propina em 8% do valor do contrato, em média. Nos países da OCDE, a média é de 5,5%. Números de corrupção são sempre difíceis de serem mensurados corretamente. De todo modo, serve como uma estimativa para calibrarmos se estamos acima da média ou abaixo da média.

Update

6. Num livro sobre corrupção, capítulo 4, achei um resultado interessante, embora meio óbvio. Corrupção e cartel estimulam um ao outro e, portanto, tendem a ocorrer simultaneamente (como no caso da Petrobrás e do Metrô em SP). Mas o que é mais interessante é são as implicações para policy. Tentar controlar o burocrata é menos eficiente do que combater o cartel para reduzir os efeitos negativos da corrupção e cartelização. Um novo entrante com baixa capacidade de oferecer propina/suborno tem um efeito muito maior sobre o resultado (ao estimular a competição das firmas mais corruptas) do que a redução da capacidade de extrair suborno do burocrata (apenas transfere as rendas para as empresas do cartel).

Publicado em Política e Economia | Marcado com , , , | Deixe um comentário

The Standard You Walk Past Is The Standard You Accept

Eu tinha planejado escrever um post meio intelectual meio de esquerda sobre o desejo, mas aconteceu algo comigo que me deixou bolado. Eu tenho um grupo de amigos de infância no whatsapp, e agora recebi um vídeo de um cara batendo na própria mulher, porque supostamente ela “botou gaia nele”.

Eu simplesmente não sabia o que fazer. De um lado eu queria simplesmente sair do grupo, porque não aceito esse tipo de coisa. De outro, são amigos de infância por quem tenho o maior carinho. E aí eu me lembrei do vídeo abaixo, que tem a frase do título do post:

The standard you walk past is the standard you accept. Numa tradução livre, quer dizer algo como: “A conduta que você deixa passar é a conduta que você aceita”. E a verdade é que eu não aceito. Então eu tive que deixar bem claro que não aceito esse tipo de conteúdo, que acho abjeto e que nunca mais postem vídeos no grupo.

ps.: Eu não fiquei muito satisfeito com minha própria conduta. Por mais que não tenha deixado passar, ficar no grupo de alguma forma me faz conivente com esse tipo de coisa degradante. O que vocês, meus leitores, acham?

ps.2: Quem quiser ler o discurso completo e o contexto do vídeo, pode fazê-lo nesse link.

ps.3: Outro trecho que destaco: If you’ve become aware of every individual degrading another then show moral courage and take a stand against it.

Publicado em orquídeas selvagens | Marcado com , , , , , , , | 5 Comentários

Os desafios da Dilma

Pensando cá comigo sobre os desafios da Dilma, não consigo fazer a equação fechar. De um lado, creio que o PT entendeu que a militância e a aproximação com os movimentos sociais é fundamental para o partido ter conquistado a vitória. Ao mesmo tempo, não terá vida fácil no relacionamento com o congresso e com o mercado. Como agradar os três ao mesmo tempo?

Para agradar os mercados, terá que fazer algo parecido com Lula I: política econômica mais ortodoxa no Bacen e na Fazenda. Para agradar ao congresso, é aprovar as emendas deles, distribuir cargos para a base aliada e, obviamente, nada de reforma política (afinal, os partidos pequenos são os principais a perderem com uma reforma política que se preze). E para agradar a militância e movimentos sociais, terá que ou abrir o bolso (passe livre, por exemplo) ou comprar a briga das lutas das minorias (índios x Belo Monte, LGBT etc.). O problema é que cada uma dessas vertentes se choca com as outras duas. Se abrir o bolso, desagradará ao mercado. Se adotar políticas de direitos civis mais progressistas, brigará com o congresso mais reacionário. Se forçar a reforma política, brigará com o congresso.

Se alguém tiver alguma ideia de como ela pode fazer o que parece impossível, sou todo ouvidos. Por enquanto, fico pensando se o PT irá, forçado pela realpolitk, cometer o suicídio político de se afastar ainda mais da militância e movimentos sociais, e perder o poder em 2018.

ps.: Uma possibilidade é agradar o congresso sempre, o mercado nos dois primeiros anos, e a militância nos dois anos finais.

Publicado em Manoel Galdino, Política e Economia | Marcado com , , , , | 3 Comentários

Links: Bayes e estimadores robustos

Uma boa pergunta e excelente resposta no Cross Validated (site irmão do stack overflow). E, num comentário, um link para uma pergunta e repostas mais interessantes ainda.

O ponto geral dos comentários, pelo que entendi, é que estimadores Bayesianos robustos são difíceis de serem obtidos. O argumento é dado no contexto de um exemplo Bayesiano em que um modelo com erros distribuídos segundo T (ao invés de Normal, como é tradicional) estima mal os parâmetros, enquanto um estimador simples frequentista estima bem os parâmetros. Mas o que eu acho é que o exemplo é infeliz. Ele gera dados “contaminados” e quer um modelo que estime o valor original dos dados não contaminados. Mas ou bem a gente tem informação de que os dados são contaminados e a natureza da contaminação (e, nesse caso, essa informação a priori deve entrar no modelo e/ou na priori), ou bem a gente não tem essa informação e, portanto, não dá para considerar robusto um método que despreza os dados tanto assim. Porque, no fim das contas, ao desprezar os outliers, nós estamos incorporando no modelo uma informação a priori (outliers devem ser desprezados) de forma qualitativa. Com Bayes, essa informação pode ser incorporada quantitativamente.

ps.: Buscando algumas coisas na internet sobre o tema, acabei deparando com esse comentário, que tem uma frase no mínimo curiosa:  [a] crude but very effective model of marital happiness [is]: rate of lovemaking minus rate of fighting.

 

Publicado em english, estatística | Marcado com , , , , , , | Deixe um comentário