Enem 2009: alguns gráficos e análises

Saiu o enem 2009 e a mídia faz um péssimo trabalho de informação dos seus leitores. As notícias giram em torno dos 50 melhores, 10 melhores etc. Ou ainda, noticiam o fato de que metade das dez melhores escolas de 2008 não se mantiveram entre as 10 melhores em 2009. Como se pequenas variações aleatórias não existissem. Agora, pouca informação sobre a distribuição das notas, seja por estado, seja por outras categorias.

Fiz aqui uma análise rápida das notas do Enem. Para os que não sabem, o Enem é aplicado para os estudantes do último ano do ensino médio e consiste de uma prova objetiva e uma redação. Aqui eu me concentro apenas nos resultados da nota da prova objetiva. Os resultados disponíveis são as notas médias dos alunos por escola, ou seja, não temos notas por estudante individualmente, mas apenas das escolas.

O Enem de 2009 foi feito com base na teoria de resposta ao item (TRI). Não sei até que ponto isso dificulta a comparação com resultados de anos anteriores. Não sou especialista em TRI, embora saiba o básico do assunto. Depois eu faço um post explicando o modelo básicode TRI. Vamos às análises.

A primeira coisa que estamos interessados é: qual a distribuição dos resultados? Qual a nota média por escola, quais os extremos (melhores e piores) etc. O gráfico abaixo responde a essa questão.

Com uma nota média de 488, há um grupo discrepante de escolas com notas muito boas, acima de 700. De fato, o desvio-padrão é aproximadamente  51, o que indica que escolas com notas acima de 700 estão mais de 4 desvio-padrão acima da média.

Meu leitor naturalmente se perguntará até que ponto essa discrepância entre as melhores é restrita às privadas, ou se se estende para a rede pública. O gráfico abaixo ajuda a responder a essa questão:

Como se pode observar, as notas da rede estadual são as piores e com poucas escolas boas (quase nenhuma com pontuação acima de 600). E as escolas federais são levemente melhores que as privadas, embora essa diferença não pareça significativa. Interessante notar também a simetria do desempenho da escola privada em torno de sua média.

A pergunta seguinte que me veio à cabeça foi: será que essa diferença entre escolas privadas e públicas se mantém por Estado? Os gráficos abaixo respondem a essa questão:

A primeira coisa que notei é que o Brasil tem escolas de excelência como outliers em muitos estados, tanto no setor público como privado, o que para mim reflete a desigualdade e elitização do país. No box-plot, pontos fora das barras são outliers e, portanto, podem ser propriamente chamados de elites (nos casos dos extremos superiores).Ou seja, não estranho tanto o fato da distribuição ter os extremos menos prováveis, mas que haja tantos valores tão extremados, e em geral na ponta superior. Isso significa que há uma elite desproporcional em muitos estados com acesso a uma educação muito acima da média do Estado, tanto na esfera privada como pública. Provavelmente nossa escola ajuda a perpetuar a desigualdade. Seria bom ver estudos tentando relacionar a desigualdade nas escolas com desigualdade de renda. Por exemplo, podia-se calcular uma índice de gini para as notas das escolas no Enem e correlacionar com o índice de gini para renda. Dá para discutir também a questão das quotas para negros vs quotas para estudantes de escolas públicas: quem são os estudantes que estudam nas melhores escolas públicas? Será que os negros pobres vão proprocionalmente mais para as piores escolas públicas? Será que os negros que que são ajudados pelas quotas concentram-se favoravelmente nas escolas públicas e privadas de elite? Será que as quotas (seja para negros ou para oriundos da escola pública) efetivamente reduz a desigualdade ou apenas a reproduz no interior das classes (sociais ou raciais)? Note que a reprodução de desigualdades no interior das classes efetivamente melhorará os índices de desigualdade, mas ainda assim é um resultado “complicado”.

Em segundo lugar, notem que a mediana das escolas privadas é muito próximo da mediana das escolas públicas na maioria dos estados, embora em alguns a escola estaudal é pior, em outros a municipal é pior.

Como se vê, para muitos estados, estudar numa escola privada ou da rede pública não faz muita diferença, exceto que em geral há mais escolas privadas de excelência do que escolas públicas. O que não é muito surpreendente em se tratando de Brasil, pois as elites sempre dão um jeito de resolverem seus problemas. Mas, à exceção dessas escolas de elite (acima de 700 pontos no Enem) surpreende um pouco o desempenho similar de escolas públicas e escolas privadas.

É claro que isso não significa que tanto faz estudar numa escola pública ou privada. Primeiro porque estamos falando aqui de agregados. Em municípios pequenos, mas relativamente ricos, é razoável que haja boas escolas públicas de segundo grau. Isso significa que a distribuição espacial das escolas privadas e públicas boas podem ocorrer de forma distinta. Além disso, em alguns estados, a diferença entre público e privado é mais significativa.

Após essa análise, queria discutir também outra questão, que é a da representatividade dos resultados. Para muitas escolas, há uma grande taxa de não comparecimento ao Enem, isto é ,muitos alunos matriculados não foram fazer a prova.

Minha primeira idéia, baseada em minha experiência particular, é que as escolas, objetivando ter um boa nota do Enem, estimularia apenas os melhores alunos a fazerem o Enem. Portanto, julguei que haveria uma correlação positiva entre nota média da escola no Enem e taxa de participação dos alunos da escola.

Porém, ao olhar os dados, vi que a correlação era negativa. Para mim, a explicação é: como o Enem é usado por muitos vestibulares, há um incentivo a todo aluno que planeja entrar numa Universidade a prestar o Enem. E se imaginarmos que os alunos com pouca chance de entrar numa faculdade devido ao baixo desempenho nem sequer prestam vestibular, então quanto maior a participação dos alunos, maior a nota da escola. Os dois gráficos abaixo mostram a distribuição da participação por escola e a associação entre nota da escola e taxa de participação dos seus alunos no Enem:

Em média apenas 36% dos alunos matriculados prestam Enem, ou seja, menos da metade. A correlação é 0,55 entre nota média da escola na prova objetiva e percentual de alunos participando.

Pelo gráfico acima, é fácil ver que a associação é mais forte quanto maior o percentual de participação dos alunos no Enem, ou seja, uma relação não linear. De fato, é possível que para os extratos mais baixos de participação opere mais de um mecanismo, que se anulem no efeito geral, dificultando a detecção do mesmo.

Depois se tiver mais tempo e paciência posto os gráficos da correlação entre participação e nota por Estado e por tipo de escola (pública, privada etc.). Agora a bola está com vocês, comentem!

ps.1: há alguma inconsistência nos dados (em torno de 1% dos dados são inconsistentes). Há escolas com mais alunos pretando o Enem que matriculados. Eu descartei esses dados.

ps.2: os gráficos foram feitos no R, e os dados eu peguei no site do uol.

ps.3: atualizei a introdução desse post, a pedidos dos leitores que acharam o começo um pouco confuso.

Publicidade