Escola ruim, aluno ruim. Entendendo a relação entre estrutura escolar e desempenho no ENEM.

But my God woke up on the wrong side of his bed
And it just don’t matter now.

Noel Gallagher

Que tal um choque de realidade pra começar? Acredite nisso: no Brasil existem escolas sem acesso a esgoto (são 50% delas), rede de energia (5%) ou coleta de lixo (24%). Matérias como esta denunciam as péssimas condições de parte das instituições de ensino no país. Porém, pouco se trata com profundidade da provável relação entre as condições escolares e o desempenho dos alunos ao fim do ensino médio.

Veja o exemplo a seguir:

01_lixo_nota

Alunos de escolas onde há coleta de lixo atingem, em média, 39 pontos a mais no ENEM quando comparados a seus colegas de escolas que não possuem esse item de luxo.

Essas diferenças se refletem em vários outros indicadores: ter esgoto garante mais 30 pontos, por exemplo. Laboratório de ciências? Mais 31.

Outra forma de medir o desempenho escolar é calcular o percentual de alunos que ultrapassam a barreira dos 600 pontos no ENEM. Em regra, é esse o mínimo necessário para ter alguma chance de ingressar numa universidade pública.

Veja o impacto de ter mais equipamentos multimídia, por exemplo:

02_multimidia_perc

Perceba que a proporção de alunos na linha de frente do ENEM é 5 vezes maior em escolas com alto número de dispositivos multimídia! Parece que a estrutura tecnológica da escola também pode exercer algum efeito na nota, ou ao menos estar relacionada a ela (falaremos sobre causa e efeito mais adiante).

A ideia deste estudo foi investigar como a estrutura da escola está relacionada com o desempenho futuro dos alunos, especificamente no Exame Nacional do Ensino Médio (ENEM).

Como fiz isso? O primeiro passo foi quantificar o grau de estrutura das escolas. Utilizei dados do Censo Escolar de 2016, realizado pelo INEP[1], para criar o que denominei Índice de Estrutura da Escola. O segundo passo foi comparar os diversos componentes desse índice com os resultados do ENEM 2016.

Os resultados estão apresentados aqui, onde destaco como alguns fatores da estrutura escolar estão correlacionados com o desempenho dos alunos no ENEM. Numa segunda postagem, irei além, propondo um modelo quantitativo que prevê a nota no ENEM a partir dos indicadores de estrutura.

Vamos lá!

Os Dados

Utilizei as base de microdados do Censo Escolar 2016 e do ENEM 2016, do INEP, ambas disponíveis aqui. A ideia foi reunir, para cada aluno com nota no ENEM, o máximo possível de indicadores relacionados à escola em que estudou. Ao final, sendo excluídos alguns casos como alunos sem nota ou escolas com pouquíssimos alunos[2], fiquei com um total de 22982 escolas. Esta tabela resume todos os indicadores criados e o resultado de cada escola no ENEM[3].

O Índice de Estrutura da Escola (IEE)

O Índice de Estrutura da Escola visa quantificar a condição da instituição de ensino quanto  à estrutura pedagógica, básica e tecnológica. Explico abaixo os 3 componentes do índice, que se dividem em 5 indicadores cada um:

Componente 1: Estrutura Pedagógica (IEE_Pedagógico):

  • Qualificação do docente (formação acadêmica dos professores)
  • Número de alunos por sala
  • Número de funcionários por aluno
  • Quadra de esportes coberta (binária)
  • Biblioteca (binária)

Componente 2: Estrutura Básica (IEE_Básico):

  • Água filtrada (binária)
  • Acesso à rede pública de energia (binária)
  • Acesso à rede pública de esgoto (binária)
  • Coleta periódica de lixo (binária)
  • Banheiro dentro do prédio (binária)

Componente 3: Estrutura Tecnológica (IEE_Tecnológico):

  • Número de computadores por aluno (computadores disponíveis para uso dos alunos)
  • Número de equipamentos multimídia por aluno
  • Acesso a internet (binária)
  • Laboratório de Ciências (binária)
  • Laboratório de Informática (binária)

São 5 indicadores por componente. Cada um vale 1 ponto, sendo assim o valor máximo do índice é de 15 pontos[4]. Veja aqui o ranking das escolas de ensino médio segundo o IEE.

Breve perfil das escolas de ensino médio brasileiras

Um ranking utilizando o Índice de Estrutura da Escola pode permitir visões interessantes. Vamos focar nas 100 escolas com melhor estrutura do país, segundo o IEE:

  • 80 são privadas, 14 são federais, 4 estaduais e 2 municipais
  • 99 são urbanas, 1 é rural[5]
  • 53 estão na região Sudeste, 35 na Sul, 6 no Nordeste, 6 no Norte e nenhuma no Centro-Oeste.

Agora veja as 100 piores:

  • 99 são estaduais, 1 é privada
  • 55 são urbanas, 45 rurais
  • 59 estão no Nordeste, 31 no Norte, 6 no Centro-Oeste, 4 no Sul e nenhuma no Sudeste.

A seguir, o valor médio do IEE por esfera administrativa da escola:

04_IEE_esfera

Choque de realidade nº 2: escolas públicas federais são, em média, mais bem estruturadas que as particulares!

E as estaduais são as piores. Os 3 componentes do IEE (pedagógico, básico e tecnológico) podem dar uma boa ideia global da condição das escolas dos 2 extremos:

05_Radares

Perceba que cada vértice do triângulo se distancia do centro na medida do indicador (componente do índice, que tem valor máximo de 5). No final das contas, quanto maior o triângulo, melhor a estrutura da escola. É clara a diferença entre as escolas federais e estaduais!

Um indicador que mostra bem a diferença de estrutura entre esferas administrativas é a quantidade de funcionários por aluno. Vejamos:

06_Funcionarios_esfera

Outro é a proporção de escolas que possuem laboratório de ciências:

07_Lab_Ciencias_esfera

E as bibliotecas?

08_Biblioteca

Claramente temos 2 patamares de ensino: abaixo, as estaduais e municipais (com leve superioridade das últimas); acima, as privadas e federais (idem). Um questionamento que me ocorreu imediatamente é se as cotas ou bônus dados por universidades a estudantes não deveriam levar em conta isso. Sendo mais direto: É razoável dar bônus ou cota a estudantes de colégios federais? Mais sobre isso em breve.

Como a estrutura da escola se relaciona com a nota no ENEM

Dirijo-me agora a você, aluno do ensino médio. Suponha que você estude numa escola estadual no Nordeste brasileiro. Não tenho boas notícias. A chance de você estar num estabelecimento sem acesso à rede de esgoto é de 56%. Quer uma quadra de esportes coberta? Deixe de preciosismo, aqui somente 20% das escolas têm uma!

Mas pode ser pior, apenas se você já não estiver no Maranhão. Um aluno de uma escola estadual do Maranhão, na zona rural do estado, tem exatamente 0,18% de chances de tirar mais de 600 no ENEM. Se não está muito claro, isso significa que 1 em cada 555 estudantes nessas condições conseguiram o feito em 2016.

Por outro lado, se você está numa escola privada do estado de São Paulo essa probabilidade é de 38%, simplesmente 211 vezes maior!

O Índice de Estrutura da Escola está ligado ao desempenho no ENEM, sem sombra de dúvidas (veja porque isso não significa, a priori, uma relação de causalidade[6]). No gráfico abaixo, perceba como a nota média das escolas aumenta em função do índice[7]:

09_IEE_Nota

Ainda está na dúvida? Veja a proporção média de alunos com nota acima de 600:

10_IEE_perc_600

Para um aluno que estuda numa escola bem estruturada, a chance de pontuar bem no ENEM é 26 vezes maior do que nas mal estruturadas!

Fiz o exercício de identificar as variáveis de estrutura escolar que potencialmente mais contribuem para o aumento da nota no ENEM. Isso foi possível dividindo-se a distribuição de cada variável de estrutura (dentre as não binárias, claro) em quartis, em seguida calculando a nota média para as escolas dentro de cada quartil. Veja nos exemplos abaixo as variáveis de “número de computadores por aluno” e “número de alunos por sala“:

12_Num_comp_aluno_nota

Aqui, a diferença entre o primeiro e último quartil foi de 544,39 – 498,1 = 46,29. Isso significa que as escolas melhores em termos de “número de computadores” conseguem 46,29 pontos a mais, em média.

11_Num_alunos_nota

No caso de alunos por sala vale lembrar que quanto mais alunos pior (pressupõe-se). Por isso nos interessa a diferença entre as escolas com menos alunos por sala e as com mais alunos por sala: 551,07 – 482,52 = 68,55. Ou seja, escolas com menos alunos por sala obtêm em média 68,55 pontos a mais que as com mais alunos por sala.

Seguindo essa lógica, estes são os 4 indicadores mais significativos:

  • Número de funcionários por aluno: 72 pontos de diferença das escolas com mais funcionários (4º quartil) para as com menos (1º quartil).
  • Número de equipamentos multimídia por aluno: 69 pontos de diferença.
  • Número de alunos por sala: 68 pontos.
  • Número de computadores por aluno: 46 pontos.

Considerando especificamente a disciplina de redação, essas diferenças parecem ser ainda mais relevantes. Veja o exemplo do impacto do número de alunos por sala na nota da redação:

14_Alunos_sala_nota_red

São 103 pontos de diferença na média! Isso é muito.

Choque de realidade nº 3: escolas com salas de aula menores obtêm em média até 103 pontos a mais na prova de redação.

Pra finalizar, você deve ler isto.

Existem heróis no Brasil. Vamos conhecê-los.

1. 1161169

Infelizmente não tenho nomes (não há essa informação na base). Mas posso afirmar que o aluno cuja inscrição no ENEM 2016 foi a de nº 160001161169 é um jovem herói brasileiro. Esse jovem – vamos denominá-lo 1161169 – de 16 anos do município de Mauriti, no Ceará, estudou na Escola Estadual Adauto Leite, que tem um Índice de Estrutura de apenas 7,0 (lembre que o valor máximo é 15). Lá não há laboratório de ciências, nem biblioteca ou pátio coberto. Equipamentos multimídia são apenas 2 no total. Além disso, 1161169 provavelmente tinha um esforço adicional pra acompanhar as aulas na preparação para o ENEM. Isso porque em média sua escola “acomodava” 76 alunos em cada sala de aula. Tal falta de estrutura certamente contribuiu para o parco resultado da EEFM Adauto Leite no ENEM 2016: média geral de 430,77 pontos. Apesar disso, 1161169 fez o inimaginável, marcando simplesmente 738,10 pontos, ou 307,33 a mais que a média de seus colegas.

2. 2234760

2234760 se tornou mais um herói nacional, aos 16 anos. Conseguiu alcançar a marca de 772,94 pontos no ENEM. Olhando somente para a nota, é difícil imaginar que a escola onde estudou (Escola Estadual Benjamim Carvalho de Oliveira, de Ipumirim/SC) sequer tem acesso à rede pública de esgoto. Lá também não tem laboratório de informática, nem de ciências e nem biblioteca. A média da escola: 493,43 pontos, ou 279,51 a menos que 2234760.

3. 2063525

Também temos uma heroína no Brasil. Aos 17 anos, 2063525 concluiu o ensino médio na Escola Estado de Pernambuco, que apesar do nome fica no município de Santa Inês, Maranhão. Parece que alguém já escreveu sobre essa escola:

Era uma escola muito engraçada

Não tinha esgoto, não tinha nada

Em dia de chuva não se podia brincar

Pois pátio coberto, nem pra sonhar

Ninguém podia estudar ciências

Sem laboratório, haja paciência

Só muito esforço pra sentar na carteira

Assistir a aula e fugir da goteira

Nessa levada, só há quem lamente

A triste sina do marenhense.

2063525, nossa terceira heroína, conseguiu a nota de 684,88. 252,47 pontos de distância da estrada arriscada e provavelmente circular que havia sido a ela destinada. Que siga forte.

Se quiser prever o futuro, estude o passado.

Confúcio

[1] Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira.

[2] Com o objetivo de identificar prováveis “filiais de excelência” (salas formadas com os melhores alunos e registradas como uma filial da escola principal, com o objetivo de alavancar os resultados no ENEM) excluo escolas privadas, com apenas 1 a 3 salas, com total de menos de 30 alunos e posicionadas entre as 10% melhores médias gerais.

[3] Uma externalidade positiva desse trabalho é que recriei o “ENEM por Escola”, divulgação do ranking das escolas que era feita anualmente pelo INEP, mas foi descontinuada no ENEM 2016.

[4] Para fazer com que os indicadores não binários ficassem com valor máximo de 1 ponto, atribui a cada caso, respectivamente os seguintes valores, a depender do quartil ao qual pertencesse: 1º quartil = 0.25 ponto; 2º quartil = 0.5; 3º quartil = 0.75; 4º quartil = 1. Apenas no caso do indicador de alunos por sala (onde pressuponho que quanto menos melhor) a ordem da pontuação foi inversa. Essa configuração faz com que o menor valor possível ao final para o IEE seja de 1.25.

[5] É o Instituto Federal do Triângulo Mineiro, Campus Uberlândia.

[6] Breve disclaimer sobre correlação versus causalidade:
Existe uma clara ligação entre estrutura escolar e desempenho no ENEM. No entanto não é possível, apenas com os dados mostrados aqui, estabelecer uma relação de causalidade (embora isso seja bem provável, pelo menos em parte). Isso porque é possível que um terceiro fator (nível de renda, por exemplo) cause ambos os fenômenos. No entanto, tal correlação é uma pista do caminho a se percorrer para encontrar a causa primária do fraco desempenho de determinados estudantes. Veja mais sobre correlação x causalidade aqui.

[7] Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira.

Anúncios

16 comentários sobre “Escola ruim, aluno ruim. Entendendo a relação entre estrutura escolar e desempenho no ENEM.

  1. Parabéns pelo trabalho.
    O bom planejamento de qualquer solução de um grave problema começa com a obtenção de informações claras e transparentes sobre ele, assim como vimos publicado em seu trabalho.
    A educação é o ponto de partida para qualquer nação não apenas garantir a cidadania do seu povo, mas também o sonhado desenvolvimento econômico e social.
    Tomara que essas informações cheguem, sejam seriamente analisadas e atitudes sejam tomadas por quem possui a responsabilidade de cuidar dessa importante área do governo.

    Curtido por 1 pessoa

  2. Olá Leonardo, bem legal o texto! Agora, é possível identificar o local das escolas e cruzar com o IDH ou renda do mesmo local? Ou seja, será que uma boa estrutura não está condicionada a estar localizada em um bairro rico ou com alto desenvolvimento humano? O que faz mais diferença: ou uma boa estrutura ou a renda média do bairro da escola?
    Um abraço

    Curtido por 1 pessoa

    1. Valeu! Minha formação é em Administração! rsrsrs.
      Certamente alguma graduação na área de ciência da computação ou estatística cria uma boa base. Mas de qualquer forma os portais de EAD focados em data science (Coursera, Udacity e Datacamp, por exemplo) vão dar o direcionamento mais importante. Vale lembrar que sou um cientista de dados em formação! Veja este artigo:
      http://www.cienciaedados.com/as-10-habilidades-de-um-cientista-de-dados/

      Abraço!

      Curtir

  3. Triste realidade da educação brasileira, históricas tentataticas de erros e acertos, nos locais onde mais precisamos de escolas de qualidade para oferecer mudanças que só a educação pode prociornar.
    Parabéns pela pesquisa.

    Curtido por 1 pessoa

  4. Adorei seu trabalho, parabéns. Gostaria de saber se vc analisou a relação entre a nota (geral e redação) e a quantidade de alunos por sala entre as escolas que atingiram acima de 13 pontos no IEE.

    Obrigado.

    Curtir

    1. Obrigado pelo feedback! Considerando somente as escolas com mais de 13 no IEE, a diferença é de 32 pontos na média geral (escolas com menos de 31 alunos por sala – o melhor quartil – conseguem 32 pontos a mais que as com mais de 71 – pior quartil) e de 49 pontos na redação. Abraço!

      Curtir

  5. Muito boa a pesquisa feita! Precisamos de mais pessoas assim, com conhecimento e dispostas a cruzar informações.
    Infelizmente a gestão de informações de nosso pais ainda é muito precária.

    Estou me formando em Gestão de Políticas Públicas e quereo aprender mais sobre Analise de Dados, se puder me dar alguma dica seria de grande valia!

    *Creio que ficou faltando avaliar oa quanto cada um dos 3 componetentes da estrutura escolar impactam na nota do ENEM. Qual o eixo mais importante ?

    Curtir

  6. Era isso que eu estava procurando!tinha certeza que esses fatores influenciavam na nota!mas não tinha como mostrar isso aos outros em dados.Isso me ajudou a entender minha trajetoria com o vestibular e pelo o que vi esses fatores são determinantes na maioria dos casos,claro que motivação e esforço contribuem bastante,mas é díficil competir com pessoas que estudam em escolas com ótima estrutura e que trabalham exatamente por resultados no Enem.Triste realidade nesse país…

    Curtir

  7. Era isso que eu estava procurando!tinha certeza que esses fatores influenciavam na nota!mas não tinha como mostrar isso aos outros em dados.Isso me ajudou a entender minha trajetória com o vestibular e pelo o que vi esses fatores são determinantes na maioria dos casos,claro que motivação e esforço contribuem bastante,mas é difícil competir com pessoas que estudam em escolas com ótima estrutura e que trabalham exatamente por resultados no Enem.Triste realidade nesse país…

    Curtido por 1 pessoa

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

w

Conectando a %s