Resultados ENEM: especialistas pedem cautela no uso de dados do Enem por escola

A divulgação das médias das escolas no Exame Nacional do Ensino Médio (Enem) provoca, todos os anos, a publicação de rankings que alardeiam as “melhores” e estigmatizam as “piores” escolas em diversos recortes regionais.  No entanto, especialistas em avaliação pedem cuidado na análise dos dados por diversos motivos. A falta de dados socioeconômicos na análise e na comparação entre as escolas é um deles. O ranqueamento de unidades de ensino completamente diferentes entre si, em relação ao perfil de aluno que atendem, é uma informação incompleta. “Precisamos chamar a atenção da sociedade para essa dimensão, porque é ela quem traz a equidade para a discussão dos dados educacionais”, afirma Francisco Soares, do Grupo de Avaliação e Medidas Educacionais da Universidade Federal de Minas Gerais (UFMG). Os especialistas afirmam que o Enem é um exame que avalia o aluno – portanto, não é propriamente indicado para aferir a qualidade da escola. “Não dá para dizer que ele é descartável para isso, mas a verdade é que ele avalia o estudante. Também não é uma avaliação de redes de ensino”, explica o economista Ernesto Martins, coordenador de projetos da Fundação Lemman. “Por isso que, se para avaliar a unidade e a rede o exame já tem problemas, usá-lo para fazer comparações é muito mais difícil.” Martins ainda destaca que, com as mudanças na divulgação dos dados deste ano, ainda não está clara qual a melhor forma de comunicar à sociedade o que o Enem tem a dizer. “Ainda estamos procurando o jeito ideal de divulgar esses dados”, explica. “Mas é claro que, quanto mais rica for essa divulgação, melhor. Se tivéssemos acesso ao perfil do aluno e também à intenção dele ao prestar a prova, as coisas ficariam mais claras.” Atualmente, o Enem é usado como vestibular para universidades e institutos federais; para a concessão de bolsas do Programa Universidade para Todos (ProUni) e de financiamento estudantil (pelo Fies); e para obter a certificação de conclusão do Ensino Médio. Ele serve também para desempatar candidatos às bolsas de graduação e de pós-graduação do programa Ciências Sem Fronteiras. Para Martins, essa multiplicidade de usos pelo candidato interfere diretamente no desempenho dos alunos.   Processo A metodologia de avaliação usada no Enem é da Teoria de Resposta ao Item (TRI), modelo que permite comparabilidade entre alunos e entre anos diferentes de aplicação das avaliações, com a possibilidade de se demonstrar o nível de dificuldade das questões independentemente do tipo de grupo que está sendo testado. Martins afirma que a comparação das médias do Enem entre anos também requer cuidados. “O fator complicador é exatamente a motivação do aluno que faz a prova, porque isso muda muito de 2010 para 2011, por exemplo. Infelizmente, a TRI não resolve esse problema”, afirma. Ele reforça a ideia de que, por ser a etapa imediatamente anterior à Educação Superior – o que chama atenção da sociedade – e por receber alunos com uma “bagagem e experiências de aprendizagem anteriores”, o Ensino Médio é, provavelmente, “uma das etapas da Educação Básica que mais demandam uma avaliação nacional longitudinal, que acompanhe o nível de aprendizado dos alunos ao longo dos três anos”.   Participação Tufi Machado Soares, professor e coordenador de Pesquisa do Centro de Políticas Públicas e Avaliação da Educação da Universidade Federal de Juiz de Fora (UFJF), chama a atenção para a taxa de participação dos alunos de cada escola no exame. Neste ano, o MEC divulgou apenas as médias de colégios com 50% ou mais de taxa de participação dos concluintes. “Isso pode inflar as notas e fazer com que as escolas estimulem apenas os alunos bons a fazerem a prova”, explica ele, que não concorda com a divulgação das médias, mas afirma não ser contra os rankings, desde que sejam acrescentados indicadores que contextualizem as escolas. “A TRI permite a comparabilidade, mas temos de lembrar que o exame não é obrigatório e não é universal, e também não sabemos a representatividade de cada escola. Comparar as médias entre anos exige um estudo para saber se a mesma parcela de alunos participou nas duas edições”, afirma ele. De acordo com Tufi, outro problema é o fato de não se saber se a amostra da população que fez a prova em 2011 tem a mesma representatividade da de 2010, por exemplo. “Não se sabe se essa amostra extrapola a população como um todo. As medidas são comparáveis, mas exigem um cuidado na verificação da equivalência das populações.”   Responsabilidade O problema dos rankings não anula a importância de se publicar os dados, alertam os pesquisadores. Segundo eles, a divulgação das notas é importante especialmente para verificar as falhas de conteúdo em determinadas áreas. Dessa forma, a escola pode organizar programas de reforço e recuperação nas disciplinas em que o desempenho das turmas não apresentou bons resultados. “Os dados são divulgados para verificarmos a situação do ensino e da aprendizagem. É possível alterar, inclusive, o projeto pedagógico da escola com base nesses diagnósticos”, explica a professora Silvia Colello, professora da Faculdade de Educação da Universidade de São Paulo (USP). “A iniciativa de avaliar o desempenho externamente só faz sentido se houver esse retorno.” Silvia afirma que é importante para a escola ter a noção do patamar em que está perante o resto do País. “Situar-se no cenário como um todo é elucidativo para a escola”, afirma Silvia. No entanto, ela reforça a opinião de outros especialistas sobre o mau uso que se faz dos dados, ressaltando que falta clareza na intepretação. “A comunidade não sabe quais outros dados podem ser usados para indicar a qualidade de uma escola”, diz. “É um desserviço porque dá margem a um maniqueísmo educacional.” Para Silvia, o principal problema dos rankings é a redução que eles causam. “A Educação é muito mais complexa. A escola forma valores, incentiva a criatividade, a cidadania e ajuda o aluno a se posicionar no mundo. Isso tudo não aparece no Enem. E quem vai dizer que isso é mais ou menos importante do que aprender matemática?”, questiona.