Mitos sobre os testes de aprendizagem de larga escala
As notas das provas feitas pelo MEC e pelas Secretarias são aguardadas pela sociedade, que quer acompanhar a evolução do ensino. Contudo, a ânsia por resolver os problemas leva a distorções em torno do poder das avaliações.
1. O Saeb avalia a aprendizagem dos alunos
Por que é mito O Sistema Nacional de Avaliação da Educação Básica (Saeb), uma iniciativa pioneira do governo federal, não tem a finalidade de mostrar o que aprendeu cada um dos estudantes. Trata-se de um modelo por amostragem, em que algumas escolas públicas e particulares são sorteadas para participar com turmas das séries finais dos dois segmentos do Ensino Fundamental e do Médio. Assim, são apresentadas médias para cada estado, região e para o país como um todo, apenas em Língua Portuguesa e Matemática. Em 2005, o sistema foi reestruturado e passou a ser composto de duas avaliações. A original, que ganhou o nome de Avaliação Nacional da Educação Básica (Aneb), mas continuou sendo divulgada pelo apelido de Saeb, e a Prova Brasil que se chama, na verdade, Avaliação Nacional do Rendimento Escolar (Anresc). A primeira continuou seguindo os mesmos procedimentos amostrais. Já a segunda nasceu mais abrangente, convocando todos os alunos do 5º e do 9º ano (não entra o Ensino Médio) de escolas municipais, estaduais e federais (as privadas ficam de fora) com mais de 20 matriculados nessas séries. Em ambas, a participação é voluntária, embora exista o compromisso de todas as secretarias em aderir ao sistema. A Prova Brasil gera dados também por município e por escola, mas não por aluno. Afinal, o principal objetivo do governo federal não é esse, e sim oferecer, a cada dois anos, subsídios para o monitoramento da Educação oferecida por ele e pelas secretarias.
Evidências Como a cultura da avaliação externa é recente no Brasil, ainda há muita confusão e desinformação sobre o assunto. Muitos pais acreditam que a capacidade de aprender dos filhos está sendo testada. Alguns gestores escolares até se sentem tentados a treinar os alunos para que se saiam bem. Não é adequado mobilizar todo o planejamento e as estratégias pedagógicas da escola em função da avaliação externa, analisa Tufi Machado, pesquisador do Centro de Políticas Públicas e Avaliação da Educação (CAEd) e professor da Universidade Federal de Juiz de Fora (UFJF), em Minas Gerais. Algumas instituições podem se empenhar tanto em conseguir médias satisfatórias que até arrumam meios de recrutar para os testes somente os alunos que têm melhor desempenho.
Como avaliar bem os alunos
São os professores que devem avaliar individualmente a aprendizagem dos alunos usando instrumentos variados. Mas eles precisam ser formados para fazer isso bem, diz Thereza Penna Firme, coordenadora do Centro de Avaliação da Fundação Cesgranrio, no Rio de Janeiro. Depois, os docentes precisam analisar os resultados com a coordenação pedagógica para validar o planejamento inicial ou pensar em replanejamento. O papel da rede é oferecer formação continuada aos coordenadores para que o tema avaliação esteja na pauta dos encontros coletivos. As secretarias também conseguem chegar a todos os matriculados ou ao menos garantir a participação maciça das séries testadas. No Índice de Qualidade da Educação do município de São Paulo, baseado na avaliação da rede, o aluno que não fizer as provas recebe zero. Como pode puxar a média para baixo, essa regra ajuda a evitar fraudes.
2. A avaliação é a radiografia da Educação do país
Por que é mito As duas baterias de provas que compõem o sistema de avaliação externa federal investigam a aprendizagem em Língua Portuguesa e Matemática e somente de algumas séries e não são todas as escolas que participam de ambas as rodadas. O Saeb já avaliou outras disciplinas, como Ciências, mas a partir de 2001 dirigiu seu foco para somente duas as que contêm conteúdos básicos para o aprendizado das outras disciplinas: interpretação de textos e raciocínio matemático. A avaliação externa ajuda a verificar se as crianças e os adolescentes estão tendo acesso ao que lhes é garantido pela Constituição Federal o direito a frequentar a escola, à permanência e ao aprendizado dos conteúdos mínimos, diz José Francisco Soares, da Faculdade de Educação da Universidade Federal de Minas Gerais.
Evidências Como se viu no mito anterior, o Saeb é feito por amostragem e a Prova Brasil, apesar de ter maior participação, exclui as instituições privadas. A maioria das provas estaduais repete o esquema da nacional. Por isso, as provas elaboradas por redes locais, que teriam a possibilidade de investigar mais séries e disciplinas, não conseguem uma abrangência maior. E vale lembrar que nem todos os estados (muito menos municípios) têm sondagem própria. Assim, não dá para dizer que o Brasil produza uma radiografia completa da Educação, ainda que se busquem pistas sobre o seu estado geral.
Como obter uma radiografia completa do ensino básico brasileiro
O caminho é a diversificação e a sofisticação dos instrumentos. Os estados devem se preocupar em não replicar informações, opina Mozart Neves Ramos, do Movimento Todos pela Educação. Não se trata de fazer tudo diferente. O Saeb já criou uma métrica eficaz. Basta investir no refinamento dos dados locais, diz Dalton Francisco de Andrade, professor da Universidade Federal de Santa Catarina (UFSC). Obter (e divulgar) os dados socioeconômicos das escolas e dos alunos é essencial.
3. Docentes mudam a prática com o anúncio de notas
Por que é mito O aperfeiçoamento da prática docente não ocorre de forma espontânea, apesar de existir a expectativa de que a simples exposição pública de uma escola com baixo rendimento baste para que os professores passem a ensinar melhor. Grande parte não compreende o significado dos números e não os relaciona a seus métodos. Para ter uma ideia da desinformação, em uma pesquisa de 2007 da Fundação Victor Civita (FVC), só 31% dos docentes conheciam o Saeb e 24% a Prova Brasil, enquanto 14% não lembraram de nenhuma avaliação externa. Em outro estudo, de 2010, sobre o coordenador pedagógico que cuida da formação continuada na escola , a maioria afirmou saber o Índice de Desenvolvimento da Educação Básica (Ideb) que inclui a nota do Saeb de sua unidade, mas 47% citaram um número fora da escala. Mau sinal: se um professor quiser mudar, precisará de parceria para conseguir isso.
Evidências Nem sempre os resultados chegam compreensíveis à escola, com o detalhamento do que os alunos não estão aprendendo, a reflexão sobre as razões disso e sugestões para melhorar o ensino. O foco das redes deve ser sempre pedagógico, diz Wanda Engel, doutora em Educação e superintendente do Instituto Unibanco. Afinal, o que se espera e tanta adesão a avaliações é que elas produzam impactos positivos em sala de aula.
Como fazer com que os professores mudem sua prática
Como fazer com que os professores mudem sua prática As redes precisam fornecer a análise detalhada dos dados das avaliações com indicações para reverter as deficiências de ensino. Assim, as escolas terão como identificar o que não vai bem e agir. Às vezes, falta ao professor o conhecimento sobre os conteúdos, alerta Wanda. Algumas secretarias fazem o serviço completo. O Programa de Intervenção Pedagógica (PIP) é planejado com base no resultado dos nossos testes, diz Sônia Andere Cruz, subsecretária de Informações e Tecnologias Educacionais da Secretaria de Educação de Minas Gerais. São feitos dois manuais: um deles traz os dados detalhados e o outro abordagens pedagógicas para trabalhar os conteúdos. Já o Ceará envolveu os professores no processo. Demos oficinas sobre avaliação aos docentes para que eles participem da elaboração das provas, enviando questões, conta Maria Iaci Pequeno, assessora técnica da Secretaria da Educação do Estado do Ceará.
4. Avaliações são usadas para o replanejamento
Por que é mito Sim, o replanejamento deveria ser um dos principais objetivos das avaliações externas e a pesquisa mostra bons exemplos da utilização dos resultados para monitorar a eficiência de projetos e programas. A questão é que nem sempre isso acontece de forma eficaz, a ponto de gerar mudanças em sala de aula.
Evidências O papel principal das avaliações externas é fornecer dados para detectar o que está funcionando bem no sistema e nas escolas, que áreas demandam mais investimentos e quais programas estão apresentando resultados satisfatórios. Essa finalidade justifica qualquer gasto em sondagens de larga escala, apesar de, com frequência, não existirem ações concretas. O replanejamento pode ficar só no discurso. As iniciativas ainda são tímidas, diz Francisco Soares, professor da UFMG.
Como usar bem as avaliações externas para o replanejamento
As redes precisam combinar o diagnóstico oferecido por elas a ações concretas para resolver os problemas apontados. E nunca devem se contentar com o mínimo. O ideal é ter metas cada vez mais ambiciosas, defende Ruben Klein, consultor da Fundação Cesgranrio. O segredo é dar condições para que as escolas ofereçam formação em serviço aos docentes que, assim, poderão aperfeiçoar continuamente suas práticas. Se nada foi feito, nem adianta avaliar tudo de novo.
5. É possível avaliar a aprendizagem sem um currículo
Por que é mito No âmbito nacional, não existe um currículo básico obrigatório. Atenção: os Parâmetros Curriculares Nacionais são somente orientações gerais. Alguns estados e municípios criaram os seus, e eles não são necessariamente semelhantes. Esse panorama cria um problema sério para as sondagens padronizadas aplicadas no país inteiro. Se não se ensina a todo mundo a mesma coisa, como a avaliação pode ser igual?, questiona Nigel Brooke, o coordenador da pesquisa da FVC.
Evidências É impossível saber se os professores ensinaram o que está sendo avaliado nas provas. Um atenuante: se as provas são feitas ao fim de um ciclo (no último ano de cada segmento do Ensino Fundamental ou na 3ª série do Ensino Médio), a incoerência é menos grave, pois há certo consenso entre os educadores do que já se deve ter aprendido quando se chega a esses pontos. O problema é quando a averiguação da aprendizagem é feita em outras séries caso de algumas avaliações estaduais e municipais. Não existem regras sobre como distribuir os conteúdos ao longo dos períodos, explica Nigel Brooke. Na ausência de um currículo, as matrizes de referência das avaliações às vezes servem como tal. Interessados em obter um bom desempenho, escolas e professores optam por preparar os alunos para os grandes testes, deixando de lado outros conteúdos e essa não é uma medida endossada por educadores.
Como testar de verdade o nível de aprendizagem de uma rede
Formular um currículo oficial é pré-requisito para obter informações mais precisas sobre a aprendizagem. A adesão às avaliações costuma ser o primeiro passo para a conscientização sobre a necessidade de um currículo oficial. Minas Gerais, São Paulo, Pernambuco, Ceará e Espírito Santo já estabeleceram suas expectativas de aprendizagem para cada ano e criaram meios para que a rede efetivamente adote o definido, diz Brooke. O desafio, então, é garantir que os conteúdos estejam alinhados com as matrizes testadas, mas não se limitem a eles.
6. A escola que vai bem em uma avaliação é boa
Por que é mito Obter uma única nota alta nas provas que geram dados por escola não quer dizer muita coisa, embora a opinião pública tenda a tirar essa conclusão ao ver os rankings divulgados pela mídia. Pode haver flutuações de um ano para o outro, por isso é importante acompanhar o percurso da instituição em três ou mais exames consecutivos, explica Ruben Klein, da Fundação Cesgranrio.
Evidências Muitos fatores influenciam o desempenho do aluno. Um deles é o perfil da comunidade. Os resultados são melhores onde a clientela é mais favorecida. Essa é a razão de as unidades que fazem processos de seleção de alunos como algumas particulares e as Escolas Técnicas Federais se saírem melhor. Uma só nota fornece poucas pistas. Mas, ser for ruim, já deve servir como um alerta para que os gestores da rede e da instituição planejem ações para reverter o quadro. Já uma nota elevada deve se manter assim em outros anos para atestar a qualidade do ensino da escola.
Como avaliar bem uma escola
Além de adotar a avaliação como uma política contínua, é preciso cruzar os dados de aprendizagem com outros, como o perfil da comunidade do entorno e os recursos a que a escola tem acesso. Algumas instituições obtêm uma média boa, sem que isso signifique que aproveitem o máximo da capacidade de aprender do alunos. Já uma escola com nota baixa pode estar exercendo melhor seu papel do que seria esperado dela diante das circunstâncias, diz Romualdo Portella, da Faculdade de Educação da Universidade de São Paulo.
7. A competição leva à melhoria do ensino
Por que é mito Na Educação, a ânsia de estar em primeiro lugar não funciona como nos esportes. O estímulo à competição é uma alternativa para as políticas educacionais que não querem enfrentar os problemas reais, observa Romualdo Portella. Vários especialistas acreditam que os rankings funcionam apenas para alimentar a lógica do mercado, ao transformarem as escolas bem colocadas em objetos de desejo do consumidor. Para as instituições privadas, isso significa procura maior e mais lucros. Para as públicas, pouco importa.
Evidências É praxe transformar os resultados das avaliações externas em rankings. Isso gera na sociedade e até em alguns gestores públicos a expectativa de que o espírito competitivo mexa com a vaidade das pessoas e, assim, produza impactos frutíferos nas escolas. Entretanto, como já se viu no mito 3, mesmo quando um professor sente seus brios atingidos por uma nota ruim e quer mudar sua prática, não sabe como fazer sem o apoio adequado. Mais: ter uma ou outra escola de excelência, e ainda alardear isso, não é vantajoso, pois o que se deseja é que as redes melhorem como um todo.
Como produzir melhorias no ensino
Os professores necessitam de formação em serviço para aperfeiçoar a maneira de ensinar. Para tanto, a rede precisa provocar um efeito cascata: fortalecer o corpo técnico para que ele dê atendimento consistente e permanente a gestores e coordenadores pedagógicos e esses, por sua vez, possam prestar assistência aos docentes. Políticas que envolvem prêmios só produzem resultado quando são previstas ações casadas para melhorar o ensino. No Prêmio Escola Nota 10, do Ceará, as unidades bem avaliadas recebem recursos extras, mas devem adotar pedagogicamente uma do grupo com os piores resultados que também ganham mais verba.
8. Os alunos vão mal por culpa do professor
Por que é mito Mesmo que tenha sido detectado que os alunos de determinada série tiveram um rendimento abaixo da crítica, não se pode inferir que o professor daquele ano seja incompetente. Isso porque o desempenho ruim de um estudante reflete o trabalho de todos os docentes que antes trabalharam com ele. O professor é apenas um elemento de uma cadeia muito maior, diz Antonio Augusto Batista, coordenador de desenvolvimento de pesquisa do Centro de Estudos e Pesquisas em Educação, Cultura e Ação Comunitária (Cenpec), de São Paulo.
Evidências A parcela de responsabilidade dos docentes é significativa na aprendizagem do aluno, só que ela deve ser atribuída a um conjunto de professores, e não apenas ao do momento. Quando uma criança ou um adolescente vai mal em um ano, certamente lhe faltou apoio durante outras fases. Além disso, outros fatores influenciam a aprendizagem: o tamanho da turma, o material didático, o clima da escola, o currículo da rede e a forma como ele é distribuído para as unidades além das características socioeconômicas e culturais do entorno. Há até o chamado efeito território, identificado pelo Cenpec, que investigou 61 instituições de ensino público em São Miguel Paulista, na Zona Leste da cidade de São Paulo: as situadas nas áreas centrais do bairro, onde há equipamentos sociais e culturais, obtiveram um Ideb acima da média local e as localizadas nos trechos considerados de alta vulnerabilidade ficaram abaixo.
Como avaliar a competência do professor
Os docentes devem, sim, ser continuamente avaliados. A questão é a forma. Só a combinação de diferentes instrumentos, como a observação do conhecimento dos conteúdos e das práticas em sala de aula, a autoavaliação e a análise dos planos de aula e dos registros de classe, permite uma verificação justa e confiável da competência de um professor. Portanto, cabe às secretarias garantir a presença de pelo menos um coordenador pedagógico por escola. É ele que vai conduzir a necessária formação continuada dos docentes, na qual todo esse processo de avaliação deve ser inserido. Essa é a única forma de eliminar o fator incompetência do cenário.
Fonte: Nova Escola.
