Saltar para: Post [1], Comentários [2], Pesquisa e Arquivos [3]

educaportugal



Segunda-feira, 20.08.12

A avaliação IX

Mais de oito anos volvidos sobre o último texto dedicado à avaliação educacional, retorno àquele que é um dos meus temas favoritos e que vejo como fundamental para a evolução da prática docente na realidade nacional. Poderia escrever partindo dos textos anteriores mas prefiro começar de novo, face ao tempo volvido, às mudanças legislativas verificadas e às transformações observadas no contexto educativo português.

Começo pela questão legal, ou seja, pela influência do ministério que tutela a educação sobre a prática docente. Verificou-se o surgimento do Despacho normativo n.º 30/2001 (que não significou qualquer rutura com o despacho que revogou, o Despacho normativo n.º 98-A/92), poucos anos depois o mesmo foi revogado pelo diploma legal que atualmente regulamenta a avaliação das aprendizagens e competências dos alunos dos ensino básico regular: o Despacho Normativo n.º 1/2005, que surgiu com duas modificações visíveis: o surgimento dos exames nacionais do ensino básico e o estabelecimento da avaliação diagnóstica como uma das modalidades de avaliação do ensino básico (nos diplomas anteriores o diagnóstico já surgia, e bem, como fazendo parte da avaliação formativa). No entanto, neste texto, não me debruçarei diretamente sobre nenhum destes dois tópicos, mas sim sobre outro que vejo surgir através de deliberações constantes do infeliz despacho normativo n.º 13-A/2012.

O último diploma legal referido, ao contrário dos outros publicados pela atual equipa ministerial, não foi alvo de qualquer negociação com os sindicatos. Após uma leitura rápida do diploma legal, rapidamente se compreendeu porquê. O conteúdo do despacho normativo referido tem um considerável número de razões para o criticar, podendo ser-lhe apontados muitos desacertos. Neste texto, dedicado à avaliação educacional, tentarei demonstrar de que formas nefastas este diploma legal poderá interferir sobre as práticas dos docentes na área da avaliação.

A única parte que alude à avaliação fá-lo somente sobre a avaliação sumativa externa, ou seja, a que se refere, no texto do diploma, aos exames nacionais do ensino básico/secundário. Mais especificamente, surge num dos anexos referentes ao cálculo do crédito horário a que os agrupamentos poderão ter direito. E o que lemos aí? Que os agrupamentos poderão ter direito a reforço do crédito horário em três situações: uma dependente dos resultados na avaliação sumativa externa; uma dependente da diferença entre a avaliação sumativa interna e avaliação sumativa externa; e outra dependente da comparação da variação anual das classificações de exame de cada escola ou agrupamento com a variação anual nacional. Irei, em seguida, avaliar cada uma das condições apresentadas.

Comecemos pela primeira condição que surge no despacho, aquela que diz respeito aos resultados da avaliação sumativa externa e a que é mais simples de compreender. Nesta surge uma tabela onde é especificado como os agrupamentos poderão obter 30, 20 ou 10 horas de crédito horário. E como poderá acontecer? São apresentados três cenários que permitam obter o crédito descrito, sendo o patamar mínimo o de obter como média dos exames nacionais do ensino básico o valor 3 e como média dos exames nacionais do ensino secundário o valor 10. Não poderei deixar de começar a minha avaliação desta medida pela questão de princípio que está subjacente na mesma. Sente-se que se pretende com esta medida premiar as escolas com melhores resultados, reconhecendo o seu mérito. Esta é daquelas ideias que têm lógica se não pensarmos uma segunda vez nas mesmas… Nem quero imaginar este princípio a vigorar noutros serviços públicos: as esquadras de polícia de zonas com menor índice de criminalidade a serem premiadas com melhores meios em vez das de zonas mais problemáticas; as corporações de bombeiros de zonas com menor área ardida a beneficiarem de mais meios em detrimento das de zonas com maior área ardida; as brigadas de trânsito de zonas com menor índice de sinistralidade na estrada a obterem mais meios em detrimento das de zonas com maior índice de sinistralidade; os hospitais com menor índice de população com problemas de saúde a verem os seus meios reforçados em detrimento dos responsáveis por populações com mais problemas de saúde; etc. Muitos mais exemplos similares poderiam ser dados, no entanto, acredito que estes sejam suficientes para se compreender a insensatez inerente a esta medida. Compreendo que se queira premiar os bons resultados, mas com certeza haverá formas minimamente lógicas de o fazer. Por outro lado, mais difícil será estabelecer o que são bons resultados.

Mais caricata esta medida se torna se lermos no diploma legal em causa para que efeitos o reforço do crédito horário se destina. Este crédito horário poderá ser usado de três formas: para reforço de disciplinas com menor sucesso, através do aumento da carga curricular ou de estratégias de apoio; para regime de coadjuvação em sala de aula; ou para apoio a grupos de alunos no sentido de ultrapassar dificuldades de aprendizagem ou de potenciar o desenvolvimento da mesma. Ou seja, o reforço do crédito horário é dado de modo a que possam ser mais apoiados os alunos das escolas com… melhores resultados!

Mas a insensatez da medida não se fica por aqui. Tenho ainda três chamadas de atenção a realizar neste ponto. A primeira é de um facto óbvio: bastará que a entidade responsável pela elaboração dos exames nacionais aumente consideravelmente o nível de dificuldade dos mesmos para que só um número residual de agrupamentos e escolas obtenha algum crédito proveniente desta medida. A segunda é um pormenor menos visível: para que esta medida resulte em reforço de crédito horário as escolas e agrupamentos deverão obter os mínimos descritos nos exames do ensino básico “e” nos exames do ensino secundário. Ou seja, aquele “e” simplesmente coloca de parte a possibilidade das escolas e agrupamentos, sem um dos níveis de ensino referidos, obterem reforço de crédito horário através desta medida. Apesar da formação superior inicial do nosso ministro da educação e ciência ser Economia, acredito que terá conhecimentos suficientes na área da Matemática, mais especificamente em Lógica, para que este pormenor seja uma distração. A terceira chamada de atenção é feita para algo mais difícil de ser notado: a escala que é utilizada no caso dos exames do ensino básico é extremamente prejudicial para as escolas e agrupamentos. Isto porque, quando os resultados dos alunos obtidos nesses exames, em percentagem, são transformados em níveis de 1 a 5, assiste-se a uma perda considerável em termos de média dos resultados. Para que tal seja verificado, convido todos aqueles que tenham acesso aos resultados em percentagem dos seus alunos nos exames nacionais a calcular as médias dos mesmos em percentagem e em nível de 1 a 5. Para os restantes professores, posso informar que se os resultados dos alunos tiverem uma distribuição equilibrada, a média em percentagem será, obviamente, 50%, e a média em nível de 1 a 5 ficará pelos 2,7… mas, se a distribuição dos resultados dos exames for igualmente equilibrada mas representada por uma curva de Gauss (o que é mais realista), a percentagem de 50% resultará numa média dos níveis de pouco mais de 2,5! E, continuando a utilizar a distribuição mais realista, para se obter uma média de 3 nos exames nacionais, a média da percentagem teria que estar em cerca de 60%, ou seja, uma média de 12 se estivéssemos a tratar de exames do ensino secundário (nestes últimos exames, por exemplo, nos de Língua Portuguesa de 6.º ano a média de 59% nos mesmos correspondeu a uma média de 3,08, e nos exames de Matemática de 9.º ano a média de 53% correspondeu a uma média de 2,86). Custa-me a crer que ninguém no ministério se tenha apercebido destes factos…

A segunda medida prevista no diploma, no sentido das escolas e agrupamentos poderem obter reforço do seu crédito horário através dos seus resultados nos exames nacionais, reside nas diferenças entre avaliação sumativa interna e avaliação sumativa externa. Aqui a carga de insensatez diminui drasticamente, obviamente, pois os erros crassos não são tão chocantes quanto os anteriormente descritos. Mesmo assim, também a justiça desta medida está contaminada face às deficiências que lhe podemos apontar. Antes de descrever as mesmas devo começar por informar que esta medida prevê o reforço de 20 horas de crédito horário se a diferença entre as avaliações sumativas interna e externa for inferior a uma décima no ensino básico e inferior a dois valores no ensino secundário, e prevê o reforço de 10 horas se apenas uma das diferenças referidas se registar. Como afirmei há pouco, não considero esta medida obtusa como a anteriormente analisada. Porém, não poderei de deixar apontar defeitos decisivos à mesma. Primeiro, a comparação dos dois tipos de avaliação sumativa está automaticamente inquinada pelo facto das duas avaliações terem naturezas diferentes. Enquanto a avaliação sumativa externa tem em conta única e exclusivamente a vertente cognitiva, a avaliação sumativa interna integra, com um determinado peso (variável consoante a escola e a disciplina), a avaliação dos valores a atitudes dos discentes. E nem quero aprofundar um pouco mais as diferenças sobre as duas avaliações, pois tal daria para escrever um livro, algo que foge um pouco ao objetivo deste texto. Mas, pondo de lado este facto inegável, mesmo assim a utilização desta comparação não poderia estar correta devido a um simples facto: o grau de dificuldade dos exames nacionais, seja do ensino básico, seja do ensino secundário, tem uma considerável volatilidade. Prova deste facto são as mudanças, por vezes bruscas, das médias nacionais dos exames nacionais de algumas disciplinas de um ano para o outro. E, quando tal acontece, toda a comunidade educativa é célere a afirmar que tal sucedeu porque o exame desse ano foi mais ou menos difícil que o anterior. Qualquer professor sério sabe que tal é verdade, e que nenhuma medida de qualquer tipo poderá justificar uma mudança brusca numa média nacional de um exame de uma disciplina. Já basta o ridículo de, há uns anos, uma ministra ter afirmado que a melhoria substancial registada nas médias nacionais do exame de Matemática de 12.º ano se devia à implementação do Plano da Matemática, quando este plano se limitava ao ensino básico, e os alunos que tinham usufruído do mesmo ainda não tinham chegado ao 12.º ano! Ou seja, tendo em conta a instabilidade dos graus de dificuldade dos exames nacionais e não podendo os professores prever esses mesmos graus de dificuldade, a eventual proximidade (até à décima, no caso do ensino básico) entre as médias das avaliações sumativas internas e externas estará muito dependente do acaso. Não quero com isto dizer que não é importante comparar as referidas médias. No entanto, considero que poderá configurar como uma injustiça a utilização dessa comparação para os fins que o diploma legal preconiza.

A última forma pela qual as escolas e agrupamentos poderão obter reforço do crédito horário, através dos resultados dos seus alunos nos exames nacionais, tem a ver com a comparação da variação anual das classificações de exame de cada escola ou agrupamento com a variação anual nacional. Nesta parte surge, pela primeira vez, a distinção entre três situações: as escolas/agrupamentos com ensino básico e secundário, as só com ensino básico e as só com ensino secundário. Aparecendo três tabelas correspondentes aos três casos referidos, verifica-se que poderá uma escola ou agrupamento obter reforço de crédito horário se a diferença entre a média dos resultados obtidos nos exames nacionais de um ano e a média dos resultados obtidos nos exames nacionais do ano anterior estiver entre os valores de determinados parâmetros. Até aqui tudo bem, é percetível. Para se compreender o que terá de obter uma escola ou agrupamento bastará saber que parâmetros são esses. Nas tabelas surgem dois tipos de parâmetros: um designado com a letra “A” e com a letra “n” como índice; e outro designado com a letra “B” e com a letra “n” como índice (e olhando as tabelas verifica-se que o parâmetro com letra “A” diz respeito ao ensino secundário e o que tem a letra “B” se refere ao ensino básico). Mas que valores terão estes índices? Procurando no texto do diploma legal, ficamos a saber que a letra “n”, em índice, poderá tomar como valores os número inteiros 1, 2, 3, 4, 5 e 6; e que os parâmetros «dependem da variação anual das classificações de exame de cada escola relativamente à variação anual da média nacional». Concluindo, em lado nenhum do texto legal se fica a conhecer de que modo estes parâmetros serão estabelecidos… deste modo, ninguém poderá afirmar se esta medida terá pertinência ou se será justa.

Sobre estas medidas só mais três apontamentos: desenganem-se as escolas e agrupamentos que pensem que poderão obter um substancial crédito horário devido aos resultados dos seus alunos nos exames, porque no início da explicação do cálculo deste valor é afirmado que este «corresponde ao máximo resultante da aplicação das condições constantes das 3 tabelas», ou seja, os valores obtidos pela aplicação das várias tabelas não são acumuláveis; em nenhum momento surge a percentagem de alunos que a escola ou agrupamento leva a exame, a tal valor não é dada qualquer relevância; por fim, nas tabelas surge que a «média das classificações dos exames nacionais do ensino básico» é expressa «na escala de 0 (zero) a 5 (cinco)»! Zero? Há erros que dizem muito sobre o conhecimento que a atual equipa ministerial tem sobre o ensino básico.

Voltando à razão pela qual aludi ao despacho normativo n.º 13-A/2012, irei agora explicar por que razão considero que este poderá interferir nas práticas avaliativas dos docentes. Apesar de considerar uma ilusão as escolas e agrupamentos pensarem obter reforço do crédito horário através dos resultados dos exames dos seus alunos (pelas razões já descritas), é normal que esta ênfase dada aos resultados dos referidos exames, aliada ao aumento do número de exames no ensino básico, influencie os professores cujos alunos farão exame nacional nas suas disciplinas.

E de que modo o peso dos exames interfere com a prática avaliativa dos docentes? Para além do aumento, compreensível, do peso da avaliação de foro cognitivo nos critérios de avaliação das disciplinas em causa, o efeito mais nefasto é aquele que recai sobre a avaliação formativa, aquela que supostamente deverá ter um caráter contínuo e sistemático. Muitos docentes aumentam a valorização dos vulgares testes e, mais grave, transformam-nos numa espécie de pseudo-exames. Ou seja, a preocupação deixa de estar na qualidade das aprendizagens dos alunos, mas sim no grau de preparação dos mesmos para a realização dos exames nacionais no final do ano letivo. Esta realidade que pode ser facilmente observada no ensino secundário, e sentida pelos alunos, poderá gradualmente ir invadindo o ensino básico, trazendo todos os efeitos nefastos subjacentes.

Sinto que, neste momento, alguns docentes discordem comigo, considerando não haver qualquer problema com o facto de os testes serem uma espécie de pseudo-exames. E este é o ponto que pede maior fundamentação. Quando tive a formação que me permitiu ser supervisor de exames, formação que me deu imenso prazer, dirigida por uma profissional impressionante, sobretudo no que diz respeito aos seus conhecimentos na área da avaliação, uma das coisas que a mesma chamou à atenção é que uma ficha de avaliação, efetuada no âmbito da avaliação formativa, nada tem a ver com um exame. O objetivo deste último é, de acordo com um conjunto de conteúdos, classificar os alunos. Daí ter uma determinada forma de construção de itens, uma determinada forma de estabelecimento dos critérios de classificação e uma determinada forma de classificar, todas elas distintas das utilizadas na aplicação de uma ficha de avaliação efetuada no âmbito da avaliação formativa. O principal objetivo da última não é classificar, mas determinar o que o aluno já aprendeu, aquilo que ele ainda não aprendeu (e porquê), para que se possa intervir no sentido de permitir ao aluno obter os conhecimentos ainda em falta. Deste modo, questões de escolha múltipla, por exemplo, em princípio são péssimas no âmbito da avaliação formativa (porque dão um fraco feedback ao docente caso esteja errada). Do mesmo modo, questões que conciliem diferentes conteúdos poderão ser mal empregues no âmbito da avaliação formativa, pois o mau domínio de um deles poderá interferir com a demonstração dos conhecimentos obtidos no outro, dando um errado feedback ao docente. No entanto, estes dois exemplos de tipos de questões estão perfeitamente adaptados para um exame final. Outro efeito nas fichas de avaliação realizadas no âmbito da avaliação formativa é o facto de os docentes começarem a colocar todos os conteúdos trabalhados desde o início do ano letivo, supostamente para que os alunos os não esqueçam. Resultado óbvio? Os conteúdos trabalhados mais cedo, ao longo do ano letivo, acabam por ter um peso maior na avaliação dos alunos do que aqueles que são trabalhados mais tardiamente, por serem mais vezes avaliados. Para além do empobrecimento da avaliação dos temas trabalhados na segunda metade do ano letivo (visto que não poderão ser avaliados com a profundidade necessária, caso contrário, juntando as questões referentes aos temas anteriormente trabalhados, essas fichas de avaliação teriam a duração de realização de várias horas), este facto introduz uma injustiça que reside no facto da ordem pela qual os temas são trabalhados não ser rígida. Deste modo, por exemplo, se o tema inicialmente trabalhado, e que terá maior peso na avaliação final dos alunos, for um que um aluno domine perfeitamente, este será beneficiado relativamente ao aluno que tenha mais dificuldade nesse tema e que domine de forma excelente o último tema trabalhado. E este tipo de arbitrariedade não poderá existir numa avaliação justa. Sei que todo este discurso não será compreensível para aqueles docentes cujo único dado que retiram da realização de uma ficha de avaliação por parte de um aluno é a percentagem ou os valores obtidos (consoante o nível de ensino). A estes só poderei aconselhar a ler a legislação em vigor e a estudar para que aprendam o que é a avaliação formativa.

Relativamente aos critérios de classificação, não é por acaso que os classificadores de exames que trabalham comigo nunca gostam dos mesmos. Tento explicar-lhes que, tendo razão, deverão ter em conta que não poderão comparar os critérios de classificação do exame nacional com os critérios que utilizam para corrigir as suas fichas de avaliação. Os docentes que compreenderem as diferentes naturezas dos dois instrumentos utilizados na avaliação, e os diferentes objetivos dos mesmos, passam a ser mais compreensivos e tolerantes com os critérios de classificação do exame.

Para os que ainda não estão convencidos, até no modo de classificar/corrigir há diferenças quando se trata de um exame ou de uma ficha de avaliação efetuada no âmbito da avaliação formativa. Na última, como o objetivo do docente deve ser determinar quais os objetivos de aprendizagem atingidos pelo aluno e quais os que não foram, o docente corrige uma ficha de avaliação de um aluno no seu todo. Pelo contrário, na classificação de um exame, o mesmo deverá classificar por questão, pois o objetivo não é determinar o que cada aluno sabe ou não, mas sim contribuir para a fiabilidade do processo de classificação de exames.

Por fim, termino este texto apelando aos docentes do ensino básico cujas disciplinas serão alvo de exame nacional, que não se deixem influenciar por esse facto ao ponto de empobrecerem o processo de avaliação. Sei que não é fácil, mas é o correto. E, se estão legitimamente preocupados com os resultados que os vossos alunos irão obter nesses mesmos exames, bastará, “para os preparar”, pô-los a fazer um ou dois exames na última semana de aulas ou na semana anterior aos exames, corrigir os exames com eles e dar-lhes a conhecer os critérios de classificação durante a correção.

 

André Pacheco

Autoria e outros dados (tags, etc)

por ap7 às 23:08


2 comentários

De Miguel Pinto a 21.08.2012 às 12:36

Acrescento duas breves notas que reforçam duas ideias que emergem da tua análise:
1. A "pseudo meritocracia" que Nuno Crato pretende inculcar no sistema pela via da avaliação sumativa externa é uma forma descarada de ostracizar os alunos e escolas mais carenciadas.
2. A hegemonia da avaliação normativa (cujo objetivo principal é a ordenação dos alunos) face à avaliação criterial.

É uma triste sina, André :(

De ap7 a 21.08.2012 às 23:56

É um facto Miguel: "triste" é a palavra que melhor se adequa a tudo isto...

Comentar post



Mais sobre mim

foto do autor


Pesquisar

Pesquisar no Blog  

calendário

Agosto 2012

D S T Q Q S S
1234
567891011
12131415161718
19202122232425
262728293031

Desde 26/06/2003

Desde então que este espaço tenta ser um local onde a Educação possa ser discutida de um modo livre, com argumentação que ultrapasse o mero senso comum e com respeito pela diferença de opiniões.

Com o fim da weblog os textos antigos serão transportados para este novo espaço, com as repetivas referências temporais. Muita pena tenho por alguns comentários que enriqueciam os textos não poderem ser recuperados.