O Idesp, o bônus e o ônus de um índice muito suspeito

Muito se tem falado sobre o programa de Qualidade da Escola implantado pelo governo paulista. O próprio governo alardeia aos quatro ventos que com esse programa pretende atingir metas internacionais de qualidade na educação e que, graças a esse programa, professores, gestores e funcionários das escolas têm sido beneficiados com generosos bônus pagos anualmente.

É fato que a intenção pode ter sido mesmo a de melhorar a qualidade da educação paulista, mas também é fato que não se melhora a qualidade da educação simplesmente distribuindo dinheiro e o próprio governo usa esse argumento quando se nega a aumentar salários. Em tese o bônus pago pelo governo de São Paulo estaria atrelado aos esforços da escola para melhorar seus índices de ensino mas, apenas em tese, como veremos a seguir. Aquilo que o governo paulista tem chamado tão ironicamente de "bônus por mérito", na verdade pode não possuir mérito algum.

A qualidade educacional de uma escola passou a ser avaliada conforme um índice denominado Idesp (Índice de Desenvolvimento da Educação do Estado de São Paulo). Esse índice mede um misto entre o resultado que a escola obteve no exame do SARESP nas séries terminais de cada ciclo e o "indicador de fluxo escolar" apresentado por cada ciclo no período avaliado. Traduzindo isso para um português mais "palatável", esse índice fornece um número que é tomado como indicador de qualidade do ensino na escola levando-se em conta o resultado do SARESP e a quantidade de alunos que são aprovados durante o ano. Assim, por exemplo, se o indicador de fluxo for de 80% isso quer dizer que o índice de qualidade educacional apurado para a escola corresponde a 80% da nota média obtida no SARESP.

É com base nesse índice que o governo do Estado de São Paulo atualmente paga o bônus para os professores e funcionários da escola. A partir do Idesp e das metas estabelecidas para a escola para um dado ano, calcula-se o IC (Índice de Cumprimento de Metas) e o IQ (Indicador de Qualidade). O IC é uma medida do quanto a escola atingiu de sua meta para aquele ano e o IQ é um indicador do quanto a escola está acima do desempenho das demais escolas da rede estadual em relação ao cumprimento da meta global que se espera atingir em 2030. Todo o processo é descrito no documento intitulado "Programa de Qualidade na Escola - Nota Técnica", disponível no site do Idesp.

Se o Idesp for igual ou superior à meta estabelecida para aquele ano, então os professores e funcionário têm um IC+IQ positivo e recebem o bônus integralmente; se o Idesp for superior ao do ano anterior e menor do que a meta estabelecida para aquele ano, então o IC+IQ também é positivo e recebe-se o bônus proporcionalmente a parcela da meta cumprida e, finalmente; se o Idesp for igual ou inferior ao do ano anterior, então o IC+IQ é negativo e ninguém recebe nada na escola. Esse índice é calculado para cada ciclo e o bônus é o resultado final considerando-se os ciclos em que o professor leciona ou o resultado global da escola, no caso de funcionários. Mesmo que um professor lecione em várias escolas o seu bônus é calculado com base na escola onde ele é sediado (sua sede oficial). Além disso, o bônus também depende da frequência do professor (ou funcionário) ao trabalho e não leva em conta se o professor ou funcionário faltou com ou sem justificativa (é proibido ficar doente, por exemplo).

Independentemente das razões teóricas pelas quais o Idesp é calculado dessa forma, do ponto de vista prático, e é isso que as escolas "vêem", ele é apenas um "índice que paga ou não paga bônus" e que pode ser manipulado de duas formas: fazendo-se com que os alunos tenham melhores resultados no SARESP e evitando-se que os alunos reprovem ou abandonem a escola.

Melhorar os resultados do SARESP pode ser visto, teoricamente, como melhorar a qualidade da aprendizagem, de maneira que os alunos aprendam mais e obtenham melhores resultados nessa prova. Porém, dado que isso demanda muito mais do que apenas "vontade", as escolas também podem optar, e algumas parece que já o fizeram, por:

1. permitir que apenas os bons alunos façam a prova do SARESP, já que os alunos não são obrigados a fazerem a prova e os resultados são avaliados igualmente para escolas onde todos os alunos fizeram a prova ou para aquelas onde os "piores alunos" foram "convidados" a faltarem no dia da prova, melhorando assim o resultado da escola de forma artificial;
2. forçar com que os "melhores alunos" compareçam à prova e a façam com rigor, já que muitos alunos simplesmente faltam no dia da prova porque nenhum deles ganhará nada com essa prova, mesmo que tenham resultados excelentes. A propósito, nem os alunos e nem os professores sabem os resultados de cada aluno individualmente ou mesmo de cada classe. Não há nenhuma transparência nesses resultados e as notas obtidas pelos alunos indivivualmente não servem para nada, nem para os alunos e nem para a escola;
3. trapacear durante a aplicação da prova ou durante sua correção. Apesar de todos os cuidados com a logística de distribuição e aplicação das provas, e embora professores de escolas diferentes façam a aplicação da prova e a correção das questões objetivas seja feita pela instituição que gerencia a prova (CESGRANRIO) com um processo automatizado de leitura óptica de gabaritos, nada impede que em algumas escolas "alguém" dê uma ajudazinha para os alunos na hora da prova. Além disso, as redações são corrigidas na própria escola e isso permite que as notas sejam mais "camaradas", já que ninguém vai mesmo conferir essas correções;
4. transformar a escola em um "cursinho para o SARESP", com ênfase no ensino de técnicas de resolução de provas objetivas (tipo teste) com quatro alternativas, na resolução de questões de provas anteriores e nas técnicas de redação. Isso demanda mais trabalho da escola e, por isso mesmo, não se espera que muitas escolas o façam;
5. enfatizar as disciplinas do SARESP em detrimento de outras. O SARESP avalia apenas português e matemática de forma regular, e alterna entre as áreas de exatas e humanas de forma bianual. Algumas escolas podem criar programas específicos de atividades voltadas apenas para português e matemática e, ano sim ano não, para as outras disciplinas que serão avaliadas (ainda que com peso menor).

Já com relação ao "fluxo", as medidas de trapaça para driblar esse índice já estão em vigor bem antes do surgimento do sistema de bônus e dessa metodologia de cálculo do IC e consistem, fundamentalmente, em "empurrar todo mundo, evitando-se a qualquer custo a reprovação e a desistência dos alunos", principalmente quando estão nas séries terminais.

O sistema de Progressão Continuada, que na verdade funciona como um sistema de "aprovação automática", termina na oitava série (ou nona, para o novo ensino fundamental de nove anos). Apenas na quarta (ou quinta) e na oitava (ou nona) série os alunos podem ser reprovados e, portanto, a reprovação é pequena no Ensino Fundamental. Além disso, como não há reprovação, a evasão nesse nível de ensino é baixa e a escola acaba funcionando muitas vezes como "creche" para os alunos, estimulando ainda mais as famílias a manterem seus filhos na escola. Isso faz com que o indicador de fluxo seja alto para o Ensino Fundamental, mas não funciona bem para o Ensino Médio e acarreta, como veremos a seguir, uma alta defasagem entre a série escolar e o nível escolar dos alunos.

Quando os alunos chegam à oitava (ou nona) série e podem, teoricamente, serem reprovados, muitas escolas os "empurram para fora" porque não possuem Ensino Médio e não terão que continuar com esses alunos. O mesmo vale para escolas que têm apenas os ciclos iniciais (até a quarta ou quinta série). Isso permite que muitas escola aprovem todos em massa, independentemente de terem ou não condições de prosseguir no ciclo seguinte ou no Ensino Médio. Com isso transfere-se o problema para as escolas que receberão esses alunos.

Já no Ensino Médio, as reprovações podem ocorrer em qualquer série, mas há décadas vem se criando uma cultura de "progressão continuada extra-oficial" por imposição da própria Secretaria da Educação. Reprovar um aluno tornou-se uma tarefa tão difícil e desgastante para o professor e para a escola que somente os casos onde é "impossível conseguir algum argumento para a aprovação" o aluno fica retido. Mesmo assim o índice de reprovação no Ensino Médio é alto porque, como já discutimos em outras oportunidades, e voltaremos ao tema em breve, a maioria dos alunos do Ensino Médio estão na verdade na sexta-série (ou menos que isso) do Ensino Fundamental em termos de aprendizagem.

Teoricamente, deveria-se esperar uma melhoria do indicador de fluxo por meio de medidas de acompanhamento dos alunos, evitando-se que eles abandonassem a escola por falta de estímulo e promovendo ações de recuperação e de apoio que evitassem a reprovação, suprimendo assim as deficiências de aprendizagem de cada um. Como isso quase nunca é possível, e sempre demanda muito trabalho e esforço de todos na escola e na comunidade, muitas escolas optam por um sistema mais simples que consiste em trapacear:

1. aprovando-se os alunos sem nenhum critério pedagógico nas séries onde eles poderiam ser reprovados;
2. evitando-se a desistência dos alunos a todo custo, incluindo-se ai a promessa de aprovação automática, e não computando todas as faltas dos alunos;
3. criando-se sistemas de "dependência", onde alunos reprovados em várias disciplinas acabam sendo aprovados no ano letivo e remetidos a cursaram novamente algumas disciplinas no ano seguinte, em conjunto com as demais daquela série, na forma de "dependências" (que, via de regra, significa que no ano seguinte ele entregará um "trabalho" de uma ou duas páginas copiadas da internet no final do ano e será "oficialmente aprovado" naquelas disciplinas).

Nenhum dos "métodos de trapaça" descritos acima tem potencial para garantir o recebimento de bônus por anos seguidos, pois todos eles se esgotam após o primeiro uso e, mesmo com um sistema contínuo de trapaça, o IC tende a se normalizar após um ou dois anos. Nesse caso, se a escola parar de trapacear por um ano ela ficará sem bônus e terá um IC muito baixo, mas depois poderá retomar o método de trapaça nos dois anos seguintes. Calibrando-se o método de trapaça talvez seja possível até obter bônus por três ou mais anos consecutivos mas, definitivamente, não se melhorará a qualidade da escola e nem da educação que ela oferece.

Se a escola não trapacear ela terá que melhorar seus índices de qualidade criando medidas efetivas para evitar a evasão e para melhorar o ensino e a aprendizagem dos alunos, como se alardeia na teoria, mas isso também implica em ter que controlar variáveis totalmente fora do controle da própria escola, como:

1. a qualidade dos alunos que a escola recebe de outras escolas. Se a escola recebe bons alunos, então ela pode continuar tornando-os melhores, ou melhorar seu resultado artificialmente caso ela tenha alunos atualmente piores que os que passa a receber, mas se ela recebe (ou passar a receber) alunos com péssima formação, provenientes de escolas que "os empurraram sem ensinar", então ela dispenderá a maior parte de seu esforço para tentar "recuperá-los" e nunca terá bons índices de desempenho;
2. a condição sócio-econômica de sua clientela. Escolas que dispõem de alunos de classes sociais muito desfavorecidas não têm como impedí-los de desistirem da escola em troca de qualquer trabalho que eles consigam, principalmente quando eles estão no Ensino Médio. Isso afeta diretamente o indicador de fluxo e diminui o Idesp da escola;
3. corpo docente descomprometido ou desqualificado lecionando nas disciplinas avaliadas no SARESP. Professores que não têm sede na própria escola e não recebem seu bônus conforme o Idesp daquela escola não têm porque se preocuparem com a melhoria do Idesp da escola. Professores que estão profundamente desistimulados, ou que são simplesmente incompetentes demais para exercerem bem a sua função, não "melhoram" por mágica e nem se importam com índices, ou mesmo com seu próprio bônus.

Assim, por maiores que sejam os esforços individuais de uma escola (honestos ou desonestos), seu Idesp tenderá a se estabilizar em dois anos e após isso as melhorias serão muito lentas e dependerão sempre de variáveis que estão além do campo de atuação da própria escola e dos seus professores.

A título de exemplo, seguem os gráficos comparativos desses indicadores para a minha escola, EE. Profa Neuza Maria Nazatto de Carvalho, onde decididamente não houve nenhuma forma de trapaça em nenhum dos anos em que esses índices foram medidos:

Analizando esses números e as medidas que temos implantado ao longo desses três últimos anos, temos tentado entendê-los para traçar estratégias para superá-los. No entanto, temos as seguintes dificuldades:

1. tanto o nosso Ensino Fundamental quanto nosso Ensino Médio recebem alunos de outras escolas e nós não podemos escolher quais queremos aceitar ou não (como fazem as universidades públicas com seus exames vestibulares);
2. a qualidade dos alunos, em termos de aprendizagem, que recebemos dessas escolas têm diminuído ao invés de aumentar, e isso ocorre mesmo quando aumenta o Idesp das escolas das quais recebemos alunos (!?);
3. não temos meios de impedir que os alunos do Ensino Médio desistam da escola para trabalhar e, além disso, o perfil sócio-econômico de nossa comunidade indica que ela é uma comunidade de operários que valorizam mais o trabalho (qualquer trabalho) do que a escola;
4. não temos nenhuma política de "empurrar alunos a qualquer custo", mas temos uma dificuldade muito grande em mantê-los no Ensino Médio quando eles não tem condições mínimas de aprendizagem e, por isso, muitos acabam desistindo ou abandonando a escola ou sendo reprovados por excesso de faltas e absoluta falta de notas;
5. no primeiro ano do Ensino Médio recebemos alunos que vêm muitas vezes de escolas onde nunca fizeram uma tarefa de casa, nunca fizeram uma prova escrita, são analfabetos funcionais e não dominam as operções aritméticas básicas. Isso faz com que passemos os três anos do Ensino Médio nos preocupando em recuperar toda a aprendizagem que não tiveram, mas os exames do SARESP não levam isso em conta;
6. temos muitos professores temporários lecionando na escola cuja sede é em outra escola, e nem todos, temporários ou não, têm uma preocupação real em melhorar a qualidade de suas aulas diante dos esforços que precisariam empreender. Nos casos em que os alunos são "muito ruins", muitos professores desejam mais que eles abandonem a escola do que ajudá-los a superarem suas diversas dificuldades.

Tudo isso nos leva a não ter nenhuma expectativa de melhora desses índices enquanto não passarmos a receber alunos mais bem preparados e enquanto outras políticas públicas não cooperarem para a melhoria do perfil sócio-econômico da nossa comunidade. As tentativas isoladas que empreendemos na escola nos últimos anos já promoveram muitas mudanças positivas sob vários aspectos, porém de pouco impacto na aprendizagem dos alunos medida pelo SARESP (aprendizagem de conteúdos curriculares apenas).

Por fim, a avaliação do SARESP não se baseia na realidade do ensino na nossa escola (e nem na realidade da maioria das escolas) e pressupõe, erroneamente, que trabalhamos com alunos sem defasem de aprendizagem idade-série ou cujo único aprendizado na escola seja de cunho "curricular". Se, por uma lado, isso mede a situação efetiva de aprendizagem dos alunos segundo padrões curriculares internacionais, por outro, isso é um fator limitante do nosso Idesp, já que nossos alunos não estão sujeito à mesma realidade que os alunos hipotéticos que o exame avalia e nem podem prescindir de elementos não-curriculares que fazem parte de sua formação geral.

Isso posto, fica a pergunta: de quem é, afinal, o mérito que o bônus diz recompensar?