Você sabe como funciona o cálculo do IDEB?

Entenda de forma simples, mesmo que você não goste de matemática

Você certamente já ouviu falar do IDEB e, estando lendo esse artigo, muito provavelmente sabe o que ele representa e como costuma ser interpretado por escolas, gestores de rede e sociedade em geral. Apesar dessa percepção que o torna quase sinônimo de qualidade em educação, muitos de nós já fizemos ou ouvimos a pergunta: como é calculado o IDEB?

A resposta inclui um tanto de matemática e, assim que os termos mais complicados aparecem, a vontade de entender o cálculo diminui. Se você é uma dessas pessoas que não tem na matemática sua área de conhecimento preferida, não se preocupe, neste texto iremos explicar o cálculo do IDEB de forma simples e compreensível.

Inicialmente, vamos falar um pouco da história do Índice de Desenvolvimento da Educação Básica, e não é apenas para te segurar aqui nem para deixar o texto mais robusto. Como mostraremos agora, a história do IDEB é importante porque está presente em cada uma das notas atribuídas até hoje.

No ano de 2005, a principal avaliação nacional de educação, a SAEB – Sistema Nacional de Avaliação da Educação Básica, foi convertida em Prova Brasil, a mudança mais importante para nós nessa análise é que, diferente da primeira, a Prova Brasil não era amostral e sim censitária, sendo realizada em toda unidade escolar que tivesse ao menos 30 matrículas nos anos escolares avaliados, o último de cada ciclo da educação básica. Essa importante mudança criou uma base de dados completa que alcançava a quase totalidade dos estabelecimentos educacionais em todo o território nacional, criando uma oportunidade para comparação entre as notas e, também, para a criação de indicadores equilibrados.

Em 2007, por meio do  Decreto n° 6.094, surge o IDEB, um indicador que visava identificar a qualidade da educação por meio da mediação entre os resultados obtidos na Prova Brasil e o grau de retenção (reprovação) da unidade escolar ou rede educacional em análise, uma forma de equilibrar resultado e custo, não sendo o custo pensado em perspectiva financeira, mas em tempo extra que o estudante leva para se formar.

Por ser um tema, normalmente, mal interpretado no IDEB, vamos explicar melhor esse ponto!  Muita gente acha que o IDEB influencia as escolas para que não reprovem porque reprovação “abaixa” o IDEB. Como veremos, o indicador não pretende esse resultado.

Os idealizadores do IDEB consideraram que havia um “ponto de equilíbrio” entre reprovação e qualidade, e o cálculo do índice tenta refletir isso. A ideia é que a Prova Brasil seja o instrumento para medir o aprendizado ou, nos termos do indicador, a proficiência em uma disciplina. Acontece que, se essa qualidade resultar de muitas reprovações e alta retenção de alunos, então nós teremos uma qualidade com um custo alto para os estudantes, que vão precisar de muito tempo para aprender, podendo resultar em evasão de alunos, além da consequente elevação dos custos financeiros para manutenção da rede.

A combinação desse conjunto de variáveis visa equilibrar a qualidade obtida por aqueles com alta taxa de retenção como meio para qualidade, e aqueles com alta aprovação sem zelo com a qualidade.

Assim, o IDEB não busca identificar apenas o aprendizado, mas o aprendizado equilibrado, ou seja, o processo de aprendizado que acontece dentro do calendário previsto. Podemos dizer até que é uma forma de retratar a eficácia do ensino quando mede o aprendizado e a eficiência do ensino, concomitantemente,  à ponderação com o nível de reprovação.

Mas como isso se dá na matemática do IDEB?

O IDEB é o resultado de duas contas feitas em separado, dois indicadores que são calculados antes do próprio índice. O primeiro é chamado N e representa a proficiência dos estudantes, sendo baseado nas notas da Prova Brasil. O segundo é P, representa a taxa de aproveitamento, sendo baseado nas taxas de aprovação/reprovação das unidades escolares e redes de ensino.

CALCULANDO N

Agora que você já entendeu como se dá essa questão entre as variáveis do IDEB, vamos explicar como se dá a matemática em N e P.

Primeiro vamos explicar N. Lembra que, no começo do texto, dissemos que a história do IDEB fazia parte da conta? Pois bem, quando criaram o índice, em 2007, foi preciso definir um começo para ele e, para isso, foram usados os dados de 1997, primeiro ano de aplicação da Prova Brasil. Agora, para analisar os resultados de qualquer pesquisa e transformar num índice, é necessário mais do que organizar os dados de forma crescente: é preciso definir o que é o mínimo aceitável, o máximo aceitável e o que se deseja ver refletido no índice.Esse processo exige um tanto de estatística e, também, uma quantidade de decisões de gestão que estão embutidas nas contas.

E como isso funcionou no caso do IDEB?

Partindo dos dados de 1997 (primeiro ano da SAEB), os responsáveis pela metodologia precisavam analisar os números para criar uma métrica, ou seja, definir qual era o nível mínimo de aprendizado que se consideraria e qual era o máximo que o indicador iria medir. Essa decisão é importante porque um mínimo muito baixo cria a impressão que algumas escolas com resultados ruins, não estão tão ruins assim, atrapalhando no diagnóstico de problemas. Por outro lado, um máximo muito alto pode criar a percepção de que estamos pior do que realmente estamos. Além disso, esticar muito a régua entre o mínimo e o máximo pode fazer com que mudanças importantes não sejam percebidas, sendo subvalorizadas. Esse é um problema grande considerando um país do tamanho do Brasil, com desigualdades em nível de desenvolvimento de uma região para outra, afinal o indicador deve servir para incentivar e medir a evolução em todos os cantos do país.

Além das questões acima elencadas, os idealizadores do IDEB também precisaram analisar a dispersão dos dados, ou seja, qual o tamanho da variação a partir da média. A resposta para todas essas questões foi o uso de 3 desvios padrão a partir da média como critério para definição dos valores mínimos, máximos e de variação. Não gosta de desvio padrão? Tudo bem, você não precisa entender de desvio padrão para entender o cálculo do IDEB a cada ano, essa conta foi feita para definir o início da série e são usados os mesmos valores todos os anos.

O que pode ser útil para seu entendimento é que, com o uso de três desvios padrão, foram desconsiderados apenas os resultados mais discrepantes, garantindo a inclusão de resultados bastante distintos no intervalo de resultados válidos do índice. Após a definição desse ponto de inclusão, pode-se obter os valores mínimos e máximos para cada disciplina em cada um dos níveis avaliados.

Esse cálculo resultou nos valores apresentados abaixo, nos quais temos o valor médio e o desvio padrão calculado. Se analisarmos a média de matemática da 4ª série do Ensino Fundamental, vemos que a média foi de 190,8.Como sabemos que o desvio padrão identificado por análise estatística é 44, para identificar o ponto máximo de inclusão e o ponto mínimo devemos multiplicar esse desvio padrão por 3, já que foi o valor definido anteriormente, conforme explicamos nos parágrafos anteriores. Dessa forma, temos que, partindo da média, o ponto máximo será: 

Média + 3 desvios padrão
190,8 (média) + 3 (regra definida) x 44 (desvio padrão) 
190,8 + 132
Valor máximo = 322,8, como foram usados valores inteiros sem arredondamento, 322.

Essa mesma conta foi feita para todos os valores obtidos em 1997, para Matemática e Língua Portuguesa, nas três etapas de avaliação, para calcular tanto o valor máximo quanto o valor mínimo (limites inferior e superior de proficiência). Abaixo, mostraremos como isso é usado, e fique tranquilo, pois a parte difícil já passou!

Com esses valores identificados, podemos, enfim, focar no cálculo do valor de N de sua escola ou cidade.

A forma de tornar o resultado do Prova Brasil de uma unidade escolar num valor dentro da métrica de proficiência do IDEB é, partindo da nota média da escola, subtrair o valor mínimo em 1997, e após isso, dividir pela amplitude total em 1997,  ou seja, o valor máximo em 1997 menos o valor mínimo em 1997. Esse tratamento estatístico permite a conversão das notas em índice e, ao mesmo tempo, garante a comparabilidade histórica desse índice, criando uma série de dados adequados, ou seja, que medem a mesma coisa, todos baseados no marco 0, o SAEB de 1997.

Para fixar, vamos voltar a usar o exemplo da nota de Matemática da 4ª série do EF. O valor mínimo, conforme a tabela 2, foi de 60. Já a variação é o resultado da nota máxima subtraída do mínimo, ou seja 322 – 60 = 262. Se a nota de matemática da sua escola na Prova Brasil foi 140, então a proficiência média em Matemática na 4ª série seria:

Proficiência – Matemática 4ªs.= (nota da escola – mínimo em 1997) dividido pela variação em 1997
Proficiência  – Matemática 4ªs.= (140 – 60) / 262
Proficiência  – Matemática 4ªs.= 80 / 262
Proficiência  – Matemática 4ªs.= 0,3053

Após se obter esse valor para Matemática e Língua Portuguesa, basta somar ambas as notas de proficiência e dividir por dois, tendo assim o valor de N para a quarta série.

Por exemplo, se essa mesma turma da 4ª série tivesse obtido uma proficiência em Língua Portuguesa igual a 0,400, a nota de N dela seria:

N = (proficiência em Matemática + proficiência em Língua Portuguesa) / 2
N = (0,3053 + 0,400) / 2
N = 0,7053 / 2
N = 0,3526

Ao fim, o valor é multiplicado por 10, por convenção.

N = 0,3526 x 10
N = 3,526

Note que os valores de mínimo e de variação são fixos para cada disciplina/ano de avaliação, sendo repetidos a cada edição do IDEB.

CALCULANDO P

Agora que já temos N, precisamos encontrar o valor de P. Vamos lá.

Como P representa uma informação de fluxo, ele busca refletir o nível de aproveitamento do tempo escolar dos estudantes em uma certa etapa do ensino. Seu cálculo é feito a partir dos dados do censo escolar, visando identificar quais os níveis de aprovação em cada etapa de ensino.

A matemática envolvida é mais simples do que a contida em N. A primeira etapa é identificar o percentual de reprovação no censo escolar. Como o IDEB avalia um ciclo (por exemplo, o ciclo 1 do ensino fundamental), a taxa de reprovação considerada não é apenas o do ano avaliado na Prova Brasil, mas de todo o intervalo, por isso, quando estamos calculando o IDEB do ensino médio, o valor de P não se refere às taxas de aprovação apenas do 3º ano, mas dos três anos que compõem o ensino médio.

Suponha que, em uma certa escola de ensino médio, a taxa de aprovação no 1º ano foi de 95%, a do 2º foi de 95% e a do terceiro foi de 90%. O tratamento matemático aqui é, partindo da representação matemática decimal (0,95 – 0,95 – 0,90), elevar esses números a -1 para obtenção de um valor maior que 1.

 

Lembre-se, elevar a “-1” equivale a realizar a divisão de 1 pelo valor decimal indicado acima, ex: 1 / 0,95 = 0,95 ^-1 = 1,052

Nesse exemplo, teríamos que:

1º ano; 0,95 ^-1 = 1,052
2º ano; 0,95 ^-1 = 1,052
3º ano; 0,9 ^-1 = 1,111

Após obtermos esses números “invertidos”, basta somá-los e, então, realizar a divisão de 3 (total de anos considerados) pelo resultado obtido. Vejamos:

P = 3 / (1,052 + 1,052 + 1,111)
P = 3 / 3,215
P = 0,933

Perceba que o valor de P será sempre igual ou menor que 1, sendo igual a 1 quando não houver nenhuma reprovação na rede e menor que 1 quando houver. Outra observação importante é que não há ponderação entre os números de alunos de cada série, ou seja, se o número de alunos do primeiro ano for muito maior que no terceiro, o indicador não refletirá isso, já que parte de percentuais.

Agora que já entendemos o cálculo de N e P, basta multiplicar um pelo outro e teremos o IDEB

Voltando ao exemplo da nossa turma da quarta série do EF, como já temos o valor de N para ela (N = 3,526), caso o valor de P dela seja, por exemplo, 0,95, basta multiplicar N x P e teremos o IDEB medido nessa turma.

IDEB = N x P
IDEB = 3,526 x 0,95
IDEB = 3,349

Prontinho! E então, conseguiu entender o cálculo? Esperamos que, mais do que entender a conta, você tenha conseguido compreender a função dos dados que compõem o indicador para melhor interpretá-lo e, dessa forma, contribuir com análises de melhor qualidade sobre o IDEB em sua escola ou cidade.