Tema de redação: A cabulosa TRI, Teoria da Resposta ao Item e o novo Enem.

Faça uma reflexão a partir  dos textos abaixo; em seguida redija um artigo de opinião que leve em conta a discussão e as críticas a respeito da “cabulosa TRI, Teoria da Resposta ao Item e  o novo Enem”.

O portal “Enem VestibulandoWeb”, traz uma matéria que serve muito como base para iniciar a discussão a respeito desse tema. A matéria é intitulada “Nota do Enem: entenda como é calculada”

Texto 01.

Nota do Enem: entenda como é calculada

A nota do Enem é sempre motivo de muita dúvida por parte dos estudantes e, também, dos professores das escolas e cursinhos de todo Brasil.  Como é amplamente divulgado pela mídia, a nota é calculada seguindo o modelo de Teoria de Resposta ao Item (TRI), que envolve cálculos relativamente complexos. Inicialmente, é importante destacar que a palavra ITEM corresponde a QUESTÃO.

No caso da TRI, a nota de cada ITEM varia de aluno para aluno. Ou seja, não há uma nota definida para cada questão. O valor do ITEM depende da COERÊNCIA dos ITENS ACERTADOS por quem fez a prova.

Como é constituída a prova

A prova do Enem é dividida em áreas do conhecimento: Linguagens, Códigos e suas Tecnologias; Matemática e suas Tecnologias; Ciências Humanas e suas Tecnologias; Ciências da Natureza e suas Tecnologias. Há, ainda, uma redação.

As 45 questões que compõem a prova de cada área, são distribuídas em questões fáceis, questões medianas e questões difíceis. Para conhecer o grau de dificuldade dessas questões, elas são pré-testadas. Todo ano, o MEC aplica provas a alunos do ensino médio em diversos colégios do Brasil. Com base na nota desses alunos, é determinado o grau de dificuldade de cada questão. São essas questões que comporão o banco de itens do MEC e que serão usadas nas provas dos anos subsequentes.  Assim, a prova é constituída por questões distribuídas em graus de dificuldade, como uma régua, que apresenta escalas de proficiência, como mostrado abaixo.

Neste exemplo, a questão 1 é mais fácil; enquanto a questão 35 é mais difícil.

Nota do candidato

Como dito acima, a nota de cada questão, vai depender da coerência das respostas do candidato. Vejamos o exemplo abaixo:

O candidato A acertou questões fáceis e medianas, errando as questões mais difíceis (coerência de resposta). Já o candidato B, acertou mais questões difíceis, errando as fáceis (incoerência de resposta à espera-se que quem acerte questões mais complexas, acerte também as mais fáceis). Nesse exemplo, as questões difíceis acertadas pelo candidato B têm grande probabilidade de terem sido acertadas no “chute”. Pela TRI, essas questões terão uma nota baixa.

Logo, no exemplo acima, embora tenham acertado o mesmo número de questões, o candidato A terá uma nota maior que o candidato B.

Valor máximo e mínimo de cada prova do Enem

Um outro ponto que merece ser destacado refere-se ao valor mínimo e ao valor máximo da prova: varia de ano para ano. É importante salientar que a nota mínima de cada prova não é zero e que a nota máxima não é 1000. Esses valores dependerão do grau de dificuldade das questões que comporão a prova. Quando a prova é composta por ITENS mais fáceis, o valor máximo será menor; quando é constituída por ITENS mais difíceis, o valor mínimo será maior.

A seguir, o valor máximo de cada prova em 2010  e 2011 (nota para quem acertou as 45 questões de cada prova):

Ano 2010:

Linguagens, Códigos e suas Tecnologias: 810,1
Matemática e suas Tecnologias: 973,2
Ciências Humanas e suas Tecnologias:  883,7
Ciências da Natureza e suas Tecnologias: 844,7

Ano 2011:
Linguagens, Códigos e suas Tecnologias:  795,5
Matemática e suas Tecnologias: 953,0
Ciências Humanas e suas Tecnologias:  793,1
Ciências da Natureza e suas Tecnologias: 867,2

Somente a prova de Redação tem uma nota que varia de 0 a 1000.

Fonte: http://www.enem.vestibulandoweb.com.br/nota-do-enem.html

A jornalista, Priscilla Borges, 04 de outubro de 2010, publicou pelo portal do IG de Brasília, uma matéria intitulada “TRI: a teoria por trás do novo Enem”, segundo a jornalista a TRI, traz uma metodologia que permite aplicação de provas individualizadas e precisas. Mas especialistas criticam falta de interpretação das notas

Texto 02.

Tri: a teoria por trás do Enem

Por Priscilla Borges

“TRI. A pequena sigla se tornou popular nas falas, artigos e reportagens sobre o Exame Nacional do Ensino Médio (Enem). Ao contrário do que os desavisados podem pensar, ela nada tem a ver com o número três. Significa Teoria da Resposta ao Item. É a metodologia que dá suporte à elaboração e correção do novo modelo de provas do Enem desde o ano passado.

Criada na década de 1950 nos Estados Unidos, a TRI envolve psicologia, estatística e informática. Os especialistas enumeram vantagens na sua utilização para elaboração de exames como o Enem: provas aplicadas em momentos diferentes podem ser comparadas, o conhecimento de cada aluno é avaliado de forma mais precisa e não há necessidade de aplicar as provas no mesmo dia para milhares de candidatos.

Essas mudanças em relação ao jeito clássico das avaliações – soma de acertos – são possíveis graças ao foco da teoria: o item. Quem elabora as questões precisa se preocupar em medir níveis de conhecimentos diferentes pelas perguntas. Em uma mesma prova, é importante que elas variem: sejam fáceis, medianas e difíceis. Além disso, esses itens têm de conseguir separar quem sabe o conteúdo de quem tenta acertar no chute.

“Há três parâmetros importantes considerados em cada item: o grau de dificuldade, a discriminação do item e o acerto casual”, afirma Dalton Francisco de Andrade, professor titular do Departamento de Informática e Estatística da Universidade Federal de Santa Catarina (UFSC). “O modelo logístico da TRI calcula a probabilidade de um candidato acertar aquele item a partir do conhecimento que possui (dificuldade) e o conhecimento mínimo necessário para responder a questão (discriminação), e avalia o padrão de respostas do aluno na prova, para ter certeza de que ele não está acertando ao acaso”, define.

Para saber se os itens cumprem os requisitos, é preciso testá-los. Depois dos pré-testes, as questões podem ser eliminadas, reformuladas ou incorporadas a um banco de itens, que deve ser constantemente atualizado. A proposta do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) é construir um banco com milhares de itens. “Com isso, poderíamos fazer inúmeras provas distintas”, explica o presidente do Inep, Joaquim José Soares Neto.

As questões do Enem fazem parte do Banco Nacional de Itens, que reúne também outras avaliações aplicadas pelo Inep, como a Prova Brasil e o Exame Nacional para Certificação de Competências de Jovens e Adultos (Encceja). Empresas são contratadas para criar os itens e aplicá-los em testes para estudantes de todo o País, que não sabem que estão “experimentando” perguntas de exames. Só este ano, o Inep contratou a aplicação de 100 mil provas. O Inep não divulga os detalhes desses processos.

Neto ressalta que a qualidade das provas, ao longo dos anos, pode variar. O que não muda, ele garante, é a capacidade de comparabilidade das avaliações por conta dos parâmetros adotados na seleção das questões. O objetivo é que o banco seja formado por itens cada vez melhor elaborados. Por isso, avaliadores do Inep estão passando por treinamentos com o professor Andrade, um dos maiores especialistas do País no tema.

“Quanto melhor o instrumento, mais precisa a medida. Quanto mais as pessoas forem aprendendo a teoria, melhor será o instrumento”, diz Andrade. No Brasil, a TRI começou a ser utilizada em avaliações em 1995. Naquele ano, ela foi incorporada ao Sistema Nacional de Avaliação da Educação Básica (SAEB), instrumento que avalia a capacidade de leitura e escrita das crianças brasileiras.”

Fonte: http://ultimosegundo.ig.com.br

A Teoria da Resposta ao Item, muitas vezes abreviada apenas por TRI, é uma modelagem estatística utilizada em medidas psicométricas, principalmente na área de avaliação de habilidades e conhecimentos.

Texto 03.

A teoria da resposta ao item

Aplicação

A aplicação mais frequente da Teoria da Resposta ao Item são as avaliações de habilidades e conhecimentos em Testes de Múltipla escolha. A Teoria da Resposta ao Item, contudo, pode abranger também testes dissertativos além de poder abarcar várias outras áreas onde se deseja obter uma medida indireta de alguma característica, por exemplo: estimar a altura de uma pessoa através de um questionário com perguntas indiretas como “Você costuma abaixar a cabeça ao passar por uma porta?” onde sabemos que as respostas “sim” e “não” estão correlacionadas com a característica a ser medida indiretamente, no caso a altura da pessoa. Outras áreas proeminentes para a aplicação da Teoria da Resposta ao Item são os Testes Psicológicos e questionários em geral, com destaque para questionários que meçam o nível sócio-econômico dos pesquisados.

A Teoria da Resposta ao Item é utilizada em avaliações de vários países, onde os programas de avaliação mais conhecidos são o NAEP nos Estados Unidos da América, o ETS nos Estados Unidos da América, o GMAT nos Estados Unidos da América, o CITO na Holanda e vários outros. No Brasil o principal programa de avaliação que utiliza a Teoria da Resposta ao Item é o SAEB, que desde sua criação em 1995 a utiliza para estimar as habilidades e conhecimentos dos alunos do Ensino Fundamental e Médio das escolas públicas brasileiras através de amostragem do universo desses alunos. A partir de 2005 este programa busca avaliar de forma censitária toda a rede pública do país. O novo Enem, reformulado a partir de 2009, também faz uso da TRI , de forma a garantir a comparabilidade das notas entre diferentes edições. Esta foi a aplicação de maior impacto na divulgação da Teoria da Resposta ao Item.

História

A Teoria da Resposta ao Item surgiu a partir de discussões teóricas sobre a viabilidade de se comparar as habilidades e os conhecimentos de examinandos submetidos a provas diferentes. A Teoria Clássica dos Testes, principal teoria estatística para medida dessas características na época, via-se diante de enormes dificuldades para comparar as habilidades e os conhecimentos de examinandos submetidos a provas diferentes. Nesse sentido, em 1950, Gulliksen, H definiu, no âmbito da Teoria Clássica dos Testes que duas provas podem ser consideradas formas paralelas quando, após a conversão para a mesma escala, suas médias, desvios padrão de acertos bem como demais correlações do número de acertos com todo e qualquer outro critério fossem iguais. Em 1971, ainda no âmbito da Teoria Clássica dos Testes, Angoff, W delimita a equivalência de provas ao apresentar as seguintes exigências:

• As provas devem medir a mesma característica ou habilidade;
• A equivalência estabelecida deve ser independente dos dados em particular utilizados para estabelecer esse princípio e deve ser aplicável em todas as situações parecidas;
• Os escores de duas provas, uma vez estabelecida sua equivalência, devem ser substituíveis entre si, e;
• A equivalência deve ser simétrica, ou seja, não deve fazer distinção entre a prova particular escolhida como base de referência.

Ainda no âmbito da Teoria Clássica dos Testes, em 1977, Lord, F M estende as considerações levantadas por Angoff. A noção de escores substituíveis ganha nova dimensão com a introdução do conceito de equidade: Os escores transformados y* e observados x podem ser considerados “equivalentes” quando houver indiferença se um examinando responder a prova X ou Y. De acordo com esse princípio:

• Torna-se inviável a tentativa de se estabelecer a equivalência entre provas que medem diferentes características ou habilidades (consistente com a primeira restrição de Angoff);
• A equivalência de escores com margens de erro desiguais não pode ser estabelecida (consistente com os escores substituíveis de Angoff);
• Não se pode estabelecer a equivalência de provas que refletem diferentes níveis de dificuldades.

Segundo Lord, se as provas X e Y têm dificuldades diferentes, a relação entre seus escores verdadeiros é necessariamente não linear devido aos efeitos de piso e de teto. Se duas provas têm uma relação não linear é implausível que elas sejam igualmente fidedignas em todos os grupos de examinandos. Isso leva à conclusão incômoda de que, a rigor, não se pode tornar equivalentes os escores observados em provas de dificuldades diferentes. Todo esse panorama levou Lord a defender as vantagens teóricas dos modelos da teoria da resposta ao item em procedimentos que estabelecem a equivalência dos resultados de provas.

Fundamentos

A Teoria da Resposta ao Item trata o problema da estimação da habilidade e conhecimento de um examinando de forma essencialmente diferente: o enfoque das análises desvincula-se das provas (Teoria Clássica dos Testes) e concentra-se nos Itens; se na Teoria Clássica dos Testes as estatísticas dos itens dependem da população dos examinandos e da prova à qual os itens pertencem, na Teoria da Resposta ao Item cria-se o conceito de que os parâmetros dos itens, obtidos no processo estatístico de “calibração” dos parâmetros de dificuldade, discriminação e acerto casual dos itens (Valle, R) são características próprias dos mesmos. Costuma-se considerar que a característica de medição dos Itens, representados por seus parâmetros, são invariantes no tempo com algumas ressalvas, por exemplo: um item que aborde o conhecimento sobre eclipses solares e lunares estará sujeito a variações de suas características de medição conforme o modismo, sobretudo quando um eclipse ocorre; em casos como esse, a invariância dos parâmetros do item no tempo não deve ser considerada como verdadeira. Consideradas as ponderações anteriores, uma característica fundamental para a viabilidade de comparação da habilidade e conhecimento de examinandos submetidos a provas diferentes é que a Teoria da Resposta ao Item modela a probabilidade de acerto a um item, também conhecida como Curva Característica do Item, através de uma função não linear do conhecimento dos examinandos. Essa característica da modelagem da Teoria da Resposta ao Item é de grande importância pois, desse modo, é possível comparar o conhecimento dos examinandos submetidos a provas diferentes sendo necessário apenas que as provas meçam as mesmas características; essa propriedade é essencialmente útil para sistemas de avaliações onde é possível submeter uma grande quantidade de tópicos de uma matéria em sala de aula (útil para se ter um painel geral sobre o ensino de vários tópicos) com os alunos respondendo apenas um conjunto pequeno dos itens utilizados na avaliação (útil para não tornar as provas excessivamente extensas). Uma boa referência sobre o assunto é Andrade, D.F, Tavares, H.R. & Valle, R.C. (2000).

Fonte: http://pt.wikipedia.org