Vamos entender um pouquinho esse tal de TRI?
Não precisamos virar psicometristas. 😄 mas precisamos entender o suficiente para pensar como uma elaboradora de itens.
Na TRI, um item não é caracterizado apenas por:
"Essa questão vale 1 ponto."
Ele possui propriedades.
No modelo logístico de 3 parâmetros, por exemplo, aparecem:
a — discriminação
Quanto o item consegue diferenciar estudantes com diferentes níveis de proficiência.
b — dificuldade
A posição do item na escala de proficiência.
c — acerto casual
A probabilidade de acertar por acaso, particularmente relevante em itens de múltipla escolha.
A curva característica do item relaciona a proficiência do estudante à probabilidade de responder corretamente.
E existe uma ideia absolutamente central:
INFORMAÇÃO DO ITEM
Um item é mais útil quando consegue fornecer bastante informação sobre a proficiência naquela determinada região da escala.
É exatamente isso que permite ao CAT Computerized Adaptive Testing = Teste Adaptativo Computadorizado, escolher o próximo item.
Você está elaborando questões.
Então pense assim:
👍 Uma elaboradora tradicional pode pensar:
"Minha questão está correta?"
👍 Uma elaboradora que compreende avaliação pensa:
"Qual habilidade essa questão mede?"
👍 Uma elaboradora que compreende psicometria começa a perguntar:
"Como esse item se comportará com estudantes de diferentes níveis de proficiência?"
E, no CAT:
👍 "Em que região da escala esse item fornece mais informação?"
Porque significa que não basta produzir questões fáceis, médias e difíceis.
Precisamos produzir itens que funcionem bem psicometricamente e que possam ocupar diferentes posições dentro de um banco de itens.
O que é CAT?
Computerized Adaptive Testing (CAT) = Teste Adaptativo Computadorizado.
A ideia central é simples:
o teste não é exatamente o mesmo para todos os estudantes; o sistema escolhe o próximo item com base nas respostas anteriores do estudante.
Em um teste tradicional:
Estudante → prova fixa → 20 questões iguais para todos → resultado
No CAT:
Estudante → item → resposta → estimativa da proficiência → próximo item → nova resposta → nova estimativa → ...
O objetivo é selecionar, a cada momento, o item que mais informa sobre o nível de habilidade daquele estudante. O CAT normalmente utiliza um banco de itens previamente calibrados e modelos da Teoria de Resposta ao Item (TRI/IRT).
A pergunta fundamental do CAT
Imagine três alunos:
João: acerta itens fáceis e médios, mas erra os difíceis.
Maria: acerta fáceis, médios e alguns difíceis.
Pedro: erra até os itens fáceis.
Seria razoável aplicar exatamente as mesmas questões aos três?
O CAT responde: não necessariamente.
O sistema tenta descobrir rapidamente onde está o estudante na escala de proficiência.
Então:
Se João acerta... o sistema pode selecionar um item mais difícil.
Se Maria continua acertando... o sistema procura itens ainda mais informativos naquela faixa de proficiência.
Se Pedro erra... o sistema pode selecionar itens mais fáceis.
Mas atenção a uma coisa importante:
CAT não é simplesmente "acertou → fica difícil / errou → fica fácil".
Essa é uma simplificação.
O algoritmo trabalha com uma estimativa da proficiência e procura itens que ofereçam maior quantidade de informação sobre aquela estimativa.
Mas o CAT não pode ser "inteligente demais" a ponto de esquecer o currículo
Imagine que o algoritmo descubra: A melhor questão para estimar a proficiência dessa aluna é uma questão sobre interpretação de gráfico.
Mas a prova precisa obrigatoriamente avaliar:
- leitura;
- inferência;
- análise linguística;
- produção de sentido;
- gênero textual.
O algoritmo não pode simplesmente escolher sempre aquilo que estatisticamente parece mais informativo. Por isso existem restrições de conteúdo.
O CAT precisa equilibrar:
- informação psicométrica
- cobertura do conteúdo
- habilidades previstas
- regras do teste
- segurança
- validade da interpretação do resultado.
Esse é um dos pontos em que avaliação educacional fica MUITO mais interessante.
❓ Se o CAT escolhe o próximo item com base na resposta anterior, quem determina se aquele item pode entrar no banco?
A elaboradora.
E depois entram processos de revisão, pré-teste/calibração e análise psicométrica.
Ou seja: CAT não substitui a elaboração humana.
Pelo contrário.
Ele aumenta a importância de um banco de itens bem construído e calibrado.
A IACAT destaca justamente que os itens utilizados pelo CAT precisam compor um banco previamente calibrado para que o sistema possa selecionar aqueles mais adequados ao estudante.
Um CAT pode conseguir uma estimativa precisa utilizando menos itens do que um teste convencional, porque ele evita gastar questões com itens que oferecem pouca informação sobre aquele estudante.
Esse é um dos grandes argumentos a favor do CAT:
eficiência + precisão.
Mas não significa simplesmente:
CAT = prova menor.
A afirmação correta é:
CAT procura maximizar a informação obtida por item, podendo alcançar determinada precisão com menos itens em comparação com testes não adaptativos adequadamente comparáveis.
Há também desafios importantes relacionados à validade, exposição dos itens, segurança, cobertura de conteúdo e efeitos da própria tecnologia sobre a mensuração.
-------------------------------------------------------
Imagine que temos esta habilidade:
Inferir informações implícitas em um texto.
Temos três questões:
Questão A: a inferência é praticamente explícita no texto.
Questão B: exige relacionar duas informações apresentadas no texto.
Questão C: exige integrar pistas dispersas e realizar uma inferência mais complexa.
Qual delas você classificaria como:
1. menor dificuldade
2. dificuldade intermediária
3. maior dificuldade
E, principalmente:
o que exatamente torna C mais difícil que A?
A partir dessa resposta, entramos na TRI de verdade — sem fugir da matemática, mas também sem transformar essa conversa numa aula de estatística. 😏
-------------------------------------------
Pensou? Não vale "A C é mais difícil".
-------------------------------------------
Então .....
O que realmente precisamos analisar é a complexidade cognitiva da operação que o estudante precisa realizar.
Para chegar à resposta, o aluno precisa fazer uma cadeia:
INVESTIGAR → LEVANTAR PISTAS → RELACIONAR PISTAS → INFERIR → PERCEBER O EFEITO/CONSEQUÊNCIA
Ou seja, não é apenas localizar uma informação implícita.
Olha a diferença:
Item A — menor demanda cognitiva
O estudante encontra no texto uma pista muito próxima da informação solicitada e faz uma inferência simples.
Item B — demanda intermediária
Precisa localizar duas pistas, estabelecer a relação entre elas e, então, construir a inferência.
Item C — maior complexidade
Precisa investigar o texto, selecionar pistas relevantes entre outras informações, estabelecer relações entre elas e compreender o efeito produzido por essa articulação.
E aqui aparece algo que eu acho particularmente interessante para nosso estudo de CAT:
A dificuldade do item não está simplesmente na quantidade de pistas. Está na natureza das operações cognitivas necessárias para articulá-las.
Pode haver uma questão com três pistas que seja relativamente fácil, enquanto uma questão com duas pistas seja muito mais complexa se a relação entre elas não estiver evidente.
E isso muda nossa pergunta sobre o item
Em vez de perguntar:
"Essa questão é fácil, média ou difícil?"
vamos perguntar:
"Que operações cognitivas o estudante precisa mobilizar para produzir a resposta?"
| Etapa | Operação do estudante |
|---|---|
| 1 | Investigar o texto |
| 2 | Localizar/selecionar pistas relevantes |
| 3 | Relacionar as pistas |
| 4 | Construir a inferência |
| 5 | Identificar o efeito/consequência dessa relação |
| 6 | Justificar a interpretação |
No CAT, vamos acrescentar outra pergunta:
"Em que nível de proficiência esse item consegue diferenciar melhor os estudantes?"
Aí começa a ficar realmente interessante: a complexidade cognitiva que nós projetamos na questão e o comportamento psicométrico que o item efetivamente apresenta não são necessariamente a mesma coisa.
------------------------------------------------------
Vamos fazer como um exercício de elaboração de itens?
🎯 Exercício 1 — olhar para a demanda cognitiva
Leia este pequeno texto:
O guarda-chuva
Quando saiu de casa, Marina olhou para o céu e voltou para buscar o guarda-chuva.
No caminho, encontrou o irmão, que riu e perguntou por que ela estava carregando aquilo se não estava chovendo.
Marina apenas apontou para o céu.
Poucos minutos depois, os dois chegaram à escola completamente molhados.
O irmão olhou para ela e disse:
— Você sabia!
Agora, imagine este item:
Por que o irmão de Marina disse “Você sabia!” ao chegar à escola?
A) Porque Marina havia esquecido o guarda-chuva em casa.
B) Porque Marina percebeu, pelas condições do céu, que provavelmente choveria.
C) Porque Marina gostava de carregar um guarda-chuva para a escola.
D) Porque o irmão já sabia que ela estava atrasada.
Agora quero que você faça o exercício de elaboradora.
Não quero apenas dizer qual é a alternativa correta.
Quero que você identifique:
- Qual habilidade o item mobiliza?
- Que evidências do texto o aluno precisa encontrar?
- Ele precisa encontrar uma pista ou várias?
- Precisa relacionar essas pistas?
- Qual é a inferência que precisa construir?
- Existe alguma relação de causa e efeito?
-
Quais operações cognitivas aparecem?
Localizar → selecionar → relacionar → inferir → explicar, por exemplo. - E finalmente: qual é o grau de complexidade desse item? Por quê?
E tem uma pegadinha importante:
🧐 Não confunda dificuldade com complexidade cognitiva.
Quero que você olhe para o caminho que o aluno precisa percorrer para chegar à resposta, não simplesmente para o fato de a resposta parecer óbvia ou difícil.
Faça sua ficha técnica desse item.
Veja nos "COMENTÁRIOS" do post a resposta e compare com a sua análise. 😈
