TRI – Teoria de Resposta ao Item: Teoria, Procedimentos e Aplicações

De Luiz Pasquali

O livro TRI – Teoria de Resposta ao Item: teoria, procedimentos e aplicações apresenta os fundamentos e os procedimentos dessa teoria em Psicometria, de grande uso em Psicologia e Educação mesmo no Brasil, uma vez que o Conselho Federal de Psicologia exige tais análises para os testes psicológicos e o MEC as requer para a avaliação educacional no País (Enem, Saeb). O livro foi elaborado para pesquisadores, sobretudo nas áreas psicossociais, objetivando atender às necessidades práticas desses pesquisadores. Embora a teoria seja matematicamente de grande complexidade, o livro procura apresentá-la de forma compreensível e útil, inclusive para leitores menos sofisticados em Estatística, de sorte que as inevitáveis incursões estatísticas são detalhadamente explicadas. Dada a escassez ou até a inexistência de tratados completos sobre o tema no Brasil de acesso fácil e útil para os pesquisadores, este livro se torna praticamente indispensável.

• Idioma: Português
• Editora: Editora Appris
• Data de lançamento: 11 de mar. de 2020
• ISBN: 9788547315702

Pré-visualização do livro

LuizPasquali_1799.jpgimagem1imagem2

Editora Appris Ltda.

1ª Edição - Copyright© 2018 dos autores

Direitos de Edição Reservados à Editora Appris Ltda.

Nenhuma parte desta obra poderá ser utilizada indevidamente, sem estar de acordo com a Lei nº 9.610/98.

Se incorreções forem encontradas, serão de exclusiva responsabilidade de seus organizadores.

Foi feito o Depósito Legal na Fundação Biblioteca Nacional, de acordo com as Leis nºs 10.994, de 14/12/2004 e 12.192, de 14/01/2010.

COMITÊ CIENTÍFICO DA COLEÇÃO EDUCAÇÃO, TECNOLOGIAS E TRANSDISCIPLINARIDADE

PREFÁCIO

Este livro visa a atender a uma demanda cada vez mais crítica e urgente de estudiosos das áreas de Psicologia e Educação, ao abordar um método de análise fundamental para a teoria da medida e que representa uma inovação importante no campo da Psicometria – a Teoria de Resposta ao Item (TRI).

A TRI tem sua trajetória iniciada na metade da década de 30 e sua formulação foi originada e se desenvolveu, tendo por base a indagação que se começou a fazer, desde então, sobre algumas fragilidades que a Teoria Clássica dos Testes (TCT) apresentava. Por esse motivo, a TRI passou a ser considerada um método alternativo à TCT, que então se baseava, sobretudo, nas respostas aos itens de um teste dadas por um grupo determinado, sendo, portanto, dependentes desse grupo. Essa se tornou uma das principais críticas feitas ao uso da TCT. Além disso, ao utilizá-la, em especial em testes educacionais, não se avaliava o quantitativo de esforço necessário para que o examinando atingisse um determinado escore. Por exemplo, quando alunos alcançavam escores iguais em um teste, com a análise feita pela TCT não podíamos confirmar que tivessem tido um esforço e desempenho iguais, porque um deles poderia ter acertado os itens mais fáceis enquanto o outro poderia ter acertado os mais difíceis.

A solução para esse problema, que redundou no desenvolvimento da TRI, enfrentou inúmeros desafios, pois envolvia algoritmos matemáticos complexos e não havia sistemas computacionais que conseguissem resolver essa problemática. Embora diversos estudos tivessem sido realizados, somente no final da década de 1970 e no início da década de 1980, com o desenvolvimento da tecnologia, surgiram os primeiros softwares que rodavam a TRI.

No Brasil, só a partir da década de 1990 a TRI chegou ao conhecimento dos pesquisadores. O professor Luiz Pasquali, autor deste livro, foi pioneiro na utilização da TRI na análise de testes educacionais do Inep. No período da segunda edição do Saeb, recebeu um convite por parte do Inep para analisar os dados dos testes educacionais aplicados em 1993. Ele acabara de participar de uma Conferência Internacional em Oxford (Inglaterra, de 27 a 30 junho, 1993), promovida pela International Test Commission, que tratava, dentre outras coisas, dos avanços nos modelos, nos métodos e nas práticas de medida. Nessa Conferência, presidida pelo professor Thomas Oakland e secretariada pelo autor deste livro, encontravam-se representantes de 46 países e os maiores expoentes na pesquisa com a Teoria de Resposta ao Item (TRI), como Frank B. Baker, Ronald K. Hambleton, José Muñiz Fernandez, W. J. van der Linden, dentre outros. Os resultados das análises dos testes de 1993 animaram os diretores do Inep, que decidiram adotar a TRI como condição no processo licitatório na análise dos dados do desempenho a partir da edição de 1995. Com base nessa exigência, houve um avanço na avaliação nacional da educação em larga escala, pois se pôde criar a série histórica por meio da equiparação de escores, identificar itens enviesados, fazer a leitura da escala de proficiência, dentre outros.

Em 1996, o autor publicou um capítulo sobre a TRI em livro de sua autoria: Teoria e Métodos de Medida em Ciências do Comportamento, tornando pública e dando maior visibilidade à teoria. Professor Luiz Pasquali é uma referência no País na pesquisa em avaliação e medidas, e nesse campo vem contribuindo de forma destacada para o entendimento da TRI, que, teoricamente, é muito complexa e exigente em seus procedimentos analíticos, mas se apresenta imprescindível no desenvolvimento de testes psicológicos e instrumentos relativos ao desempenho cognitivo. Um dos principais problemas na instrumentação psicológica e com os testes cognitivos na atualidade é o desconhecimento da TRI, que quase não é contemplada nas universidades. Em parte, pela complexidade da teoria envolvida, há sempre um mistério que ronda o domínio de seu conhecimento.

O presente livro é um exemplo da preocupação do autor com a divulgação da teoria de modo claro, amigável e compreensivo, considerando-se que pode ser entendido por quem não possui pleno conhecimento da manipulação de modelos matemáticos e dos sofisticados programas de computador que rodam as análises. No livro, o leitor vai ter uma visão global da teoria, abordando-a em sua plenitude, sem, no entanto, deixá-la cair em lugar comum.

Dr.ª Margarida Maria Mariano Rodrigues

Consultora da Unesco/PNUD e do Senai

APRESENTAÇÃO

Este livro sobre a Teoria de Resposta ao Item (TRI) visa a preencher uma lacuna da literatura no Brasil na área da fundamentação epistemológica e na tecnologia de elaboração de instrumentos em psicologia e educação de uso corrente e necessário na pesquisa e na prática profissional de ciências humanas e sociais, em especial do psicólogo e do pedagogo. Nesse sentido, ele pretende dar as bases teóricas e de fundamentação epistemológica da medida em ciências sociais, em especial na tecnologia moderna da psicometria, procurando dar uma visão integrada da problemática abordada pela TRI. Na verdade, já existe literatura no País sobre essa tecnologia, mas abordando temas especiais, nenhum trabalho procura oferecer uma visão global da teoria. A pretensão deste livro é dar essa visão.

Em segundo lugar, o livro visa a atribuir uma visão mais psicológica e pedagógica à área, procurando desvinculá-la, por um lado, da concepção tradicional baseada no materialismo científico nesta área, a qual vem sufocando o pensamento teórico dos problemas psicológicos, e dar-lhe uma concepção mais cognitivista, se assim se pode dizer, e, por outro lado, dar-lhe uma visão mais psicológica e pedagógica e menos estatística. O modelo da TRI vem tradicionalmente sendo dominado por pesquisadores de cunho eminentemente estatístico. Essa situação não é um demérito para a área; pelo contrário: a estatística é fundamental nesse ramo de conhecimento, sem a qual ele se torna inviável, uma vez que se trata de medir, isto é: representar o objeto psicológico via número. Ora, tratar do número utilizado na medida dos fenômenos naturais é precisamente o campo de atuação da Estatística. Entretanto esse domínio da Estatística na área da TRI e, em geral, na Psicometria fez com que esta fosse e seja uma área concebida por muitos como um ramo da Estatística. Essa ocorrência me parece um grave erro de perspectiva, contra o qual, aliás, já nos anos 30 o próprio Thurstone, matemático e psicólogo, vinha debatendo. A Psicometria e, consequentemente, a TRI é uma área que pretende estudar fenômenos psicológicos e educacionais. Consequentemente, seu objeto específico de estudo são os fenômenos psicológicos e educacionais e não conceitos, no caso o número. O número, nessas ciências, é apenas o modo de representar os fenômenos que elas querem estudar. Assim, a Psicometria e seu modelo da TRI devem ser concebidos como um ramo da Psicologia e que se caracteriza por expressar (observar) o fenômeno psicológico e educacional por meio do número, em vez da pura descrição verbal. Nem por isso ela deixa de ter como ponto central de sua existência o fenômeno psicológico e educacional.

Além disso, diante do receio da maioria dos cientistas sociais, em particular do psicólogo e do pedagogo, frente ao pensamento matemático, bem como o fraco preparo desses profissionais nas áreas da matemática, este livro procura enveredar o mínimo na sofisticação matemática e estatística que a TRI pode assumir. Obviamente, não é possível escapar totalmente do pensar matemático nessa área da medida, pois seria utilizar o número, o objeto específico das matemáticas, sem fazer uso dos princípios e métodos dessas. Quem entende e trabalha o número são, necessariamente, as matemáticas. Então não há como eliminá-las no tratamento dos dados empíricos expressos via medida. Contudo para fazer uso inteligente dos princípios e da tecnologia da TRI não é necessário entrar nas altas sofisticações matemáticas e estatísticas que eles permitem. Evidentemente, quem é capaz de seguir por esse caminho tem maiores vantagens na intelecção da problemática psicométrica e do seu ramo mais sofisticado, que é a TRI.

Praticamente, o livro enfoca inicialmente o modelo proposto pela TRI (cap. 1 e 2). Em seguida, aborda a temática introduzida na psicometria pela TRI, ou seja, a curva de informação (cap. 3), ressaltando a problemática psicológica envolvida, que deve sobrepor-se às preocupações exclusivamente estatísticas. Os demais capítulos expõem as questões mais pontuais, tais como: a questão da análise da adequação dos modelos aos dados empíricos (cap. 4), o processo de estimação dos parâmetros dos itens e da habilidade dos sujeitos (cap. 5), a dimensionalidade dos itens (cap. 6), a função diferencial dos itens e do teste em diferentes contextos (cap. 7), a questão da equiparação dos escores (cap. 8), finalizando com as aplicações práticas da TRI, em especial a avaliação via computador (cap. 9).

Finalmente, devo deixar aqui agradecimentos a um número considerável de pessoas que, como alunos ou colegas, ajudaram grandemente na qualidade deste livro. Contudo devo salientar a contribuição inestimável do Prof. Mauro Luiz Rabelo, do Departamento de Matemática da Universidade de Brasília, em especial na revisão das incursões matemáticas existentes no livro, bem como do Prof. Ricardo Primi da Universidade de São Francisco, na elaboração do capítulo 1.

SUMÁRIO

Capítulo 1

Fundamentos da Teoria da Resposta ao Item – TRI

Capítulo 2

Os Modelos da Teoria de Resposta ao Item – TRI

Capítulo 3

As Funções de Informação e de Eficiência dos Itens e do Teste

Capítulo 4

Testes de Adequação na TRI

Capítulo 5

Estimação dos Parâmetros dos Itens e da Aptidão na TRI

Capítulo 6

A Unidimensionalidade na TRI

Capítulo 7

A Função Diferencial dos Itens e do Teste − DIF e DTF

Capítulo 8

A Equiparação dos Escores

Capítulo 9

Aplicações Práticas da TRI: Testes Sob Medida – CAT

Bibliografia

Apêndice A

Programas de Computador para TRI

Apêndice B

Literatura Brasileira Sobre TRI

Índice de Autores

Índice de Assuntos

Capítulo 1

Fundamentos da Teoria da Resposta ao Item –TRI

1 – Introdução

No contexto teórico da Psicometria, era inevitável que alguma teoria alternativa à teoria clássica dos testes (TCT) surgisse para resolver alguns graves problemas da medida em Psicologia. Um dos problemas a que nos referimos já vinha sendo frustrantemente assinalado por Thurstone antes mesmo dos anos 30. Dizia Thurstone (1928, p. 547; 1959):

Um instrumento de medida, na sua função de medir, não pode ser seriamente afetado pelo objeto de medida. Na extensão em que sua função de medir for assim afetada, a validade do instrumento é prejudicada ou limitada. Se um metro mede diferentemente pelo fato de estar medindo um tapete, uma pintura ou um pedaço de papel, então nesta mesma extensão a confiança neste metro como instrumento de medida é prejudicada. Dentro dos limites de objetos para os quais o instrumento de medida foi produzido, sua função deve ser independente com respeito à medida do objeto.

A Psicometria, hoje em dia chamada de clássica (Teoria Clássica dos Testes – TCT), estava bastante bem axiomatizada já nos anos 1950, sobretudo com os trabalhos de Guilford (1936; 1954) e Gulliksen (1950). Ela, contudo, continha o grave problema que Thurstone menciona acima, isto é, o instrumento construído dependia intrinsecamente do objeto medido. De fato, os testes psicológicos elaborados dentro da Psicometria Clássica são dependentes dos itens que os compõem (test-dependent). Assim, por exemplo, ao se querer medir a inteligência de um sujeito, o resultado vai depender muito do instrumento utilizado, obviamente um instrumento que mede inteligência. Se utilizar, digamos as Matrizes Progressivas de Raven (SPM), obtenho um resultado; se utilizar o Wechsler Adult Intelligence Scales (Wais), obtenho outro. Qual dos dois resultados é o correto? A resposta fica ligada ao instrumento utilizado, de tal forma que o objeto medido, a inteligência no caso, afeta diretamente o instrumento utilizado; aliás, ela é definida pelo instrumento utilizado. Você talvez se lembre como Binet (Binet & Simon, 1908) definiu a inteligência: Inteligência é o que o meu teste mede! Seria como dizer em Física que o comprimento do objeto é o que o metro mede ou a massa o que a balança mede.

Embora Thurstone tenha percebido aguçadamente esse problema da medida em Psicologia, ele não conseguiu encontrar uma solução. Foi somente após os anos 1950 que os psicometristas começaram a descobrir a solução para o problema, baseados na teoria do traço latente de Lazersfeld (1959) e nos trabalhos de Lord (1952) e do dinamarquês Rasch (1960), os quais se tornaram as bases da moderna Teoria da Resposta ao Item − TRI (Item Response Theory − IRT), inclusive conhecida como a Teoria do Traço Latente, esboçada por Lord em 1952 e finalmente axiomatizada por Birnbaum, em 1968, e por Lord, em 1980.

O que pode parecer estranho nessa história é o fato de que o problema levantado por Thurstone tenha sido detectado já nos anos 1930 e que a resposta já tinha sido dada nos anos 1960, por que então a nova teoria somente veio a ser utilizada nos anos 1980? A resposta está no fato de que a solução dada ao problema da independência do instrumento de medida com relação ao objeto de medida que a Teoria da Resposta ao Item propôs apresentava algoritmos matemáticos de tal complexidade que a tecnologia computacional da época era incapaz de resolver de uma maneira útil e prática. Com o avanço da tecnologia da informática (microcomputadores) e da disponibilidade de softwares apropriados, este problema foi solucionado e a TRI entrou em moda. Aliás, o primeiro software para as análises da TRI surgiu somente em 1979 com o BICAL de Wright, Mead e Bell, seguidos depois pelo Logist (Wingersky, Barton, & Lord, 1982) e pelo Bilog (Mislevy & Bock, 1984).

2 - Problemas da Psicometria Clássica

Além do grave problema mencionado na introdução deste capítulo, outros problemas são salientados contra a Psicometria Clássica.

Um deles afirma que os parâmetros dos itens de um teste dependem da amostra de sujeitos na qual eles foram calculados. Assim, um item qualquer se torna mais difícil ou mais fácil dependendo da amostra ser composta de sujeitos mais inteligentes ou menos inteligentes. Dessa forma, o parâmetro de dificuldade do item vai variar de pesquisa para pesquisa em função da amostra de sujeitos, isto é, esse parâmetro é dependente dos sujeitos utilizados na pesquisa (subject-dependent). Essa crítica é válida, mas ela se refere mais a um problema de amostragem e não tanto da análise que se faz da dificuldade do item em termos de número de acertos. Porque se a mostra for aleatória e representativa, esse problema não existe na Psicometria Clássica. No entanto uma grande vantagem da TRI é que mesmo em amostras não representativas os parâmetros poderão ser estimados corretamente (Embretson & Reise, 2000).

Um problema mais grave ocorre com o cálculo do parâmetro de discriminação do item. Esta análise, dentro da Psicometria Clássica, é feita baseada no escore total de um teste, seja utilizando grupos-critério ou coeficientes de correlação (Pasquali, 1996). Tal procedimento incorre numa incongruência lógica, pois a discriminação de cada item é testada contra o escore total que é constituído por todos os itens do teste, inclusive o item que se está analisando. Isto supõe que os outros itens, pelo menos, estão adequados. Mas se o são, então por que se fazer a análise? E se não o são, então a análise está simplesmente falha, errada.

Outro problema grave na Psicometria Clássica situa-se no cálculo da fidedignidade de um teste. Essa é definida comumente em termos de formas paralelas de um teste. Essas formas precisam ser estritamente paralelas, isto é, elas precisam produzir um escore verdadeiro idêntico e variâncias também iguais. Obviamente, a obtenção de formas assim paralelas de um mesmo teste é algo difícil de ser conseguido. Ademais, os sujeitos, ao tomarem uma forma paralela, nunca serão exatamente os mesmos, pois há os problemas de maturação que Campbell e Stanley (1973) discutem no contexto do delineamento de pesquisa, tais como a aprendizagem, o cansaço, a motivação e outros, que mudam da aplicação de uma forma para outra, inclusive diferencialmente para diferentes sujeitos, tornando a comparação entre as duas formas não mais paralela.

Outro problema presente na teoria tradicional em Psicometria consiste na suposição que nela se faz de que a variância dos erros de medida é a mesma para todos os testandos, suposição de difícil sustentação, pois parece óbvio que alguns testandos realizam a tarefa mais consistentemente do que outros e que a consistência varia em função da habilidade dos sujeitos (Hambleton & Swaminathan, 1985). Por exemplo, um teste com itens medianamente fáceis poderá diferenciar mais os sujeitos com habilidade média, mas não irá diferenciar da mesma maneira os sujeitos com habilidade superior que, provavelmente, obterão escores perto dos mais altos. Consequentemente, o erro de medida neste segundo grupo será maior do que no primeiro (Embretson & Reise, 2000; Hambleton & Swaminathan, 1985).

Há, além disso, a condição típica dos testes de aptidão construídos dentro dos moldes da teoria clássica da Psicometria. Os testes são elaborados para avaliar maximamente os sujeitos de habilidades medianas, sendo, por isso, bem menos apropriados e válidos para avaliar sujeitos com habilidades superiores ou de pouca habilidade. De fato, a validade de um teste se maximiza na medida em que o nível de dificuldade desse se aproxima do nível de habilidade do sujeito (Lord, 1980; Weiss, 1983). De sorte que a aplicação de testes de dificuldade média diferente a sujeitos de diferentes níveis de aptidão irá produzir resultados nem sempre comparáveis, pois é óbvio que obter 50 num teste fácil não é a mesma coisa que obter 50 num teste mais difícil que meça a mesma aptidão. A tarefa de comparar os sujeitos em tais situações é de difícil manejo dentro dos modelos tradicionais de análise.

3 - A Teoria de Resposta ao Item

3.1 - Um pouco de história

Como já assinalamos, a TRI foi sendo elaborada aos poucos desde os anos 1950 por vários autores, embora suas raízes remontem há mais de uma década anterior. Dentre esses precursores se encontram os trabalhos de Richardson (1936), comparando os parâmetros dos itens obtidos pela teoria clássica da Psicometria com os moldes que hoje usam a TRI; os trabalhos de Lawley (1943, 1944), indicando alguns métodos para estimar os parâmetros dos itens, os quais se afastavam da teoria clássica e os trabalhos de Tucker (1946), que parece ter sido o primeiro a utilizar a expressão curva característica do item − Characteristic Curve, (ICC) − que constitui um conceito chave na TRI. Também deve ser mencionada a contribuição de Lazersfeld (1950), que introduziu o conceito de traço latente, ainda que no contexto da medida das atitudes, conceito novamente que se constituiu num parâmetro chave da nova TRI.

Entretanto o responsável mais direto que deu origem à TRI moderna é Frederic Lord (1952, 1953), por ter elaborado não somente um modelo teórico, mas ainda métodos para estimar os parâmetros dos itens dentro da nova teoria, utilizando o modelo da ogiva normal. Os modelos elaborados por Lord se aplicam a testes nos quais as respostas são dicotômicas, isto é, certo e errado, ou seja, testes de aptidão. Mais tarde, Samejima (1969, 1972) elaborou modelos para tratar respostas politômicas e mesmo para dados contínuos, como é caso em testes de personalidade.

Outro passo importante na história da TRI foi dado por Birnbaum (1957) ao substituir as curvas de ogiva por curvas logísticas, isto é, baseadas nos logaritmos, tornando o tratamento matemático dos dados bem mais fácil.

Um dos fatores que concretamente mais contribuíram para o uso generalizado da TRI hoje em dia foi o avanço da informática. Como a complexidade matemática no campo da TRI é enorme, o progresso vertiginoso nas máquinas de processamento (microcomputadores) possibilitou a viabilização dos cálculos que o modelo TRI exige em Psicometria. Com esse progresso das máquinas, foi possível, também, nos anos 1980, o desenvolvimento de softwares apropriados para tais cálculos.

3.2 - A Teoria Básica da Resposta ao Item

A Teoria da Resposta ao Item é uma teoria do traço latente aplicada primariamente a testes de habilidade ou de desempenho. O termo teoria do traço latente se refere a uma família de modelos matemáticos que relaciona variáveis observáveis (itens de um teste, por exemplo) e traços hipotéticos não observáveis ou aptidões, esses responsáveis pelo aparecimento das variáveis observáveis ou melhor, das respostas ou comportamentos emitidos pelo sujeito, que são as variáveis observáveis. Assim, temos um estímulo (item) que é apresentado ao sujeito e este responde a ele. A resposta que o sujeito dá ao item depende do nível que o sujeito possui no traço latente ou na aptidão. Dessa forma, o traço latente é a causa e a resposta do sujeito é o efeito. Agora, para se poder estimar, a partir da resposta dada pelo sujeito, o seu nível no traço latente, é preciso que se hipotetizem relações entre as respostas observadas do sujeito e o seu nível nesse mesmo traço latente. Quando essas relações são expressas numa equação matemática, constando de variáveis e de constantes, temos um modelo ou uma teoria do traço latente. Como tanto as variáveis e constantes que entram numa tal equação quanto as formas matemáticas das curvas, que expressam a relação hipotetizada, podem ser as mais variadas, segue que, em princípio, existe um número sem fim de tais equações possíveis. A TRI se decidiu por algumas dessas equações que achou mais adequadas ou produtivas, como veremos mais adiante.

De qualquer forma, o fundamental da teoria do traço latente consiste em expressar numa fórmula matemática a relação existente entre variáveis observadas e variáveis hipotéticas, chamadas estas de traços latentes. Assim, se conhecemos as características das variáveis observadas (como os itens de um teste), estas se tornam constantes na equação e a equação se torna solucionável, permitindo que se estime então o nível do traço latente ou a aptidão do sujeito e vice-versa, isto é, se for conhecido o nível do traço latente é possível estimar as características dos itens respondidos por este sujeito.

Assim, a TRI faz dois postulados básicos, a saber:

1) O desempenho do sujeito numa tarefa (item de um teste) pode ser predito a partir de um conjunto de fatores ou variáveis hipotéticas, ditos aptidões ou traços latentes (identificados na TRI com a letra grega teta: θ); o teta sendo a causa e o desempenho o efeito. Trata-se de modelagem latente (latent trait modeling).

Assim, diz-se que o comportamento = função (traço latente).

2) A relação entre o desempenho e os traços latentes pode ser descrita por uma função matemática monotônica crescente, cujo gráfico é chamado de Curva Característica do Item - CCI (veja figura 1.1).

8901.png