A transição ensino médio-educação superior e o desempenho acadêmico

De Ailton Paulo de Oliveira Junior

O livro A transição ensino médio–educação superior e o desempenho acadêmico lança um olhar sobre o aumento de estudantes do Ensino Médio que ingressam no Ensino Superior e que exige conhecer as condições nas quais esses estudantes transitam entre tais níveis educativos. A obra visa a analisar o fenômeno da transição Ensino Médio–Ensino Superior, considerando que o indicador mais estudado como referencial de êxito dessa transição seja o desempenho acadêmico. Esse enfoque assume um importante significado no estudo, na discussão e na reflexão acerca da qualidade do sistema educativo brasileiro. Além desses aspectos, o processo seletivo para entrada no Ensino Superior tem sido foco de atenção de profissionais e pesquisadores da área de Psicologia e de Educação. Muitas são as variáveis que influem nessa sistemática, se bem avaliadas, podem auxiliar na seleção de candidatos ao ensino superior com condições de um bom desempenho acadêmico. Sendo assim, este trabalho tem o intuito de contribuir para a composição de modelos de intervenção educativa, considerando a qualidade do processo educativo. A transição é concebida como o processo iniciado pelos estudantes com a escolha de uma trajetória acadêmica e de um futuro campo profissional durante os estudos de Ensino Médio, e que culmina na superação dos três primeiros semestres de estudos universitários. Nesse sentido, os procedimentos metodológicos da pesquisa, por sua vez, são do tipo ex post fato, e compreendem uma aplicação descritiva com enfoque preditivo e de desenvolvimento longitudinal.

• Idioma: Português
• Editora: Editora Appris
• Data de lançamento: 1 de jan. de 2016
• ISBN: 9788547301668

Pré-visualização do livro

COMITÊ CIENTÍFICO DA COLEÇÃO EDUCAÇÃO, TECNOLOGIAS E TRANSDISCIPLINARIDADE

AGRADECIMENTOS

Algumas pessoas contribuíram para a concretização deste estudo. Destaco a figura da Profª Drª Myriam Krasilchick pelo incentivo, pelo entusiasmo e pela experiência que impulsionaram meu crescimento.

Agradeço à Universidade Católica de Brasília – UCB, que acreditou no meu trabalho e investiu em minha formação, à Comissão Permanente de Seleção – Copese e à Secretaria da UCB pelas facilidades oferecidas em diversas ocasiões.

A meu pai e à minha mãe por terem contribuído para que eu pudesse alcançar mais este estágio em minha vida.

APRESENTAÇÃO

A Universidade, no sistema educacional brasileiro, situa-se na ótica do estudante como um objetivo a concretizar dentro da perspectiva do seu plano de vida. Ao longo dos anos de escolaridade, esse mito, como instituição indispensável ao processo formativo dos indivíduos, é cultivado e orientado no sentido de criar uma expectativa quanto à indispensabilidade de estudos universitários. A população escolar, independentemente de suas potencialidades e capacidades, centra seus interesses e suas angústias no acesso ao Ensino Superior. E toda essa demanda cria, em consequência, um momento de grande ressonância social: o concurso vestibular.

A natureza de uma avaliação dos exames vestibulares, assim como alguns problemas metodológicos com relação às provas utilizadas no processo de seleção, ou seja, a qualidade dessas provas, é importante para a eficiência do processo de seleção.

Para que a escolha seja adequada, o instrumento selecionado deverá apresentar importantes qualidades, que são a validade e a confiabilidade. A validade não pode estar separada da proposta de mensuração, porque é por meio dela que julgamos se atingimos os objetivos levantados e se fizemos a escolha adequada do instrumento de avaliação, mostrar as suas limitações. A confiabilidade, por sua vez, mede a consistência do resultado, buscando eliminar os erros inerentes ao processo.

Para a realização de estudos de validade e confiabilidade, uma série de possibilidades está aberta quanto a critérios utilizados, preditores, grupo de alunos, métodos estatísticos e modos de interpretação dos resultados. Cada decisão deve ser orientada pelo objetivo visado e levar em consideração tanto os princípios estatísticos que afetam a interpretabilidade dos resultados como a relação entre a utilidade e o custo de sua obtenção.

Assim, neste livro, parte-se das seguintes hipóteses: (1) As notas obtidas nas provas (testes) dos concursos vestibulares, ora objeto de análise, e as variáveis sociodemográficas (sexo, idade, local de nascimento e local de moradia) são bons preditores do futuro desempenho acadêmico dos estudantes nos três primeiros semestres dos cursos de Ciências Econômicas e Licenciatura em Matemática de uma universidade privada no Distrito Federal, isto é, dada uma clientela que se candidata ao exame de Ensino Superior, com características próprias, as qualidades da seleção (validade e confiabilidade) efetuada por meio do instrumento de medida, o vestibular, se refletem no desempenho desses estudantes nos cursos pela qual optaram no ato de inscrição do processo seletivo; (2) A nota da prova de Matemática dos concursos vestibulares, ora objeto de análise, é bom preditor do construto raciocínio lógico-matemático, expresso pelos projetos pedagógicos dos cursos de Ciências Econômicas e Licenciatura em Matemática de uma universidade privada no Distrito Federal.

Estudos como este devem ser realizados rotineiramente por Universidades que se preocupem com sua eficiência em atingir os objetivos educacionais propostos. Muito importante é que esses objetivos sejam operacionalizados a fim de fornecer critérios válidos e confiáveis para uma avaliação objetiva.

Uma das proposições deste trabalho foi eliminar erros que podem ser evitados por meio da consideração do perfil do grupo de alunos que procuram as instituições de nível superior. Não se pode, também, ser usada para justificar uma seleção injusta ou com baixa validade. O importante é fazer instrumentos afinados com as potencialidades e características desses grupos de alunos, selecionando os que se apresentam mais capazes para cursar o ensino superior.

Este trabalho procurou mostrar a complexidade da tarefa de desenvolvimento, aplicação e análise dos vestibulares, que, portanto, deve ser realizada com utilização de ferramentas que a teoria da medida pode fornecer. Entretanto, é preciso haver um reconhecimento prévio dessa necessidade, por parte das instituições, e uma vontade política de materializá-la.

O autor

PREFÁCIO

Recebi o convite para prefaciar o presente livro, escrito pelo ilustre professor e pesquisador Ailton Paulo de Oliveira Júnior, com um misto de alegria e receio. Alegria, pela gentil lembrança. Receio, por talvez não conseguir fazer justiça ao trabalho e ao autor.

Conheço o autor desde 1986, quando participei da banca de sua entrada no mundo acadêmico no Centro de Ensino Unificado do Distrito Federal (antiga UDF). Nesses 30 anos, nossas trajetórias de vida, por muitas vezes, se apresentaram coincidentes, concorrentes e paralelas. Coincidentes, pois trabalhamos juntos em várias instituições de Ensino Superior. Concorrentes, porque uma das minhas linhas de pesquisa trata do estudo da validade de instrumentos psicométricos da área da saúde. Paralelas, pois mantemos o hábito salutar de trocar informações profissionais que geram produtivas elucubrações que, frequentemente, alimentam, reciprocamente, nossas linhas de pesquisa.

Avaliação do exame vestibular. É disso que trata o presente livro. Esse tipo de exame sempre me pareceu uma espécie de rito de passagem para a vida adulta. Uma série de pensadores e movimentos sociais vê no modelo do vestibular uma barreira de acesso ao Ensino Superior público para as camadas mais populares da sociedade, outros argumentam que os exames, da forma como são propostos, avaliam não o verdadeiro conhecimento que deveria ter sido adquirido no Ensino Médio, mas simplesmente informações memorizadas pelo candidato. A verdade dos fatos é que ele ocupa o centro da atenção da grande maioria dos adolescentes em todo o mundo.

O livro, em questão, defende que a natureza de uma avaliação dos exames vestibulares é importante para a eficiência do processo de seleção e que tais exames devem ser válidos e confiáveis. Sabe-se que a validade não pode estar separada da proposta de mensuração, porque é por meio dela que julgamos se atingimos os objetivos levantados e se fizemos a escolha adequada do instrumento de avaliação. A confiabilidade, por sua vez, mede a consistência do resultado, buscando eliminar os erros inerentes ao processo.

Analisa os instrumentos de avaliação dos processos de seleção de candidatos que tiveram como primeira opção os cursos de Ciências Econômicas e Matemática da Universidade Católica de Brasília, dos concursos vestibulares em 1997, 1998 e 1999. Nessa pesquisa o autor estuda o construto raciocínio lógico-matemático expresso pelos projetos pedagógicos dos cursos de Ciências Econômicas e Matemática da Universidade Católica de Brasília, justificando-se pelo grande vínculo que a teoria matemática mantém com os cursos estudados neste trabalho e pelo peso conferido à prova de Matemática na seleção dos alunos que serão admitidos nesses cursos.

Estruturalmente falando, o texto está dividido em seis partes. Na primeira o autor faz uma breve, porém eficiente, revisão da literatura sobre os exames de seleção ao Ensino Superior, comparando o sistema brasileiro com o americano, descrevendo propostas alternativas ao modelo tradicional etc. No Brasil, dentre as propostas para substituir o vestibular, as notas obtidas pelo candidato durante o Ensino Fundamental e Médio é uma das propostas mais conhecidas. A opção mais recente é uso das notas do Enem e a seleção pelo Sisu, que rompe com barreiras geográficas. Tais opções guardam similaridade com processos de seleção como o Baccalauréat (Alemanha) e os testes SAT e American College Testing (EUA). Também há propostas que defendem a livre matrícula no Ensino Superior, uma vez que ela também é livre no Ensino Fundamental e Médio. Esse modelo é adotado, por exemplo, na Universidade da República do Uruguai (Uruguai) e na Katholieke Uivesiteit Leuven (Bélgica).

Na segunda parte deste livro o autor apresenta, de forma clara e didática, um breve tutorial sobre validade e confiabilidade de instrumentos de avaliação, com foco na seleção para o Ensino Superior. Gostei particularmente dessa seção, pois, apesar de não ser exaustiva, ela fornece material introdutório que pode ser utilizado por pesquisadores que estão dando seus primeiros passos na área de validação de instrumentos psicométricos. Nessa seção, quando o autor afirma que o coeficiente alfa vai de 0 a 1, ele está se referindo aos valores que podem ser interpretados à luz dos pressupostos teóricos do modelo de confiabilidade adotado, pois a fórmula para o cálculo do coeficiente admite valores negativos, e isso ocorre quando a covariância média entre os itens resulta negativa, o que viola um dos pressupostos referidos. Nesse caso é recomendável uma verificação na codificação dos itens.

Na terceira parte do trabalho o autor descreve os procedimentos metodológicos para o estudo da validade de instrumentos de seleção para o nível superior; nessa seção o autor menciona o procedimento proposto por Wherry em 1984 para transformar as variáveis nominais em variáveis intervalares. À primeira vista pode parecer que o procedimento fere pressupostos da teoria da medida, no entanto, a variável nominal não é exatamente transformada em uma variável intervalar. O método, essencialmente, substitui cada categoria assumida pela variável nominal pelo escore médio da variável dependente de todos os indivíduos pertencentes a essa categoria. Trata-se de um artifício parecido com aquele utilizado no cálculo da correlação bisserial de pontos, onde as categorias são substituídas por valores arbitrários (em geral, 0 e 1).

A quarta parte do trabalho é dedicada à apresentação dos resultados do estudo de caso envolvendo a Universidade Católica de Brasília bem como dos procedimentos metodológicos. Acredito que podem ser usadas, facilmente, como um roteiro para futuras avaliações.

Na última parte o autor apresenta suas conclusões e recomendações para futuras pesquisas. Nessa parte o autor, além de analisar o processo avaliativo da seleção de candidatos, inclui sugestões que orientam novas pesquisas na área, hábeis para produzir informações melhor estruturadas e com maior força empírica e uma metodologia que forneça subsídios que auxiliem na escolha do melhor processo para essa seleção.

Considerando o conjunto da obra, o texto é acessível aos profissionais da área de educação e áreas afins. O autor buscou conciliar rigor com acessibilidade e optou por descrições rápidas em vez de definições formais; nesse sentido, o texto não decepciona e acaba por suprir uma lacuna, em linguagem acessível, de um importante tema derivado das análises estatísticas, a saber, os métodos de avaliação da confiabilidade e validade de escalas psicométricas. Apesar de o trabalho que deu base a esta obra ter sido escrito há mais de uma década, o tema se mantém atualizado e útil a profissionais que trabalham, ou pretendem trabalhar, na apaixonante área da avaliação educacional.

Professor Doutor José Fausto de Morais

Universidade Federal de Uberlândia

30 de março de 2016

SUMÁRIO

CAPÍTULO 1

INTRODUÇÃO

CAPÍTULO 2

OS EXAMES DE SELEÇÃO AO ENSINO SUPERIOR

CAPÍTULO 3

VALIDADE E CONFIABILIDADE DA SELEÇÃO PARA O ENSINO SUPERIOR

3.1.Confiabilidade

3.1.1. Método das Duas Metades (split-half)

3.1.2. Coeficiente Alfa de Cronbach

3.1.3. Estimativas de Kuder-Richardson

3.1.4. Casos Particulares do Coeficiente Alfa

3.1.5. Processo de Análise de Variância de Hoyt

3.2. Validade

3.2.1. Validade de Conteúdo ou Curricular

3.2.2. Validade Relativa a um Critério

3.2.3. Validade de Construto

3.2.4. Validade Discriminante

3.3. Validação de Instrumentos de Seleção ao Ensino Superior

CAPÍTULO 4

ANÁLISE DA TRANSICÃO ENSINO MÉDIO PARA O ENSINO SUPERIOR E O DESEMPENHO ACADÊMICO

4.1. Desempenho no Concurso Vestibular: estatísticas descritivas

4.1.1. Desempenho no Concurso Vestibular: curso de Ciências Econômicas

4.1.2. Desempenho no Concurso Vestibular: curso de Matemática

4.2 Descrição das Variáveis Sociodemográficas

4.2.1. Variáveis Sociodemográficas: curso de Ciências Econômicas

4.2.2. Variáveis Sociodemográficas: curso de Matemática

4.3. Descrição da Variável Critério – Notas do curso de Ciências Econômicas e Matemática Referentes aos Alunos Admitidos nos Concursos Vestibulares em Estudo

4.3.1. Descrição e Análise das Disciplinas do Curso de Ciências Econômicas: 1º ao 3º semestre de cada um dos vestibulares em estudo

4.3.2. Descrição e Análise das Disciplinas do Curso de Matemática: 1º ao 3º semestre de cada um dos vestibulares em estudo

4.4. Coeficiente de Confiabilidade

4.4.1. Consistência Interna – Confiabilidade – curso de Ciências Econômicas

4.4.2. Consistência Interna – Confiabilidade – curso de Matemática

4.5. Poder Discriminador ou Capacidade Discriminativa – cursos de Ciências Econômicas e Matemática

4.6. Análise de Correlação

4.6.1. Análise de Correlação – curso de Ciências Econômicas

4.6.2. Análise de Correlação – curso de Matemática

4.7. Poder Explicativo das Variáveis Independentes sobre as Dependentes

4.7.1. Correlação Múltipla e Explicação da Variância da Variável Dependente (Escores do Vestibular) – Curso de Ciências Econômicas

4.7.2. Correlação Múltipla e Explicação da Variância da Variável dependente (Escores do Vestibular) – Curso de Matemática

4.8. Comparação das Variáveis Sociodemográficas Padronizadas no Concurso Vestibular

4.8.1. Comparação das Variáveis Sociodemográficas, Dicotomizadas e Padronizadas, dos Alunos do Curso de Ciências Econômicas, Admitidos nos Vestibulares da UCB

4.8.2. Comparação das Variáveis Sociodemográficas, Dicotomizadas e Padronizadas dos Alunos do Curso de Matemática Admitidos nos Vestibulares da UCB

4.9. Notas Padronizadas mais Influentes na Nota Final dos Concursos Vestibulares

4.9.1. Identificação das Provas Padronizadas no Vestibular, Mais Influentes para a Nota do Concurso Vestibular do Curso de Ciências Econômicas

4.9.2. Identificação das Provas Padronizadas no Vestibular Mais influentes para a Nota do Concurso Vestibular do Curso de Matemática

4.10. Comparação entre as Notas Padronizadas nos Concursos Vestibulares do Curso de Ciências Econômicas e Matemática

4.11. Análise de Validade de Construto

4.11.1. Análise de Validade de Construto do curso de Ciências Econômicas

4.11.2. Análise de Validade de Construto do curso de Matemática

CAPíTULO 5

CONSIDERAÇÕES FINAIS

REFERÊNCIAS

CAPÍTULO 1

INTRODUÇÃO

A avaliação de projetos educacionais tomou grande impulso a partir de 1960, principalmente nos Estados Unidos. O vulto dos investimentos realizados nesse país em projetos educacionais inovadores, a complexidade desses programas, o desenvolvimento da tecnologia atuou, entre outros fatores, motivando a criação de novas metodologias de avaliação de programas educacionais. Passou-se a ligar a avaliação ao processo decisório; ou seja, o problema básico da avaliação passou a ser a coleta das informações necessárias para que se pudesse tomar uma decisão sobre continuar ou não um programa educacional, alterá-lo ou dá-lo por terminado. Trata-se não apenas de definir objetivos, de medir comportamentos, de verificar a congruência entre objetivos visados e resultados obtidos; a coleta de informações é dirigida, principalmente, para a finalidade de formulação de alternativas de decisão que possam fundamentar, com realismo, uma política educacional.

É nesse sentido que uma avaliação dos processos utilizados nas universidades brasileiras para a admissão de alunos deveria servir de base para a tomada de decisões, ou seja, ter em vista uma forma de realização que forneça resultados ou medidas capazes de informar adequadamente o processo de decisão sobre os candidatos que devem ser escolhidos e, consequentemente, os que não serão. Não seria simplesmente uma discussão das qualidades ou deficiências das provas empregadas nas seleções das diversas universidades brasileiras; nem apenas o resultado de trabalho de comissões, cujas opiniões, embora valiosas, são expressas em pareceres inevitavelmente permeados de subjetividade.

A avaliação de programas atualmente requer o emprego de especialistas para a formulação de modelos adequados, para o controle e a coleta das informações e para a análise de dados. No caso particular de acesso aos cursos superiores brasileiros, a presença de especialistas em medidas educacionais torna-se indispensável, dado o papel que as provas desempenham na seleção dos candidatos.

Mesmo que estejam de acordo com a legislação e o perfil de aluno desejado pela escola, os programas e as questões do vestibular podem estar interagindo com características socioeconômicas, culturais, demográficas e educacionais do aluno que a escola recebe, as quais se manifestam em valores, preferências e experiências dos alunos, de tal forma a tornar menos válida a seleção, pois essas manifestações podem interferir no resultado final do aluno e, portanto, no seu ingresso ao nível superior.

Dessa forma, não é um problema somente técnico, mas também humano, com consequências imprevisíveis. É o rigor metodológico que assegura resultados confiáveis, para que possam ser sugeridas alternativas de decisão sobre o processo de seleção de alunos para as universidades, de tal modo que as universidades gerem alterações a serem introduzidas no processo e se fundamentem na verificação objetiva das vantagens e desvantagens do atual sistema.

Os sistemas de seleção praticados pelas diferentes instituições podem ter características comuns, principalmente em relação a práticas estabelecidas por lei ou pelo uso. Entretanto, diferem basicamente quando apresentam um conjunto diferente de provas para cada instituição, um conjunto diferente de opções para ingresso nos cursos superiores e diferem quanto ao próprio conjunto de cursos oferecidos.

Podemos listar uma série de exemplos que deixarão claras as diferenças. No presente momento, as provas de exame vestibular incluem questões de dois tipos: o de resposta construída pelo aluno, também denominada de questão discursiva, analítico-expositiva, aberta ou de resposta livre; e o de resposta a ser escolhidas pelo aluno entre alternativas que lhe são apresentadas, também chamada de questão objetiva ou fechada.

A Universidade Estadual de Campinas – Unicamp, por exemplo, usa somente questões de resposta construída nas duas fases de realização de seu processo seletivo, justificando a escolha pela validade com que as questões podem medir as características do perfil de aluno desejado pela escola (Archangelo, 1998). Baseia-se o argumento na suposição de que as questões objetivas não são capazes de selecionar candidatos com habilidades desejadas para o futuro aluno que entrará na universidade.

A Fundação Universitária para o Vestibular – Fuvest, cujo número total de candidatos tem sido maior que 100 mil a cada ano, utilizamos