DESEMPENHO REGIONAL DOS ALUNOS BRASILEIROS DE ENGENHARIA NO ENADE (2005 A 2017) COM USO DA TAXONOMIA REVISADA DE BLOOM (TBR)

 

Submitted: 22/10/2022. Accepted: 24/12/2022

Published: 30/12/2022

 

RESUMO

 

Objetivos: Este artigo tem o objetivo de analisar o desempenho regional dos cursos de Engenharia de Produção das instituições brasileiras de ensino superior brasileiras que participaram do Exame Nacional de Desempenho dos Estudantes (Enade) nos anos de 2005, 2008, 2011, 2014 e 2017.

Metodologia: devido a dificuldades de coleta de dados mais recentes de Enade, se optou por manter dados estáveis e completos.

Limitação: devido a dificuldades em coletar dados mais recentes do Enade, optou-se por manter os dados estáveis e completos.

Resultados: Os resultados realçam desenpenhos inferiores em determinadas regiões do território brasileiro. Uma efetiva política de avaliação proporia ações para mudança do quadro que parece se perpetuar por todos os instrumentos avaliativos pelos quais as instituições da região Norte foram avaliadas e, apresentaram em quase todas as dimensões, um desempenho menor, o que sugere a necessidade de avaliar com maior cautela demandas por recursos de instituições desse território.

Originalidade: O estudo evidencia diferenças regionais nos desempenhos dos estudantes de Engenharia com base na TBR.

Palavras-chave: território, tbr, brasil, engenharia, enade, inep.

 

REGIONAL PERFORMANCE OF BRAZILIAN ENGINEERING STUDENTS IN ENADE (2005 TO 2017) USING BLOOM'S REVISED TAXONOMY (TBR)

ABSTRACT

 

Objectives: This article aims to analyze the regional performance of Production Engineering courses at Brazilian higher education institutions that participated in the National Student Performance Examination (Enade) in the years 2005, 2008, 2011, 2014 and 2017.

Methodology: This exploratory study is based on quali-quanti and uses Bloom's Revised Taxonomy (TBR) to classify and group issues, students and institutions by geographic dimensions.

Limitation: due to difficulties in collecting more recent data from Enade, it was decided to keep stable and complete data.

Results: The results highlight lower performances in certain regions of the Brazilian territory. An effective evaluation policy would propose actions to change the scenario that seems to be perpetuated by all the evaluation instruments by which the institutions of the North region were evaluated and, presented in almost all dimensions, a lower performance, which suggests the need to evaluate with greater caution demands for resources from institutions in that territory.

Originality: The study shows regional differences in the performance of Engineering students based on the TBR.

Keywords: territory, tbr, brazil, engineering, enade, inep.

1. INTRODUÇÃO

Baseado na preocupação com a qualidade do ensino superior (Manuel & Mendes, 2021) e reconhecendo o perfil do egresso com as diversas áreas de atuação profissional (Lima, 2020; Andriola & Barrozo, 2020; Mello & Sousa, 2021), o conteúdo das questões aplicadas no ENADE, principal instrumento de avaliação discente do INEP, tem sido monitorada por pesquisadores com a finalidade de avaliar desempenho de instituições.

É importante monitorar o perfil de tais avaliações, a evolução da forma como são estruturadas, elaboradas e aplicadas aos alunos desde 2005 até a atualidade. E a Taxonomia Revisada de Bloom (TBR), usada em estudos como os de Moimaz et al. (2017), Costa & Martins (2017), Souza et al. (2020), pode contribuir para uma avaliação sobre as competências formativas em curso. Diferentemente de estudos anteriores este estudo dará enfase sobre regiões, abordando o aspecto territorial, uma lacuna na literatura. Tendo essa referência, este estudo tem o objetivo de analisar o desempenho regional dos cursos de Engenharia de Produção das instituições brasileiras de ensino superior brasileiras que participaram do Exame Nacional de Desempenho dos Estudantes (Enade) nos anos de 2005, 2008, 2011, 2014 e 2017.

Depois da classificação qualitativa das questões, se associou o desempenho dos alunos de cada instituição à cada dimensão identificada e em relação à posição geográfica. Sendo assim, se evolui para avaliar a TBR sob a referência do espaço territorial. Para isso, utiliza-se dos Relatórios de Curso disponibilizados pelo Inep para ter acesso aos percentuais de acerto por questão para cada segmento, onde dos 6 segmentos disponíveis, sendo eles: Curso, Unidade Federativa, Região, Categoria Administrativa, Organização Acadêmica e Brasil, o estudo não irá abordar os segmentos Unidade Federativa e Brasil.

O estudo do desempenho por célula territorial pode valorizar as dimensões do conhecimento TBR exigidas nas qjuestões do exame ENADE. O estudo pode apoiar gestores a compreender sobre desempenho, avaliação e alocação de recursos, conforme citam Diaz-Villavicencio (2020), Gumiero & Tigre (2020), Silva et al., (2021) quanto a haver relevância. Além desta introdução, o artigo apresenta uma revisão bibliográfica sobre taxonomia de bloom revisada. A seguir, uma seção metodologia e, por fim, a seção resultados e referências.

 

2. TAXONOMIA DE BLOOM REVISADA

A revisão da Taxonomia de Bloom foi publicado no livro Taxonomy for Learning, Teachingand Assessing: a revision of Bloom’s taxonomy or educational objectives (Anderson & Krathwohl, 2001; Abuhassna et al., 2020; Costa & Fernandes, 2021). Para Anderson & Krathwohl (2001), Ferraz & Belhot (2010) e Faraum & Cirino (2020), a Taxonomia de Bloom Revisada é um esquema de classificação proveniente de alterações na taxonomia de Bloom original, onde as principais diferenças não estão apenas na troca de substantivos por verbos, na renomeação de alguns dos componentes ou no reposicionamento das duas últimas categorias.

Elas residem nas afirmações sobre como a Taxonomia intersecta e age sobre diferentes tipos e níveis de conhecimento - factual, conceitual, procedural e metacognitiva. Esta fusão pode ser mapeada para ver como está o ensino tanto no nível de conhecimento quanto nos níveis do processo cognitivo (Krathwohl, 2002). Para Rodrigues & Santos (2013), dentre as modificações efetuadas na nova taxonomia, a mais significativa está na sua estrutura, representada por duas dimensões (Processos Cognitivos e Processos do Conhecimento).

Os níveis cognitivos assumiram a forma verbal (Conhecimento = Lembrar, Compreensão = Entender, Aplicação = Aplicar, Análise = Analisar, Síntese = Avaliar e Avaliação = Criar). Já na dimensão do processo do conhecimento, a Taxonomia revisada, que contém quatro categorias gerais de conhecimento: factual, conceitual, procedural e metacognitiva, se diferencia da original devido à inclusão da categoria Conhecimento Metacognitivo (Pintrich, 2002).

Através de suas definições tornou-se possível descrever, segundo cada categoria, os processos cognitivos, assim como as dimensões do conhecimento a que se referem, conforme apresentado nos quadros 1 e 2, a seguir:

Quadro 1: Processos cognitivos na Taxonomia de Bloom Revisada (TBR)

Fonte: Adaptado de Ferraz e Belhot, 2010, p. 429.

 

Quadro 2: Dimensão do conhecimento na Taxonomia de Bloom Revisada (TBR)

Fonte: Adaptado de Ferraz & Belhot, 2010, p. 426.

Uma das marcas da teoria psicológica e educacional e da pesquisa sobre aprendizagem desde a publicação da Taxonomia original é a ênfase em ajudar os alunos a se tornarem mais conhecedores e responsáveis por sua própria cognição e pensamento (Pintrich, 2002).

Neste sentido, Ferraz & Belhot (2010) mostram a contribuição por parte da Taxonomia no que tange à padronização da linguagem no meio acadêmico, onde instrumentos de aprendizagem puderam ser trabalhados de forma mais integrada e estruturada, com auxílio dos avanços tecnológicos e de diferentes ferramentas para facilitar o processo de ensino e aprendizagem. Galhardi & Azevedo (2013) afirmam que esta integração não só permite aos alunos expectativas mais claras, mas também dá ao educador, um método de avaliação menos sujeito a vieses, auxiliando o professor a diferenciar as dificuldades e necessidades específicas de cada aluno, aplicando os mesmos conceitos através dos diferentes níveis da hierarquia.

Segundo mencionado por Airasian & Miranda (2002), um desalinhamento grave de avaliação, objetivos, e instrução pode causar inúmeras dificuldades, principalmente se a instrução não estiver alinhada com o processo de avaliação, podendo levar a um baixo desempenho dos estudantes. Além disso, cada vez mais cresce o número de instituições que são submetidos à avaliações de competência e utilizam a Taxonomia de Bloom Revisada para aumentar o alinhamento do currículo com as habilidades exigidas aos profissionais. Segundo Airasian & Miranda (2002), uma das principais diferenças entre a taxonomia original e a taxonomia revisada é que a original consistia em uma única dimensão; já a revisada reflete uma perspectiva dupla sobre a aprendizagem e cognição. Sendo assim, conforme citado por Silva & Martins (2014) os pesquisadores relacionaram os aspectos de desenvolvimento cognitivo, competência e habilidade de forma a atribuírem característica bidimensional à taxonomia original de Bloom. Ferraz & Belhot (2010) apresentam a Taxonomia de Bloom e as modificações ocorridas nos últimos anos, assim como esclarecer a forma como ela pode ser utilizada dentro do contexto de ensino de engenharia.

 

3. METODOLOGIA DA PESQUISA

O tipo de pesquisa deste estudo é exploratório de base quantitativa, pois tem como foco, primeiramente, a interpretação das respostas dos entrevistados e a investigação do fenômeno em seu ambiente natural (Bogdan & Biklen, 1994) e, posteriormente, as informações são quantificadas em números para classificação e análise através de técnicas estatísticas.

Para coleta de dados, utilizou-se as provas do ENADE aplicadas aos alunos de Engenharia de Produção, Grupo IV, nos anos 2008, 2011, 2014 e 2017, disponíveis no site do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep).

Seguindo procedimentos metodológicos de análise de questões conduzidos por Virranmäki et al. (2020), Vizzotto & Mackedanz (2020), Andrade & Freitag (2021), cada questão do exame foi classificada conforme as categorias definidas na Taxonomia de Bloom Revisada, quanto aos processos cognitivos e as dimensões do conhecimento.

Como procedimento de análise dos dados, utilizou-se dois métodos. A tabulação foi utilizada para organização, como forma de facilitar o entendimento dos dados analisados, uma vez que são quantitativos. Outro método utilizado foi a análise estatística feita através do uso de representações gráficas para fornecer as informações comparativas.

Utilizou-se de tabelas e gráficos buscando facilitar a análise do comportamento do percentual de acerto dos alunos estudantes concluintes do Curso de Engenharia de Produção nos anos 2008, 2011, 2014 e 2017, assim como entender o desempenho dos alunos, segmentado por região frente ao comportamento do percentual de acerto atingido quando associado à dimensão do conhecimento exigida em cada questão no exame.

Para isso, foi feito o cálculo do desvio padrão, como forma de expressar o grau de dispersão dos dados estudados e da média aritmética, somando todos os dados e dividindo pela quantidade de dados disponível, para demonstrar a centralidade dos dados e trazer mais clareza ao comportamento dos segmentos nos gráficos. Os cálculos foram feitos através do Software Excel por meio da fórmula do desvio padrão mostrada abaixo:

 

 

 

 

 

 

 

∑: símbolo de somatório. Indica que temos que somar todos os termos, desde a primeira posição (i=1) até a posição n
xi: valor na posição i no conjunto de dados
MA: média aritmética dos dados
n: quantidade de dados

 

Os materiais coletados e analisados foram as 200 questões das provas do ENADE aplicadas a alunos de Engenharia de Produção, Grupo IV, nos anos 2008, 2011, 2014 e 2017. O Ministério da Educação define, anualmente, as áreas propostas pela Comissão de Avaliação da Educação Superior (CONAES), e a periodicidade máxima de aplicação do ENADE, em cada área (a cada 3 anos). Sendo assim, há limitação no que tange à quantidade de questões aplicadas à área estudada, uma vez que quanto maior a amostra, mais apurada será a avaliação.

 

4. RESULTADOS

Através do website do INEP, teve-se acesso aos Relatórios de Curso onde foram disponibilizados os percentuais de acerto para cada questão dos exames ENADE dos anos 2008, 2011, e 2014 e 2017, considerando apenas as questões objetivas válidas. Os percentuais de acerto são calculados para cada um dos 6 segmentos disponíveis, sendo eles: Curso, Unidade Federativa, Região, Categoria Administrativa, Organização Acadêmica e Brasil, no entanto o estudo se delimitará aos segmentos Região, Categoria Administrativa e Organização Acadêmica.

No segmento Região, o percentual de acerto difere em cada Região do Brasil, sendo elas: Norte, Nordeste, Sudeste, Sul e Centro-Oeste.

 

4.1 Análise por Região 2008

Em 2008, o Exame Nacional de Desempenho de Estudantes na Área de Engenharia – Grupo VI contou com a participação de estudantes de 245 cursos.

A região Sudeste foi a de maior representação, concentrando 150 dos cursos, ou 61,2% do total nacional. As regiões Sul e Nordeste tiveram representação, respectivamente, de 17,5% e de 12,6% do total de cursos. A região de menor representação foi a Centro-Oeste, com dez cursos, ou 4,1% do total, seguida de perto pela região Norte com 11 cursos (4,5%) (INEP, 2019). No Gráfico 1, a Região Nordeste se destacou pelo maior desvio padrão dos percentuais de acerto no valor de 17,09, o que significa que ela obteve as quantidades de acertos mais dispares entre as questões. a região Centro-Oeste apresentou o menor valor (13,79), além de possuir o desvio padrão mais homogêneo do ano de 2008. As regiões Norte e Sul obtiveram um desvio padrão similar de 16,37 e 16,20 respectivamente, o que aproxima as regiões no que tange ao domínio do Conhecimento Efetivo/Factual, exigido nas questões. Já a região Sudeste apresentou um desvio padrão no valor de 15,50 se aproximando do valor das regiões Norte e Sul.

 

 

 

Gráfico 1: Análise por região – Conhecimento Efetivo/Factual – 2008

Fonte: Dados da Pesquisa.

Ainda no gráfico 1, em relação a média dos percentuais de acerto, a região Sul apresentou média de 55,87 que representa o melhor entre os resultados. As regiões Nordeste, Sudeste e Centro-Oeste obtiveram médias intermediárias nos valores de 54,73, 54,54 e 54,09, respectivamente. Já a região que atingiu a menor média foi a Norte (52,39).

No Gráfico 2, a Região Norte se destacou pelo maior desvio padrão dos percentuais de acerto no valor de 18,36, o que significa que ela obteve as quantidades de acertos mais dispares entre as questões. A região Nordeste apresentou o menor valor (16,42), além de possuir o desvio padrão mais homogêneo do ano de 2008. As regiões Sudeste, Centro-Oeste e Sul obtiveram um desvio padrão similar de 17,02, 17,04 e 17,10 respectivamente, o que aproxima as regiões no que tange ao domínio do conhecimento Conceitual/Princípios, exigido nas questões. Em relação a média dos percentuais de acerto, a região Sul apresentou média de 42,06 que representa o melhor entre os resultados. As regiões Sudeste e Nordeste obtiveram uma média intermediária no valor de 38,97 e 38,35, respectivamente. Já as regiões que atingiram as menores médias foram a Norte e a Centro-Oeste (35,6 e 36,49).

Gráfico 2: Análise por região – Conhecimento Conceitual/Princípios – 2008

Fonte: Dados da Pesquisa.

 

O gráfico 3 permite perceber que a Região Sul apresentou o maior desvio padrão dos percentuais de acerto no valor de 8,11, o que significa que ela obteve as quantidades de acertos mais dispares entre as questões. Em contrapartida, a região Centro-Oeste obteve os dados mais homogêneos, ou seja, o percentual de acerto (6,69) nas questões do ano de 2008 que exigem domínio do conhecimento Procedural ficou mais próximo se comparado as demais regiões.

Gráfico 3: Análise por região – Conhecimento Procedural – 2008

Fonte: Dados da Pesquisa.

Já as regiões Norte, Nordeste e Sudeste obtiveram um desvio padrão similar de 7,89, 7,79 e 7,21 respectivamente, o que demonstra que as três regiões tiveram desempenho parecido no conjunto de questões. Em relação a média dos percentuais de acerto, a região Sul apresentou média de 38,84 que representa o melhor entre os resultados. A região Sudeste obteve uma média intermediária no valor de 36,36. Já as regiões que atingiram as menores médias foram a Centro-Oeste, Norte e a Nordeste (32,29, 32,38 e 33).

 

4.2 Análise por Região 2011

Em 2011, o Exame Nacional de Desempenho de Estudantes na Área de Engenharia – Grupo VI contou com a participação de estudantes de 215 cursos.

A região Sudeste foi a de maior representação, concentrando 126 dos cursos, ou 58,6% do total nacional. As regiões Sul e Nordeste tiveram representação, respectivamente, de 20,0% e de 12,1% do total de cursos. A região de menor representação foi a Centro-Oeste, com oito cursos, ou 3,7% do total, seguida de perto pela região Norte com 12 cursos (5,6%) (INEP, 2019).

No Gráfico 4, a Região Centro-Oeste se destacou pelo maior desvio padrão dos percentuais de acerto no valor de 17,22, o que significa que ela obteve as quantidades de acertos mais dispares entre as questões. As regiões Sul e Sudeste apresentaram os menores valores, 15,38 e 15,60 respectivamente, além de possuir o desvio padrão mais homogêneo do ano de 2011. As regiões Norte e Nordeste obtiveram um desvio padrão similar de 16,25 e 16,61 respectivamente, o que aproxima as regiões no que tange ao domínio do Conhecimento Efetivo/Factual, exigido nas questões.

Em relação a média dos percentuais de acerto, as regiões Sul e Norte apresentaram médias de 63,97 que representa os melhores entre os resultados. As regiões Nordeste e Sudeste obtiveram médias intermediárias nos valores de 62,41 e 62,17, respectivamente. Já a região que atingiu a menor média foi a Centro-Oeste (60,85).

 

Gráfico 1: Análise por região – Conhecimento Efetivo/Factual – 2011

Fonte: Dados da Pesquisa.

No Gráfico 5, a região Sul se destacou pelo maior desvio padrão dos percentuais de acerto no valor de 16,95, o que significa que ela obteve as quantidades de acertos mais dispares entre as questões. A região Centro-Oeste apresentou o menor valor (12,42), além de possuir o desvio padrão mais homogêneo do ano de 2011. As regiões Sudeste, Nordeste e Norte obtiveram um desvio padrão similar de 14,39, 14,02 e 15,73, respectivamente, o que aproxima as regiões no que tange ao domínio do conhecimento Conceitual/Princípios, exigido nas questões. Em relação a média dos percentuais de acerto, a região Sul apresentou média de 37,27 que representa o melhor entre os resultados. As regiões Nordeste, Sudeste e Norte obtiveram uma média intermediária nos valores de 36,25, 36,01 e 35,74, respectivamente. Já a região Centro-Oeste (33,53) atingiu a menor média.

Gráfico 5: Análise por região – Conhecimento Conceitual/Princípios- 2011

 

 

 

 

 

 

 

 

 

Fonte: Dados da Pesquisa.

O gráfico 6 permite perceber que a Região Sul apresentou o maior desvio padrão dos percentuais de acerto no valor de 23,45, o que significa que ela obteve as quantidades de acertos mais dispares entre as questões. Em contrapartida, a região Nordeste obteve os dados mais homogêneos, ou seja, o percentual de acerto (21,96) nas questões do ano de 2011 que exigem domínio do conhecimento Procedural ficou mais próximo se comparado as demais regiões. Já as regiões Sudeste, Centro-Oeste e Norte obtiveram um desvio padrão similar de 22,27, 22,33 e 22,70 respectivamente, o que demonstra que as regiões tiveram desempenho parecido no conjunto de questões que exigem que o discente utilize o Conhecimento Procedural. Em relação a média dos percentuais de acerto, as regiões Sudeste, Nordeste e Sul apresentaram média de 30, 29,91 e 29,51, respectivamente, sendo os melhores entre os resultados. A região Norte obteve uma média intermediária no valor de 28,73. Já a região que atingiu a menor média foi a Centro-Oeste (26,03).

Gráfico 6: Análise por região – Conhecimento Procedural – 2011

Fonte: Dados da Pesquisa.

No Gráfico 7 não foi possível o cálculo do desvio padrão, uma vez que, apenas uma questão da prova neste ano foi classificada na Dimensão do Conhecimento Metacognitivo, dentre as questões objetivas, pois essa dimensão costuma ser mais exigida em questões discursivas onde há necessidade do reconhecimento da cognição em geral e da profundidade de conhecimento adquirido sobre um determinado conteúdo.

Gráfico 7: Análise por região – Conhecimento Metacognitivo – 2011

Fonte: Dados da Pesquisa.

Além disso, para o cálculo do desvio padrão necessita-se que no mínimo 2 questões recebam a mesma classificação, sendo assim optou-se por analisar o percentual dos alunos na questão de acordo com cada região. A Região Sul atingiu o maior percentual de acerto no valor de 32,9. A região Nordeste apresentou o menor valor de 26,9. Já as regiões Centro-Oeste, Sudeste e Norte obtiveram percentual de acerto similar de 28,4, 29,5 e 29,8, respectivamente, o que aproxima as regiões no que tange ao domínio do Conhecimento Metacognitivo, exigido nas questões.

 

4.3 Análise por Região 2014

Em 2014, o Exame Nacional de Desempenho de Estudantes na Área de Engenharia de Produção contou com a participação de estudantes de 329 cursos. A região Sudeste foi a de maior representação, concentrando 205 cursos, ou 62,3% do total nacional. As regiões Sul e Nordeste tiveram representações, respectivamente, de 16,1% e de 13,7% do total de cursos. A região de menor representação foi a Norte, com 11 cursos ou 3,3% do total, seguida pela região Centro-Oeste com 15 cursos (4,6%) (INEP, 2019).

No Gráfico 8, a Região Sul se destacou pelo maior desvio padrão dos percentuais de acerto no valor de 15,86, o que significa que ela obteve as quantidades de acertos mais dispares entre as questões. As regiões Centro-Oeste e Sudeste apresentaram os menores valores, 12,63 e 14,30 respectivamente, além de possuir o desvio padrão mais homogêneo do ano de 2014. As regiões Nordeste e Norte obtiveram um desvio padrão similar de 15,10 e 15,05 respectivamente, o que aproxima as regiões no que tange ao domínio do Conhecimento Efetivo/Factual, exigido nas questões. Em relação a média dos percentuais de acerto, a região Sul apresentou média de 62,35, sendo o melhor entre os resultados. As regiões Nordeste, Centro-Oeste e Sudeste obtiveram médias intermediárias nos valores de 61,62,60,80 e 60,77, respectivamente. Já a região que atingiu a menor média foi a Norte (58,45).

Gráfico 8: Análise por região – Conhecimento Efetivo/Factual – 2014

Fonte: Dados da Pesquisa.

No Gráfico 9, a Região Norte se destacou pelo maior desvio padrão dos percentuais de acerto no valor de 20,07, o que significa que ela obteve as quantidades de acertos mais dispares entre as questões. A região Sul apresentou o menor valor 17,51, além de possuir o desvio padrão mais homogêneo do ano de 2014. As regiões Nordeste, Sudeste, e Centro-Oeste obtiveram um desvio padrão similar de 18,07, 18,08 e 19,29, respectivamente, o que aproxima as regiões no que tange ao domínio do conhecimento Conceitual/Princípios, exigido nas questões.

Gráfico 9: Análise por região – Conhecimento Conceitual/Princípios – 2014

Fonte: Dados da Pesquisa.

Em relação a média dos percentuais de acerto, a região Sul apresentou média de 56,09, sendo o melhor entre os resultados. As regiões Sudeste e Nordeste obtiveram médias intermediárias nos valores de 53,33 e 53,77. Já as regiões que atingiram as menores médias foram a Norte e a Centro-Oeste (49,40 e 50,17).

O gráfico 10 permite perceber que a Região Sul apresentou o maior desvio padrão dos percentuais de acerto no valor de 20,41, o que significa que ela obteve as quantidades de acertos mais dispares entre as questões. Em contrapartida, a região Norte obteve os dados mais homogêneos, ou seja, o percentual de acerto nas questões do ano de 2014 que exigem domínio do conhecimento Procedural ficou mais próximo se comparado as demais regiões. Já as regiões Sudeste, Nordeste e Centro-Oeste obtiveram um desvio padrão similar de 19,33, 19,91 e 20,04 respectivamente, o que demonstra que as regiões tiveram desempenho parecido no conjunto de questões que exigem que o discente utilize o Conhecimento Procedural. Em relação a média dos percentuais de acerto, a região Sul apresentou média de 48,82, sendo o melhor entre os resultados. As regiões Sudeste e Nordeste obtiveram médias intermediárias nos valores de 43,99 e 43,42. Já as regiões que atingiram as menores médias foram a Norte e a Centro-Oeste (40,37 e 40,97).

Gráfico 10: Análise por região – Conhecimento Procedural – 2014

 

 

 

 

 

 

 

 

 

 

Fonte: Dados da Pesquisa.

 

No Gráfico 11, a Região Sul se destacou pelo maior desvio padrão dos percentuais de acerto no valor de 24,24, o que significa que ela obteve as quantidades de acertos mais dispares entre as questões. As regiões Norte e Centro-Oeste apresentaram os menores valores, 20,28 e 20,36, respectivamente, além de possuir o desvio padrão mais homogêneo do ano de 2014. As regiões Nordeste e Sudeste obtiveram um desvio padrão similar de 21,56 e 21,61, respectivamente, o que aproxima as regiões no que tange ao domínio do Conhecimento Metacognitivo.

Gráfico 11: Análise por região – Conhecimento Metacognitivo - 2014

Fonte: Dados da Pesquisa.

Em relação a média dos percentuais de acerto, a região Sul apresentou média de 37,70, sendo o melhor entre os resultados. As regiões Nordeste, Sudeste e Centro-Oeste obtiveram médias intermediárias nos valores de 36,27, 35,53, e 34,80, respectivamente. Já a região que atingiu a menor média foi a Norte (32,37).

 

4.4 Análise por Região 2017

Em 2017, o Exame Nacional de Desempenho de Estudantes na Área de Engenharia de Produção contou com a participação de estudantes de 500 cursos.

A região Sudeste foi a de maior representação, concentrando 303 cursos, ou 60,6% do total nacional. A região Sul teve 95 cursos participantes, correspondendo a 19,0% do total. A região Nordeste participou com 62 cursos, correspondendo a 12,4% do total de cursos. A região Centro-Oeste participou com 23 cursos (4,6% do total). A região de menor representação foi a Norte, com 17 cursos ou 3,4% do total (INEP, 2019).

No Gráfico 12, as regiões Centro-Oeste e Sul se destacaram pelos maiores desvios padrão dos percentuais de acerto no valor de 22,60 e 22,51, respectivamente, o que significa que ela obteve as quantidades de acertos mais dispares entre as questões. As regiões Nordeste, Sudeste e Norte apresentaram os menores valores (21,11, 21,85 e 21,91), além de possuírem os desvios padrão mais homogêneos do ano de 2017.

Gráfico 12: Análise por região – Conhecimento Efetivo/Factual – 2017

Fonte: Dados da Pesquisa.

Em relação a média dos percentuais de acerto, gráfico 12, a região Sul apresentou média de 50,58, sendo o melhor entre os resultados. As regiões Sudeste, Centro-Oeste e Nordeste obtiveram médias intermediárias nos valores de 48,80, 48,50 e 47,37, respectivamente. Já a região que atingiu a menor média foi a Norte (44,12).

No Gráfico 13, a Região Sul se destacou pelo maior desvio padrão dos percentuais de acerto no valor de 11,03, o que significa que ela obteve as quantidades de acertos mais dispares entre as questões. A região Norte apresentou o menor valor 8,85, além de possuir o desvio padrão mais homogêneo do ano de 2017. As regiões Sudeste, Centro-Oeste e Nordeste obtiveram um desvio padrão similar de 9,33, 9,65 e 9,70, respectivamente, o que aproxima as regiões no que tange ao domínio do conhecimento Conceitual/Princípios, exigido nas questões. Em relação a média dos percentuais de acerto, a região Sul apresentou média de 43,85, sendo o melhor entre os resultados. As regiões Sudeste, Nordeste e Centro-Oeste obtiveram médias intermediárias nos valores de 41,48, 41,33 e 40,75, respectivamente. Já a região que atingiu a menor média foi a Norte (37,30).

 

Gráfico 13: Análise por região – Conhecimento Conceitual/Princípios – 2017

Fonte: Dados da Pesquisa.

O gráfico 14 permite perceber que a Região Norte apresentou o maior desvio padrão dos percentuais de acerto no valor de 18,61, o que significa que ela obteve as quantidades de acertos mais dispares entre as questões. Em contrapartida, as regiões Nordeste e Centro-Oeste obtiveram os dados mais homogêneos, ou seja, o percentual de acerto nas questões do ano de 2017 que exigem domínio do conhecimento Procedural ficou mais próximo se comparado as demais regiões. Já as regiões Sudeste e Sul obtiveram um desvio padrão similar de 17,55 e 17,79, respectivamente, o que demonstra que as regiões tiveram desempenho parecido no conjunto de questões que exigem que o discente utilize o Conhecimento Procedural. Em relação a média dos percentuais de acerto, a região Sul apresentou média de 47,93, sendo o melhor entre os resultados. As regiões Sudeste, Centro-Oeste e Nordeste obtiveram médias intermediárias nos valores de 43,80, 43,64 e 42,73, respectivamente. Já a região que atingiu a menor média foi a Norte (37,91).

Gráfico 14: Análise por região – Conhecimento Procedural – 2017

Fonte: Dados da Pesquisa.

No Gráfico 15, a Região Sul se destacou pelo maior desvio padrão dos percentuais de acerto no valor de 18,67, o que significa que ela obteve as quantidades de acertos mais dispares entre as questões. As regiões Sudeste e Nordeste apresentaram os menores valores, 15,05 e 15,51, respectivamente, além de possuir o desvio padrão mais homogêneo do ano de 2017. As regiões Norte e Centro-Oeste obtiveram um desvio padrão similar de 17,90 e 17,15, respectivamente, o que aproxima as regiões no que tange ao domínio do Conhecimento Metacognitivo, exigido nas questões. Em relação a média dos percentuais de acerto, a região Sul apresentou média de 51,33, sendo o melhor entre os resultados. As regiões Sudeste, Centro-Oeste e Nordeste obtiveram médias intermediárias nos valores de 45,83, 45,60 e 45,43, respectivamente. Já a região que atingiu a menor média foi a Norte (43,87).

Gráfico 15: Análise por região – Conhecimento Metacognitivo – 2017

Fonte: Dados da Pesquisa.

 

Ao analisar os relatórios de Curso e correlacionar as Dimensões do Conhecimento com as regiões do Brasil, verificou-se o comportamento das regiões frente as Dimensões do conhecimento através do desvio padrão e da média dos percentuais de acerto, onde as regiões que atingiram maior desvio padrão obtiveram percentuais de acerto mais dispares entre as questões classificadas em determinada dimensão do conhecimento. Na dimensão do Conhecimento Efetivo/Factual a região que apresentou maior discrepância entre os percentuais de acerto foi a Centro-Oeste, em 2005,2011 e 2017, seguida da região Nordeste, em 2008 e da Sul, em 2014. Já as regiões que tiveram os valores dos percentuais de acerto mais próximos foram a Centro-Oeste, em 2008 e 2014, a Nordeste, em 2005 e 2017 e a Sul, em 2011. Por outro lado, o comportamento da média dos percentuais de acerto por região apresentou um comportamento onde a região Sul obteve a maior média em todos os anos avaliados na Dimensão do Conhecimento Efetivo/Factual, as menores médias foram obtidas pela região Norte, em 2008, 2014 e 2017, pela região Nordeste, em 2005 e da Centro-Oeste, em 2011.

Na dimensão do Conhecimento Conceitual/Princípios a região que apresentou maior discrepância entre os percentuais de acerto foi a Norte em 2008 e 2014, seguida da região Sul, em 2011 e 2017 e da Centro-Oeste, em 2005. Já as regiões que tiveram os valores dos percentuais de acerto mais próximos foram a Sul, em 2005 e 2014, a Sudeste, em 2008, a Centro-Oeste em 2011 e a Norte, em 2017. Por outro lado, o comportamento da média dos percentuais de acerto por região apresentou um comportamento onde a região Sul obteve a maior média nos anos de 2008 a 2017 e a Norte, em 2005. As menores médias foram obtidas pela região Norte, em 2008, 2014 e 2017, e pela Centro-Oeste, em 2005 e 2011.

Na dimensão do Conhecimento Procedural a região que apresentou maior discrepância entre os percentuais de acerto foi a Sul de 2005 a 2014, seguida da região Norte, em 2017. Já as regiões que tiveram os valores dos percentuais de acerto mais próximos foram a Nordeste, em 2005, 2011 e 2017, a Centro-Oeste, em 2008 e a Norte, em 2014. Por outro lado, o comportamento da média dos percentuais de acerto por região apresentou um comportamento onde a região Sul obteve a maior média nos anos 2008, 2014 e 2017, a Norte, em 2005 e a Sudeste em 2011. As menores médias foram obtidas pela região Centro-Oeste, em 2008 e 2011, pela região Norte, em 2014 e 2017 e pela Nordeste, em 2005.

Na dimensão do Conhecimento Metacognitivo não houve classificação de questões nesta dimensão nos anos 2005 e 2008. Em 2011, apenas 1 questão foi classificada, onde a região com maior percentual de acerto foi a região Sul e a que atingiu menor percentual foi a região Norte. Nos anos 2014 e 2017, a região que apresentou maior discrepância entre os percentuais de acerto foi a Sul. Já as regiões que tiveram os valores dos percentuais de acerto mais próximos foram a Norte, em 2014 e a Sudeste, em 2017. Por outro lado, o comportamento da média dos percentuais de acerto por região nos anos 2014 e 2017, apresentou um comportamento onde a região Sul obteve as maiores médias e as menores médias foram obtidas pela região Norte.

O estudo evidencia recorrentes diferenças territoriais nos desempenhos dos estudantes. É de se preocupar que o Ministério da Educação do Brasil, não perceba os resultados inferiores em determinadas regiões do território brasileiro. Uma efetiva política de avaliação proporia ações para mudança do quadro que parece se perpetuar por todos os instrumentos avaliativos pelos quais os discentes foram avaliados. Parece que as dificuldades de avaliação mencionadas por Airasian & Miranda (2002), já estão causando inúmeras dificuldades, pois levam a um baixo desempenho dos estudantes de forma repetitiva em duas regiões do brasil.

 

CONCLUSÃO

Através do presente estudo, foi possível analisar o desempenho territorial dos alunos matriculados nos cursos de Engenharia de Produção das instituições brasileiras de ensino superior, que estão no fim do curso, nas questões das avaliações do ENADE aplicadas nos anos de 2005, 2008, 2011, 2014 e 2017.

Num primeiro momento, buscou-se classificar as questões em relação as Dimensões do Conhecimento e as Dimensões dos Processos Cognitivos, e entendendo os níveis de conhecimento e cognição da TBR envolvidos nas provas. A seguir, recorreu-se à análise do desempenho mostrado pelos relatórios de curso disponibilizados pelo INEP, quanto ao percentual de acerto dos alunos concluintes do Curso de Engenharia de Produção, no período, buscando entender o desempenho dos alunos, segmentado por região, frente ao comportamento do percentual de acerto atingido quando associado a dimensão do conhecimento exigida em cada questão no exame, através do cálculo do desvio padrão e da média aritmética.

Acredita-se que depois de estudados e compreendidos os níveis taxonômicos requeridos nas questões, será possível escolher estratégias cada vez mais apropriadas para o ensino e aprendizagem nos cursos de engenharia de produção e ainda possibilitar ações específicas orientadas à preparação de discentes para o ENADE. Além de, analisar as pontuações dos alunos de acordo com os segmentos definidos nos relatórios de curso, permitindo assim conhecer o perfil de acerto para cada região do Brasil, para cada categoria administrativa e organização acadêmica e a que situações este perfil pode estar associado.

Quanto às regiões, a região Sul se destacou com as maiores médias em quase todas as dimensões do conhecimento, enquanto a região Norte alcançou as menores médias na maioria das dimensões do conhecimento. Esse comportamento pode ser relacionado ao fato da região Sul ser mais desenvolvida que a região Norte e, consequentemente, possuir melhor qualidade de ensino e mais acesso à educação.

Ao longo deste estudo, foi possível identificar a possibilidade de se desenvolver outras pesquisas de forma a ampliar o entendimento e a aplicação do fenômeno estudado. Este estudo poderia ser aplicado com o acréscimo das questões de edições futuras do exame. O estudo mostrou que as questões no ENADE têm se apresentado cada vez mais contextualizadas, requerendo do aluno, além do conhecimento específico, capacidade de interpretação e entendimento do cenário proposto. O que mostra a importância da criação de uma política de conscientização dos discentes quanto à relevância do ENADE desde o ingresso na graduação, garantindo interesse na execução, do mesmo, ao final do curso.

 

REFERÊNCIAS

Abuhassna, H., Al-Rahmi, W. M., Yahya, N., Zakaria, M. A. Z. M., Kosnin, A. B. M., & Darwish, M. (2020). Development of a new model on utilizing online learning platforms to improve students’ academic achievements and satisfaction. International Journal of Educational Technology in Higher Education, 17(1), 1-23. https://doi.org/10.1186/s41239-020-00216-z

Airasian, P. W., & Miranda, H. (2002). The role of assessment in the revised taxonomy. Theory into practice, 41(4), 249-254. https://doi.org/10.1207/s15430421tip4104_8

Anderson, L. W., & Krathwohl, D. R. (2001). A taxonomy for learning, teaching, and assessing: A revision of Bloom's taxonomy of educational objectives. Longman.

Andrade, S. R. D. J., & Freitag, R. M. K. (2021). Objetivos educacionais e avaliações em larga escala na trajetória da educação superior brasileira: Enem, Enade e a complexidade cognitiva na retenção do fluxo. Revista Brasileira de Estudos Pedagógicos, 102, 177-204. https://doi.org/10.24109/2176-6681.rbep.102.i260.4264

Andriola, W. B., & Barrozo, J. L. (2020). Avaliação de Políticas Públicas para a Educação Superior: o caso do Programa Universidade para Todos (PROUNI). Avaliação: Revista da Avaliação da Educação Superior (Campinas), 25, 594-621. https://doi.org/10.1590/s1414-40772020000300005

Bogdan, R., & Biklen, S. (1994). Investigação qualitativa em educação: uma introdução à teoria e aos métodos. Porto editora.

Brasil. Decreto Nº 5.773. Presidência da República, Brasília, DF. 9 de maio de 2006, art. 16.

Brasil. Resolução CNE/CES 11/2002. Diário Oficial da União. Brasília, DF. 9 de abril de 2002. Seção 1, p. 32.

Costa, J. P. C., & Martins, M. I. (2017). Análise da complexidade de itens do ENADE à luz da Taxonomia de Bloom Revisada: contributos ao ensino de Física. Caderno Brasileiro de Ensino de Física, 34(3), 697-724. https://doi.org/10.5007/2175-7941.2017v34n3p697

Costa, N. T., & Fernandes, M. A. (2021). Sequenciamento de Ações Pedagógicas baseadas na Taxonomia de Bloom usando Planejamento Automatizado apoiado por Algoritmo Genético. Revista Brasileira de Informática na Educação, 29, 485-501. https://doi.org/10.5753/rbie.2021.29.0.485

Diaz-Villavicencio, G. (2020). Educational Evaluation of the Federal University of Latin American Integration, Brazil. Revista Produção e Desenvolvimento, 6. https://doi.org/10.32358/rpd.2020.v6.433

E-Mec - Sistema de regulação do Ensino Superior. Instituições de Ensino Superior – IES. Disponível em: <http://emec.mec.gov.br/emec/educacao-superior/ies>. Acesso em: 1 jun, 2019. 

Faraum, D. P., & Cirino, M. M. (2020). Webquest x Webexercises: Uma Análise das Produções de Estagiários do Programa Institucional de Bolsas de Iniciação à Docência (PIBID) de Química Utilizando a Taxonomia Digital de Bloom. Ciência & Educação (Bauru), 26. https://doi.org/10.1590/1516-731320200008

Ferraz, A. P. D. C. M., & Belhot, R. V. (2010). Taxonomia de Bloom: revisão teórica e apresentação das adequações do instrumento para definição de objetivos instrucionais. Gestão & Produção, 17, 421-431. https://doi.org/10.1590/S0104-530X2010000200015

Gumiero, R. G., & Tigre, A. M. L. (2020). Evaluation of policies for regional development: Unifesspa actions for social inclusion and empowerment in Pará Amazônia. Revista Produção e Desenvolvimento, 6. https://doi.org/10.32358/rpd.2020.v6.474

Inep - Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. ENADE. Disponível em: < http://portal.inep.gov.br/enade >. Acesso em: 1 jul, 2019.

Inep - Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Relatórios ENADE. Disponível em:< http://enadeies.inep.gov.br/enadeIes/enadeResultado/>. Acesso em: 1 jul, 2019.

Krathwohl, David R. (2002). A Revision of Bloom's Taxonomy: An Overview. Theory into Practice, 41(4). https://doi.org/10.1207/s15430421tip4104_2

Lima, T. B. D. (2020). Implicações do uso de estratégias de ensino ativas na formação de discentes em uma disciplina de bacharelado em hotelaria. Turismo: Visão e Ação, 22, 277-296. https://doi.org/10.14210/rtva.v22n2.p277-296

Manuel, T., & Mendes, M. D. C. B. (2021). Garantia da Qualidade do Ensino Superior em Angola: Do Instrumentalismo ao Socioconstrutivismo. Educação, Sociedade e Culturas, (58), 51-70. https://doi.org/10.24840/esc.vi58.151

Mello, J. A. V. B., & Sousa, F. R. D. (2021). Percepção discente e práticas de ensino em uma instituição brasileira de educação superior. Revista iberoamericana de educación superior, 12(33), 18-38. https://doi.org/10.22201/iisue.20072872e.2021.33.855

Moimaz, S. A. S., Amaral, M. A., Garbin, C. A. S., & Saliba, N. A. (2017). Enade em Odontologia: análise e reflexões à luz da Taxonomia de Bloom Revisada. Revista da ABENO, 17(3), 30-40. https://doi.org/10.30979/rev.abeno.v17i3.398

Pintrich, P. R. (2002). The role of metacognitive knowledge in learning, teaching, and assessing. Theory into practice, 41(4), 219-225. https://doi.org/10.1207/s15430421tip4104_3

Rodrigues, A. N., & dos Santos, S. C. (2013). Aplicando a taxonomia de Bloom revisada para gerenciar processos de ensino em sistemas de aprendizagem baseada em problemas. Revista Brasileira de Informática na Educação, 21(01), 01. https://doi.org/10.5753/RBIE.2013.21.01.01

Silva, L. H., Ghedine, T., Pereira, C. M. D., Lino, S. R. L., & Tutida, A. Y. (2021). A management instrument for team performance evaluation. Revista Produção e Desenvolvimento, 7. https://doi.org/10.32358/rpd.2021.v7.511

Silva, V. A. D., & Martins, M. I. (2014). Análise de questões de Física do Enem pela taxonomia de Bloom revisada. Ensaio Pesquisa em Educação em Ciências (Belo Horizonte), 16, 189-202. https://doi.org/10.1590/1983-21172014160309

Souza, R. D. S., Greca, I. M., Silva, I. L., & Teixeira, E. S. (2020). Contributos ao ensino de mecânica quântica a partir da análise da complexidade de questões presentes no ENADE à luz da Taxonomia de Bloom revisada. Revista Brasileira de Ensino de Física, 42. https://doi.org/10.1590/1806-9126-rbef-2019-0004

Virranmäki, E., Valta-Hulkkonen, K., & Pellikka, A. (2020). Geography tests in the Finnish matriculation examination in paper and digital forms–an analysis of questions based on revised Bloom’s taxonomy. Studies in Educational Evaluation, 66, 100896. https://doi.org/10.1016/j.stueduc.2020.100896

Vizzotto, P. A., & Mackedanz, L. F. (2020). Como a Física aplicada ao trânsito foi abordada no ENEM de 1998 até 2018?. Revista Brasileira de Ensino de Ciências e Matemática, 3(1). https://doi.org/10.5335/rbecm.v3i1.10017

DECLARATION OF CONTRIBUTIONS - CRediT