Análise e Modelagem dos Microdados do ENEM 2022

1. Descrição e objetivos

• Este é um projeto de ciência de dados de ponta a ponta (da coleta de dados até o deploy) em que é realizada a limpeza, análise exploratória e modelagem dos microdados do enem 2022 (dados públicos reais).
• A solução foi planejada com base no framework CRISP-DM, envolvendo o entendimento do problema, entendimento dos dados, limpeza dos dados, análise dos dados, modelagem e deploy.
• A limpeza foi fundamental, dado que o conjunto original dos microdados tem mais de 2 GB de tamanho, tornando a manipulação, análise e modelagem dos dados inviável.
• A análise e modelagem se dividem em duas abordagens:
  • Análise e modelagem de desempenho: O objetivo dessa análise consiste em identificar as principais variáveis que impactam a nota do candidato, como elas se relacionam com o desempenho dele e como elas podem ser utilizadas para a predição dessa nota. Assim, para a tarefa de predição, é utilizado um modelo de Regressão Lasso.
  • Análise e modelagem de abstenção: O objetivo dessa análise consiste em identificar os principais fatores que influenciam a ausência do candidato na prova. Além disso, observar como esses fatores se relacionam com a ausência e como eles podem ser utilizados para a predição da probabilidade de abstenção do estudante. Desse modo, para a tarefa de predição, é utilizado um modelo de Regressão Logística
• Tais análises podem servir para interesses educacionais. O governo poderia utilizá-las para, por exemplo:
  • A partir do conhecimento dos fatores que mais influenciam a abstenção do candidato e das probabilidades de ausência preditas, determinar intervenções preventivas, aprimoramento da comunicação e planejamento estratégico de forma a mitigar essa alta taxa de abstenção em pontos de foco e, consequentemente, melhorar a qualidade do exame e da educação do país.
  • A partir do conhecimento dos fatores que mais impactam a nota do candidato e dos valores preditos para ela, identificar talentos potenciais (perfis de alunos que tendem a performar excepcionalmente no enem) e necessidades individuais (perfis de alunos que tendem a performar mal no enem), avaliar o desempenho educacional e realizar um planejamento estratégico para assistir àqueles menos capacitados. Consequentemente, isso melhoraria a qualidade do exame e da educação do país.
• Finalmente, foram desenvolvidas duas APIs Flask para deploy do modelo de ambas as análises supracitadas. Dessa forma, é possível prever a nota ou a probabilidade de abstenção de um candidato fornecendo dados socioeconômicos e educacionais sobre ele.
• Cada análise e modelagem realizada é abordada com mais detalhes nos próximos tópicos.

2. Limpeza de dados

• A limpeza foi fundamental, dado que o conjunto original dos microdados tem mais de 2 GB de tamanho, tornando a manipulação, análise e modelagem dos dados inviável. Nessa etapa, foram realizadas as seguintes tarefas:
  • Identificação e tratamento de valores nulos e duplicados, de acordo com os objetivos da análise.
  • Remoção de variáveis irrelevantes para a análise.
  • Feature engineering: Criação e alteração de variáveis existentes. Fusão, remoção e renomeação de categorias com base na melhor formatação para os objetivos propostos. Além disso, conversão colunas para o tipo de dado correto.
  • Otimização de memória: Conversão de variáveis a tipos de dados menores, a fim de melhorar a performance, possibilitando a leitura e manipulação dos dados em menor tempo, sem que haja a perda de informação. Colunas 'object' foram convertidas a 'category', colunas 'float64' foram convertidas a 'float32' e colunas 'int64' foram convertidas a 'int8'.
  • Tudo foi salvo em um arquivo parquet, de forma a agilizar a leitura e manter os tipos convertidos do tópico acima.
• Como resultado da limpeza, foi possível reduzir o tamanho do dataset de +2 GB para +221.7 MB, quase 10%!
• Clique aqui para acessar a limpeza de dados

3. Análise de desempenho

• O objetivo dessa análise consiste em identificar as principais variáveis que impactam a nota do candidato, como elas se relacionam com o desempenho dele e como podem ser utilizadas para a predição dessa nota.
• Uma observação importante é que, dado que alunos ausentes ficam com nota nula, a amostra selecionada para essa análise consiste apenas de candidatos que compareceram em ambos os dias do enem. Introduzir ausentes incluiria assimetrias e distorções no estudo em questão.
• Perguntas respondidas na Análise de Desempenho:
  • Em quais áreas do conhecimento os candidatos performam melhor ou pior?
  • Quem apresenta melhor desempenho, pessoas do sexo masculino ou feminino?
  • Existem diferenças no desempenho para pessoas de diferentes faixas etárias?
  • Em média, quais os estados com as maiores e as menores notas?
  • Como a renda influencia o desempenho do candidato?
  • Como a escolaridade do pai e da mãe influenciam o desempenho do candidato?
  • De que forma a falta de acesso a internet e/ou computador em casa impactam o desempenho do candidato?
• Clique aqui para acessar a análise de desempenho

3.1 Principais insights - Análise de desempenho

• A nota média geral no enem de 2022 é aproximadamente 543.
• A nota média máxima no ENEM de 2022 é aproximadamente 856.
• Ciências da natureza é a área do conhecimento com o pior desempenho. A nota média é aproximadamente 496. Além disso, analisando os percentis, metade dos candidatos obtém uma nota de até 486 nessa prova. Esse resultado é bem baixo, principalmente se comparado com a área do conhecimento com o melhor desempenho, matemática. A nota média nela é aproximadamente 543. Uma observação importante é que esse indicador em matemática pode enganar. Apesar de ter a maior nota média, isso se deve ao modelo do enem, que naturalmente atribui mais pontos para essa prova.

• Surpreendentemente, 42.16% dos candidatos não possuem computador em casa. Esse dado nos revela uma dificuldade e disparidade de condições dos estudantes, já que um computador com acesso a internet é a melhor ferramenta para estudos atualmente.
• 91.96% dos candidatos possuem acesso a internet em casa. Embora seja um baixo percentual, ainda é alarmante o fato de que aproximadamente 8% dos estudantes não possuem sequer internet para se preparar. Considerando um exame desse porte, isso representa um grande número de pessoas.

• Candidatos com um ou mais computadores em casa tendem a obter uma nota geral maior que aqueles que não possuem o dispositivo.
• Candidatos com acesso a internet em casa tendem a obter uma nota geral maior que aqueles que não possuem o recurso.

• Claramente, quanto maior a escolaridade do pai ou da mãe, melhor o desempenho do candidato.

• É possível perceber que, em média, quanto maior a renda familiar mensal, maior a nota geral do candidato. Candidatos com renda acima de R$ 24.240,00 obtiveram uma nota geral média 1.33 vezes maior que candidatos com nenhuma renda, totalizando uma diferença absoluta de aproximadamente 157 pontos.

4. Análise de abstenção

• O objetivo dessa análise consiste em identificar os principais fatores que influenciam a ausência do candidato na prova. Além disso, observar como esses fatores se relacionam com a ausência e como podem ser utilizados para a predição da probabilidade de abstenção do estudante.
• Para essa análise, foi utilizado todo o conjunto de dados. Dessa forma, incluimos não só os estudantes que compareceram, mas também aqueles que faltaram ao exame, os quais são o nosso alvo.
• Principais perguntas respondidas na Análise de Abstenção:
  • Em qual dos dias de prova há uma maior taxa de abstenção. E qual a taxa total?
  • A falta de acesso a recursos tecnológicos (celular, computador e internet) em casa influenciam a ausência do candidato na prova?
  • A escolaridade do pai e da mãe influenciam a ausência do candidato na prova?
  • A renda familiar mensal influencia a ausência do candidato na prova?
  • Existe alguma diferença na taxa de abstenção entre as diferentes faixas etárias?
  • Existe alguma diferença na taxa de abstenção entre pessoas do sexo masculino e do sexo feminino?
  • Quais regiões apresentam as maiores e as menores taxas de abstenção?
• Clique aqui para acessar a análise de abstenção

4.1 Principais insights - Análise de abstenção

• Ambos os dias de prova apresentam altas taxas de abstenção. Para o primeiro dia (provas de linguagens e ciências humanas) temos uma taxa de aproximadamente 28%, contra 32% para o segundo dia (ciências da natureza e matemática). Isso é preocupante, principalmente porque a enorme maioria dessas ausências não se devem a razões randômicas, mas sim por falta de preparo/confiança do candidato para realizar a prova. O governo deve trabalhar para mitigar essa problemática.

• A escolaridade do pai e/ou da mãe influenciam a ausência do candidato na prova. Claramente, à medida que o nível de escolaridade aumenta, a taxa de abstenção cai. Por exemplo, analisando a escolaridade da mãe, é possível perceber que a proporção de ausentes entre candidatos cujas mães nunca estudaram é o dobro da taxa para aqueles cujas mães possuem pós graduação.

• A renda familiar mensal influencia a ausência do candidato na prova. Claramente, à medida que a renda aumenta, a taxa de abstenção cai. Por exemplo, a proporção de ausentes entre candidatos que não possuem nenhuma renda é mais que o dobro da taxa entre aqueles que possuem rendas maiores que 7 mil reais.

• Jovens tendem a ter uma taxa de abstenção menor que a de pessoas adultas a idosas.

5. Modelagem de desempenho

• Para a predição da nota de um candidato (tarefa de regressão, aprendizado supervisionado com dados rotulados), foi utilizado um modelo de Regressão Lasso, dado o seu rápido treinamento e predição, alta interpretabilidade através dos coeficientes, regularização utilizando a penalidade l1 e seleção automática de variáveis, reduzindo os pesos de características irrelevantes a zero, gerando um modelo esparso. Além disso, foi percebida uma certa relação linear das features com o target durante a análise. Por exemplo, quanto maior era a escolaridade da mãe do candidato, maior era o desempenho, de forma monotônica. Esse fator, juntamente à ausência de multicolinearidade favoreceu a escolha de tal modelo linear.
• Foram consideradas diversas variáveis na construção do modelo. Os insights obtidos na etapa de análise exploratória de dados serviram de guia para tarefas de limpeza e pré-processamento de dados, necessárias para a aplicação de algoritmos de machine learning.
• Para a limpeza de dados, criei o target (média das notas nas 5 provas), removi variáveis irrelevantes e variáveis que levariam a data leakage (notas e presenças), fundi categorias com base na nota geral média e nas proporções dentro da respectiva coluna, criei variáveis que indicavam qual a região do candidato, o nível de acesso tecnológico que ele tem em casa e a renda por pessoa, entre outras atividades.
• Para o pré-processamento, apliquei ordinal encoding em variáveis ordinais, como renda familiar mensal e faixa etária, a fim de manter essa caracter