ChatGPT alcança nota do ENEM maior do que 79% dos estudantes

Com o rápido avanço dos estudos área de Inteligência Artificial (IA), muito se discute sobre o uso desta tecnologia na educação — em especial por alunos, que poderiam se aproveitar de ferramentas como o ChatGPT para obter respostas de tarefas e questionários.

Agora, um teste realizado pelo Deltafolha mostra que a IA é tão avançada que foi capaz de obter resultados melhores do que quase 80% dos candidatos do Exame Nacional do Ensino Médio (ENEM).

IA tem resultado melhor do que alunos no ENEM

Segundo uma reportagem publicada pela Folha de S.Paulo, caso fosse um candidato do ENEM, o ChatGPT teria média 612,3 nas provas objetivas. Com tal resultado, a IA ficaria na frente de 78,9% dos demais estudantes, passando na frente de 98,9% dos alunos em Ciências Humanas e de 95,3% dos candidatos em Linguagens e Códigos. O robô também superou 94,6 dos estudantes em Ciências da Natureza

ChatGPT fez provas do ENEM e teve resultado superior a quase 80% dos candidatos

Ainda que o resultado seja espantoso, mostrando que o robô teria grandes chances de entrar para alguns dos cursos mais cobiçados, a IA ainda teria que vencer um obstáculo: as questões de matemática. No teste, a Inteligência Artificial só conseguiu superar 27% dos candidatos em questões de áreas de Exatas.

A pesquisa utilizou provas do ENEM realizadas entre os anos de 2017 e 2021, com o robô respondendo a um total de 1290 questões em português. Para tal, foi utiliza a versão original do ChatGPT, o GPT-3.5, em conjunto com ferramentas de análise de desempenho disponibilizadas pela própria OpenAI, a empresa criadora do popular robô.

Para calcular a pontuação da Inteligência Artificial nas provas foi utilizado o sistema de correção do INEP, o órgão responsável pelo ENEM, que não considera exatamente a quantidade de respostas corretas. Todas as questões respondidas pela IA passaram pelo método conhecido como Teoria da Resposta ao Item (TRI), que beneficia o estudante que acerta uma questão fácil e erra uma difícil — visando prevenir o famoso "acerto no chute."

Apesar dos avanços na tecnologia, "robô" ainda tem dificuldades com questões de Ciências Exatas

O bom resultado em questões de Ciências Humanas já era esperado, dado que o ChatGPT é famoso justamente por sua capacidade de utilizar a internet para buscar respostas aos mais variados questionamentos. Como bem aponta o site Guia do Estudante, o robô poderia simplesmente vasculhar a rede online e responder às questões usando informações já existentes na internet.

Por outro lado, a nota baixa em Ciências Exatas tem uma explicação: a tecnologia ainda tem dificuldade em lidar com questões de matemática. A OpenAI já reconheceu o problema publicamente, chegando a anunciar no começo do ano que está trabalhando em melhorias para a ferramenta nesta área.

Por fim, o robô também precisou escrever uma redação, avaliada por dois professores, considerando o uso da norma culta da língua portuguesa; a adequação ao tema; a estrutura de texto e o uso de repertório; a coerência; a coesão; e a proposta de intervenção. O professor Adriano Chan deu nota 760 ao texto do ChatGPT, apontando que o texto foi coeso, mas pecou nos outros itens. Já a professora Jéssica Dorta deu ao robô nota 640, fazendo observações semelhantes mas descontando pontos por coesão e proposta de intervenção.