ANÁLISE COMPARATIVA DAS RESPOSTAS DE MODELOS DE INTELIGÊNCIA ARTIFICIAL SOBRE MICROPLÁSTICO: PRECISÃO, COERÊNCIA E COMPLETUDE CIENTÍFICA
Palavras-chave:
grandes modelos de linguagem, poluição ambiental, análise multicritérioResumo
O avanço das ferramentas de inteligência artificial (IA) generativa tem ampliado sua utilização em contextos acadêmicos, profissionais e científicos, tornando necessária a avaliação da confiabilidade das informações produzidas por esses sistemas, especialmente em temas ambientais emergentes, como a poluição por microplásticos. Nesse contexto, este estudo teve como objetivo comparar a qualidade científica das respostas fornecidas por cinco grandes modelos de linguagem (LLM) – ChatGPT, DeepSeek, Gemini, Maritaca e Claude – considerando os critérios de precisão científica, coerência interna e completude científica. Foram elaboradas oito questões sobre microplásticos, distribuídas em três categorias temáticas: origem e distribuição ambiental, impactos ecológicos e à saúde e métodos de detecção e políticas de mitigação. As questões foram submetidas individualmente aos cinco modelos, utilizando-se as versões básicas e gratuitas disponíveis, sempre em novas conversas e sem histórico prévio, de forma a reduzir a influência de interações anteriores. Posteriormente, as respostas foram avaliadas por cinco especialistas vinculados à área de Engenharia Ambiental. Para estabelecer a importância relativa dos critérios de avaliação, empregou-se o Best-Worst Method (BWM), método de decisão multicritério que permitiu determinar pesos a partir das preferências dos avaliadores. A precisão científica apresentou o maior peso médio (0,6231), seguida da coerência interna (0,1923) e da completude científica (0,1845), demonstrando que a correção e o alinhamento das informações com o conhecimento científico foram considerados mais relevantes do que a organização textual ou a abrangência das respostas. Na avaliação global, o Claude apresentou a maior participação na pontuação ponderada, com 29,74%, seguido pelo Maritaca, com 27,99%, DeepSeek, com 21,19%, Gemini, com 14,23%, e ChatGPT, com 6,85%. O Claude foi a alternativa mais bem avaliada em quatro das oito questões, enquanto o Maritaca se destacou em duas questões, e DeepSeek e Gemini em uma questão cada. A análise qualitativa indicou que os modelos apresentaram, de maneira geral, boa organização, clareza e fluidez textual, tornando a coerência interna um critério menos diferenciador. Em contrapartida, foram observadas maiores variações na precisão e na completude das respostas, principalmente em questões que exigiam maior especialização ou abordagem mais abrangente sobre métodos de detecção, aspectos regulatórios e estratégias de prevenção e mitigação. Os resultados reforçam que uma resposta bem estruturada não é necessariamente cientificamente correta ou completa e que o desempenho dos modelos varia conforme o domínio e a natureza da tarefa proposta. Conclui-se, portanto, que não houve desempenho uniformemente superior de um único modelo em todas as dimensões avaliadas, embora Claude e Maritaca tenham concentrado as maiores pontuações no conjunto das questões. Assim, o uso de modelos de IA em contextos científicos e educacionais relacionados aos microplásticos deve ocorrer de forma criteriosa, considerando a necessidade de verificação das informações e as limitações decorrentes tanto da natureza das avaliações quanto da constante atualização dessas tecnologias.
Downloads
Downloads
Publicado
Métricas
Visualizações do artigo: 5 PDF downloads: 2