Universidade do Kansas apresenta detector avançado de IA para detecção de escrita acadêmica

por Srikanth9 de junho de 2023, 13h02279Visualizações

A química Heather Desaire, da Universidade do Kansas, introduziu uma tecnologia de ponta capaz de detectar textos científicos gerados pelo ChatGPT com impressionantes 99% de precisão. Esta inovação utiliza um gerador de texto de Inteligência Artificial (IA). A notável conquista de Desaire foi documentada no renomado jornal revisado por pares "Cell Reports Physical Science", onde ela não apenas demonstrou a eficácia de seu método de detecção de IA, mas também forneceu o código-fonte necessário para que outros replicassem essa ferramenta inovadora.

Heather Desaire, a cadeira Keith D. Wilner em química na KU, enfatizou a necessidade urgente de ferramentas precisas de detecção de IA para manter a integridade científica. Desaire expressou preocupação com geradores de texto de IA como o ChatGPT, afirmando que eles fabricam fatos. No âmbito da publicação científica acadêmica, onde descobertas inovadoras e a vanguarda do conhecimento humano são compartilhadas, é crucial evitar a inclusão de falsidades críveis que possam poluir a literatura. Desaire reconheceu a ausência de um método automatizado infalível para identificar esses elementos enganosos conhecidos como "alucinações". Quando fatos científicos genuínos são misturados com conteúdo gerado por IA convincente, porém fabricado, a confiabilidade e o valor das publicações são inevitavelmente diminuídos.

Ela explicou que a eficácia de seu método de detecção depende do foco específico na redação científica comumente encontrada em periódicos revisados ​​por pares. Ao estreitar o escopo dessa maneira, sua abordagem alcança maior precisão em comparação com as ferramentas de detecção de IA existentes, como o detector RoBERTa, que visa identificar a IA em tipos de escrita mais gerais.

Desaire disse que é viável desenvolver um método altamente preciso para diferenciar entre a escrita humana e a escrita ChatGPT. No entanto, alcançar tal precisão requer limitar a análise a um grupo específico de humanos que escrevem de maneira distinta. Em contraste, os detectores AI existentes são projetados como ferramentas gerais aplicáveis ​​a vários tipos de escrita. Embora sirvam bem ao propósito pretendido, eles não são tão precisos quanto uma ferramenta especificamente adaptada para um propósito específico e restrito.

Em sua pesquisa, Desaire destacou a importância da precisão ao acusar indivíduos de utilizar IA sub-repticiamente, enfatizando a necessidade de evitar erros de identificação frequentes. No entanto, ela reconheceu que alcançar a precisão geralmente envolve sacrificar a generalização. Desaire colaborou com seu grupo de pesquisa na KU, que incluía Romana Jarosova, professora assistente de pesquisa de química, David Huax, analista de sistemas de informação e estudantes de pós-graduação Aleesa E. Chua e Madeline Isom. O sucesso da equipe na detecção de texto de IA pode ser atribuído à incorporação da percepção humana na criação do código, indo além da dependência da detecção de padrões de aprendizado de máquina.

Desaire revelou que sua abordagem envolvia um conjunto de dados significativamente menor e um grau mais alto de intervenção humana para identificar as distinções cruciais para seu detector. Especificamente, eles construíram sua estratégia usando apenas 64 documentos escritos por humanos e 128 documentos gerados por IA como dados de treinamento. Esse tamanho de conjunto de dados é aproximadamente 100.000 vezes menor do que o normalmente usado para treinar outros detectores.

Desaire enfatizou a importância dessa diferença, equiparando-a à diferença entre o custo de uma xícara de café e uma casa. A vantagem de seu pequeno conjunto de dados era sua capacidade de processamento rápido e todos os documentos podiam ser revisados ​​minuciosamente por humanos. Ao alavancar seu intelecto humano, eles foram capazes de identificar diferenças valiosas nos conjuntos de documentos, em vez de confiar apenas em estratégias desenvolvidas anteriormente para distinguir entre conteúdo humano e gerado por IA.

A abordagem de Desaire, conforme declarado por KU, foi desenvolvida de forma independente, sem depender de estratégias usadas em métodos anteriores de detecção de IA. Como resultado, sua técnica possui elementos distintos que são totalmente exclusivos do campo de detecção de texto AI. Desaire admitiu que nem consultou a literatura existente sobre detecção de texto de IA até que tivessem uma ferramenta funcional própria. Em vez de seguir o pensamento convencional dos cientistas da computação na detecção de texto, eles confiaram em sua intuição para determinar o que seria eficaz, expressando até mesmo um leve sentimento de constrangimento sobre sua abordagem não convencional.