Turnitin diz que seu detector de trapaça AI nem sempre é confiável
Este artigo é uma prévia do boletim informativo The Tech Friend. Inscreva-se aqui para recebê-lo em sua caixa de entrada todas as terças e sextas-feiras.
Acontece que não podemos detectar com segurança a escrita de programas de inteligência artificial como o ChatGPT. Isso é um grande problema, especialmente para os professores.
Pior ainda, os cientistas dizem cada vez mais que usar software para identificar com precisão a IA pode ser simplesmente impossível.
As evidências mais recentes: a Turnitin, uma grande empresa de software educacional, disse que o detector de trapaça de IA que está sendo executado em mais de 38 milhões de redações de alunos desde abril tem mais problemas de confiabilidade do que inicialmente sugerido. O Turnitin - que atribui uma pontuação percentual "gerada por IA" a cada trabalho do aluno - está fazendo alguns ajustes, incluindo a adição de novos avisos sobre os tipos de resultados limítrofes mais propensos a erros.
Escrevi pela primeira vez sobre o detector de IA do Turnitin nesta primavera, quando preocupações sobre alunos usando IA para trapacear deixaram muitos educadores clamando por maneiras de impedi-lo. Naquela época, a empresa disse que sua tecnologia tinha uma taxa de menos de 1% do tipo mais problemático de erro: falsos positivos, em que a escrita real do aluno é sinalizada incorretamente como trapaça. Agora, o Turnitin diz que em um nível de frase por frase - uma medida mais restrita - seu software sinaliza incorretamente 4% da escrita.
Minha investigação também descobriu que detecções falsas eram um risco significativo. Antes de seu lançamento, testei o software Turnitin com textos de alunos reais e com redações que alunos voluntários ajudaram a gerar com o ChatGPT. O Turnitin identificou mais da metade de nossas 16 amostras pelo menos parcialmente incorretamente, incluindo dizer que a redação completamente escrita por um aluno foi escrita em parte com IA.
As apostas na detecção da IA podem ser especialmente altas para os professores, mas eles não são os únicos procurando maneiras de fazer isso. Assim como empresas de segurança cibernética, autoridades eleitorais e até jornalistas que precisam identificar o que é humano e o que não é. Você também pode querer saber se aquele e-mail chamativo de um chefe ou político foi escrito por IA.
Houve uma enxurrada de programas de detecção de IA na web nos últimos meses, incluindo ZeroGPT e Writer. Até a OpenAI, a empresa por trás do ChatGPT, faz um. Mas há um número crescente de exemplos desses detectores errando - incluindo um que afirmava que o prólogo da Constituição foi escrito pela IA. (Não é muito provável, a menos que a viagem no tempo também seja possível agora?)
A conclusão para você: tenha cuidado ao tratar qualquer detector de IA como um fato. Em alguns casos, agora, é pouco melhor do que um palpite aleatório.
Uma taxa de erro de 4 ou até 1 por cento pode parecer pequena - mas toda falsa acusação de trapaça pode ter consequências desastrosas para um aluno. Desde que publiquei minha coluna de abril, recebi notas de alunos e pais perturbados com o que disseram ser falsas acusações. (Meu e-mail ainda está aberto.)
Em uma longa postagem no blog na semana passada, a diretora de produtos da Turnitin, Annie Chechitelli, disse que a empresa quer ser transparente sobre sua tecnologia, mas ela não desistiu de implantá-la. Ela disse que, para documentos que seu software de detecção considera conter mais de 20% de escrita de IA, a taxa de falsos positivos para todo o documento é inferior a 1%. Mas ela não especificou qual é a taxa de erro no resto do tempo - para documentos que seu software considera conter menos de 20% de escrita de IA. Nesses casos, o Turnitin começou a colocar um asterisco ao lado dos resultados "para chamar a atenção para o fato de que a pontuação é menos confiável".
“Não podemos mitigar completamente o risco de falsos positivos, dada a natureza da redação e análise da IA, portanto, é importante que os educadores usem a pontuação da IA para iniciar um diálogo significativo e impactante com seus alunos nesses casos”, escreveu Chechitelli.
A questão principal é: quanto erro é aceitável em um detector de IA?
Uma nova pesquisa de pré-impressão do professor de ciência da computação Soheil Feizi e colegas da Universidade de Maryland descobriu que nenhum detector de IA disponível publicamente é suficientemente confiável em cenários práticos.