OpenAI développe un outil destiné à aider les enseignants à détecter les textes générés par ChatGPT. Bien que cette technologie puisse être d'une grande utilité, elle suscite des débats internes au sein de la société. Tandis que certains prônent son déploiement, d'autres craignent qu'il ne soit trop préjudiciable.
D'après une enquête du Wall Street Journal, ce système est en développement depuis 2022, avant même la sortie officielle de ChatGPT. Le concept est similaire à SynthID de Google, qui est encore en phase de test. L'outil proposé par OpenAI crée une signature invisible dans les textes générés par l'IA, permettant ainsi de les identifier comme tels. Selon OpenAI, cette technologie atteindrait une précision de 99,99 %.
Cependant, l'entreprise hésite à rendre cet outil accessible au grand public. L'un des arguments avancés est que l'outil pourrait décourager certains utilisateurs de recourir à l'IA, notamment si un filigrane est ajouté aux textes. Un sondage révèle que 30 % des utilisateurs déclarent qu'ils utiliseraient moins le logiciel dans ce cas.
De plus, OpenAI reconnaît que l'outil pourrait poser problème pour les utilisateurs non anglophones. Il est également susceptible d'être contourné, par exemple par la traduction, la reformulation avec un autre modèle génératif, ou l'ajout puis la suppression de caractères spéciaux. Ces faiblesses limitent l'efficacité du système et ouvrent la porte à des abus potentiels.
En parallèle, OpenAI explore une alternative au filigrane : l'utilisation des métadonnées. Cette approche présente l'avantage d'éviter les faux positifs, car les métadonnées sont signées cryptographiquement. Selon OpenAI, ce serait une solution plus fiable à long terme, surtout face à l'augmentation du volume de texte généré. Néanmoins, cette option n'en est encore qu'à ses débuts.
Le débat sur l'utilisation de ces technologies reste ouvert au sein de l'entreprise. Le PDG Sam Altman et la directrice de la technologie Mira Murati ont encouragé le développement de ces outils, mais sans pousser activement à leur déploiement.
