Getty-afbeeldingen
Volgens The Wall Street Journal is er een intern conflict bij OpenAI over de vraag of er een watermerktool moet worden uitgebracht waarmee mensen tekst kunnen testen om te zien of deze door ChatGPT is gegenereerd of niet.
Om de tool te implementeren zou OpenAI aanpassingen maken aan ChatGPT waardoor het een spoor achterlaat in de tekst die het genereert, wat kan worden gedetecteerd door een speciale tool. Zonder de tool zou het watermerk niet door menselijke lezers kunnen worden gedetecteerd, en uit interne tests van het bedrijf is gebleken dat het de kwaliteit van de resultaten niet negatief beïnvloedt. De detector zou 99,9 procent van de tijd nauwkeurig zijn. Het is belangrijk op te merken dat het watermerk een patroon in de tekst zelf zou zijn, wat betekent dat het behouden blijft als de gebruiker de tekst kopieert en plakt of er zelfs bescheiden wijzigingen in aanbrengt.
Sommige OpenAI-medewerkers voerden campagne voor de release van de tool, maar anderen zijn van mening dat dit de verkeerde zet zou zijn, waarbij ze verschillende specifieke problemen aanhaalden.
De eerste daarvan is het feit dat zelfs met een nauwkeurigheid van 99,9 procent de watermerkdetector soms nog steeds fout zou zijn, gezien hoe vaak ChatGPT wordt gebruikt.
Onder degenen die de grootste interesse hebben getoond in het gebruik van de tool zijn leraren en professoren, die een snelle toename hebben gezien in het schoolwerk en andere opdrachten gegenereerd door ChatGPT. Maar het argument van OpenAI is dit: 99,9 procent nauwkeurigheid klinkt als veel, maar stel je voor dat één op de duizend universiteitspapieren ten onrechte als bedrog wordt bestempeld. Dit zou tot ongelukkige gevolgen kunnen leiden voor onschuldige studenten.
Bovendien zegt OpenAI dat het vrijgeven van de tool niet-moedertaalsprekers van het Engels zou kunnen stigmatiseren die ChatGPT gebruiken voor vertaling of om hun schrijfwerk te verbeteren, wat volgens het bedrijf legitieme toepassingen van de tool zijn.
Ten slotte verduidelijkte de OpenAI-blog dat het voor slechte actoren relatief eenvoudig is om het watermerk in zijn huidige vorm te omzeilen. Het uitvoeren van de uitvoer van ChatGPT via een andere LLM-tekstgenerator zou dit kunnen doen, evenals het vragen aan ChatGPT om speciale tekens in de uitvoer in te voegen en deze tekens vervolgens handmatig te verwijderen.
Er is één probleem dat OpenAI niet vermeldde in zijn blogpost, maar wel verscheen in een artikel in de Wall Street Journal: uit een onderzoek onder ChatGPT-gebruikers bleek dat maar liefst 30 procent zei dat ze zouden stoppen met het gebruik van ChatGPT als de uitvoer van een watermerk zou worden voorzien.
OpenAI maakt gebruik van de watermerkfunctie en heeft deze nog niet geïntroduceerd. Het onderzoekt ook alternatieve oplossingen die nog in ontwikkeling zijn, zoals het opnemen van cryptografisch ondertekende metadata in de output.
Die oplossing zou vergelijkbaar zijn met de manier waarop OpenAI het probleem van de herkomst van de inhoud benaderde met de DALL-E 3-beeldgenerator. Het bedrijf gebruikt C2PA-metadata om mensen te helpen identificeren wanneer en hoe afbeeldingen zijn gewijzigd door DALL-E.
OpenAI heeft eerder een AI-tekstdetectietool uitgebracht en ondersteund. Het richtte zich niet alleen op ChatGPT, maar ook op het ontdekken of er een AI-tool werd gebruikt om de tekst te genereren. Het werd echter stopgezet omdat het zeer onnauwkeurig was en vatbaar voor valse positieven, waardoor het grotendeels nutteloos was.