De stemmodus wordt mogelijk gemaakt door het nieuwe GPT-4o-model van OpenAI, dat spraak-, tekst- en beeldmogelijkheden combineert. Om feedback te verzamelen lanceert het bedrijf de chatbot in eerste instantie voor een ‘kleine groep gebruikers’ die voor ChatGPT Plus betalen, maar zegt dat het de bot dit najaar beschikbaar zal maken voor alle ChatGPT Plus-abonnees. ChatGPT Plus-abonnement kost $ 20 per maand. OpenAI zegt dat het klanten die deel uitmaken van de eerste golf van ChatGPT-app-implementaties op de hoogte zal stellen en instructies zal geven over hoe het nieuwe model te gebruiken.
De nieuwe spraakfunctie, die in mei werd aangekondigd, wordt een maand later gelanceerd dan oorspronkelijk gepland, omdat het bedrijf zei dat het meer tijd nodig had om de beveiligingsfuncties te verbeteren, zoals het vermogen van het model om ongewenste inhoud te detecteren en te weigeren. Het bedrijf zei ook dat het zijn infrastructuur voorbereidt om realtime reacties aan miljoenen gebruikers te bieden.
OpenAI zegt dat het de stemmogelijkheden van het model heeft getest met meer dan 100 externe roodtimers, die de taak hebben om het model op fouten te onderzoeken. Deze testers spraken in totaal 45 talen en vertegenwoordigden volgens OpenAI 29 landen.
Het bedrijf zegt dat het over verschillende beveiligingsmechanismen beschikt. Om te voorkomen dat het model zou worden gebruikt om audio-fakes te maken, creëerde het bijvoorbeeld vier vooraf ingestelde stemmen in samenwerking met stemacteurs. GPT-4o zal de stemmen van anderen niet imiteren of genereren.
Toen OpenAI GPT-4o voor het eerst introduceerde, kreeg het bedrijf te maken met terugslag vanwege het gebruik van een stem genaamd ‘Sky’, die veel leek op actrice Scarlett Johansson. Johansson bracht een verklaring uit waarin hij zei dat het bedrijf haar benaderde voor toestemming om haar stem te gebruiken voor het model, wat ze weigerde. Ze zei dat ze geschokt was toen ze in het demomodel een stem hoorde die “griezelig veel leek” op die van haar. OpenAI heeft ontkend dat de stem van Johansson is, maar heeft het gebruik van Sky gepauzeerd.
Het bedrijf is ook verwikkeld in verschillende rechtszaken wegens vermeende inbreuk op het auteursrecht. OpenAI zegt dat het filters heeft geïmplementeerd die verzoeken om auteursrechtelijk beschermde muziek of ander geluid te genereren herkennen en blokkeren. OpenAI zegt ook dat het dezelfde beveiligingsmechanismen heeft toegepast als in zijn op tekst gebaseerde model op GPT-4o om te voorkomen dat het de wet overtreedt en schadelijke inhoud genereert.
In de toekomst is OpenAI van plan meer geavanceerde functies toe te voegen, zoals video en scherm delen, die de assistent nuttiger zouden kunnen maken. Tijdens een demonstratie in mei richtten werknemers hun telefooncamera’s op een stuk papier en vroegen ze een AI-model om hen te helpen wiskundige vergelijkingen op te lossen. Ze deelden ook hun computerschermen en vroegen een model om hen te helpen bij het oplossen van codeerproblemen. OpenAI zegt dat deze functies nu niet beschikbaar zullen zijn, maar op een onbepaalde latere datum.