In veel opzichten is het werken met tekst-naar-video hetzelfde als het werken met tekst-naar-afbeelding, zegt Stevenson. “Je typt een tekstprompt en past deze vervolgens een paar keer aan”, zegt hij. Maar er is nog een extra obstakel. Wanneer u verschillende zoekopdrachten probeert, produceert Sora video met een lage resolutie. Zodra je iets hebt gevonden dat je leuk vindt, kun je de resolutie verhogen. Maar als je van lage naar hoge resolutie gaat, is er een nieuwe generatieronde nodig, en wat je leuk vond aan de versie met lage resolutie kan verloren gaan.
Soms is de camerahoek anders of zijn de objecten in de beelden verplaatst, zegt Stevenson. Hallucinaties zijn nog steeds een kenmerk van Sora, zoals in elk generatief model. Bij foto’s kan dit vreemde visuele gebreken opleveren; bij video kunnen deze gebreken ook in de loop van de tijd optreden, met vreemde sprongen tussen frames.
Stevenson moest ook uitzoeken hoe hij Sora’s taal moest spreken. Hij neemt de instructies letterlijk, zegt hij. In één experiment probeerde hij een opname te maken waarop werd ingezoomd door een helikopter. Sora maakte een video waarin hij een helikopter verwisselde met een zoomcameralens. Maar Stevenson zegt dat de Sora met veel creatieve inbreng gemakkelijker te besturen is dan eerdere modellen.
Toch denkt hij dat verrassingen deel uitmaken van wat technologie leuk maakt om te gebruiken: “Ik heb graag minder controle. Ik hou van die chaos”, zegt hij. Er zijn veel andere tools voor het maken van video’s waarmee u controle krijgt over de bewerking en visuele effecten. Voor Stevenson is het de bedoeling van een generatief model als Sora om met vreemd, onverwacht materiaal te komen om mee te werken.
Alle dierenclips worden gegenereerd met Sora. Stevenson probeerde veel verschillende zoekopdrachten totdat de tool iets opleverde dat hij leuk vond. “Ik heb het geregisseerd, maar het is meer een duw”, zegt hij. Daarna ging hij heen en weer en probeerde variaties.
Stevenson stelde zich bijvoorbeeld voor dat zijn voskraai vier poten had. Maar Sora gaf hem er twee, wat nog beter werkte. (Het is niet perfect: kijkers met scherpe ogen zullen zien dat de kraaivos op een bepaald punt in de video van twee poten naar vier poten gaat, en weer terug.) Sora produceerde ook verschillende versies waarvan hij dacht dat ze te griezelig waren om te gebruiken.
Toen hij een verzameling dieren had die hij erg leuk vond, rangschikte hij ze bij elkaar. Vervolgens voegde hij ondertitels en voice-over toe. Stevenson had zijn fictieve menagerie kunnen creëren met bestaande hulpmiddelen. Maar dat zou uren, zelfs dagen duren, zegt hij. Met Sora verliep het proces veel sneller.
“Ik probeerde iets te bedenken dat er cool uit zou zien en experimenteerde met veel verschillende karakters”, zegt hij. “Ik heb zoveel clips van willekeurige wezens.” Het kwam pas echt op gang toen hij zag wat Sora had gedaan met de vlammende giraffe. “Ik begon te denken: wat is het verhaal rond dit wezen? Wat eet hij, waar woont hij?” Hij zegt. Hij is van plan een reeks uitgebreide films te maken waarin elk van de fantastische dieren gedetailleerder wordt gevolgd.
Stevenson hoopt ook dat zijn fantastische dieren meer betekenis zullen brengen. “Er zullen veel nieuwe soorten inhoud zijn die de feeds overspoelen”, zegt hij. ‘Hoe gaan we mensen leren wat echt is? Naar mijn mening is één manier om verhalen te vertellen die duidelijk fantasie zijn.”
Stevenson wijst erop dat zijn film misschien wel de eerste keer is dat veel mensen een video zien die is gemaakt door een generatief model. Hij wil dat die eerste indruk één ding heel duidelijk maakt: dit is niet echt.