Google Genie — een generatief AI-model dat volledig interactieve werelden creëert vanuit afbeeldingen | AI in business #123

Wat is Google Genie?

Google Genie (https://sites.google.com/view/genie-2024/) is een fundamenteel wereldmodel ontwikkeld door DeepMind. Het is een generatief AI-model dat is getraind op meer dan 30.000 uur aan publiek beschikbare 2D-platformvideogamebeelden. De belangrijkste functie is het vermogen om volledig interactieve, speelbare omgevingen te genereren rechtstreeks vanuit enkele afbeeldingen, foto’s en zelfs handgetekende schetsen.

Bron: Genie: Generative Interactive Environments (https://arxiv.org/abs/2402.15391)

Hoe is dit mogelijk? Genie gebruikt een onbewaakte leertechniek in het proces van het verwerven van de mogelijkheid om de omgeving nauwkeurig te controleren op basis van videobeelden. Er is geen menselijke actie-tagging vereist. Met behulp van een speciale actiecoderingsmodule legt het subtiele veranderingen tussen opeenvolgende videokaders vast en koppelt deze aan interne representaties van beweging, zoals springen of naar links draaien. Het dynamische model genereert vervolgens het volgende kader in de reeks op basis van de gecodeerde acties.

Als gevolg hiervan kan Genie volledig controleerbare, interactieve game-omgevingen creëren vanuit elke visuele data. Elke spelersbeweging genereert in real-time een nieuw, uniek kader, waardoor een soepele, speelbare sessie ontstaat. Dit is een echt grote innovatie die ons in staat stelt om hele interactieve werelden te creëren vanuit afbeeldingen of tekst.

Waarom is Genie innovatief?

De innovatie van Genie ligt in het combineren van verschillende belangrijke elementen in één model:

• generatieve videomodellen, zoals Phenaki (https://phenaki.video/), TECO (https://wilson1yan.github.io/teco/) of maskvit (https://arxiv.org/abs/2206.11894), die toekomstige kaders van een reeks kunnen voorspellen op basis van invoerkaders en tekst, maar geen actieve controlecapaciteiten bieden,
• wereldmodellen die zich richten op het voorspellen van toekomstige omgevingsstaten op basis van de acties van een agent, maar gegevens vereisen die door mensen worden geleverd,
• onbewaakt leren, waarmee Genie zowel de dynamiek van de omgeving als de actieruimte kan leren op basis van ruwe videogegevens alleen, zonder menselijke actielabels.

Hoewel elk van deze gebieden eerder is verkend, is Genie het eerste model dat ze combineert om controleerbare omgevingen rechtstreeks uit videobeelden te leren. Deze ongekende benadering van het onderwijzen van modellen zonder menselijke supervisie is een belangrijke innovatie van Genie. Het opent de deur naar het gebruik van de enorme hoeveelheid video die beschikbaar is op het internet als trainingsbron voor AI-modellen en doorbreekt de barrières die samenhangen met de beperkte beschikbaarheid van gelabelde gegevens.

De combinatie van generatieve videomodellen, wereldmodellen en onbewaakt leren in één oplossing vertegenwoordigt een fundamentele vooruitgang in de ontwikkeling van kunstmatige intelligentie. Genie toont aan dat geavanceerde AI-systemen complexe gedragingen en omgevingen rechtstreeks uit ongestructureerde gegevens kunnen leren, zonder handmatige tagging. Dit is een belangrijke stap op de weg naar het bereiken van ware Artificial General Intelligence (AGI).

Bron: Google Genie (https://sites.google.com/view/genie-2024/)

Potentiële toepassingen van Google Genie

De mogelijkheden van Google Genie gaan veel verder dan het genereren van videogames. Dit baanbrekende AI-model kan toepassingen vinden in veel gebieden:

• tool voor animators – upload gewoon een afbeelding, schets of korte tekstbeschrijving en Genie genereert een consistente animatie,
• onbeperkte trainingsbron voor AI-agenten – met zijn vermogen om te generaliseren naar geheel nieuwe domeinen, biedt Genie een oneindige pool van uitdagingen waarop toekomstige AI-systemen kunnen leren. Het gebrek aan diverse trainingsomgevingen is tot nu toe een van de belangrijkste barrières geweest voor de ontwikkeling van generieke AI-agenten,
• fysieke simulaties voor robotica – onderzoek heeft aangetoond dat Genie niet alleen in staat is om virtuele robots te controleren, maar ook de fysieke eigenschappen van vervormbare objecten te realiseren. Dit kan enorme implicaties hebben voor de ontwikkeling van robotica en fysieke simulaties,
• toepassingen in de creatieve industrieën – Genie kan de creatie van interactieve kunstinstallaties, virtuele tentoonstellingen of films vergemakkelijken. Upload eenvoudig een schets en het model genereert een volledig controleerbare 3D-wereld, klaar voor verkenning.

Echter, de potentiële uitdagingen en beperkingen van deze technologie mogen niet over het hoofd worden gezien. In de huidige fase van ontwikkeling werkt Genie het beste in smalle domeinen zoals 2D-platformspellen. Opschalen naar complexere 3D-omgevingen zal aanvullende onderzoek en optimalisatie vereisen. Bovendien bestaat het risico dat deze technologie kan worden misbruikt om schadelijke of gevaarlijke inhoud te creëren. Het is daarom van cruciaal belang om een robuust ethisch en juridisch kader te ontwikkelen om de ontwikkeling en het gebruik van dergelijke AI-modellen te reguleren.

Bron: Google Genie (https://sites.google.com/view/genie-2024/)

Samenvatting

Door de creatie van volledig interactieve omgevingen rechtstreeks vanuit visuele gegevens mogelijk te maken, zonder de noodzaak om handmatig acties te taggen, vertegenwoordigt Google Genie een echte doorbraak in generatieve kunstmatige intelligentie. Dit fundamentele wereldmodel geeft de kracht om beelden uit te drukken in de vorm van speelbare virtuele realiteiten die kunnen worden verkend en gecontroleerd door een mens of AI-agent.

Het potentieel van Genie is enorm – van tools voor game-ontwikkelaars, tot een onbeperkte bron van trainingsgegevens voor AI, tot fysieke simulaties voor robotica. Het is ook een belangrijke stap op de weg naar AGI. Terwijl modellen zoals Genie blijven evolueren, wordt de grens tussen de echte en virtuele werelden steeds vloeibaarder.

Als je onze inhoud leuk vindt, sluit je dan aan bij onze drukke bijengemeenschap op Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.