AI-aangedreven Virtual Humans voor Training en Storytelling
Op 7 november presenteren we op het AI-Builders netwerk event in Amsterdam. We zullen praten over onze AI-toepassingen en enkele demo’s laten zien. Lees hieronder meer over onze presentatie onder de video. .
ImproVive heeft meer dan tien jaar ervaring in het creëren van VR-ervaringen en games voor training en storytelling, voornamelijk met behulp van de Unity Game Engine. Een van onze grootste uitdagingen was het ontwikkelen van interactieve non-player characters (NPC’s) of avatars. Traditioneel waren NPC-interacties gebaseerd op trefwoordherkenning, meerkeuzemenu’s en beslisbomen om dialogen te creëren, een methode die vaak tijdrovend en complex was om uit te voeren. Een voorbeeld van ons eerdere werk, het VR-spel ReAction, gebruikte indirecte spraakinteracties en bood toch een inspirerende ervaring voor spelers.
Met de vooruitgang in large language models (LLM’s) integreren we nu LLM’s in onze game-engine, naast spraak-naar-tekst, tekst-naar-spraak en retrieval-augmented generation (RAG) technologieën. Door deze te combineren met realistische 3D avatars, die we Virtual Humans noemen, creëren we boeiende en betekenisvolle interactieve karakters. Onze Virtual Humans reageren verbaal op gebruikersinput en brengen ook non-verbale signalen over via emotionele uitdrukkingen en gebaren. Door de krachten van LLM’s te combineren met de dynamiek van een game-engine, zorgen we voor een goed gecontroleerde flow en pacing voor elke ervaring of trainingssessie.
Onze game-engine maakt een naadloze inzet over verschillende platforms mogelijk, waaronder PC, mobiel, web, VR en AR. Om storytelling te vereenvoudigen, hebben we een no-code editor ontwikkeld voor snelle iteratie, waardoor het voor makers gemakkelijker wordt om ervaringen te verfijnen en te verbeteren.
In VR en AR hebben onze avatars ruimtelijk bewustzijn, waardoor ze objecten kunnen herkennen die een gebruiker vasthoudt of kunnen reageren op specifieke objecten in de omgeving, wat de realiteit en diepte van de interactie versterkt.
Tijdens onze presentatie zullen we laten zien hoe deze technologieën werken, zowel op een groot scherm als in een augmented reality (AR) opstelling.
Momenteel past ImproVive deze technologie toe in training en interactieve storytelling. Zo ontwikkelden we een installatie voor Museum de Heksenwaag in Oudewater, waar bezoekers kunnen interageren met een vrouw die beschuldigd wordt van hekserij en haar aanklager. Voor Kamp Amersfoort ontwerpen we een nieuwe ervaring gericht op groepsinteractie. Daarnaast verkennen we toepassingen voor training en coaching voor verschillende grote organisaties.
