De Virtuele Boekenkast
In 2019 heb ik samen met HappyShip en Chantalla Pleiter gewerkt aan een interactieve installatie voor de kinderbibliotheek in het nieuwe Forum van Groningen. Het moest over kinderboeken gaan en dit is ons basisidee:
Stel je eens voor dat je in de wereld van een boek kan stappen en daar zelf vorm aan kan geven. Of nog gekker dat je boeken met elkaar kan combineren. Een wereld die je zelf of met andere kinderen maakt. Boeken komen tot leven op een interactieve manier!?
Wat doet de gebruiker?
Een kind loopt voorbij de projectiemuur; ziet een soort boekenkast en ziet zichzelf als een schaduw verschijnen. De projectie reageert op de aanwezigheid en begint te bewegen en valt uit elkaar. Als je dichterbij komt en het speelvlak betreedt verdwijnt de boekenkast en stap je zelf een boek binnen. Sla een bladzijde om met je lichaam en een virtuele wereld ontvouwt zich om je heen: een onderwater wereld een bos of misschien ben je wel in de ruimte. Je kan zelf deze wereld kiezen door de bladzijde om te slaan. Opeens ben je een avatar geworden in deze wereld met een lichaam hoofd en handen. Met dit lijf kan je van alles vastpakken, opzij duwen, dingen op je hoofd zetten of dingen naar elkaar toe gooien en vangen. Naast dat je dus zelf onderdeel bent van het maakproces leer je ook de “natuurwetten” van die wereld. Door het ontdekken van andere werelden – onder water, in de ruimte, in het bos- ontdek je dat andere werelden ook een andere uitwerking hebben op de voorwerpen en de wereld die jezelf of met anderen maakt.
Wat is mijn bijdrage?
Omdat we al wisten bij het begin dat we “iets met cameras” en “iets met echte boeken” zouden doen was ik bij het project betrokken. Gezamenlijk hebben we het concept bedacht en gerealiseerd waarbij er steeds moest worden afgestemd op wat nu mogelijk en haalbaar was qua techniek en tijd. In het project heb ik diverse dingen gedaan.
camera
Mijn eerste taak was onderzoeken welke camera we zouden kunnen gebruiken om de bewegingen van mensen als avatars in de virtuele wereld te krijgen. Er zijn diverse camera’s beschikbaar die dit zouden kunnen doen maar we moesten natuurlijk ook rekening houden met de “toekomstvastheid” van het project: een geweldige camera van een startup die over een jaar niet meer bestaat zou meer problemen kunnen geven dan een wat mindere camera van een groot bedrijf waarvan je vrij zeker kunt zijn dat die over een paar jaar nog te koop is. Daarnaast is het een vraag hoeveel werk het is om de camerabeelden te koppelen met de virtuele wereld zoals die in een game engine wordt gerealiseerd. Al met al bleek het de beste keuze om voor de “vertrouwde” Kinect 2 te gaan die eenvoudig met de Unity3d game engine gekoppeld kon worden.
boeken
De volgende stap waren de boeken. Echte boeken of in ieder geval echte voorwerpen moesten een rol spelen in de virtuele installatie. Omdat de spelers als avatar zichtbaar zijn in de virtuele wereld wilden we ook de positie van de boeken in de virtuele wereld kunnen gebruiken. Maar hoe bepaal je de positie van een boek in de ruimte? Op zich had ik zoiets al eens gedaan: zie project Virtu CPR? maar in dit project gingen we het toch heel anders doen.?
En wat laat je de spelers met het boek doen?De boeken zijn van hout met speciale kunststof platen aan de binnenkant waar nog wat verduidelijking voor de speler zit. Achter de kunststof platen zit elektronica.
We besloten de positie van elk boek niet met “optische trackers” te bepalen (zoals in project VirtuCPR) maar met behulp van Bluetooth (BLE). Optische trackers werken alleen als de speler niet de line-of-sight van de sensoren bedekken en hebben minder fraaie details aan de buitenkant van de boeken. Elk boek is een uniek bluetooth beacon en vaste sensoren in de wanden en het plafond meten de signaalsterkte van elk beacon. Op basis van deze signaalsterkte is de afstand van het boek tot de sensoren te bepalen en als drie of meer sensoren de afstand tot een boek weten, dan kun je bepalen waar in de ruimte het boek is.
De interactie die de speler met het boek kan hebben: als de speler het boek open of dicht doet dan wordt er een signaal naar het basisstation gestuurd met deze gebeurtenis. Als het boek open gaat dan kunnen er in de virtuele wereld objecten “uit het boek vallen” die bij het verhaal van dat boek horen.
Binnenin elk boek zit een bluetooth beacon een microprocessor en een zendertje (transceiver).
De “reed switches” reageren op magneetjes die in de randen van het boek zitten of in de achterwand van de boekenkast.
Omdat de afmetingen van elk boek (helaas) veel van elkaar konden verschillen moest er een speciaal binnenwerk ge-3D print worden wat de elektronica en de bevestigingspunten bevat. Het ontwerpen en 3D-printen van dit flexibele binnenwerk is gedaan door mijn zoon Thijs van Liempd. (Trotse vader! En terecht!)
Elke sensor bevat een ESP-32 microcontroller die ook Bluetooth (BLE) kan ontvangen. Voor de zekerheid worden de signalen die de sensor ontvangt niet draadloos maar via een kabel naar het basisstation gestuurd.
Het “Base Station” ontvangt van de sensoren de Bluetooth signalen van boeken die zich in de ruimte bevinden. Daarnaast krijgt het draadloos de informatie van elk boek dat open of dicht gaat. Deze informatie wordt doorgegeven naar de PC die het in de Game Engine verwerkt.
De game engine probeert op basis van de bluetooth signalen te bepalen waar de boeken zijn in de ruimte. We gebruiken geavanceerde wiskundige methoden om zo goed mogelijk gebruik te maken van de beschikbare informatie ook al bevat deze informatie (uiteraard) ruis (bluetooth afstanden zijn niet heel nauwkeurig en nogal wispelturig).
We hebben nu inmiddels veel meer kennis over het dagelijkse gebruik van de installatie (deze wordt zeer intensief gebruikt!) en geleerd voor hoe we de componenten degelijker kunnen maken!
Waar ben ik het meest trots op?
Het meest trots ben ik er op dat ik samen met Happy Ship en Chantalla Pleiter een installatie heb kunnen maken die voor de spelers leuk is en heel gevarieerd! Daarnaast ben ik er stiekem best trots op dat ik de moeilijke wiskundige methoden op een praktische manier heb kunnen gebruiken in de code. En ik ben er zeker ook trots op dat ik de elektronica samen met mijn zoon Thijs op een degelijke manier heb kunnen verwerken in de boeken!
Type project:
Games
Software
Hardware Installatie
In opdracht van:
Samenwerking met HappyShip en Chantalla Pleiter voor Forum Groningen