Categorie: Experimenteel
Het gebruik van artificial intelligence en augmented reality op de Microsoft HoloLens™ voor het opereren met 3D hologrammen
A. Groenenberg1, 2, 3, L. Brouwers2, T. J. J. Maal3, J. W. Meulstee3, M. Bemelman2, J. M. M. Heyligers4
1Universiteit Twente, Enschede, Technische Natuurwetenschappen
2ETZ Tilburg - Elisatbeth, TILBURG, Traumachirurgie
3Radboudumc - Lokatie Nijmegen, NIJMEGEN, 3D lab
4ETZ Tilburg - Elisatbeth, TILBURG, Vaatchirurgie
Introductie
Met behulp van Augmented Reality(AR) op de Microsoft HoloLens™ kan de chirurg virtuele 3D-hologrammen van CT beelden op een lichaamsdeel projecteren en beeldnavigatie gebruiken in het directe operatiegebied. Dankzij Artificial Intelligence (AI) kan dit voor het eerst automatisch, zonder markeringen. Dit onderzoek exploreert de chirurgische toepassingen op menselijke kadavers.
Methode
Allereerst is een hologramprojectie op de hand van een echte patiënt onderzocht om de haalbaarheid van registratie op een mens te testen. Vervolgens is de precisie van de hologramregistratie gemeten op een pols, een enkel en een bekken van een menselijk kadaver. Van deze preparaten zijn een CT-scan en een 3D-model gemaakt. Op de Unity3D engine is met Vuforia® AI software (randdetectie van het kadaver) een app gebouwd om automatische projectie van het hologram over het kadaver te bereiken. De precisie is op millimeterpapier gemeten als de afstand tussen het hologram en overschot via de HoloLens™ door 2 onafhankelijke observatoren.
Resultaten
De uitkomst van dit onderzoek wordt weergegeven als registratieafwijking en bijbehorende variantie tussen het automatisch geprojecteerde hologram en het preparaat in millimeters. Voorlopige resultaten tonen aan dat markerloze hologramprojectie mogelijk is op een menselijke extremiteit. Momenteel zijn de metingen gaande om de registratieprecisie van het hologram op het stoffelijk overschot vast te stellen. Op het moment van schrijven zullen de resultaten van dit onderzoek de eerste ter wereld zijn van markerloze, AI-gestuurde hologrammen op menselijke kadavers.
Conclusie
De hypothese is dat AI-gestuurde hologrammen op de HoloLens™ millimeterprecisie kunnen behalen via markerloze registratie op een menselijk overschot. Hiermee is een chirurgische visualisatiemethode ontwikkeld welke live pre-operatieve 3D-modellen op het operatiegebied kan projecteren. Voor herregistratie van deze live projectie is geen intraoperatieve straling of enig andere markering nodig.
Een 3D hologram direct geprojecteerd op de hand van een patiënt. De foto is een screenshot van het beeld uit de Microsoft HoloLens™.
