Una visione migliore grazie alla realtà aumentata

I visitatori dell'ufficio di Marino Menozzi a Zurigo sono accolti da un occhio grande come una palla medica. Realizzato in polistirolo, si trova sullo scaffale dietro la scrivania di Menozzi. Nel laboratorio accanto si può scoprire di cosa si tratta. Lì, davanti allo schermo di un computer, c'è una tavola di legno su cui sono montate due piccole telecamere ad angolo retto tra loro. Accanto c'è una penna con piccole pinzette e un paio di occhiali ingombranti che ricordano un po' Robocop. "Quella che vedete è una piattaforma di simulazione per la chirurgia oculistica", spiega Menozzi, libero docente presso la Cattedra di Comportamento del Consumatore.

Gli oftalmologi in formazione visitano da mesi il laboratorio di Menozzi per esercitarsi a operare la gliosi epiretinica (nota anche come pucker maculare). Questo tipo di intervento si rende necessario quando la membrana di tessuto connettivo che circonda l'umor vitreo dell'occhio si intorbida ed esercita una tensione sulla retina, che può portare a lacerazioni. Il risultato è una visione gravemente compromessa.

Operazioni difficili

Durante l'operazione, viene prima rimosso il corpo vitreo, cioè il gel trasparente nella parte posteriore dell'occhio. Quindi, utilizzando una cannula di diametro inferiore a un millimetro, la membrana sottilissima viene rimossa dalla retina con pinze molto sottili. Se tutto va bene, il paziente tornerà a vedere bene qualche settimana dopo. Un'operazione di questo tipo richiede una grande sensibilità ed esperienza. Per questo motivo i medici in formazione spesso assistono per anni e si esercitano nell'operazione su modelli di plastica e su animali vivi. Quest'ultimo richiede molto tempo e solleva questioni etiche, e i movimenti difficili non possono essere praticati ripetutamente.

? qui che entrano in gioco gli occhiali di Robocop nel laboratorio di Menozzi: vengono praticati virtualmente e con l'aiuto della realtà aumentata. Quando si indossano gli occhiali, appare un occhio virtuale che fluttua nell'aria, ingrandito otto volte - esattamente l'ingrandimento con cui i chirurghi operano normalmente al microscopio. A differenza della realtà virtuale (VR), in cui l'utente non percepisce più l'ambiente, la realtà aumentata (AR) si limita a migliorare l'immagine reale con elementi virtuali aggiuntivi. In questo caso, si tratta dell'occhio ingrandito e delle istruzioni per l'operazione che appaiono nel campo visivo. Ad esempio, frecce, linee e cerchi che indicano al tirocinante il percorso ideale da seguire con il forcipe. L'ambiente reale appare intorno all'occhio ingrandito, ed è per questo che i soggetti del test possono vedere anche le loro mani e la posizione dello strumento chirurgico.

Poiché ogni movimento della mano viene registrato dalle mini telecamere sulla lavagna e trasmesso agli occhiali, il computer può calcolare esattamente la precisione con cui il soggetto ha lavorato. I chirurghi in formazione possono anche essere sottoposti a un "tutoraggio intelligente" virtuale. In altre parole, un algoritmo calcola quali fasi dell'operazione sono state eseguite con successo e quali sono state difficili. In base a ciò, viene messa a punto una sequenza di addestramento che promette il massimo effetto di apprendimento. "Speriamo di poter migliorare l'effetto formativo in modo che i futuri medici siano pronti per le operazioni più rapidamente e commettano meno errori", afferma Menozzi.

Mancanza di aptica e ritardo

I benefici e l'accettazione della simulazione sono attualmente testati nell'ambito di tre tesi di master e con 23 medici in formazione. Gian-Luca K?chli è uno di loro. Sta frequentando l'ultimo anno di medicina e ha già provato il simulatore AR sei volte. La sua conclusione: "La simulazione è molto sensibile e accurata; sono rimasto stupito di quanto sia già realistica", ma ha trovato fastidioso che le immagini sugli occhiali appaiano leggermente ritardate rispetto al movimento reale. Inoltre, manca ancora una tattilità realistica. In principio, tuttavia, ritiene molto promettente l'approccio di praticare le operazioni sul simulatore prima di utilizzarlo sulle persone.

Menozzi vede attualmente tre sfide principali: Poiché le immagini virtuali vengono prima calcolate da un computer e inviate agli occhiali tramite WLAN, a seconda dei movimenti della mano, esse appaiono con un ritardo di 20-30 millisecondi, come detto. Ciò significa che il tempo di latenza è ancora troppo elevato, osserva Menozzi. Seconda sfida: alcuni soggetti reagiscono a certe simulazioni con vertigini o addirittura vomito. La terza sfida è la sensazione di presenza durante la simulazione. "Per noi questo è un indicatore importante di quanto i risultati di una simulazione possano essere trasferiti alla realtà", dice Menozzi. Al momento, ad esempio, il campo visivo è ancora molto limitato. Mentre il campo visivo naturale copre un angolo di circa 200°, con gli occhiali per la realtà mista è di soli 35°. Per un'impressione realistica, sarebbero necessari 120°. Anche l'acustica, gli odori e la tattilità potrebbero rafforzare la presenza.

"App Store per le simulazioni

Sandro Ropelato, che sta sviluppando il simulatore come parte della sua tesi di dottorato, è convinto che il potenziale della tecnologia vada ben oltre la chirurgia oculistica. In futuro, anche altre operazioni complesse e rischiose potrebbero essere modellate in anticipo per la simulazione AR, in modo che i medici possano esercitarsi in tutti i passaggi nel modello virtuale. Vede ulteriori aree di applicazione nell'elettronica, ad esempio nella preparazione dei wafer di silicio per i microchip.

La visione a lungo termine di Ropelato: una sorta di "app store" con diverse simulazioni per la sua configurazione hardware, composta da Hololens, microcamere e computer. La simulazione 3D è basata su "Unity", che è in realtà un software di gioco ma si è affermato per tutti i tipi di applicazioni AR e VR. Sul web sono quindi disponibili migliaia di elementi software, che vanno semplicemente adattati alle proprie applicazioni. Ropelato e Menozzi stanno progettando un'apertura per commercializzare la piattaforma di simulazione a medio termine. "Prima di allora, però, abbiamo ancora molto da imparare dagli utenti", sottolinea Menozzi. "La loro accettazione è fondamentale per il nostro successo".

Questo testo è pubblicato nell'attuale numero della rivista dell'ETH Il globo pubblicato.