Meta sta lavorando a diversi prototipi VR che mirano a superare il test di Visual Turing

Meta e i suoi Reality Labs sono stati impegnati al lavoro cercando di capire cosa serve per costruire display di prossima generazione per i suoi visori per realtà virtuale/aumentata/mista.

Gli attuali sistemi VR offrono all’utente un’esperienza coinvolgente che offre la sensazione di trovarsi in un luogo diverso, ma secondo il CEO di Meta Mark Zuckerberg, abbiamo ancora molta strada da fare prima di raggiungere il realismo visivo.

I display che alla fine corrispondono alla piena capacità della visione umana sbloccheranno interessanti esperienze VR, ma arrivarci è un lungo raggio.

Durante un recente Meta briefing, Zuckerberg ha spiegato come la visione umana sia molto complessa e profondamente integrata, e per replicarla su uno schermo non basta: abbiamo bisogno di altri segnali visivi per avere una sensazione di immersione.

“Per creare immagini 3D sono necessari display stereoscopici. Devi essere in grado di eseguire il rendering di oggetti e mettere a fuoco gli occhi a distanze diverse, il che è diverso da uno schermo o display tradizionale in cui devi metterlo a fuoco solo a una distanza, dove tieni il telefono o il monitor”, ha affermato Zuckerberg mentre parla delle sfide legate allo sviluppo di esperienze VR realistiche e coinvolgenti.

Ha continuato affermando che sono necessari display in grado di approssimare la luminosità e la gamma dinamica del mondo reale, un tracciamento del movimento realistico e una pipeline grafica per ottenere le migliori prestazioni dalla CPU e dalla GPU del dispositivo senza farlo surriscaldare .

Infine, tutti questi elementi devono essere integrati in una macchina compatta, leggera e comoda da indossare. “Se qualcuno di questi pezzi non viene implementato bene, rompe quella sensazione di immersione. E ti senti davvero così più di quanto faresti su un tipico schermo 2D oggi”, ha affermato Zuckerberg.

Affinché una macchina VR sia indistinguibile da ciò che vediamo con i nostri occhi, deve superare un “Test di Turing visivo” e nessuna tecnologia VR attuale è stata in grado di farlo.

Per superare il test visivo di Turing, il team di Display Systems Research (DSR) di Reality Labs Research sta sviluppando un nuovo stack tecnologico che include:

  • Tecnologia varifocal: assicura che la messa a fuoco sia corretta e consente una visione chiara e confortevole a distanza di un braccio per lunghi periodi di tempo.
  • Correzione della distorsione
  • Risoluzione che si avvicina o supera 20/20 o 6/6 della visione umana
  • Tecnologia ad alta gamma dinamica (HDR) che espande la gamma di colori, luminosità e contrasto in VR

Il DSR di Meta ha sviluppato quattro prototipi che mirano a fornire soluzioni agli ostacoli sopra menzionati.

Serie a mezza cupola

La serie Half Dome affronta l’aspetto Varifocal della creazione di un’esperienza coinvolgente.

Nel 2018, DSR ha ampliato il campo visivo dell’Half Dome 1 a 140 gradi e si è concentrato sull’ergonomia e sul comfort dell’Half Dome 2 riducendo l’ottica dell’auricolare e riducendo il peso complessivo del dispositivo di 200 grammi.

Poi, nel 2019, con l’Half Dome 3, DSR ha applicato il varifocale elettronico all’auricolare, sostituendo le parti meccaniche mobili dell’Half Dome 2 con lenti a cristalli liquidi, con conseguente ulteriore diminuzione della forma e del peso dell’auricolare.

Secondo Meta, affinché il varifocal funzioni come previsto, la distorsione ottica deve essere ulteriormente affrontata. “La correzione nelle cuffie odierne è statica, ma la distorsione dell’immagine virtuale cambia a seconda di dove si guarda. Questo può far sembrare la realtà virtuale meno reale perché tutto si muove un po’ come si muove l’occhio”, si legge nel comunicato stampa dell’azienda sullo sviluppo di detti prototipi.

Secondo Michael Abrash, scienziato capo dei Reality Labs di Meta, “Il problema con lo studio della distorsione, tuttavia, è che ci vuole davvero molto tempo: la fabbricazione delle lenti di cui hai bisogno per studiare il problema può richiedere settimane o mesi, e una volta che le hai , hai ancora un lungo processo di costruzione di un sistema di visualizzazione funzionale con loro.”

DSR ha sviluppato un simulatore di distorsione VR che utilizza oggetti virtuali e eye-tracking per simulare la distorsione vista in una cuffia per un progetto di ottica specifico e la visualizza utilizzando tecnologie TV 3D, consentendo al team di studiare diversi progetti ottici e algoritmi di correzione della distorsione senza dover sviluppare una cuffia reale.

Caramello

Affinché Meta crei una tecnologia VR che sia immersiva e super realistica, deve raggiungere una risoluzione che possa corrispondere all’occhio umano e ciò significa ottenere fino a circa 60 pixel per grado nel display.

Gli schermi che ci circondano oggi, compresi i nostri televisori e telefoni, hanno superato da tempo il benchmark di 60 pixel per grado, il che significa che possono replicare la visione 20/20 o 6/6, ma crearli in un auricolare compatto è stata una sfida.

“La realtà virtuale è in ritardo perché il campo visivo immersivo diffonde i pixel disponibili su un’area più ampia, riducendo così la risoluzione. Ciò limita il realismo percepito e la capacità di presentare un testo raffinato, che è fondamentale per superare il test visivo di Turing”, si legge nel comunicato di Meta.

Per ottenere una risoluzione quasi retinica, DSR ha ridotto il campo visivo a circa la metà di quello del Quest 2, ha progettato una nuova lente ibrida e l’ha implementata su un prototipo chiamato “Butterscotch”.

Butterscotch è “per nulla spedibile”, ma eccelle nel dimostrare quanta differenza abbia fatto l’aumento della risoluzione nel fornire un’esperienza VR realistica.

esplosione di stelle

“Sebbene risoluzione, varifocale e distorsione contribuiscano in modo significativo al realismo, probabilmente la dimensione più importante di tutte è l’alta gamma dinamica o HDR”, ha affermato Zuckerberg.

HDR è la luminosità e il contrasto complessivi di un display. Secondo Zuckerberg, la vividezza degli schermi che abbiamo ora confrontato con ciò che i tuoi occhi vedono nel mondo fisico è diversa di un ordine di grandezza. La metrica chiave per l’HDR è nits, che mostra quanto può essere luminoso un display. I televisori tradizionali possono arrivare fino a qualche migliaio di nit, ma in VR il livello massimo di nit in questo momento è di circa 100, e questo è su Quest 2.

“Dovremo raggiungere livelli di luminosità significativamente più elevati rispetto a quelli che oggi chiamiamo HDR sugli schermi tradizionali”, ha affermato Zuckerberg. “E poi, naturalmente, la sfida è che dobbiamo farlo in qualcosa che sia alimentato a batteria e comodo da indossare”.

Starburst è un prototipo di auricolare HDR che, sebbene non sia affatto vicino alle condizioni di spedizione, può produrre una gamma completa di luminosità tipica degli ambienti interni o notturni.

L’ingombrante prototipo raggiunge i 20.000 nits di luminosità ed è il primo sistema HDR VR. “Lo stiamo usando per testare e per ulteriori studi in modo da poter avere un’idea di come si sente l’esperienza”, ha affermato Zuckerberg. L’obiettivo con Starburst è ricercare e studiare come l’HDR possa aiutare in esperienze VR iperrealistiche e, infine, ridurre tutto in un visore compatto che può essere spedito.

Torta olografica 2

Holocake 2 è un dispositivo sperimentale, che secondo Meta è il visore VR più sottile e leggero che abbia mai realizzato fino ad oggi, e può eseguire qualsiasi titolo VR per PC esistente.

“Nella maggior parte dei visori VR, le lenti sono piuttosto spesse e devono essere posizionate a pochi centimetri dal display in modo che possano mettere a fuoco correttamente e dirigere la luce direttamente negli occhi”, ha affermato Zuckerberg. “E questo è ciò che dà alle cuffie un aspetto dove sono piuttosto pesanti nella parte anteriore.”

Per aggirare il problema del fattore di forma spesso, Meta ha dovuto modificare le lenti del visore.

Invece di far brillare la luce attraverso una lente, l’Holocake 2 fa brillare la luce attraverso l’olografo di una lente. Inoltre, l’Holocake 2 utilizza la piegatura ottica basata sulla polarizzazione (ottica pancake) per ridurre lo spazio complessivo tra il pannello del display e l’obiettivo olografico, risultando in un visore con un fattore di forma molto più compatto.

“Questo è il nostro primo tentativo di una cuffia completamente funzionale che sfrutti l’ottica olografica e riteniamo che sia possibile un’ulteriore miniaturizzazione della cuffia”, si legge nel comunicato stampa di Meta.

L’obiettivo finale è che Meta combini l’abilità tecnica di tutti i prototipi sopra menzionati in un dispositivo compatto che possa superare il test di Turing e “Mirror Lake” è uno dei numerosi potenziali percorsi verso tale obiettivo.

Bene, è più un’idea concettuale, che un vero prototipo fisico. “Mirror Lake è un concept design con un fattore di forma simile a una maschera da sci che riprende l’architettura di Holocacake 2 e poi aggiunge quasi tutte le tecnologie visive avanzate che abbiamo incubato negli ultimi sette anni, tra cui varifocale e eye-tracking ”, disse Abrash.

Tutto nell’auricolare è sottile e piatto. La tecnologia varifocal utilizzata è piatta, così come tutte le pellicole olografiche utilizzate per Holocacake. “è facile continuare ad aggiungere tecnologie sottili e piatte. Ciò significa che il prodotto finale può racchiudere più funzionalità in un pacchetto più piccolo rispetto a qualsiasi cosa esistente oggi”, ha affermato Abrash.

Leave a Comment

Your email address will not be published. Required fields are marked *