avatar, AR e interfaccia cervello-computer

Meta svela nuove ricerche: avatar, AR e interfaccia cervello-computer

Immagine: obiettivo

L’articolo può essere visualizzato solo con JavaScript attivato. Si prega di attivare JavaScript nel browser e caricare la nuova pagina.

A Meta Connect 2022, Meta ha mostrato nuovi risultati di ricerca nel campo della realtà virtuale e aumentata. Una panoramica con esempi video.

La ricerca di Meta è progettata per durare dieci anni o più e spingere i confini di ciò che è possibile oggi in tecnologie come la realtà virtuale, la realtà aumentata e l’intelligenza artificiale. Al Meta Connect 2022, l’azienda ha fornito una panoramica della ricerca in molte aree, dalle cuffie AR di Meta alle interfacce neurali e alla scansione 3D agli avatar di codec fotorealistici.

Realtà aumentata

Metas mira a lanciare un visore AR elegante, visivamente accattivante ma potente nei prossimi anni. Poiché le sfide tecniche in termini di miniaturizzazione, potenza, capacità della batteriae calore di scarto sono fantastici, Meta sta perseguendo una doppia strategia nel suo sviluppo.

“Gli occhiali devono essere relativamente piccoli per avere un bell’aspetto e sentirsi bene. Quindi, ci stiamo avvicinando alla costruzione di occhiali per realtà aumentata da due diverse angolazioni. Il primo è costruire su tutta la tecnologia di cui abbiamo bisogno per gli occhiali full-AR e quindi lavorare per adattarla al miglior fattore di forma possibile per gli occhiali. Il secondo approccio è iniziare con il fattore di forma ideale e lavorare per adattarvi sempre più tecnologia nel tempo”, ha affermato Mark Zuckerberg nel keynote.

Il primo sforzo va sotto il nome in codice Project Nazare, mentre il secondo è un progetto congiunto tra Meta ed EssilorLuxottica, il più grande produttore di occhiali al mondo. Questa partnership ha già portato a un prodotto: Ray-Ban Stories, che offre diverse funzionalità intelligenti ma non ha un display integrato.

A Meta Connect 2022, Meta ed EssilorLuxottica hanno fornito un aggiornamento sul progetto degli occhiali dati e sulla collaborazione:

  • Il Storie di Ray-Ban presto sarà possibile chiamare i contatti in vivavoce o inviare un messaggio di testo tramite un aggiornamento software.
  • Un’altra novità è una funzione chiamata Spotify Tocca. “Ti basterà toccare e tenere premuto il lato degli occhiali per riprodurre Spotify, e se vuoi sentire qualcosa di diverso, tocca e tieni premuto di nuovo e Spotify consiglierà qualcosa di nuovo”, scrive Meta.
  • Il capo dei wearable di EssilorLuxottica Rocco Basilico ha annunciato durante il keynote che la sua azienda e Meta lo sono lavorando su una nuova cuffia che aprirà un “portale nel Metaverso”. La prossima generazione di Ray-Ban Stories sarà dotata di un display? Zuckerberg e Basilico lo hanno lasciato aperto.

Che dire Progetto Nazare?

A Meta Connect 2021, Meta ha simulato come potrebbe apparire una vista attraverso Project Nazare. Quest’anno, Zuckerberg ha presentato un altro teaser dell’auricolare AR senza mostrarlo.

Il CEO di Meta si muove lungo un corridoio con il dispositivo e lo controlla usando un braccialetto EMG. Apparentemente, puoi vedere a visualizzare attraverso Project Nazare.

Zuckerberg invia un messaggio al capo della ricerca di Meta Michael Abrash e registra un video, entrambi utilizzando micro gesti. Ciò è reso possibile dal braccialetto EMG, che intercetta i segnali motori del cervello sul polso e li converte in comandi del computer con l’aiuto dell’IA. Meta vede questo tipo di interfaccia come la più importante AR concetto operativo del futuro insieme al controllo vocale e al rilevamento delle mani.

Zuckerberg non ha detto quando potrebbe apparire il Progetto Nazare. Secondo un rapporto, Meta prevede di svelarlo nel 2024 e commercializzarlo nel 2026.

Interfaccia neurale

Un altro blocco nell’aggiornamento della ricerca di Meta riguarda il suddetto braccialetto EMG. Meta si basa su una combinazione di questa tecnologia e supporto AI personalizzato per l’interfaccia AR del futuro, che riconosce il contesto di una situazione e di un’azione e supporta in modo proattivo i portatori di occhiali nella loro vita quotidiana. Ciò dovrebbe consentire un’interfaccia intuitiva e quasi priva di attriti tra uomo e computer.

“Combinando apprendimento automatico e neuroscienza, questa interfaccia futura funzionerà per persone diverse tenendo conto delle loro differenze di fisiologia, dimensioni e altro attraverso un processo noto come “apprendimento co-adattivo”, scrive Meta.

Il video lo illustra. In esso, due dipendenti Meta possono essere visti mentre giocano a un semplice gioco arcade tramite il braccialetto EMG e i movimenti delle dita. Nota che usano gesti leggermente diversi: l’intelligenza artificiale apprende dai segnali e dai movimenti e genera un modello individuale.

“Ogni volta che uno di loro esegue il gesto, l’algoritmo si adatta per interpretare i segnali di quella persona, quindi il gesto naturale di ogni persona viene rapidamente riconosciuto con alta affidabilità. In altre parole, il sistema riesce a comprenderli meglio nel tempo”, scrive Meta.

Migliore è l’allenamento dell’algoritmo, meno mani e dita devono essere spostate. Il sistema riconosce le azioni che la persona ha già deciso decodificando i segnali al polso e convertendoli in comandi del computer.

Navigazione AR per non vedenti

Meta sta lavorando con la Carnegie Mellon University (CMU) a un progetto di ricerca per aiutare i non vedenti a navigare in complessi ambienti interni.

I ricercatori dell’università hanno utilizzato gli occhiali di rilevamento Project Aria di Meta scansiona l’aeroporto di Pittsburgh in 3D. Hanno utilizzato questa mappa 3D dell’ambiente per addestrare i modelli di localizzazione dell’IA. Di conseguenza, l’app per smartphone NavCog, sviluppata da CMU, può guidare gli utenti in modo più sicuro attraverso l’aeroporto trasmettendo istruzioni audio. Il seguente video spiega la tecnologia.

Scansione 3D semplice

I visori per realtà mista come Meta Quest Pro mostrano l’ambiente fisico nel visore. Non possono ancora scansionare oggetti e salvarli come modelli 3D. Se questa fosse un’opzione, sarebbe possibile portare oggetti reali in ambienti virtuali.

“È difficile creare oggetti 3D da zero e utilizzare oggetti fisici come modelli potrebbe essere più semplice e veloce. Ma oggi non esiste un modo semplice per farlo, quindi stiamo ricercando due diverse tecnologie per aiutare a risolvere questo problema”, scrive Meta.

Il primo utilizza l’apprendimento automatico, chiamato Neural Radiance Fields o NeRF in breve, per creare un oggetto 3D estremamente dettagliato da poche foto.

Si chiama la seconda tecnologia Rendering inverso. Gli oggetti digitalizzati con questo metodo reagiscono dinamicamente all’illuminazione e alla fisica negli ambienti VR.

Uno svantaggio di entrambe le tecnologie è che non funzionano ancora in tempo reale. Tuttavia, Meta li vede come passaggi importanti sulla strada per la semplice scansione 3D di oggetti fisici.

Codec avatar

Incontri digitali fotorealistici: per Mark Zuckerberg, questa è l’app killer della realtà virtuale e aumentata.

A tal fine, Meta lavora da molti anni sui cosiddetti codec avatar: alter ego digitali che differiscono appena nell’aspetto dall’originale umano.

Al Meta Connect 2021, Meta ha mostrato avatar di codec di seconda generazione e ha dimostrato avatar a corpo intero. Quest’anno c’è stato un altro aggiornamento sulla tecnologia.

Codec Avatars 2.0 ora può passare da un abbigliamento virtuale all’altro e sono ancora più espressivo. Per dimostrare l’espressività migliorata, Mark Zuckerberg ha realizzato un avatar Codec con se stesso. Il video seguente mostra cosa fa ora la tecnologia.

Uno dei maggiori problemi per il marketing e l’appropriazione degli avatar codec è la loro complessa creazione: gli utenti dovrebbero farsi scansionare in uno speciale studio 3D.

Per semplificare la generazione di un avatar codec personale, Meta sta lavorando Avatar codec istantanei. Tutto ciò che serve è una scansione del viso di due minuti con uno smartphone. Il video seguente illustra il processo di registrazione.

Lo svantaggio di questo processo è che l’avatar finito non sembra così realistico come quello di Zuckerberg e ci vogliono ancora ore prima che l’avatar sia creato e pronto per l’uso. Tuttavia, Meta sta lavorando per accelerare il processo.

Meta Connect 2022: guarda l’aggiornamento della ricerca su Youtube

Meta sottolinea che i progetti mostrano la ricerca e che le tecnologie non devono necessariamente trovare la loro strada nei prodotti. “Tuttavia, è uno sguardo a dove si dirigerà la tecnologia nei prossimi cinque o dieci anni”, scrive Meta. Di seguito il video estratto che introduce le novità presenti in questo articolo.


Leave a Comment

Your email address will not be published. Required fields are marked *