Cosa sono le reti neurali dei grafi?

Quando due tecnologie convergono, possono creare qualcosa di nuovo e meraviglioso, come i cellulari e i browser sono stati fusi per forgiare gli smartphone.

Oggi, gli sviluppatori stanno applicando la capacità dell’IA di trovare modelli a enormi database di grafici che memorizzano informazioni sulle relazioni tra punti dati di ogni tipo. Insieme producono un nuovo potente strumento chiamato reti neurali a grafo.

Cosa sono le reti neurali dei grafi?

Le reti neurali a grafo applicano il potere predittivo del deep learning a strutture di dati avanzate che descrivono gli oggetti e le loro relazioni come punti collegati da linee in un grafico.

Nei GNN, i punti dati sono chiamati nodi, che sono collegati da linee – dette bordi – con elementi espressi matematicamente in modo che gli algoritmi di apprendimento automatico possano fare previsioni utili a livello di nodi, bordi o interi grafici.

Cosa possono fare i GNN?

Un elenco in espansione di aziende sta applicando i GNN per migliorare la scoperta di farmaci, il rilevamento delle frodi e i sistemi di raccomandazione. Queste applicazioni e molte altre si basano sulla ricerca di modelli nelle relazioni tra punti dati.

I ricercatori stanno esplorando casi d’uso per GNN in computer grafica, sicurezza informatica, genomica e scienza dei materiali. Un recente articolo ha riportato come i GNN utilizzassero le mappe dei trasporti come grafici per migliorare le previsioni dell’orario di arrivo.

Molti rami della scienza e dell’industria memorizzano già dati preziosi in database di grafi. Con il deep learning, possono addestrare modelli predittivi che portano alla luce nuove informazioni dai loro grafici.

Esempi di utilizzo di reti neurali a grafo
La conoscenza di molti campi della scienza e dell’industria può essere espressa sotto forma di grafici.

“I GNN sono una delle aree più importanti della ricerca sull’apprendimento profondo e vediamo un numero crescente di applicazioni che sfruttano i GNN per migliorare le proprie prestazioni”, ha affermato George Karypis, scienziato principale senior di AWS, in un discorso all’inizio di quest’anno.

Altri sono d’accordo. I GNN “stanno prendendo fuoco a causa della loro flessibilità nel modellare relazioni complesse, cosa che le reti neurali tradizionali non possono fare”, ha detto Jure Leskovec, professore associato a Stanford, parlando in un recente discorso, dove ha mostrato il grafico sottostante dei documenti di intelligenza artificiale che li menzionano .

Articoli recenti sulle reti neurali dei grafi

Chi usa le reti neurali dei grafi?

Amazon ha riferito nel 2017 del proprio lavoro utilizzando i GNN per rilevare le frodi. Nel 2020 ha lanciato un servizio GNN pubblico che altri potrebbero utilizzare per il rilevamento delle frodi, i sistemi di raccomandazione e altre applicazioni.

Per mantenere alto il livello di fiducia dei propri clienti, Amazon Search utilizza GNN per rilevare venditori, acquirenti e prodotti dannosi. Utilizzando le GPU NVIDIA, è in grado di esplorare grafici con decine di milioni di nodi e centinaia di milioni di bordi riducendo i tempi di formazione da 24 a cinque ore.

Da parte sua, la società biofarmaceutica GSK mantiene un grafico della conoscenza con quasi 500 miliardi di nodi che viene utilizzato in molti dei suoi modelli in linguaggio macchina, ha affermato Kim Branson, responsabile globale dell’IA dell’azienda, parlando a un panel in un workshop GNN.

LinkedIn utilizza i GNN per formulare raccomandazioni sui social e comprendere le relazioni tra le competenze delle persone e i loro titoli di lavoro, ha affermato Jaewon Yang, un ingegnere software senior dell’azienda, parlando in un altro panel al workshop.

“I GNN sono strumenti generici e ogni anno scopriamo un sacco di nuove app per loro”, ha affermato Joe Eaton, un eminente ingegnere di NVIDIA che guida un team che applica l’elaborazione accelerata ai GNN. “Non abbiamo nemmeno scalfito la superficie di ciò che possono fare i GNN”.

Ancora un altro segno dell’interesse per i GNN, i video di un corso su di essi che Leskovec insegna a Stanford hanno ricevuto più di 700.000 visualizzazioni.

Come funzionano i GNN?

Ad oggi, il deep learning si è concentrato principalmente su immagini e testo, tipi di dati strutturati che possono essere descritti come sequenze di parole o griglie di pixel. I grafici, al contrario, non sono strutturati. Possono assumere qualsiasi forma o dimensione e contenere qualsiasi tipo di dato, comprese immagini e testo.

Utilizzando un processo chiamato passaggio di messaggi, i GNN organizzano i grafici in modo che gli algoritmi di apprendimento automatico possano utilizzarli.

Il passaggio di messaggi incorpora in ogni nodo le informazioni sui suoi vicini. I modelli di intelligenza artificiale utilizzano le informazioni incorporate per trovare modelli e fare previsioni.

Passaggio di messaggi nei GNN
Esempi di flussi di dati in tre tipi di GNN.

Ad esempio, i sistemi di raccomandazione utilizzano una forma di incorporamento di nodi nei GNN per abbinare i clienti ai prodotti. I sistemi di rilevamento delle frodi utilizzano gli edge embedding per trovare transazioni sospette e i modelli di drug discovery confrontano interi grafici di molecole per scoprire come reagiscono l’una all’altra.

I GNN sono unici in altri due modi: usano la matematica sparsa e i modelli in genere hanno solo due o tre livelli. Altri modelli di intelligenza artificiale utilizzano generalmente una matematica densa e hanno centinaia di livelli di rete neurale.

Pipeline di esempio per una rete neurale grafica
La pipeline GNN ha un grafico come input e previsioni come output.

Qual è la storia dei GNN?

Un documento del 2009 di ricercatori in Italia è stato il primo a dare il nome alle reti neurali a grafo. Ma ci sono voluti otto anni prima che due ricercatori di Amsterdam dimostrassero la loro potenza con una variante che hanno chiamato rete convoluzionale grafica (GCN), che è una delle GNN più popolari oggi.

Il lavoro GCN ha ispirato Leskovec e due dei suoi studenti laureati a Stanford a creare GraphSage, un GNN che ha mostrato nuovi modi in cui la funzione di passaggio dei messaggi potrebbe funzionare. Lo ha messo alla prova nell’estate del 2017 su Pinterest, dove ha servito come capo scienziato.

La rete neurale del grafico GraphSage
GraphSage ha aperto la strada a potenti tecniche di aggregazione per il passaggio di messaggi nei GNN.

La loro implementazione, PinSage, era un sistema di raccomandazione che racchiudeva 3 miliardi di nodi e 18 miliardi di edge per superare gli altri modelli di intelligenza artificiale in quel momento.

Pinterest lo applica oggi a oltre 100 casi d’uso in tutta l’azienda. “Senza GNN, Pinterest non sarebbe così coinvolgente come lo è oggi”, ha affermato Andrew Zhai, un ingegnere di apprendimento automatico senior dell’azienda, parlando a un panel online.

Nel frattempo, sono emerse altre varianti e ibridi, comprese le reti ricorrenti di grafi e le reti di attenzione dei grafi. I GAT prendono in prestito il meccanismo di attenzione definito nei modelli di trasformatore per aiutare i GNN a concentrarsi su porzioni di set di dati che sono di maggiore interesse.

Variazioni delle reti neurali a grafo
Una panoramica dei GNN raffigurava un albero genealogico delle loro varianti.

Ridimensionamento delle reti neurali del grafico

Guardando al futuro, i GNN devono scalare in tutte le dimensioni.

Le organizzazioni che non gestiscono già database di grafi necessitano di strumenti per semplificare il lavoro di creazione di queste complesse strutture di dati.

Coloro che utilizzano i database di grafi sanno che in alcuni casi stanno crescendo per avere migliaia di funzionalità incorporate in un singolo nodo o bordo. Ciò presenta sfide per il caricamento efficiente degli enormi set di dati dai sottosistemi di archiviazione attraverso le reti ai processori.

“Stiamo fornendo prodotti che massimizzano la memoria, la larghezza di banda computazionale e il throughput dei sistemi accelerati per affrontare questi problemi di caricamento e ridimensionamento dei dati”, ha affermato Eaton.

Come parte di questo lavoro, NVIDIA ha annunciato al GTC che ora supporta PyTorch Geometric (PyG) oltre alla Deep Graph Library (DGL). Questi sono due dei framework software GNN più popolari.

Strumenti NVIDIA per la creazione di reti neurali grafiche
NVIDIA fornisce molteplici strumenti per accelerare la creazione di GNN.

I container DGL e PyG ottimizzati per NVIDIA sono ottimizzati per le prestazioni e testati per le GPU NVIDIA. Forniscono un punto di partenza facile per iniziare a sviluppare applicazioni utilizzando GNN.

Per saperne di più, guarda un discorso sull’accelerazione e il ridimensionamento dei GNN con DGL e GPU di Da Zheng, uno scienziato applicato senior presso AWS. Inoltre, gli ingegneri NVIDIA hanno tenuto colloqui separati sull’accelerazione dei GNN con DGL e PyG.

Per iniziare oggi, iscriviti al nostro programma di accesso anticipato per DGL e PyG.

Leave a Comment

Your email address will not be published. Required fields are marked *