La ricerca neurale basata sull’intelligenza artificiale di Vectara sfida le ricerche basate su parole chiave

C’è un modo migliore per creare uno strumento di ricerca che produca risultati più altamente pertinenti rispetto al semplice utilizzo di tecniche basate su parole chiave?

Questa è una delle tante domande che gli ex membri dello staff di Google Amr Awadallah (CEO), Amin Ahmad (CTO) e Tallat Shafaat (architetto capo) volevano risolvere con la loro nuova startup, che è stata di nascosto sotto il nome di ZIR AI. Oggi, ZIR AI sta emergendo dalla furtività sotto il nome di Vectara, con l’aiuto di $ 20 milioni di finanziamenti iniziali e la disponibilità della tecnologia di ricerca neurale dell’azienda come servizio.

La premessa fondamentale di Vectara è che i modelli di linguaggio di grandi dimensioni (LLM) basati sull’intelligenza artificiale (AI) combinati con l’elaborazione del linguaggio naturale (NLP), le pipeline di integrazione dei dati e le tecniche vettoriali possono creare una rete neurale utile per molteplici casi d’uso, inclusa la ricerca .

“Al centro di ciò che abbiamo costruito c’è una rete neurale che rende molto semplice per qualsiasi azienda sfruttare quel potere e fare qualcosa di utile con esso”, ha detto Awadallah a VentureBeat. “I modelli linguistici di grandi dimensioni e le reti neurali hanno trasformato il modo in cui comprendiamo il significato dietro il testo e la prima offerta che stiamo lanciando è la ricerca neurale come servizio. “

Come Vectara combina più tecniche di intelligenza artificiale in qualcosa di nuovo

Gli LLM e le reti neurali in generale utilizzano i vettori come elemento fondamentale. “Uno degli elementi chiave della creazione di modelli linguistici di grandi dimensioni e dell’inferenza della rete neurale è un sistema di corrispondenza dei vettori nel mezzo”, ha affermato.

Awadallah ha spiegato che le reti neurali immettono informazioni e il output della rete sono i vettori che rappresentano gli apprendimenti che la rete neurale genera. Ha sottolineato che la piattaforma di Vectara non riguarda solo l’analisi dei vettori, ma la piattaforma della sua azienda copre l’intera pipeline di dati.

Ci sono più fornitori oggi sul mercato che forniscono tecnologie di database vettoriali come Pinecone. Un database vettoriale è solo una parte di ciò che Vectara offre.

Awadallah ha spiegato che quando un utente esegue una query, Vectara utilizza la sua rete neurale per convertire quella query dallo spazio linguistico, ovvero il vocabolario e la grammatica, nello spazio vettoriale, che è costituito da numeri e matematica. Vectara indicizza tutti i dati che un’organizzazione desidera cercare in un database vettoriale, che troverà il vettore più vicino a una query dell’utente.

L’alimentazione del database vettoriale è una grande pipeline di dati che acquisisce diversi tipi di dati. Ad esempio, la pipeline di dati sa come gestire i documenti Word standard, così come i file PDF, ed è in grado di comprenderne la struttura. La piattaforma Vectara fornisce anche risultati con un approccio noto come ranking cross-attenzionale che tiene conto sia del significato della query che dei risultati restituiti per ottenere risultati ancora migliori.

Dai big data su Hadoop alla ricerca neurale come servizio

Vectara non è la prima startup che Awadallah ha aiutato a iniziare; è stato anche cofondatore del provider Hadoop Cloudera nel 2008. Ci sono lezioni apprese dalle sue esperienze che stanno aiutando a prendere decisioni nella nuova startup.

Una delle lezioni che ha imparato nel corso degli anni è che non è mai una buona idea costruire tecnologia solo per il bene della tecnologia. Awadallah ha sottolineato che la pipeline di elaborazione dei dati neurali di Vectara è potente e potrebbe essere utilizzata per diverse applicazioni. Hanno scelto la ricerca per iniziare con Vectara perché è una sfida che deve affrontare un gran numero di organizzazioni.

“Volevamo iniziare con un problema che tutti hanno e che deve essere risolto in un buon modo”, ha detto Awadallah.

Awadallah e i suoi cofondatori hanno tutti avuto esperienza in Google, dove sono stati utilizzati LLM e l’uso di tecniche di trasformazione. Ha spiegato che con un trasformatore è possibile comprendere meglio il contesto per ottenere un risultato migliore per una query. Con un trasformatore, un sistema non solo comprende il significato di una determinata parola, ma comprende anche come la parola si riferisce ad altre parole in quella frase, e nella frase precedente, e poi la frase successiva, per ottenere il giusto contesto.

“Lo abbiamo fatto a Google”, ha detto. “Sappiamo come mettere a punto correttamente i parametri per ottenere il miglior risultato per i nostri clienti, ed è proprio questo che ci differenzia”.

La ricerca è solo il primo servizio per Vectara. Awadallah ha affermato che la sua azienda aggiungerà nuovi servizi nel tempo, con probabili futuri candidati che forniranno consigli e strumenti per aiutare gli utenti a far emergere argomenti correlati.

“La rivoluzione industriale riguardava il modo in cui creiamo cose con le nostre mani e ora stiamo aiutando le persone a costruire cose con cose che escono dal loro cervello”, ha detto Awadallah. “Questa è la base di questa pipeline che stiamo costruendo, che è una pipeline di rete neurale che consente di elaborare ed estrarre valore dai dati”.