Quando l’IA va in tilt, porta gli umani

OAKLAND, California, 13 ottobre (Reuters) – Utilizzato da due terzi delle 100 banche più grandi del mondo per aiutare le decisioni di prestito, il gigante del credit scoring Fair Isaac Corp (FICO.N) e il suo software di intelligenza artificiale possono devastare se qualcosa va storto .

Quella crisi è quasi passata all’inizio della pandemia. Come FICO ha raccontato a Reuters, gli strumenti di intelligenza artificiale della società di Bozeman, Montana per aiutare le banche a identificare le frodi con carte di credito e di debito hanno concluso che un aumento degli acquisti online significava che i truffatori dovevano essere più occupati del solito.

Il software di intelligenza artificiale ha detto alle banche di negare milioni di acquisti legittimi, in un momento in cui i consumatori si stavano arrampicando per la carta igienica e altri elementi essenziali.

Ma alla fine i consumatori hanno dovuto affrontare poche smentite, secondo FICO. La società ha affermato che un gruppo globale di 20 analisti che monitorano costantemente i suoi sistemi ha raccomandato aggiustamenti temporanei che evitassero un blocco sulla spesa. Il team viene automaticamente avvisato di attività di acquisto insolite che potrebbero confondere l’IA, su cui fanno affidamento 9.000 istituti finanziari complessivi per rilevare le frodi su 2 miliardi di carte.

Tali team aziendali, parte della specialità professionale emergente delle operazioni di apprendimento automatico (MLOps), sono insoliti. In sondaggi separati lo scorso anno, FICO e la società di consulenza McKinsey & Co hanno scoperto che la maggior parte delle organizzazioni intervistate non monitora regolarmente i programmi basati sull’intelligenza artificiale dopo averli lanciati.

Il problema è che gli errori possono abbondare quando le circostanze del mondo reale deviano, o nel gergo tecnico “deriva”, dagli esempi usati per addestrare l’IA, secondo gli scienziati che gestiscono questi sistemi. Nel caso di FICO, ha affermato che il suo software si aspettava più acquisti di persona rispetto agli acquisti virtuali e il rapporto capovolto ha portato a una quota maggiore di transazioni segnalate come problematiche.

Variazioni stagionali, cambiamenti nella qualità dei dati o eventi importanti, come la pandemia, possono portare a una serie di cattive previsioni dell’IA.

Immagina un sistema che consiglia i costumi da bagno agli acquirenti estivi, senza rendersi conto che i blocchi COVID avevano reso i pantaloni della tuta più adatti. O un sistema di riconoscimento facciale che diventa difettoso perché il mascheramento è diventato popolare.

La pandemia deve essere stata una “sveglia” per chiunque non monitorasse da vicino i sistemi di intelligenza artificiale perché ha indotto innumerevoli cambiamenti comportamentali, ha affermato Aleksander Madry, direttore del Center for Deployable Machine Learning presso il Massachusetts Institute of Technology.

Far fronte alla deriva è un grosso problema per le organizzazioni che sfruttano l’IA, ha affermato. “Questo è ciò che ci impedisce attualmente di questo sogno di intelligenza artificiale che rivoluziona tutto”.

Aggiungendo all’urgenza per gli utenti di affrontare il problema, l’Unione Europea prevede di approvare una nuova legge sull’IA non appena il prossimo anno che richiede un certo monitoraggio. La Casa Bianca di questo mese nelle nuove linee guida sull’IA ha anche chiesto il monitoraggio per garantire che “le prestazioni del sistema non scendano al di sotto di un livello accettabile nel tempo”. leggi di più

Essere lenti a notare i problemi può essere costoso. Unity Software Inc (ONU), il cui software pubblicitario aiuta i videogiochi ad attirare i giocatori, a maggio ha stimato che quest’anno avrebbe perso $ 110 milioni di vendite, ovvero circa l’8% delle entrate totali previste, dopo che i clienti si sono ritirati quando il suo strumento di intelligenza artificiale che determina chi per mostrare gli annunci a smesso di funzionare come una volta. Anche la colpa era del suo sistema di intelligenza artificiale che imparava da dati corrotti, ha affermato la società.

Unity, con sede a San Francisco, ha rifiutato di commentare al di là delle dichiarazioni sugli utili. I dirigenti hanno affermato che Unity stava implementando strumenti di avviso e ripristino per rilevare i problemi più rapidamente e che l’espansione e le nuove funzionalità hanno avuto la precedenza sul monitoraggio.

Il mercato immobiliare Zillow Group Inc (ZG.O) lo scorso novembre ha annunciato una svalutazione di 304 milioni di dollari sulle case acquistate – sulla base di un algoritmo di previsione dei prezzi – per importi superiori a quelli per cui potrebbero essere rivendute. La società di Seattle ha affermato che l’IA non è riuscita a tenere il passo con le oscillazioni del mercato rapide e senza precedenti ed è uscita dall’attività di acquisto-vendita.

NUOVO MERCATO

L’IA può andare storto in molti modi. Il più noto è che i dati di allenamento distorti lungo la gara o altre linee possono suggerire previsioni ingiustamente distorte. Molte aziende ora controllano i dati in anticipo per evitarlo, secondo i sondaggi e gli esperti del settore. In confronto, poche aziende considerano il pericolo di un modello ben performante che in seguito si rompe, affermano quelle fonti.

“È un problema urgente”, ha affermato Sara Hooker, capo del laboratorio di ricerca Cohere For AI. “Come si aggiornano i modelli che diventano obsoleti man mano che il mondo cambia intorno ad esso?”

Diverse startup e giganti del cloud computing negli ultimi due anni hanno iniziato a vendere software per analizzare le prestazioni, impostare allarmi e introdurre correzioni che insieme intendono aiutare i team a tenere d’occhio l’IA. IDC, un ricercatore di mercato globale, stima che la spesa per gli strumenti per le operazioni di intelligenza artificiale raggiunga almeno $ 2 miliardi nel 2026 dai $ 408 milioni dell’anno scorso.

Secondo i dati di PitchBook, una società di Seattle che tiene traccia dei finanziamenti, l’investimento in capitale di rischio nelle società operative e di sviluppo dell’IA è salito lo scorso anno a quasi 13 miliardi di dollari e quest’anno sono stati versati 6 miliardi di dollari.

Arize AI, che il mese scorso ha raccolto 38 milioni di dollari dagli investitori, consente il monitoraggio di clienti tra cui Uber, Chick-fil-A e Procter & Gamble. Il Chief Product Officer Aparna Dhinakaran ha affermato di aver lottato in un precedente datore di lavoro per individuare rapidamente le previsioni dell’IA che diventavano povere e amici altrove le hanno parlato dei propri ritardi.

“Il mondo di oggi è che non sai che c’è un problema fino a quando un impatto sul business due mesi dopo”, ha detto.

PUNTEGGI FRODE

Alcuni utenti di intelligenza artificiale hanno costruito le proprie capacità di monitoraggio ed è ciò che secondo FICO l’ha salvata all’inizio della pandemia.

Gli allarmi sono stati attivati ​​​​quando si sono verificati più acquisti online, ciò che il settore chiama “carta non presente”. Storicamente, più di questa spesa tende ad essere fraudolenta e l’impennata ha spinto le transazioni più in alto nella scala da 1 a 999 di FICO (più è alta, più è probabile che si tratti di una frode), ha affermato Scott Zoldi, chief analytics officer di FICO.

Zoldi ha affermato che le abitudini dei consumatori stanno cambiando troppo velocemente per riscrivere il sistema di intelligenza artificiale. Quindi FICO ha consigliato ai clienti statunitensi di rivedere e rifiutare solo le transazioni con punteggio superiore a 900, rispetto a 850, ha affermato. Ha evitato ai clienti di rivedere il 67% delle transazioni legittime al di sopra della vecchia soglia e ha consentito loro invece di concentrarsi su casi veramente problematici.

I clienti hanno continuato a rilevare il 25% in più delle frodi statunitensi totali durante i primi sei mesi della pandemia di quanto ci si sarebbe aspettati e il 60% in più nel Regno Unito, ha affermato Zoldi.

“Non sei responsabile dell’IA a meno che tu non stia monitorando”, ha detto.

Reporting di Paresh Dave Montaggio di Kenneth Li e Claudia Parsons

I nostri standard: i principi di fiducia di Thomson Reuters.