I governi rischiano di ricorrere a “soluzioni software magiche” per combattere gli abusi sui minori e il terrorismo, piuttosto che investire in polizia, assistenti sociali e insegnanti in grado di affrontare le cause sottostanti, afferma un accademico di Cambridge.
Il professore di ingegneria della sicurezza Ross Anderson ha sostenuto in un documento che i governi dovrebbero vedere il dibattito sulla sicurezza dei bambini dal punto di vista dei bambini a rischio di danni, piuttosto che dal punto di vista delle agenzie di intelligence e delle aziende che vogliono vendere software per computer.
Il documento è una risposta alle argomentazioni avanzate da due direttori senior di GCHQ secondo cui il software di scansione lato client installato su telefoni cellulari e altri dispositivi elettronici potrebbe essere utilizzato per rilevare attività illegali, come l’adescamento, senza interrompere la privacy e la sicurezza delle persone.
Nel loro documento di discussione Considerazioni sulla sicurezza dei bambini sulle piattaforme merceologicheIan Levy, direttore tecnico del National Cyber Security Center (NCSC) del Regno Unito, e Crispin Robinson, direttore tecnico per la crittoanalisi presso GCHQ, hanno affermato che non era necessario per la società scegliere tra rendere le comunicazioni “insicure per impostazione predefinita” o creare ” spazi sicuri per chi abusa di minori”.
In una confutazione di 19 pagine, Anderson, professore all’Università di Cambridge e di Edimburgo, ha affermato che l’idea di utilizzare un software per rilevare abusi sui minori, terrorismo e altre attività illegali si sarebbe rivelata impraticabile nella pratica e non avrebbe affrontato i problemi di fondo.
Anderson è stato uno dei 14 maggiori esperti di computer e crittografia ad essere autore di un precedente articolo, Bug nelle nostre tasche: i rischi della scansione lato clientche ha affermato che la tecnologia di scansione lato client “crea seri rischi per la sicurezza e la privacy per tutta la società, mentre l’assistenza che può fornire alle forze dell’ordine è nella migliore delle ipotesi problematica”.
Il professore di Cambridge ed Edimburgo Ross Anderson afferma che l’utilizzo di software per rilevare abusi sui minori, terrorismo e altre attività illegali si rivelerebbe impraticabile nella pratica e non risolverebbe i problemi sottostanti
“L’idea di utilizzare l’intelligenza artificiale per sostituire agenti di polizia, assistenti sociali e insegnanti è proprio il tipo di pensiero magico che porta a una cattiva politica”, ha affermato in un nuovo documento di discussione Controllo della chat o protezione del client?
I governi hanno storicamente cercato di limitare l’uso della crittografia per proteggere le proprie capacità di sorveglianza. Durante la Guerra Fredda, ciò ha portato dall’imporre controlli sulle esportazioni a proposte per concedere alle forze dell’ordine un accesso eccezionale alle chiavi di crittografia negli anni ’90, violando i servizi crittografati negli anni 2000 e chiedendo ad Apple di violare la crittografia dell’iPhone nel 2015. La giustificazione oscillava dalla protezione dei bambini nel anni ’90, al terrorismo dopo l’11 settembre e di nuovo alla protezione dei bambini.
Anderson ha sottolineato che le attuali proposte della Commissione europea di introdurre misure note come controllo della chat per scansionare il contenuto dei messaggi inviati tramite servizi di messaggistica crittografati, come WhatsApp, hanno generato un significativo respingimento da parte dell’industria e dei gruppi della società civile.
È diffusa la preoccupazione che il passaggio all’edge computing e alla crittografia end-to-end porti a “un motore di ricerca governativo in tutti i nostri dispositivi”, afferma Anderson.
La modellazione del linguaggio è soggetta a errori
Levy e Robinson hanno proposto “modelli linguistici che funzionano interamente localmente” su un telefono cellulare o un computer per rilevare il “linguaggio associato alla toelettatura” nel loro articolo, un’idea che è ora apparsa nei progetti di legge del Regno Unito e dell’Unione Europea (UE).
Ma l’uso di modelli di elaborazione del linguaggio naturale (PNL) per rilevare i discorsi illegali, che si tratti di adescamento sessuale, reclutamento di terroristi o incitamento all’odio, è altamente soggetto a errori, ha affermato Anderson. Analizzando solo il contenuto del testo, è difficile ottenere tassi di errore significativamente inferiori al 5-10%. La Commissione europea ha ipotizzato di poter ottenere il 10% di falsi positivi in un documento interno presentato al Consiglio europeo a giugno. Ciò significherebbe che un miliardo di falsi allarmi dovrebbero essere elaborati manualmente ogni giorno.
È disponibile un solo strumento di scansione di prova, creato tramite Project Artemis di Microsoft che viene fornito tramite Thorn, una società privata statunitense. Non esiste una valutazione indipendente dell’efficacia della tecnologia e le affermazioni di Microsoft al riguardo sono “particolarmente deboli”. Anderson ha affermato che era difficile vedere come qualcuno potesse fidarsi di uno strumento di scansione del testo in linguaggio naturale addestrato su dati a cui il pubblico non ha accesso.
Esistono troppi modi in cui l’apprendimento automatico può essere sovvertito, ad esempio manipolando il motore di inferenza, i dati di addestramento o la relativa etichettatura. Non è del tutto chiaro, ha affermato, come la scansione remota obbligatoria dei messaggi sui dispositivi degli utenti possa mai essere “confrontata con il diritto umano alla privacy e il divieto stabilito di sorveglianza di massa senza mandato o sospetto”.
La moderazione manuale dei falsi positivi non è fattibile
Le aziende tecnologiche devono gestire adeguatamente i reclami degli utenti, ma spesso non lo fanno perché l’impiego di moderatori umani è costoso, ha affermato Anderson.
Sono disposti ad agire in base alle richieste di rimozione della polizia e degli avvocati del copyright perché ignorarle può essere costoso. Ma ignorano le richieste degli utenti ordinari, inclusi donne e bambini, che potrebbero voler denunciare abusi. “Questo deve essere risolto, sia con sanzioni penali che con sanzioni pecuniarie significative”, affermava il documento.
Se la tecnologia di elaborazione del linguaggio naturale suggerisce che c’è una probabilità del 60% che un bambino venga curato, questo supera la soglia di responsabilità civile se una piattaforma tecnologica non agisce. Se i costi non fossero un problema, un moderatore umano sarebbe in grado di chiamare la potenziale vittima e, se la vittima fosse d’accordo sul fatto che si è verificata l’adescamento, un investigatore potrebbe collaborare con loro per preservare le prove forensi.
Ma l’intervento umano costa denaro e, dato lo stato attuale della legge e delle pratiche del settore, è più probabile che il sospetto, e potenzialmente la sua famiglia e i suoi amici, abbiano i propri account bloccati.
L’affermazione di Levy e Robinson secondo cui i falsi positivi degli algoritmi di apprendimento automatico possono essere gestiti con la moderazione umana è “semplicemente sbagliata”, ha affermato Anderson. Questo perché le forze dell’ordine e le società tecnologiche hanno poca o nessuna responsabilità per il costo umano dei falsi positivi.
Questo era il caso quando un padre ha scattato una fotografia del suo giovane figlio, su richiesta di un’infermiera. L’immagine è stata caricata automaticamente dal suo telefono su Google. È stato visitato dalla polizia e, nonostante sia stato autorizzato, non è stato in grado di accedere ai suoi account Google.
Se un numero elevato di account viene sottoposto a moderazione, a causa di falsi positivi o di bambini che inviano messaggi di “sexting” ad altri bambini, un numero significativo di giovani potrebbe perdere l’accesso alla propria vita digitale.
Le prove dei benefici della sorveglianza elettronica sono deboli
I ministri del governo nel Regno Unito hanno criticato i piani di Facebook di trasferire Facebook Messenger alla crittografia end-to-end.
Anderson ha affermato che è possibile che il numero degli arresti possa diminuire se Facebook Messenger introducesse la crittografia end-to-end, ma le prove a sostegno di ciò sono deboli, poiché il numero di persone arrestate o intervistate per reati di immagine è rimasto costante nonostante la proliferazione di end-to-end servizi di crittografia to-end.
Le prove dalla Germania suggeriscono che la sorveglianza elettronica non ha aiutato le forze dell’ordine nella pratica. Il paese ha raccolto dati sulle comunicazioni tra il 2008 e il 2010, interrompendosi quando la pratica è stata dichiarata illegale. Ma le statistiche mostrano che l’accesso della polizia ai dati in Germania non ha avuto un effetto deterrente, non ha aiutato a chiarire i crimini e non ha aumentato le condanne.
“Quando i governi sostengono che la privacy deve essere compromessa ancora una volta nella speranza di arrestare più aggressori, è necessario un certo scetticismo”, sostiene Anderson.
Migliori metodi di prevenzione della criminalità
L’attenzione di Levy e Robinson è sugli abusi sui minori, ma il disegno di legge sulla sicurezza online della Gran Bretagna consentirebbe anche alle autorità di imporre la scansione del testo lato server per la radicalizzazione e il reclutamento dei terroristi.
La storia dello scorrimento delle funzioni nella sorveglianza suggerisce che la scansione lato client per contenuti terroristici sarebbe il prossimo passo logico, se fosse consentita per la protezione dei minori. Tuttavia, la ricerca mostra che esistono forti legami tra l’estremismo politico violento e la violenza o la misoginia contro le donne.
“Laddove i ministri acquistano l’idea di una ‘soluzione’ software magica, come l’industria ama chiamare i suoi prodotti, i risultati sono spesso deludenti e talvolta disastrosi”
Ross Anderson, Università di Cambridge ed Edimburgo
Piuttosto che utilizzare intercettazioni di massa per cercare giovani uomini che “esprimono un’opinione o una convinzione a sostegno” di un gruppo prescritto o scaricano una copia di Il ricettario anarchicola polizia deve prestare maggiore attenzione alla violenza contro donne e bambini, afferma Anderson.
“Se ci sono 200 giovani in una moschea con un focoso predicatore salafita, l’uomo da tenere d’occhio non è quello che ha scaricato il [Anarchist] libro di cucina, ma quello che ha picchiato sua sorella”, ha affermato il giornale.
Anderson ha affermato che la scansione lato client non era la soluzione migliore se l’obiettivo della politica è prevenire gli abusi sui bambini.
Il crimine violento contro i bambini è associato alla privazione, alle famiglie instabili che vivono negli slum, alla disoccupazione strutturale, alla disperazione che porta all’abuso di alcol e droghe e alle bande che forniscono modelli di ruolo, ha affermato.
I modi migliori per affrontare il problema sarebbero aumentare gli assegni per i figli e aumentare il numero di assistenti sociali per i bambini.
La polizia deve essere in grado di concentrarsi sul problema principale, che è prevenire e perseguire i crimini contro i bambini e la violenza politica.
Una buona politica richiede che il governo coordini più organismi nei settori statale e privato, lavorando per ottenere gli incentivi giusti. Per la polizia e gli assistenti sociali, il lavoro di protezione è un compito difficile e ingrato ed è facile essere distratti da soluzioni tecniche, afferma il documento.
“L’idea che problemi sociali complessi siano suscettibili di soluzioni tecniche a basso costo è il canto delle sirene del venditore di software e ha attirato molti dipartimenti governativi creduloni sulle rocce”, ha scritto Anderson.
“Laddove i ministri acquistano l’idea di una ‘soluzione’ software magica, come l’industria ama chiamare i suoi prodotti, i risultati sono spesso deludenti e talvolta disastrosi”, ha affermato.
