Negli Usa sono ormai centinaia di migliaia le telecamere con riconoscimento facciale, pensate per prevenire la criminalità ma usate in modo indiscriminato. La voce del dissenso passa anche soluzioni creative per confondere i computer.
Andrea Paoletti
Senza arrivare agli eccessi della Cina dove basta percorrere un’autostrada per essere accecati dal bagliore di centinaia di flash e sentirsi puntati addosso gli obiettivi di una foresta di telecamere, anche negli USA sono ormai numerosissimi i dispositivi che leggono le targhe e riconoscono i volti dei conducenti. Servono alle forze dell’ordine per controllare il territorio e individuare potenziali malviventi, ma l’immenso database di immagini ed informazioni che ne scaturisce pone questioni importanti legate alla privacy, ma anche alla sicurezza in caso di errore. Questo è il motivo ufficiale della protesta di un gruppo di hacker, uno dei quali ha inventato un modo per rendere le automobili “invisibili”.
La Yaris che manda in tilt i sensori
L’idea arriva dal ricercatore di cybersecurity Bill Swearingen, fondatore del progetto noRecognition, il cui obiettivo è combattere gli algoritmi dell’AI per impedire che riconoscano volti e oggetti, incluse le auto. La cosa più ironica è che per sviluppare i particolari pattern grafici che mandano in confusione i sistemi automatici di riconoscimento, Bill si è servito lui stesso dell’AI, in pratica mettendole una contro l’altra. La dimostrazione più spettacolare – dopo aver dimostrato il funzionamento su felpe e cappelli che facevano “sparire” le persone, è avvenuta durante la conferenza DEF CON di Las Vegas, dove una Toyota Yaris è stata ricoperta con uno di questi disegni.
Come funziona
La telecamera in realtà continuava a vedere e registrare l’auto, ma il software faticava a riconoscerla come tale perché l’algoritmo giungeva a conclusioni sbagliate. Secondo i test effettuati da Swearingen, il pattern è riuscito a confondere tutti gli 11 algoritmi open source di riconoscimento utilizzati nella prova, oltre ai sistemi Flock per la lettura delle targhe e alle body camera di Axon. Qui non si tratta della leggenda metropolitana della pellicola riflettente capace di rendere illeggibile una targa, ma di un vero e proprio camouflage digitale applicato fisicamente alla vettura.
Non è invisibilità, è confusione
La differenza è sostanziale. Invece di attaccare direttamente il software, la strategia è quella di ricoprire con questi disegni astratti l’oggetto che il software deve interpretare: siccome ci sono tantissime grafiche capaci di confondere gli algoritmi di analisi, impedendo loro di raggiungere la percentuale minima di certezza su ciò che stanno vedendo, secondo Bill sarà sempre più difficile neutralizzare un singolo disegno.
Il rischio di errore
Flock Safety è il nome della gigantesca rete di telecamere capaci non solo di leggere le targhe, ma di identificare caratteristiche delle vetture, creando una sorta di “impronta digitale” dell’automobile. Il sistema viene utilizzato dalle forze dell’ordine statunitensi per ricostruire gli spostamenti e collegare veicoli e luoghi, con una percentuale di accuratezza tra il 93 e il 99 per cento, ma quando si parla di miliardi di scansioni, anche una percentuale apparentemente eccellente genera un numero di errori impressionanti. Secondo i calcoli, sono 20 miliardi di targhe al mese e anche ipotizzando un’accuratezza del 99%, significherebbe potenzialmente 200 milioni di pericolose imprecisioni. Un falso riconoscimento segnalato dal software può trasformarsi in un controllo di polizia, in una detenzione illegittima e, nei casi peggiori, in una situazione pericolosa. Il punto debole, dunque, non è necessariamente una singola telecamera che confonde la lettera “O” e il numero “0”, ma l’intera catena: dati inseriti male, riconoscimento automatico imperfetto e operatori che scelgono di fidarsi della tecnologia senza verificare adeguatamente.
La guerra delle macchine
E così nasce una sfida degna di un film di fantascienza, ma assolutamente reale: l’intelligenza artificiale utilizzata per sorvegliare le automobili viene sfidata da un’altra intelligenza artificiale che studia come renderle difficili da riconoscere. Flock può addestrare i propri sistemi per reagire ai nuovi pattern, mentre noRecognition può generare grafiche sempre differenti, in una partita a scacchi tra algoritmi. Quello che a prima vista può sembrare un wrapping curioso, oppure le livree con cui le Case automobilistiche nascondono le forme dei prototipi durante i test, è a tutti gli effetti un vestito pensato per non farsi riconoscere. La Yaris ricoperta di strani disegni alla fine non è altro che il tentativo di sfuggire a un’epoca in cui le automobili sono diventate oggetti digitalmente tracciabili e dove la carrozzeria può trasformarsi in uno strumento di privacy.
Rendere invisibile il volto (o anche l’auto) alle telecamere di sorveglianza: come funziona il «design avversariale»
Il progetto noRecognition punta a tutelare la privacy dei cittadini con un sistema di«camouflage digitale» capace di eludere gli algoritmi di intelligenza artificiale. I dettagli del suo funzionamento e la prova al Def Con di Las Vegas, su un volto e su un vecchia Yaris ricoperta di un’apposita pellicola
Ivan Miralli
Negli Stati Uniti il riconoscimento automatico dei volti e delle targhe è ormai diffusissimo, al punto da diventare un potenziale strumento di sorveglianza di massa, spesso già sfociato in utilizzi fuori da quelli consentiti per legge.
Per aggirare questo sistema e tutelare la privacy dei cittadini, Bill Swearingen (fondatore di Sixcyber, un’azienda di cybersecurity con sede a Kansas City) ha sviluppato noRecognition, un progetto nato con l’obiettivo di confondere gli algoritmi di intelligenza artificiale che guidano reti private di telecamere stradali come Flock e simili.
Alla base del suo funzionamento c’è il design avversariale, un’innovativa tecnica (già sperimentata in passato, senza successo, da diversi brand di moda) che ricorre a particolari disegni a pattern regolari per tessuti (o oggetti di vario genere) che consentono di eludere i sistemi di videosorveglianza, alla stregua di un vero e proprio sistema di «camouflage digitale», per evitare il riconoscimento nei luoghi pubblici.
A sorprendere è la modalità con cui riesce nell’intento: il sistema di noRecognition non blocca in alcun modo le registrazioni video, ma semplicemente inibisce (temporaneamente) la capacità di identificare il volto di un essere umano o la targa di un veicolo. Un lavoro di ricerca per tentativi lungo più di un anno, che ha impiegato ben 31 milioni di test prima di arrivare al risultato definitivo, attraverso la realizzazione di un programma apposito per la generazione dei pattern, validi contro 11 differenti sistemi di riconoscimento automatico, tra cui Axon e Clearview AI.
La prova sul campo
La prima prova mostrata al pubblico è avvenuta lo scorso 7 agosto in occasione del Def Con di Las Vegas, in collaborazione con il canale YouTube Donut Media, senza la necessità di ricorrere a chissà quale veicolo di grossa cilindrata: per dimostrare il suo funzionamento è bastata infatti una semplice Toyota Yaris del 2009, ricoperta interamente con un particolare disegno che ha permesso di eludere le telecamere di Flock, eccezion fatta per le ruote, che ancor oggi rimangono il principale «tallone d’Achille» del sistema.
Lo stesso Swearingen è poi salito sul palco del Def Con per dimostrare di persona la capacità elusiva dei pattern avversariali. Indossando abiti comuni, il livello di affidabilità registrato dal software era pari a 0,75, un valore che decretava in maniera incontrovertibile il riconoscimento di un essere umano. È bastato però tenere in mano un quadretto ricoperto da uno dei pattern in bianco e nero di noRecognition per far calare a picco la qualità dell’identificazione, fino ad arrivare al valore di 0,21, con una grande schermata che riportava «Nessun volto riconosciuto» alle sue spalle.
Se dunque la prova dimostrativa sembra aver avuto successo all’interno di condizioni ideali da laboratorio o in ambienti chiusi, bisognerà tenere conto delle variabili presenti nel mondo reale, come le variazioni di luce, le diverse angolazioni della telecamera e gli aggiornamenti di firmware, che potrebbero portare ad esiti non sempre brillanti.
Il progetto ha portato anche all’apertura di una campagna Kickstarter (che ad oggi conta oltre 75.000 euro), per raccogliere finanziamenti utili alla produzione di magliette, felpe e altri capi d’abbigliamento, con la possibilità di ordinare diversi pezzi (disponibili in quantità limitate) che verranno spediti in tutto il mondo a partire dal mese di novembre.
I pattern più efficaci, spiega Swearingen, rimarranno fuori da Internet, così da impedire alle compagnie di addestrare i loro modelli AI per escogitare eventuali contromisure.
