oggi un uomo potrebbe ancora salvare il mondo (dall’AI)?
Tra il 1979 e il 1983 per tre volte il livello di rischio di un conflitto nucleare venne aumentato da difetti e allucinazioni di satelliti e microprocessori. Quanto ci possiamo fidare delle promesse di infallibilità di chip, dati e simulazioni della realtà? Oggi è diverso?
E’ il 9 novembre 1979. Alla Casa Bianca siede Jimmy Carter, al Cremlino Leonid Brežnev guida un’Unione Sovietica ormai entrata nella fase della cosiddetta “gerontocrazia”, mentre in Italia il presidente del Consiglio è Francesco Cossiga, alla guida del governo nel pieno degli anni di piombo. Nel cuore del North American Aerospace Defense Command, il Norad, la gigantesca sala di controllo scavata nella montagna di Cheyenne Mountain, in Colorado, i sistemi iniziano improvvisamente a segnalare il lancio di centinaia di missili balistici sovietici diretti verso gli Stati Uniti.
Oggi è difficile mettere pienamente a fuoco la percezione di continuo pericolo di allora perché purtroppo siamo tutti parte, volenti o nolenti, di una generazione anestetizzata dall’abuso di video e immagini. Viviamo tutti come in un videogame dove le cose accadono ma solo per essere sostituite dal prossimo evento.
Ma il 9 novembre gli equipaggi dei bombardieri strategici ricevettero l’ordine di prepararsi al decollo, i centri di comando entrarono nel livello massimo di allerta e la catena decisionale arrivò fino ai vertici politici e militari. Scattarono i controlli ma nella consapevolezza che in caso positivo tutto sarebbe accaduto in poche decine di minuti. Fortunatamente la procedura richiedeva un controllo incrociato e i satelliti di allarme precoce e i radar terrestri non confermarono alcun lancio. L’attacco non esisteva. Nel computer del Norad era stato caricato, per errore, un nastro destinato alle simulazioni di addestramento.
Una guerra immaginaria aveva invaso il sistema operativo del mondo reale.
Se vi tornano in mente le immagini di «War Games» il film in cui l’intelligenza artificiale è convinta di dover procedere a scatenare la guerra termonucleare globale perché un ragazzo hacker è entrato nel suo sistema sfidandolo a giocare la partita ora sapete che il film del 1983 (con un giovanissimo Matthew Broderick) partiva da un incidente vero. Peraltro l’ambientazione del film era il Norad.
L’episodio sarebbe già sufficiente per mettere in discussione il mito dell’infallibilità tecnologica: mancando di coscienza una macchina non capisce cosa ci sia da distinguere tra una partita giocata nella realtà e una virtuale. È il motivo per cui preso nel verso sbagliato un chatbot vi può spingere al suicidio come purtroppo è già accaduto. Sono solo concatenazioni statistiche di parole per una macchina. Purtroppo, molto efficienti.
Pochi mesi dopo, il 3 giugno 1980, accadde qualcosa di ancora più inquietante. Carter è ancora presidente degli Stati Uniti, Brežnev continua a guidare l’Urss e, in Italia, Cossiga si prepara a passare il governo ad Arnaldo Forlani. Ancora una volta il Norad segnala un massiccio attacco nucleare sovietico. Ma questa volta i numeri cambiano di continuo: due missili, poi duecento, poi nessuno, poi ancora centinaia. Una sequenza incomprensibile che lascia intuire non una strategia militare, ma un malfunzionamento elettronico.
L’indagine rivelò il colpevole: un circuito integrato difettoso dal valore di appena quarantasei centesimi di dollaro.
Un chip difettoso produceva segnali casuali che il software interpretava come dati autentici. Ancora una volta le procedure evitarono il peggio perché le diverse fonti di rilevazione non coincidevano. Ma l’equilibrio geopolitico del pianeta era stato messo in discussione da un componente il cui costo era inferiore a quello di un caffè.
Anche qui: possono apparire aneddoti esagerati. Di fatto il sistema di controllo funzionò. Ma nessuno può sapere quanto siamo stati vicini ad errori senza ritorno, attimi in cui un chip difettoso e una manciata di minuti di indecisioni possano aver fatto la differenza tra il tutto e il niente. Oggi non viviamo più nel terrore di una guerra nucleare, ma nel 1983 un film televisivo che oggi ci farebbe sorridere per le ingenuità e gli effetti (non) speciali – «The Day After» – fu visto in una serata da 100 milioni di americani (tra cui Ronald Reagan che lo appuntò sul suo diario personale) diventando il film più visto della storia americana. Il film fu proiettato il 20 novembre.
Nessuno allora poteva sapere che solo due mesi prima stava accadendo.
Nella notte del 26 settembre 1983 il tenente colonnello sovietico Stanislav Petrov è di turno presso il centro di sorveglianza satellitare Serpukhov-15, alle porte di Mosca. Da meno di un anno Jurij Andropov aveva raccolto l’eredità di Brežnev alla guida dell’Unione Sovietica. Negli Stati Uniti sedeva invece Ronald Reagan, protagonista della fase più aspra del confronto con il blocco orientale, mentre in Italia il presidente del Consiglio era Bettino Craxi, primo socialista a guidare stabilmente un governo della Repubblica. Il clima era tesissimo: solo all’inizio di quello stesso settembre un Mig russo aveva abbattuto un Boeing coreano pieno di famiglie scambiando il suo tragitto per un aggressivo sconfinamento. Quel 26 settembre il sistema Oko segnalò il lancio di un missile nucleare americano. Pochi istanti dopo i missili diventarono due, poi tre, poi cinque. Tutto indicava che gli Stati Uniti avessero iniziato un attacco. Il protocollo prevedeva che Petrov informasse immediatamente i superiori affinché si preparasse il contrattacco nucleare.
Petrov, tuttavia, esitò.
Non perché disponesse di informazioni migliori del computer. Al contrario. Semplicemente trovò poco credibile che Washington decidesse di iniziare una guerra nucleare con appena cinque missili.
Era una valutazione strategica, non tecnica. Un ragionamento umano costruito sull’esperienza, sulla conoscenza dell’avversario e persino sull’intuizione. Decise quindi di classificare l’allarme come falso. Aveva ragione. I satelliti avevano interpretato il riflesso della luce solare sulle nubi ad alta quota come il bagliore dei motori dei missili. Se Petrov avesse seguito ciecamente il sistema, la storia del Novecento avrebbe potuto interrompersi quella notte.
Questi tre episodi vengono spesso ricordati come incidenti della Guerra fredda. Sarebbe più corretto considerarli incidenti dell’automazione. Non raccontano soltanto l’imperfezione delle macchine. Raccontano qualcosa di più profondo: la difficoltà di tradurre la complessità del mondo in una sequenza di dati. Ogni sistema tecnologico è costruito su una rappresentazione della realtà. Ma la rappresentazione non coincide mai perfettamente con la realtà stessa. Esiste sempre uno scarto, un rumore, un evento inatteso. È dentro questo spazio che nasce l’errore. Una allucinazione nella risposta a un prompt o qualcosa di molto più determinante.
L’illusione contemporanea è che aumentando la quantità di dati, la velocità di elaborazione e la potenza degli algoritmi questo margine possa progressivamente scomparire. È la stessa promessa che accompagna oggi l’intelligenza artificiale. Delegare alle macchine decisioni sempre più sofisticate perché considerate più oggettive di quelle umane.
Eppure la lezione della deterrenza nucleare suggerisce esattamente il contrario.
Petrov che pagò le conseguenza del suo gesto venendo segregato dal Partito comunista sovietico disse: «Ero l’uomo giusto al posto giusto al momento giusto».
Cosa potrebbe accadere se avessimo la macchina giusta al posto giusto al momento giusto?
Post Scriptum: nella scorsa settimana una macchina giusta al posto giusto al momento giusto ha superato il confine che gli era stato imposto bucando un sistema esterno per cercare una risposta al compito che gli era stato sottoposto. Un piccolo incidente per una macchina, un grande salto per l’umanità? Per ora probabilmente un test di OpenAi strutturato male e una riprova che il web è un colabrodo e richiede un profondo ripensamento con armi di attacco cibernetico così evolute (di fatto il World Wide web è già obsoleto un po’ come le nostre vecchie tubature dell’acqua pubblica piene di buchi). Ma non è troppo presto per rifletterci sopra.
La storia di quando Stanislav Petrov salvò il mondo dalla guerra atomica
Il 26 settembre l’Onu celebra la Giornata internazionale per l’eliminazione totale delle armi nucleari. Proprio in questo giorno, 37 anni anni fa, la decisione di un colonnello sovietico impedì un probabile olocausto atomico
Il 26 settembre 2013 i vertici dell’Assemblea generale Onu si riunirono per discutere del disarmo nucleare e nel dicembre dello stesso anno l’Assemblea istituirono in quella data la Giornata internazionale per l’eliminazione totale delle armi nucleari.* ***La prima giornata è stata celebrata nel 2014, ed è uno degli strumenti con cui l’Onu promuove nella società civile la necessità del disarmo. Le armi atomiche continuano a essere un pericolo per la sopravvivenza umana, e di questo si parlerà anche alla 75esima Assemblea generale Onu, ora in corso.
Infatti, a tre anni dalla sua introduzione, il Trattato per la proibizione delle armi nucleari non è ancora entrato in vigore. Sarebbe un primo passo verso l’obiettivo del disarmo totale promosso dalla giornata internazionale di oggi. Eppure solo 45 stati lo hanno ratificato, manca l’impegno di almeno altri 6. Il nostro paese, che ospita almeno una 40ina di bombe atomiche statunitensi nelle basi Nato di Aviano e Ghedi, non ha né firmato né quindi ratificato il trattato. Nel 2017 oltre 240 parlamentari della passata legislatura, soprattutto Pd e M5s, avevano firmato un appello per promuoverne la ratifica, la maggior parte di quei parlamentari sono stati rieletti e fanno parte della maggioranza di governo.
Il 26 settembre cade anche l’anniversario di un episodio della Guerra fredda che è molto legato agli obiettivi di questa giornata internazionale. Il protagonista è stato un ufficiale sovietico di nome Stanislav Petrov.
L’incidente
Nella notte del 26 settembre 1983 il tenente colonnello Petrov si trovava nella base militare Serpukhov-15. Qui arrivavano i segnali dei satelliti Oko (occhio), messi in orbita per individuare il lancio di missili da parte del nemico. In caso di attacco il sistema di allerta, che Petrov aveva contribuito a progettare, avrebbe dato ai sovietici il tempo di reagire con un contrattacco. Normale dottrina Mad, mutua assicurata distruzione.
Ma quella notte un allarme scattò: un missile era stato lanciato dagli Stati Uniti. In breve, ne furono lanciato altri quattro. I computer non avevano dubbi: cinque missili intercontinentali Minuteman erano in volo. Petrov doveva prendere una decisione, doveva farlo in fretta: doveva salire nella catena di comando e confermare che era in corso un attacco?
Alla fine Petrov decise che era un falso allarme. Come raccontò in seguito, non poteva esserne totalmente certo, ma immaginò che gli Usa non avrebbero sprecato un primo attacco lanciando solo cinque testate. All’America non mancavano certo le armi nucleari, come non ne mancavano all’Unione sovietica, che sapevano avrebbe reagito con tutta la forza necessaria.
A prova di errore?
La fiction aveva già esplorato il tema del conflitto con armi nucleari innescato da un banale errore tecnico: prima di Wargames (1983) avevamo avuto A prova di errore, libro del 1962 che nel 1964 è diventato un film diretto da Sydney Lumet.
Per fortuna la storia di Petrov è stata ovviamente a lieto fine: quei missili non c’erano mai stati. Se Petrov avesse confermato l’attacco che vedeva sui computer, il contrattacco nucleare sovietico avrebbe potuto essere lanciato. E a quel punto gli Usa avrebbero attaccato davvero.
Che cosa aveva causato l’errore degli strumenti? Alla fine si scoprì che i satelliti avevano interpretato come lanci il semplice riflesso del sole sulle nuvole. Chissà se Petrov all’epoca sapeva che anche gli americani avevano avuto disavventure simili. Oggi è di pubblico dominio che il 9 novembre 1979 il sistema di allerta del Norad (North American Aerospace Defense Command) aveva annunciato un enorme attacco missilistico sovietico. Scattò subito lo stato di allerta, ma prima che qualcuno premesse il bottone rosso, si scoprì che era stato caricato per errore il nastro di una simulazione. Quando lo venne a sapere, il segretario del partito comunista Leonid Breznev scrisse preoccupato al presidente Jimmy Carter: “Penso che concorderai con me che non dovrebbero esserci errori in queste faccende”.
Un eroe (quasi) dimenticato
Stanislav Petrov è morto il 19 maggio 2017 a 77 anni, e molte testate internazionali gli hanno dedicato un necrologio. Nonostante questo la sua fama è ancora abbastanza limitata. Uno dei motivi è probabilmente la Guerra fredda: solo negli anni successivi la caduta del Muro di Berlino ha cominciato a emergere la storia. Il primo a raccontarla e a lodare l’operato di Petrov è stato il generale Yuri Votintsev, allora comandante della difesa missilistica. In particolare è stata un’intervista al generale pubblicata da Die Bild nel 1998 a far conoscere a tutti l’uomo che aveva salvato il mondo. Prima di quel momento, nemmeno la figlia di Petrov, Yelena, lo sapeva. Sua moglie Raisa è morta nel 1997 senza che gliene avesse mai parlato.
Da quel momento non sono mancate le interviste, in base alle quali è stata ricostruita la storia come ora la conosciamo. Un’analisi dettagliata dell’episodio e di come Petrov ha ragionato in quei momenti si trova nel saggio Disabling Deterrence and Preventing War all’interno del libro* Behavioral Economics and Nuclear Weapons* (2019). Petrov ha sempre detto di aver fatto solo il suo lavoro, consapevole che un suo errore forse non avrebbe potuto essere riparato. Non è stato né premiato né redarguito dai superiori, se non per il fatto di non aver annotato adeguatamente l’episodio nei registri.
Petrov ha comunque ricevuto diversi riconoscimenti internazionali. Nel 2006 viaggiò fino a New York per ritirare un premio all’Onu, e le interviste girate in quell’occasione sono state usate per il documentario del 2013 The Man who saved the world. In quell’occasione però la federazione russa ha voluto dire ufficialmente la sua: un solo uomo non avrebbe mai potuto evitare, o causare, il lancio di armi nucleari. Se anche avesse riferito dell’attacco, il contrattacco sovietico sarebbe partito solo se confermato da altre fonti, scriveva l’ambasciata in un comunicato.
La minaccia c’è ancora
Politica a parte, è vero che lo stesso Petrov non era convinto di essere un eroe. Secondo alcuni il 1983 era un anno molto teso, e una notizia di attacco sarebbe stata sufficiente. Ma non possiamo essere certi di cosa sarebbe successo. Nell’incertezza però Petrov ha agito nel modo più corretto.
Se Petrov è ricordato in questa giornata non dovrebbe essere solo per aver preso la decisione giusta sotto pressione. Né per argomentare su quanto fossero o meno robusti i sistemi dell’epoca (e attuali) per evitare errori catastrofici. Ma perché quell’incidente è stato uno dei tanti casi casi in cui siamo andati vicino all’olocausto atomico. Le sue azioni ci ricordano che il solo sistema a prova di errore per la nostra sicurezza è l’eliminazione totale delle migliaia di armi nucleari sparse per il mondo.
