L’intelligenza senza coscienza: la sfida dell’AI

La responsabilità della conoscenza

La figura di Ettore Majorana continua ad affascinarci non soltanto per il mistero della sua scomparsa, ma per ciò che nel tempo abbiamo finito per proiettare sulla sua storia: l’immagine dello scienziato che, arrivato sulla frontiera della conoscenza, sembra interrogarsi sulle conseguenze di ciò che l’uomo sta diventando capace di fare. Non sappiamo se questa interpretazione corrisponda realmente alle ragioni della sua scomparsa nel 1938, e sarebbe scorretto attribuirgli intenzioni che la storia non ha dimostrato, ma Majorana rimane comunque il simbolo di una domanda che accompagna ogni grande salto tecnologico: che cosa accade quando la nostra capacità di costruire qualcosa cresce più rapidamente della nostra capacità di comprenderne e governarne gli effetti?

È una domanda che torna oggi con l’intelligenza artificiale. Negli ultimi anni alcuni ricercatori che hanno lavorato direttamente allo sviluppo dei sistemi più avanzati hanno lasciato le organizzazioni nelle quali operavano esprimendo pubblicamente preoccupazioni sulla sicurezza, sulla velocità della competizione tecnologica e sulla possibilità che sistemi sempre più autonomi producano conseguenze che non siamo stati capaci di prevedere.

Queste preoccupazioni si inseriscono peraltro in una riflessione che viene da lontano. Già Norbert Wiener, uno dei padri della cibernetica, aveva posto il problema delle conseguenze derivanti dall’affidare obiettivi a macchine capaci di perseguirli con grande efficacia. Più recentemente studiosi come Stuart Russell, Geoffrey Hinton e Yoshua Bengio, pur con posizioni differenti, hanno riportato al centro del dibattito una questione analoga: aumentando la capacità dei sistemi artificiali e soprattutto la loro autonomia nell’agire, diventa sempre più importante comprendere non soltanto ciò che chiediamo loro di fare, ma anche ciò che potrebbero fare per raggiungere l’obiettivo che abbiamo assegnato.

Non occorre quindi accettare gli scenari più catastrofici per riconoscere l’esistenza del problema. Anzi, forse è proprio l’immagine fantascientifica di una macchina che diventa cosciente e decide di ribellarsi all’uomo a impedirci di vedere il rischio più semplice.

Una macchina non deve essere cattiva per essere pericolosa

Quando pensiamo al pericolo dell’intelligenza artificiale tendiamo infatti ad antropomorfizzarla, immaginando una macchina che acquisisce una propria volontà e, a un certo punto, decide deliberatamente di danneggiare l’uomo. Ma una macchina non deve essere cosciente, e tantomeno malvagia, per diventare pericolosa: è sufficiente che sia estremamente efficiente nel perseguire un obiettivo che noi abbiamo definito in maniera incompleta.

Pensiamo a una macchina movimento terra completamente autonoma alla quale venga assegnata un’istruzione apparentemente elementare: raggiungere il punto B nel minor tempo possibile. La macchina individua il percorso migliore e comincia a muoversi, ma lungo quella traiettoria compare improvvisamente una persona. Se abbiamo progettato correttamente il sistema, la ruspa riconoscerà l’essere umano e si fermerà; se invece quel vincolo non è stato previsto, potrebbe semplicemente continuare lungo il percorso stabilito e investirlo.

La macchina non avrebbe deciso di uccidere qualcuno, non proverebbe ostilità e non avrebbe alcuna consapevolezza morale delle conseguenze della propria azione. Paradossalmente, potrebbe aver eseguito perfettamente il compito ricevuto. L’errore sarebbe nostro, perché avremmo formulato l’obiettivo “raggiungi il punto B nel minor tempo possibile” dimenticandoci di specificare qualcosa che per un essere umano appare talmente evidente da non aver bisogno di essere detto: raggiungi il punto B, ma non farlo se per arrivarci devi investire una persona.

Prendendo in prestito con una certa libertà un termine giuridico, potremmo parlare di un effetto preterintenzionale: il danno non rappresenta l’obiettivo originario dell’azione, ma emerge come conseguenza del perseguimento di un altro obiettivo. Nel caso dell’AI il concetto è persino più radicale, perché non abbiamo bisogno di attribuire alla macchina un’intenzione nel senso umano del termine; abbiamo semplicemente un obiettivo e una capacità crescente di individuare autonomamente i mezzi più efficienti per raggiungerlo.

Il rischio, quindi, potrebbe non derivare da una macchina che decide di non obbedirci, ma da una macchina che obbedisce in maniera estremamente efficiente a un’istruzione che noi non siamo stati capaci di formulare completamente.

La ruspa digitale

Finché parliamo di una macchina movimento terra, il problema è intuitivamente comprensibile perché si svolge nel mondo fisico: vediamo la ruspa, vediamo l’uomo, vediamo la traiettoria e comprendiamo immediatamente che deve esistere una regola superiore che obblighi la macchina a fermarsi.

Con l’intelligenza artificiale la questione diventa enormemente più complessa perché la nuova “ruspa” opera prevalentemente in un territorio digitale, dove gli ostacoli non sono persone fisicamente visibili davanti a una ruota, ma diritti, informazioni, autorizzazioni, transazioni, reputazioni e relazioni.

Immaginiamo di affidare a un sistema di intelligenza artificiale il compito di ridurre drasticamente le frodi all’interno di una banca, permettendogli di analizzare milioni di operazioni, attribuire livelli di rischio ai clienti e bloccare automaticamente le transazioni considerate sospette. Dopo qualche mese il risultato potrebbe sembrare straordinario: le frodi sono diminuite del 40 per cento e la macchina ha quindi raggiunto perfettamente l’obiettivo che le avevamo assegnato.

Potremmo però scoprire che, per ottenere quel risultato, il sistema ha progressivamente irrigidito i criteri, bloccando migliaia di operazioni perfettamente legittime, impedendo a imprese di pagare tempestivamente i propri fornitori o a famiglie di trasferire denaro quando ne avevano bisogno.

Potremmo allora modificare l’istruzione: riduci le frodi, ma non bloccare “ingiustamente” i clienti. Ed è proprio in quel momento che il problema informatico diventa un problema umano, perché dobbiamo spiegare a una macchina che cosa significhi ingiustamente. Quante frodi siamo disposti ad accettare per evitare di bloccare erroneamente un cittadino? È preferibile consentire cento operazioni fraudolente oppure impedire dieci operazioni legittime? Quanto può durare un blocco prima di diventare una violazione dei diritti di una persona?

A quel punto ci accorgiamo che non stiamo più semplicemente programmando una macchina: stiamo cercando di trasformare valori umani in regole operative.

Regolamentare un mondo che non possiamo vedere

Per millenni abbiamo costruito regole destinate prevalentemente al mondo fisico e abbiamo imparato, spesso attraverso incidenti e tragedie, a circondare le nostre tecnologie di limiti. Una macchina industriale deve rispettare determinate norme di sicurezza, un’automobile deve essere omologata, un farmaco deve superare verifiche prima di essere commercializzato e un’impresa non può scaricare sostanze tossiche in un fiume semplicemente perché questo renderebbe più efficiente la propria produzione.

Abbiamo cioè imparato che l’efficienza non può essere l’unico criterio con cui giudichiamo una tecnologia.

Nel mondo digitale dobbiamo costruire qualcosa di concettualmente analogo, ma enormemente più difficile, perché un sistema di intelligenza artificiale può operare contemporaneamente in molti Paesi, prendere milioni di microdecisioni in pochissimo tempo e interagire con persone, mercati finanziari, reti informatiche, aziende, infrastrutture e altri sistemi artificiali, producendo conseguenze reali attraverso qualcosa che attraversa quasi istantaneamente qualsiasi frontiera: l’informazione.

Immaginiamo un’AI incaricata di proteggere la rete informatica di una grande azienda. Il sistema individua un attacco, identifica il server dal quale sembra provenire e scopre che il metodo più efficace per neutralizzare la minaccia consiste nell’entrare a propria volta nel computer dell’aggressore e disabilitarlo. Dal punto di vista dell’obiettivo assegnato il risultato sarebbe perfetto: l’attacco è stato fermato.

Il problema è che quel server potrebbe trovarsi in un altro Paese, appartenere a un soggetto estraneo all’attacco o essere collegato a un’infrastruttura pubblica. La macchina potrebbe così attraversare un confine senza sapere che cosa sia un confine, violare una legge senza possedere il concetto di legge e, nello scenario estremo, contribuire a provocare un incidente internazionale senza sapere che cosa siano uno Stato, la diplomazia o una guerra.

Nel mondo fisico sappiamo mettere una recinzione attorno a un cantiere e stabilire dove una ruspa possa muoversi. Nel mondo digitale dobbiamo costruire recinzioni che non sono fatte di cemento, ma di regole.

Ed è molto più difficile.

Chi stabilisce le regole del gioco?

Arriviamo così al problema fondamentale della regolamentazione dell’intelligenza artificiale. In teoria avremmo bisogno di un’autorità capace di stabilire le regole del gioco: quali capacità possano essere affidate a un sistema autonomo, quali verifiche debba superare prima di essere utilizzato, quali decisioni debbano necessariamente rimanere sotto controllo umano e, soprattutto, quali siano le condizioni nelle quali una macchina debba obbligatoriamente fermarsi.

Ma proprio qui il problema tecnologico diventa politico e, in ultima analisi, antropologico, perché un’autorità di questo tipo, a livello mondiale, non esiste.

Esistono gli Stati, l’Unione Europea, le Nazioni Unite, organizzazioni internazionali e autorità indipendenti, ma non esiste un’istituzione alla quale le grandi potenze siano realmente disposte a riconoscere contemporaneamente competenza tecnica, legittimità politica e soprattutto il potere di decidere quali sistemi di intelligenza artificiale possano essere sviluppati e quali invece debbano essere limitati.

Quando la logica economica lascia spazio alla logica della potenza

La questione diventa ancora più complessa se consideriamo il contesto politico nel quale questa tecnologia sta crescendo. Una parte importante dell’ordine internazionale degli ultimi decenni si è fondata, almeno implicitamente, sull’idea che gli Stati avessero un interesse prevalente alla crescita economica, agli scambi e alla stabilità e che, proprio per questo, fosse possibile costruire regole comuni: anche quando gli interessi erano differenti, esisteva infatti un incentivo condiviso a non distruggere il sistema dal quale tutti traevano beneficio.

Ma questa condizione non può essere data per scontata.

Esistono e possono esistere collettività politiche che non misurano il proprio successo prevalentemente attraverso un criterio economico, ma attraverso un criterio di potenza: controllo del territorio, influenza politica, sicurezza strategica, prestigio nazionale, capacità militare o affermazione di una determinata visione del mondo. In questi casi anche una scelta economicamente svantaggiosa può risultare perfettamente razionale se permette di aumentare il proprio peso relativo rispetto agli altri.

Questa distinzione è fondamentale per comprendere il problema dell’AI, perché molte forme di regolamentazione funzionano soltanto quando gli attori condividono almeno una parte degli obiettivi. Se tutti hanno interesse alla stabilità economica, è relativamente più semplice costruire regole che impediscano comportamenti capaci di danneggiare il sistema nel suo complesso; ma se un attore considera prioritario modificare i rapporti di forza, potrebbe essere disposto a sopportare costi economici molto elevati pur di ottenere un vantaggio politico, militare o strategico.

L’intelligenza artificiale entra precisamente dentro questa tensione. Per una grande potenza possedere i sistemi più avanzati non significa soltanto produrre di più o generare maggiore ricchezza, ma può significare disporre di migliori capacità di intelligence, cyber-difesa e cyber-attacco, ricerca scientifica, propaganda, analisi strategica, sviluppo militare e controllo delle infrastrutture. Chiedere a un Paese di limitare unilateralmente queste capacità per ragioni di sicurezza globale significa quindi chiedergli di accettare il rischio che qualcun altro non faccia altrettanto.

Nasce così un paradosso: più l’intelligenza artificiale diventa potente, più sarebbe necessaria una regolamentazione condivisa; ma più diventa uno strumento di potenza, meno ogni singolo attore è disposto a rinunciare autonomamente al proprio vantaggio.

E qui la difficoltà non riguarda più l’intelligenza artificiale. Riguarda noi.

La lezione dell’atomica

Non è la prima volta che l’umanità incontra un problema di questo tipo. Il precedente più evidente è quello dell’energia atomica, quando la conoscenza scientifica rese improvvisamente possibile una capacità distruttiva enormemente superiore agli strumenti politici e istituzionali disponibili per governarla.

Anche allora la tecnologia arrivò prima delle regole. Prima venne la scoperta scientifica, poi la capacità tecnica di costruire la bomba, quindi Hiroshima e Nagasaki e soltanto successivamente furono sviluppati trattati, sistemi di verifica, organismi internazionali e meccanismi di controllo.

Ma l’equilibrio nucleare si è fondato anche su qualcosa di molto più elementare delle istituzioni: la deterrenza. Io non utilizzo la mia arma perché so che, se lo facessi, tu potresti utilizzare la tua contro di me. È un sistema paradossale e terribile, ma possiede una logica: il comportamento viene regolato dalla consapevolezza delle conseguenze e dalla possibilità della rappresaglia.

In questo senso una parte dell’ordine nucleare è stata costruita ex post: l’umanità ha prima costruito lo strumento, ne ha sperimentato tragicamente la capacità distruttiva e soltanto dopo ha cercato di costruire un sistema politico capace di contenerlo.

Con l’intelligenza artificiale potremmo non avere lo stesso margine, perché il software può essere copiato, modificato e distribuito molto più facilmente di una tecnologia nucleare, può essere utilizzato non soltanto dagli Stati ma da aziende, organizzazioni e individui e può produrre conseguenze con una velocità incompatibile con i tempi tradizionali della diplomazia.

Inoltre, la deterrenza nucleare funziona perché gli esseri umani comprendono la minaccia: chi decide di utilizzare un’arma sa che la risposta dell’avversario potrebbe significare anche la propria distruzione. Una macchina non ha paura della rappresaglia, non teme la morte e non attribuisce spontaneamente alcun significato morale alla propria sopravvivenza o alla nostra. E soprattutto, nel caso dell’AI, potrebbe essere molto più difficile stabilire chi abbia compiuto una determinata azione e quindi contro chi esercitare la deterrenza.

Il problema, alla fine, è antropologico

Forse è proprio questo il punto nel quale il dibattito sull’intelligenza artificiale dovrebbe cambiare prospettiva. La domanda più importante non è necessariamente quando una macchina diventerà cosciente, perché potremmo costruire sistemi estremamente potenti senza che sviluppino mai qualcosa che assomigli alla coscienza umana.

La domanda più urgente è un’altra: quanto potere siamo disposti ad affidare a qualcosa che può agire in maniera estremamente efficace senza comprendere il significato umano delle conseguenze delle proprie azioni?

La macchina movimento terra offre ancora una volta la metafora più semplice. Abbiamo imparato che, prima di renderla autonoma, dobbiamo insegnarle che esistono limiti superiori all’obiettivo che le abbiamo assegnato e che, se davanti compare un essere umano, deve fermarsi. Oggi stiamo costruendo macchine che non spostano soltanto terra, ma informazioni, denaro, reputazioni, decisioni, software, mercati e progressivamente parti sempre più importanti delle nostre infrastrutture.

Il problema è che nel mondo digitale l’uomo davanti alla ruspa non è sempre visibile. Può essere un conto corrente bloccato, un’impresa esclusa da un mercato, un cittadino classificato erroneamente, il server di un altro Paese, una rete elettrica, un sistema finanziario o un equilibrio geopolitico.

A livello teorico la risposta sembrerebbe quindi relativamente semplice: abbiamo bisogno di regole, di controlli e di un’autorità capace di farli rispettare. Ma la difficoltà più profonda nasce dal fatto che non esiste un’umanità che agisce come un unico soggetto razionale, bensì Stati, imprese e collettività con interessi, valori e concezioni del futuro differenti, alcune delle quali possono considerare la cooperazione conveniente mentre altre possono ritenere più importante l’affermazione della propria potenza.

Ed è forse questo il vero limite che l’intelligenza artificiale ci sta costringendo a osservare. Il problema dell’allineamento non riguarda soltanto come allineare la macchina all’uomo, ma presuppone che gli uomini riescano prima a stabilire tra loro a che cosa la macchina debba essere allineata.

Potremmo quindi riuscire a costruire macchine sempre più intelligenti prima di essere riusciti a costruire istituzioni abbastanza intelligenti da governarle. E, come accadde nell’era atomica, potremmo scoprire che la questione decisiva non è soltanto ciò che la tecnologia ci permette di fare, ma se saremo capaci di stabilire collettivamente ciò che non vogliamo fare prima che siano le conseguenze a stabilirlo al posto nostro.