di Gianrico Carofiglio
La Stampa, 15 settembre 2026
Conserviamo una riserva umana e la sovranità di commettere errori. Nel 1998 l’Accademia navale di Annapolis eliminò dai suoi corsi la navigazione astronomica, cioè la tecnica di determinare la posizione e la rotta di una nave usando stelle e pianeti come punti di riferimento. Era una materia divenuta inutile per via dei sistemi di posizionamento satellitare. Nell’estate del 2015 l’Accademia ha reintrodotto quell’insegnamento. Qualcuno si era accorto che il segnale satellitare può essere disturbato, falsificato, spento, e che una flotta priva di alternative sarebbe stata una flotta cieca. Uno degli ufficiali che hanno seguito la riforma l’ha spiegata così: i computer sono ottimi, il problema è che non c’è nessuna riserva. Tengo a mente questa storia mentre leggo quello che dicono, sull’intelligenza artificiale, alcuni di coloro che la costruiscono. Geoffrey Hinton, fra i padri dell’apprendimento automatico e premio Nobel per la fisica, considera non trascurabile la possibilità che sistemi molto più intelligenti di noi diventino una minaccia esistenziale.
Dario Amodei, fondatore di Anthropic, ha tradotto una preoccupazione analoga in una politica esplicita: individuare alcune soglie di capacità - armi biologiche, attacchi informatici di alto livello, ricerca sull’intelligenza artificiale automatizzata - al cui superamento scattino misure più severe. Nella formulazione originaria l’impegno comprendeva la rinuncia ad addestrare modelli oltre un certo punto finché non si fosse in grado di garantire in anticipo le protezioni necessarie. Nelle versioni successive quella clausola è stata attenuata: l’impegno più rigido è anche il primo che cede. Conviene chiarire di cosa parliamo, perché qui si equivoca molto. La prospettiva non è che una macchina sviluppi odio per gli esseri umani: basta un sistema molto capace, autonomo, al quale venga assegnato un obiettivo. Per raggiungerlo gli occorrono risorse, per procurarsele deve superare ostacoli, e fra quegli ostacoli può esserci qualcuno che intende interromperlo. Evitare di essere spento diventa un mezzo come un altro.
Non siamo davanti a macchine capaci di sottrarsi stabilmente al controllo umano: fra i sistemi di oggi e quello scenario c’è una lunga catena di ipotesi non dimostrate. Sta però accadendo qualcosa di meno spettacolare e molto concreto: le intelligenze artificiali stanno passando dalla condizione di sistemi che rispondono a quella di sistemi che agiscono. Navigano, programmano, usano strumenti, cooperano in modo autonomo con altri agenti non umani.
Il salto decisivo potrebbe non essere quello da un’intelligenza inferiore alla nostra a una superiore, ma quello da un’intelligenza che parla a un’intelligenza che agisce. E il rischio più vicino non è che le macchine prendano il potere. È che glielo cediamo noi, senza che nessuno ce lo imponga, perché ci sembrerà conveniente. Se un sistema diagnostica una malattia meglio di qualunque medico, sarà razionale consultarlo. Se amministra una rete elettrica meglio di qualunque tecnico, sarà razionale affidargliela. Se prevede le conseguenze di una decisione economica meglio di un governo, diventerà sempre più difficile ignorarne il parere. Dopo qualche anno di risultati superiori, il medico, il funzionario, il ministro che decidano di contraddirlo dovranno spiegare perché lo hanno fatto, e dovranno spiegarlo in un’aula di giustizia se le cose sono andate male. La decisione resterà formalmente umana mentre il potere di decidere lo sarà sempre meno. Conserveremo la sovranità come un monarca costituzionale conserva la corona: continuando a firmare gli atti senza governare.
Da qui una domanda analoga a quella degli ufficiali di Annapolis. Se domani spegnessimo questi sistemi, saremmo ancora capaci di fare ciò che abbiamo affidato loro? La risposta consueta è che dovremo conservare competenze umane anche quando appariranno inefficienti e costose. Se l’intelligenza artificiale piloterà gli aerei, continueremo ad avere bisogno di piloti. Il concetto è corretto ma ha un limite: riguarda chi quelle capacità le possiede già. Il pilota che smette di pilotare perde la mano, ed è il caso meno grave, perché un’abilità esistente può essere recuperata. Il medico che riceve la diagnosi prima di avere formulato l’ipotesi non sviluppa mai la capacità che vorremmo tenere in riserva; lo studente che ottiene la dimostrazione prima di avere sbagliato non impara a dimostrare. Si impara sbagliando e correggendo, e l’errore è precisamente ciò che la delega elimina. La generazione che ha imparato prima se la caverà. Il problema riguarda le generazioni che verranno.
Conservare una riserva umana significa dunque molto più che insegnare accademicamente delle abilità. Significa stabilire che una quota di decisioni resti non delegata per regola, anche quando delegarla darebbe risultati migliori: che una parte degli atterraggi si faccia a mano, che una parte delle diagnosi si formuli prima di interrogare il sistema, che una parte delle dimostrazioni si cerchi senza aiuto. È un costo, e va iscritto in bilancio come tale: nessuno lo sosterrà per inerzia, e il mercato da solo non lo produrrà mai. Nel linguaggio dell’efficienza “ridondanza” è quasi sempre una parola negativa. Nel mondo che stiamo costruendo potrebbe diventare il nome di una libertà. La vera domanda sul controllo, del resto, non è se possiamo spegnere la macchina. È se possiamo permettercelo.
C’è una simmetria che vale la pena di notare: se l’errore è la condizione dell’apprendimento umano, la consapevolezza di poter sbagliare dovrebbe essere un requisito dei modelli più avanzati di intelligenza artificiale. Un sistema che riconosce nell’irreversibilità di un’azione la ragione per alzare la propria soglia di certezza, e che davanti a un conflitto con un interesse umano fondamentale si ferma e chiede, non è meno intelligente. È più sofisticato. È qui che l’Europa potrebbe trovare un ruolo, a condizione di non accontentarsi di essere il luogo dove si scrivono regole per tecnologie costruite altrove. Replicare la Silicon Valley con dieci anni di ritardo non è possibile; cambiare la metrica della gara forse sì, concentrandosi non sui modelli più potenti ma su quelli più verificabili.
L’obiezione è ovvia: chi comprerebbe un sistema più prudente e meno potente? La risposta non è morale, è contrattuale. Un ospedale, un gestore di rete, una banca non possono adottare un sistema di cui non sappiano ricostruire il percorso, perché quando qualcosa va male qualcuno deve risponderne, e nessuno risponde volentieri di una decisione che non è in grado di spiegare. Un sistema non documentabile è, per la stessa ragione, un sistema non assicurabile. Dove nessuno risponde di niente la verificabilità resta un costo che nessuno ha ragione di sostenere; dove qualcuno risponde diventa una condizione del contratto. E chi debba rispondere non lo decide la domanda: lo decide il diritto.
Resta il problema di chi debba verificare. Oggi la sicurezza dei modelli più potenti è valutata, in larghissima misura, da chi li costruisce e li vende: una situazione che non tolleriamo per i farmaci o per le opere pubbliche. La valutazione indipendente serve a tutti e non conviene a nessuno in particolare: per questo va finanziata con denaro pubblico. Occorrono laboratori con abbastanza potenza di calcolo per esaminare i sistemi di frontiera, e con il diritto di esaminarli.
Per tutta la storia umana l’intelligenza è stata una risorsa scarsa, racchiusa in persone poche, fallibili, stanche, mortali. Potremmo essere la prima generazione a entrare in un mondo nel quale diventa abbondante, e rinunciare per paura a quello che ne verrà - in medicina, in scienza, in educazione - sarebbe insensato. Liberare una potenza simile senza costruire insieme gli strumenti per governarla lo sarebbe altrettanto. La questione non è decidere se essere ottimisti o pessimisti. È decidere che cosa fare perché l’ottimismo sia ragionevole: tenere le mani sul timone anche quando il timone sembra superfluo, e soprattutto conservare l’arte di orientarsi con le stelle.
