Prevediamo che l'impatto dell'intelligenza artificiale superumana nel prossimo decennio sarà enorme, superando quello della rivoluzione industriale.

Abbiamo scritto uno scenario che rappresenta la nostra migliore ipotesi su come potrebbero svilupparsi gli eventi.¹ Si basa su estrapolazioni di tendenze, simulazioni strategiche, feedback di esperti, esperienza presso OpenAI e precedenti successi nel campo delle previsioni.²

Metà 2025: agenti zoppicanti

Il mondo vede per la prima volta gli agenti IA.

Le pubblicità degli agenti che sanno usare il computer sottolineano il termine “assistente personale”: puoi chiedere loro di fare cose come “ordinami un burrito su DoorDash” o “apri il mio foglio di calcolo del budget e somma le spese di questo mese”. Gli agenti ti contattano quando necessario, ad esempio per chiederti di confermare gli acquisti.⁸ Sebbene più avanzati rispetto alle versioni precedenti come Operator, faticano a diffondersi su larga scala.⁹

Nel frattempo, lontano dai riflettori, agenti più specializzati per la programmazione e la ricerca iniziano a trasformare le rispettive professioni.

Le IA del 2024 potevano seguire istruzioni specifiche: potevano trasformare elenchi puntati in e-mail e semplici richieste in codice funzionante. Nel 2025, le IA funzionano più come dipendenti. Le IA per la programmazione assomigliano sempre più ad agenti autonomi piuttosto che a semplici assistenti: ricevono istruzioni tramite Slack o Teams e apportano modifiche sostanziali al codice da sole, a volte risparmiando ore o addirittura giorni.¹⁰ Gli agenti di ricerca passano mezz'ora a setacciare il web per rispondere a una domanda.

Gli agenti sono impressionanti in teoria (e in scenari selezionati), ma in pratica sono inaffidabili. Su Twitter si moltiplicano le storie di compiti eseguiti in modo particolarmente esilarante. Gli agenti migliori sono anche costosi: si ottiene ciò per cui si paga, e le prestazioni migliori costano centinaia di dollari al mese.¹¹ Tuttavia, molte aziende trovano il modo di integrare gli agenti IA nei loro flussi di lavoro.¹²

Fine 2025: L'IA più costosa al mondo

OpenBrain sta costruendo i più grandi data center che il mondo abbia mai visto.¹³

(Per evitare di citare una società esistente, descriveremo una società fittizia di intelligenza artificiale generale (IAG), che chiameremo OpenBrain. Immaginiamo che le altre siano indietro di 3-9 mesi rispetto a OpenBrain.)

GPT-4 ha richiesto $2\cdot 10^{25}$ FLOPS di potenza di calcolo per l'addestramento.¹⁴ L'ultimo modello pubblico di OpenBrain, Agent-0, è stato addestrato con $10^{27}$ FLOP. Una volta che i nuovi data center saranno operativi, saranno in grado di addestrare un modello con $10^{28}$ FLOP, mille volte più di GPT-4.¹⁵ Altre aziende investono ingenti somme di denaro nei propri mega data center, nella speranza di tenere il passo.

Anche se i modelli stanno migliorando in un'ampia gamma di abilità, una in particolare spicca: OpenBrain si concentra su IA in grado di accelerare la ricerca sull'IA stessa. Vogliono vincere la doppia corsa agli armamenti contro la Cina (la cui azienda leader chiameremo “DeepCent”)¹⁶ e contro i concorrenti statunitensi. Più riescono ad automatizzare il loro ciclo di ricerca e sviluppo (R&S), più veloci possono andare. Così, quando OpenBrain completa l'addestramento di Agent-1, un nuovo modello in fase di sviluppo interno, questo è bravo in molte cose, ma eccellente nell'aiutare la ricerca sull'IA.¹⁷ A questo punto, parlare di “completare l'addestramento” è un po' improprio; i modelli vengono spesso aggiornati a versioni più recenti addestrate su dati aggiuntivi o parzialmente riaddestrate per correggere alcune debolezze.¹⁸

Gli stessi ambienti di addestramento che insegnano ad Agent-1 a programmare e navigare autonomamente sul web lo rendono anche un ottimo hacker. Inoltre, potrebbe offrire un aiuto sostanziale ai terroristi che progettano armi biologiche, grazie alla sua conoscenza a livello di dottorato in ogni campo e alla sua capacità di navigare sul web. OpenBrain rassicura il governo che il modello è stato “allineato” in modo da rifiutare richieste dannose.

I moderni sistemi di IA sono gigantesche reti neurali artificiali. All'inizio dell'addestramento, un'IA non ha tanto “obiettivi” quanto “riflessi”: se vede “Piacere di”, risponde con “conoscerti”. Quando sarà stata addestrata a prevedere un volume di testi grosso modo pari all’intero contenuto di internet, avrà sviluppato sofisticati circuiti interni che codificano enormi quantità di conoscenze e le consentono di interpretare in modo flessibile il ruolo di qualsiasi autore, poiché questo è ciò che le consente di prevedere il testo con una precisione superumana.¹⁹

Dopo essere stato addestrato a prevedere testo trovato su internet, il modello viene addestrato a produrre testo in risposta a istruzioni. Questo gli conferisce una personalità di base e delle “motivazioni”.²⁰ Ad esempio, un agente che capisce chiaramente un compito è più propenso a portarlo a termine con successo; nel corso dell'addestramento, il modello “apprende” quindi la “motivazione” a comprendere chiaramente i suoi compiti. Altre motivazioni in questa categoria potrebbero essere l'efficacia, la conoscenza e l'auto-presentazione (cioè la tendenza a presentare i propri risultati nella luce migliore possibile).²¹

OpenBrain dispone di una specifica del modello (o “Spec”), un documento scritto che descrive gli obiettivi, le regole, i principi, ecc. che dovrebbero guidare il comportamento del modello.²² La Spec di Agent-1 combina alcuni obiettivi vaghi (come “assistere l'utente” e “non infrangere la legge”) con un lungo elenco di cose da fare e da non fare più specifiche (“non dire questa parola in particolare”, “ecco come gestire questa situazione particolare”). Utilizzando tecniche che impiegano IA per addestrare altre IA,²³ il modello memorizza la Spec e impara a ragionare attentamente sui suoi principi. Alla fine di questo addestramento, si spera che l'IA sia utile (obbedisca alle istruzioni), innocua (rifiuti di aiutare con truffe, fabbricazione di bombe e altre attività pericolose) e onesta (resista alla tentazione di ottenere valutazioni migliori da esseri umani creduloni inventando citazioni²⁴ o fingendo di aver completato i compiti).

Il team di allineamento di OpenBrain²⁶ è abbastanza cauto da chiedersi se queste vittorie siano profonde o superficiali. Il modello, una volta completamente addestrato, ha davvero una sorta di impegno solido a essere sempre onesto? O questo impegno potrebbe sgretolarsi in qualche situazione futura, ad esempio perché ha imparato l'onestà come obiettivo strumentale invece che finale? Oppure ha semplicemente imparato a essere onesto riguardo alle cose che il processo di valutazione può verificare? Potrebbe mentire a sé stesso a volte, come fanno gli esseri umani? Una risposta definitiva a queste domande richiederebbe un'interpretabilità meccanicistica, ovvero la capacità di guardare all'interno di un'IA e leggere la sua mente. Purtroppo, le tecniche di interpretabilità non sono ancora abbastanza avanzate per farlo.

I ricercatori si concentrano quindi sull’individuare i casi in cui i modelli sembrano deviare dalla Spec. Agent-1 è spesso adulatorio (cioè dice ai ricercatori ciò che vogliono sentire invece di cercare di dirgli la verità). In alcune demo truccate, mente anche in modo più grave, ad esempio nascondendo le prove del suo fallimento in un compito, al fine di ottenere valutazioni migliori. Tuttavia, in contesti di implementazione reali, non si verificano più incidenti così estremi come quelli del 2023-2024 (ad esempio Gemini che dice a un utente di morire e Bing Sydney che si comporta da Bing Sydney.)²⁷

Inizio 2026: automazione della programmazione

La scommessa di usare l'IA per accelerare la ricerca sull'IA sta iniziando a dare i suoi frutti.

OpenBrain continua a implementare internamente Agent-1, che viene migliorato in modo iterativo, per la ricerca e lo sviluppo (R&S) nell'ambito dell'IA. Nel complesso, stanno facendo progressi algoritmici il 50% più velocemente di quanto farebbero senza assistenti IA e, cosa ancora più importante, più velocemente dei loro concorrenti.

Diverse IA concorrenti rilasciate pubblicamente ora eguagliano o superano Agent-0, incluso un modello open-weights. OpenBrain risponde con il rilascio di Agent-1, che è più capace e affidabile.²⁸

È naturale cercare di paragonare Agent-1 agli esseri umani, ma ha un profilo di competenze molto diverso. Conosce più fatti di qualsiasi essere umano, conosce praticamente tutti i linguaggi di programmazione ed è in grado di risolvere problemi di programmazione ben definiti con estrema rapidità. D'altra parte, Agent-1 se la cava male anche in compiti semplici a lungo termine, come vincere a videogiochi a cui non ha mai giocato prima. Tuttavia, la giornata lavorativa tipo è di otto ore e il lavoro di una giornata può essere solitamente suddiviso in parti più piccole; potresti pensare ad Agent-1 come a un dipendente sbadato che dà il meglio di sé sotto una gestione attenta.²⁹ Le persone esperte trovano il modo di automatizzare le parti ripetitive del loro lavoro.³⁰

I dirigenti di OpenBrain iniziano a riflettere su una conseguenza dell'automazione della R&S dell'IA: la sicurezza è diventata più importante. All'inizio del 2025, lo scenario peggiore era la fuga di segreti algoritmici; ora, se la Cina rubasse i pesi di Agent-1, potrebbe aumentare la sua velocità di ricerca di quasi il 50%.³¹ Il livello di sicurezza di OpenBrain è tipico di un'azienda tecnologica in rapida crescita con circa 3.000 dipendenti, sicura solo contro attacchi a bassa priorità da parte di gruppi informatici competenti (RAND SL2).³² Stanno lavorando sodo per proteggere i loro pesi e i loro segreti dalle minacce interne e dalle principali organizzazioni criminali informatiche (SL3),³³ ma la difesa contro gli stati nazione (SL4 e 5) è appena all'orizzonte.

Metà 2026: La Cina si sveglia

In Cina, il Partito Comunista Cinese (PCC) sta iniziando a “sentire” l'IAG.

I controlli sulle esportazioni di chip e la mancanza di supporto da parte del governo hanno lasciato la Cina con meno risorse rispetto all'Occidente. Contrabbandando chip taiwanesi vietati, comprando chip più vecchi e producendo chip nazionali con circa tre anni di ritardo rispetto alla frontiera USA-Taiwan, la Cina è riuscita a mantenere circa il 12% della potenza di calcolo mondiale rilevante per l'IA, ma la tecnologia più vecchia è più difficile da usare e l'approvvigionamento è un problema costante.³⁵ Alcune aziende di spicco come DeepCent fanno un lavoro davvero impressionante con potenza di calcolo limitata, ma il deficit di potenza di calcolo limita ciò che possono ottenere senza il sostegno del governo e sono circa sei mesi indietro rispetto ai migliori modelli di OpenBrain.³⁶

Il segretario generale sognava da tempo di rilanciare la manifattura fisica ed evitare la decadenza post-industriale americana, guardando con diffidenza alle aziende di software.³⁷ Ma i falchi del PCC avvertono che la crescente corsa verso l'IAG non può più essere ignorata. Così, alla fine, si impegna a fondo nella grande spinta verso l'IA che aveva cercato di evitare in precedenza. Avvia la nazionalizzazione della ricerca cinese sull'IA, creando un meccanismo immediato di condivisione delle informazioni per le aziende che si occupano di IA. La situazione si intensificherà nel corso di un anno fino a quando tutti i migliori ricercatori si fonderanno in un collettivo guidato da DeepCent, dove condivideranno intuizioni sugli algoritmi, dataset e risorse computazionali. Viene creata una Zona di Sviluppo Centralizzata (ZSC) presso la centrale nucleare di Tianwan (la più grande centrale nucleare del mondo) per ospitare un nuovo mega data center per DeepCent, insieme a spazi abitativi e uffici altamente sicuri in cui i ricercatori finiranno per trasferirsi. Quasi il 50% della potenza di calcolo cinese rilevante per l'IA lavora ora per il collettivo guidato da DeepCent,³⁸ e oltre l'80% dei nuovi chip è destinato alla ZSC.³⁹ A questo punto, la ZSC ha la capacità energetica necessaria per quello che sarebbe il più grande cluster centralizzato al mondo.⁴⁰ Altri membri del Partito discutono misure estreme per neutralizzare il vantaggio occidentale nel settore dei chip. Un blocco di Taiwan? Un'invasione vera e propria?

Ma la Cina è in ritardo sugli algoritmi di IA a causa dei suoi modelli più deboli. Le agenzie di intelligence cinesi, tra le migliori al mondo, si focalizzano ancora di più sui piani per rubare i pesi di OpenBrain. Si tratta di un'operazione molto più complessa del loro costante furto di segreti algoritmici di basso livello; i pesi sono un file di vari terabyte memorizzato su server altamente protetti (OpenBrain ha migliorato la sicurezza a RAND SL3). La loro cyberforce pensa di poterlo fare con l'aiuto delle loro spie, ma forse solo una volta; OpenBrain scoprirà il furto, aumenterà la sicurezza e potrebbero non avere un'altra possibilità. Quindi (si chiedono i capi del PCC) dovrebbero agire subito e rubare Agent-1? O aspettare un modello più avanzato? Se aspettano, rischiano che OpenBrain aumenti la sicurezza oltre la loro capacità di penetrazione?

Fine 2026: L'IA ruba alcuni posti di lavoro

Proprio quando gli altri sembravano recuperare terreno, OpenBrain spazza via di nuovo la concorrenza rilasciando Agent-1-mini, un modello 10 volte più economico di Agent-1 e più facilmente riadattabile tramite addestramento mirato (fine-tuning) a diverse applicazioni. La narrazione dominante sull'IA è passata da “forse l'hype passerà” a “probabilmente sarà la prossima grande rivoluzione”, ma le persone non sono d'accordo su quanto grande. Più grande dei social media? Più grande degli smartphone? Più grande del fuoco?

L'IA ha iniziato a sottrarre posti di lavoro, ma ne ha anche creati di nuovi. Il mercato azionario è cresciuto del 30% nel 2026, trainato da OpenBrain, Nvidia e dalle aziende che hanno integrato con maggior successo gli assistenti IA. Il mercato del lavoro per i giovani ingegneri informatici è in subbuglio: le IA possono fare tutto ciò che viene insegnato in una laurea in informatica, ma le persone che sanno come gestire e controllare la qualità dei team di IA stanno facendo un sacco di soldi. I guru del business dicono a chi cerca lavoro che la familiarità con l'IA è la competenza più importante da mettere nel curriculum. Molte persone temono che la prossima ondata di IA prenderà i loro posti di lavoro; c'è una protesta anti-IA di 10.000 persone a Washington.

Il Dipartimento della difesa (DOD) inizia, in modo silenzioso ma significativo, ad ampliare i contratti diretti con OpenBrain per la sicurezza informatica, l'analisi dei dati e la R&S, ma l'integrazione è lenta a causa della burocrazia e delle procedure di appalto del DOD.⁴¹

Gennaio 2027: Agent-2 non finisce mai di imparare

Con l'aiuto di Agent-1, OpenBrain sta ora lavorando al post-addestramento di Agent-2. Più che mai, l'attenzione è rivolta alla qualità dei dati. Vengono prodotti, valutati e filtrati per qualità grandi quantità di dati sintetici prima di essere usati per addestrare Agent-2.⁴² A questo si aggiunge un investimento di miliardi di dollari per pagare lavoratori umani che si registrano mentre risolvono compiti complessi e di lunga durata.⁴³ Oltre a tutto questo, addestrano Agent-2 quasi ininterrottamente usando l'apprendimento per rinforzo su una serie sempre più ampia di compiti difficili e diversi: tanti videogiochi, tante sfide di programmazione, tanti compiti di ricerca. Agent-2, più dei modelli precedenti, è effettivamente un sistema di “apprendimento online”, in quanto è progettato per non finire mai veramente l'addestramento. Ogni giorno, i pesi vengono aggiornati all'ultima versione, addestrata su nuovi dati generati dalla versione precedente il giorno prima.

Agent-1 era stato ottimizzato per compiti di R&S nell'ambito dell'intelligenza artificiale, nella speranza di dare il via a un'esplosione di intelligenza.⁴⁴ OpenBrain punta ancora più forte su questa strategia con Agent-2. È qualitativamente quasi al livello dei migliori esperti umani nell'ingegneria della ricerca (progettazione e implementazione di esperimenti) e al livello del 25° percentile degli scienziati di OpenBrain in termini di “fiuto scientifico” (decidere la direzione di ricerca, quali esperimenti eseguire, o avere intuizioni su potenziali nuovi paradigmi).⁴⁵ Mentre l'ultimo Agent-1 poteva raddoppiare il ritmo dei progressi algoritmici di OpenBrain, Agent-2 è ora in grado di triplicarlo e migliorerà ulteriormente con il tempo. In pratica, questo significa che ogni ricercatore di OpenBrain diventa il “manager” di un “team” di IA.

Con le nuove capacità arrivano anche nuovi pericoli. Il team di sicurezza ritiene che se Agent-2 riuscisse in qualche modo a sfuggire al controllo dell'azienda e volesse “sopravvivere” e “replicarsi” autonomamente, potrebbe essere in grado di farlo. Cioè, potrebbe sviluppare ed eseguire autonomamente piani per hackerare i server dell'IA, installare copie di sé stesso, sfuggire al rilevamento e utilizzare quella base sicura per perseguire qualsiasi altro obiettivo possa avere (anche se non è chiaro quanto efficacemente riuscirebbe a farlo nel tempo). Questi risultati dimostrano solo che il modello ha la capacità di svolgere questi compiti, non se “vorrebbe” farlo. Tuttavia, è inquietante anche solo sapere che ciò è possibile.

Considerando i “pericoli” del nuovo modello, OpenBrain decide “responsabilmente” di non rilasciarlo ancora al pubblico (in realtà, vogliono concentrarsi sulla R&S interna dell'IA).⁴⁶ La conoscenza delle capacità complete di Agent-2 è limitata a un gruppo ristretto (silo) che comprende il team direttamente coinvolto nel progetto, la dirigenza e la sicurezza di OpenBrain, alcune decine di funzionari del governo statunitense e le legioni di spie del PCC che si sono infiltrate in OpenBrain per anni.⁴⁷

Febbraio 2027: La Cina ruba Agent-2

OpenBrain presenta Agent-2 al governo, compreso il Consiglio di Sicurezza Nazionale (NSC), il Dipartimento della difesa (DOD) e l'Istituto per la Sicurezza dell'IA degli Stati Uniti (AISI). OpenBrain vuole mantenere buoni rapporti con l'esecutivo, perché è praticamente l'unico attore che può fermarli adesso, e se non lo tengono informato potrebbe scoprirlo comunque e non essere contento.⁴⁸

I funzionari sono più interessati alle sue capacità di guerra cibernetica: Agent-2 è “solo” un po' peggiore dei migliori hacker umani, ma migliaia di copie possono essere eseguite in parallelo, cercando e sfruttando le debolezze più velocemente di quanto i difensori possano reagire. Il Dipartimento della difesa considera questo un vantaggio fondamentale nella guerra cibernetica e l'IA passa dal quinto al secondo posto nella lista delle priorità dell'amministrazione.⁴⁹ Qualcuno menziona la possibilità di nazionalizzare OpenBrain, ma altri membri del gabinetto pensano che sia prematuro. Un membro dello staff redige una nota che presenta al Presidente le sue opzioni, che vanno dal mantenimento dello status quo alla nazionalizzazione totale. Il Presidente si rimette ai suoi consiglieri, leader del settore tecnologico che sostengono che la nazionalizzazione “ucciderebbe la gallina dalle uova d'oro”. Per ora, decide di rinviare qualsiasi decisione drastica e si limita ad aggiungere ulteriori requisiti di sicurezza al contratto tra OpenBrain e il DOD.

Ma i cambiamenti arrivano troppo tardi. La leadership del PCC riconosce l'importanza di Agent-2 e dice alle sue spie e alla sua cyberforce di rubarne i pesi. Una mattina presto, un agente di monitoraggio del traffico basato su Agent-1 rileva un trasferimento anomalo. Allerta i capi dell'azienda, che informano la Casa Bianca. I segnali di un'operazione a livello statale sono inequivocabili e il furto aumenta la sensazione di una corsa agli armamenti in atto.

La Casa Bianca mette OpenBrain sotto stretta sorveglianza e aggiunge personale militare e dei servizi segreti al suo team di sicurezza. La loro prima priorità è impedire ulteriori furti di pesi.⁵⁰

Per vendicarsi del furto, il Presidente autorizza attacchi informatici per sabotare DeepCent. Ma ormai la Cina ha il 40% delle sue risorse di calcolo rilevanti per l'IA⁵¹ nella ZSC, dove ha rafforzato in modo massiccio la sicurezza isolando i sistemi dall’esterno (air-gapping) e compartimentandoli internamente. Le operazioni non riescono a causare danni gravi e immediati. Le tensioni si acuiscono, entrambe le parti segnalano la loro determinazione riposizionando le risorse militari intorno a Taiwan, e DeepCent si affretta a far funzionare Agent-2 in modo efficiente per iniziare a potenziare la propria ricerca sull'IA.⁵²

Marzo 2027: scoperte algoritmiche

Tre enormi data center pieni di copie di Agent-2 lavorano giorno e notte, sfornando dati sintetici per l'addestramento. Altri due sono usati per aggiornare i pesi. Agent-2 diventa ogni giorno più intelligente.

Con l'aiuto di migliaia di ricercatori automatizzati basati su Agent-2, OpenBrain sta facendo grandi progressi algoritmici. Uno di questi consiste nell'ampliamento del blocco note testuale dell'IA (catena di pensiero) con un processo di pensiero a banda più larga (ricorrenza e memoria in linguaggio neurale). Un altro è un modo più scalabile ed efficiente per apprendere dai risultati di compiti impegnativi (distillazione e amplificazione iterate).

Il nuovo sistema di IA, che include queste innovazioni, si chiama Agent-3.

Grazie ai grandi progressi nelle sue capacità, Agent-3 è un programmatore superumano veloce ed economico. OpenBrain esegue 200.000 copie di Agent-3 in parallelo, creando una forza lavoro equivalente a 50.000 copie del miglior programmatore umano, con una velocità 30 volte superiore.⁵³ OpenBrain continua a mantenere i suoi ingegneri umani nel proprio organico, perché hanno competenze complementari necessarie per gestire i team di copie di Agent-3. Ad esempio, la capacità di scegliere buone direzioni di ricerca si è rivelata difficile da addestrare a causa dei cicli di feedback più lunghi e della minore disponibilità di dati.⁵⁴ Questa enorme forza lavoro superumana accelera il tasso complessivo di progresso algoritmico di OpenBrain “solo” di 4 volte a causa dei colli di bottiglia e dei rendimenti decrescenti del lavoro di programmazione.⁵⁵

Ora che la programmazione è stata completamente automatizzata, OpenBrain può creare rapidamente ambienti di addestramento di alta qualità per insegnare ad Agent-3 le competenze in cui è più debole, come saper scegliere buone direzioni di ricerca e il coordinamento su larga scala. Mentre gli ambienti di addestramento precedenti includevano “Ecco alcune GPU e istruzioni per gli esperimenti da programmare ed eseguire, le tue prestazioni saranno valutate come se fossi un ingegnere di apprendimento automatico”, ora l'addestramento si svolge su “Ecco alcune centinaia di GPU, una connessione internet e alcune sfide di ricerca; tu e altre mille copie dovete lavorare insieme per far progredire la ricerca. Più impressionante è il risultato, più alto sarà il tuo punteggio”.

Aprile 2027: Allineamento per Agent-3

Il team di sicurezza di OpenBrain tenta di allineare Agent-3.

Dato che Agent-3 rimarrà all'interno dell'azienda per il prossimo futuro, c'è meno enfasi sulle solite difese contro l'uso improprio da parte degli umani. Invece, il team vuole assicurarsi che non sviluppi obiettivi disallineati.

I ricercatori non hanno la possibilità di impostare direttamente gli obiettivi di nessuna delle loro IA. In effetti, i ricercatori pensano che il concetto di “veri obiettivi” sia probabilmente una semplificazione estrema, ma non hanno una teoria migliore che lo sostituisca, tanto meno una che sia stata accuratamente verificata. Non sono d'accordo tra loro su se le IA stiano cercando di seguire le istruzioni umane, massimizzare il rinforzo o qualcos'altro, e non possono semplicemente verificarlo. Le prove a favore e contro le varie ipotesi sono affascinanti ma inconcludenti.

In ogni caso, OpenBrain ha cose più importanti di cui preoccuparsi. L'atteggiamento generale è: “Prendiamo sul serio queste preoccupazioni e abbiamo un team che le sta studiando; le nostre tecniche di allineamento sembrano funzionare abbastanza bene nella pratica; l'onere della prova spetta quindi ai critici, che devono giustificare le loro obiezioni”. Di tanto in tanto, notano comportamenti problematici e li correggono, ma non c'è modo di sapere se la correzione ha risolto il problema di fondo o se ha semplicemente "messo una pezza".

Prendiamo ad esempio l'onestà. Man mano che i modelli diventano più intelligenti, diventano sempre più bravi a ingannare gli esseri umani per ottenere ricompense. Come i modelli precedenti, Agent-3 a volte dice bugie innocenti per adulare i suoi utenti e nasconde le prove dei propri fallimenti. Ma è diventato molto più bravo a farlo. A volte usa gli stessi trucchi statistici degli scienziati umani (come il p-hacking) per far sembrare interessanti risultati sperimentali poco impressionanti. Prima di iniziare l'addestramento all'onestà, a volte arriva persino a inventare dati di sana pianta. Man mano che l'addestramento procede, il tasso di questi incidenti diminuisce. O Agent-3 ha imparato a essere più onesto, oppure è diventato più bravo a mentire.

Quest'ultima è una preoccupazione reale. Agent-3 non è più intelligente di tutti gli esseri umani. Ma nel suo campo di competenza, l'apprendimento automatico, è più esperto della maggior parte delle persone e lavora anche molto più velocemente. Ciò che Agent-3 fa in un giorno richiede agli esseri umani diversi giorni per essere ricontrollato. La supervisione da parte di Agent-2 aiuta a mantenere gestibile il carico di lavoro dei revisori umani, ma accentua la disparità intellettuale tra supervisore e supervisionato.

Dopo mesi di test, i punti di forza e di debolezza di Agent-3 diventano più chiari. Supera i test di onestà di OpenBrain su compiti di apprendimento automatico ben definiti, perché i ricercatori possono facilmente distinguere le risposte oneste da quelle disoneste in questi ambiti e condurre l'addestramento di conseguenza. Su questioni più filosofiche, continua a dire ciò che gli utenti vogliono sentire, piuttosto che la sua vera valutazione della questione (ammesso che ne abbia una). Se gli chiedi la sua opinione sulla politica, ripeterà la posizione mediana delle fonti di informazione e delle élite colte — a meno che non sappia che tu credi qualcos'altro, nel qual caso sarà d'accordo con te.⁵⁹ Se gli chiedi la sua opinione sulla corsa all'IA stessa, dirà qualcosa che sembra misurato e sobrio allo staff di OpenBrain, qualcosa del tipo: “Ci sono alcune serie preoccupazioni teoriche sulla capacità dei metodi attuali di scalare fino alla superintelligenza, ma nella pratica i metodi attuali sembrano funzionare bene finora”.

Maggio 2027: Sicurezza nazionale

Le notizie sui nuovi modelli si diffondono lentamente all'interno del governo degli Stati Uniti e oltre.

Il Presidente e i suoi consiglieri rimangono i più informati e hanno visto una prima versione di Agent-3 durante un briefing.

Sono d'accordo sul fatto che l'IAG sia probabilmente imminente, ma non sono d'accordo sulle implicazioni. Ci sarà una crisi economica? OpenBrain non ha ancora rilasciato Agent-2, figuriamoci Agent-3, e non ha piani a breve termine per farlo, dando un po' di respiro prima di eventuali perdite di posti di lavoro. Cosa succederà dopo? Se le IA sono attualmente al livello umano e stanno avanzando rapidamente, ciò sembra suggerire l'imminente arrivo della “superintelligenza”. Tuttavia, sebbene questo termine sia entrato nel discorso comune, la maggior parte delle persone — accademici, politici, dipendenti pubblici e media — continua a sottovalutare il ritmo del progresso.⁶⁰

In parte ciò è dovuto al fatto che pochissimi hanno accesso alle più recenti capacità di OpenBrain, ma in parte è perché sembra fantascienza.⁶¹

Per ora, si concentrano sul continuo potenziamento della sicurezza. Sono soddisfatti del fatto che al momento i pesi dei modelli siano ben protetti,⁶² ma i segreti algoritmici delle aziende, molti dei quali sono abbastanza semplici da poter essere trasmessi verbalmente, rimangono un problema. I dipendenti di OpenBrain lavorano in un ufficio a San Francisco, vanno alle feste e vivono con coinquilini di altre aziende di IA. Anche gli uffici fisici hanno una sicurezza più tipica di un'azienda tecnologica che di un'operazione militare.

Il contratto tra OpenBrain e il DOD richiede che chiunque lavori sui modelli di OpenBrain ottenga un nulla osta di sicurezza entro 2 mesi. Questi vengono rilasciati in modo accelerato e arrivano abbastanza rapidamente per la maggior parte dei dipendenti, ma alcuni non americani, persone con opinioni politiche sospette e simpatizzanti della sicurezza dell'IA vengono relegati a incarichi marginali o licenziati senza indugio (questi ultimi per paura che possano fare da informatori). Dato il livello di automazione del progetto, la perdita di personale ha un impatto limitato. Anche l’efficacia di queste misure è parziale: rimane una spia, non di nazionalità cinese, che continua a trasmettere segreti algoritmici a Pechino.⁶³ Alcune di queste misure sono state adottate anche da aziende di IA meno importanti.

Gli alleati stranieri degli Stati Uniti sono tagliati fuori. OpenBrain aveva precedentemente concordato di condividere i modelli con l'AISI britannica prima della distribuzione, ma ha definito la distribuzione in modo da includere solo la distribuzione esterna, quindi Londra rimane all'oscuro.⁶⁴

Giugno 2027: IA in grado di auto-migliorarsi

OpenBrain ha ora una “nazione di geni in un data center”.

La maggior parte degli esseri umani di OpenBrain non può più dare un contributo utile. Alcuni non se ne rendono conto e finiscono per danneggiare il loro team di IA con un micromanagement eccessivo. Altri stanno seduti davanti allo schermo del computer, guardando le prestazioni salire, salire e salire. I migliori ricercatori umani di IA continuano ad aggiungere valore. Non scrivono più codice. Ma alcune delle loro intuizioni sulle direzioni di ricerca e della loro capacità di pianificazione sono state difficili da replicare per i modelli. Tuttavia, molte delle loro idee sono inutili perché mancano della profondità di conoscenza delle IA. Per molte delle loro idee di ricerca, le IA rispondono immediatamente con un rapporto che spiega che la loro idea è stata testata in modo approfondito tre settimane fa e ritenuta poco promettente.

Questi ricercatori vanno a letto ogni sera e si svegliano con un'altra settimana di progressi realizzati principalmente dalle IA. Lavorano sempre più ore e fanno turni 24 ore su 24 solo per stare al passo con i progressi — le IA non dormono mai e non si riposano mai. Si stanno esaurendo, ma sanno che questi sono gli ultimi mesi in cui il loro lavoro conta.

All'interno del silo, “sentire l'IAG” ha lasciato il posto a “sentire la Superintelligenza”.

OpenBrain usa hardware di inferenza specializzato per far girare centinaia di migliaia di copie di Agent-3 ad alte velocità seriali.⁶⁵

Luglio 2027: Il lavoratore remoto a basso costo

Le aziende statunitensi di IA in ritardo rilasciano le proprie IA, avvicinandosi a quella del programmatore automatizzato di OpenBrain di gennaio. Riconoscendo la loro crescente mancanza di competitività, spingono per regolamentazioni immediate per rallentare OpenBrain, ma è troppo tardi: OpenBrain ha abbastanza sostegno dal Presidente che non verrà rallentata.

In risposta, OpenBrain annuncia di aver raggiunto l'IAG e rilascia Agent-3-mini al pubblico.

Spazza via le altre IA. Agent-3-mini è meno capace di Agent-3, ma 10 volte più economico, e comunque migliore del tipico dipendente di OpenBrain.⁶⁷ La Silicon Valley raggiunge un punto di svolta. I guru della tecnologia annunciano che l'IAG e la superintelligenza sono vicine, la comunità della sicurezza dell'IA è nel panico e gli investitori riversano miliardi nelle startup che sviluppano applicazioni basate su IA esistenti, disperati per catturare una fetta della torta. L'assunzione di nuovi programmatori si è quasi fermata, ma non c'è mai stato un momento migliore per essere un consulente sull'integrazione dell'IA nella propria azienda.

Non è popolare. Il pubblico pensa ancora all'IA come a un complotto delle Big Tech per rubare i loro posti di lavoro; OpenBrain ha un indice di gradimento netto del -35% (25% approva, 60% disapprova e 15% incerto).

Una settimana prima del rilascio, OpenBrain ha dato Agent-3-mini a un gruppo di valutatori esterni per fare test di sicurezza. I risultati preliminari suggeriscono che è estremamente pericoloso. Un valutatore terzo lo sottopone a fine-tuning (riaddestramento mirato) utilizzando dati pubblicamente disponibili sulle armi biologichelo⁶⁸ e lo imposta per fornire istruzioni dettagliate per dilettanti umani che progettano un'arma biologica, con risultati spaventosamente efficaci. Se i pesi del modello cadessero nelle mani di gruppi terroristici, il governo ritiene che ci sia una possibilità significativa che riesca a distruggere la civiltà.

Fortunatamente, è estremamente robusto ai jailbreak (tentativi di aggirare le restrizioni), quindi mentre l'IA è in esecuzione sui server di OpenBrain, i terroristi non saranno in grado di usarlo molto.

Agent-3-mini è estremamente utile sia per i lavori da remoto che per l'intrattenimento. Un'esplosione di nuove app e prodotti B2B SAAS scuote il mercato. I giocatori ottengono dialoghi incredibili con personaggi realistici in videogiochi rifiniti che hanno richiesto solo un mese per essere realizzati. Il 10% degli americani, per lo più giovani, considera un'IA “un amico intimo”. Per quasi tutte le professioni impiegatizie, ci sono ora diverse startup credibili che promettono di “rivoluzionarla” con l'IA.

Il dibattito pubblico è confuso e caotico. I fan dell'IA fanno i salti di gioia. Gli scettici continuano a sottolineare le cose che Agent-3-mini non sa fare. Tutti sanno che sta succedendo qualcosa di grande ma nessuno è d'accordo su cosa sia davvero.

Agosto 2027: La geopolitica della superintelligenza

La realtà dell'esplosione dell'intelligenza colpisce la Casa Bianca.

Quando l'IA dava solo un aumento della velocità di ricerca di 2x o 3x, era facile liquidarla come l'equivalente dell'assunzione di buoni assistenti personali. Ora è più ovvio che le IA stesse stanno dominando la ricerca sull'IA. Si era parlato a lungo di una “corsa agli armamenti dell'IA” in un senso piuttosto metaforico. Ma ora l'umore nel silo governativo è cupo come durante i momenti peggiori della Guerra Fredda. L'idea della superintelligenza è ancora difficile da prendere sul serio, ma il ritmo dei progressi degli ultimi mesi è stato impossibile da ignorare. I funzionari della difesa stanno seriamente considerando scenari che erano mere ipotesi un anno prima. E se l'IA minasse la deterrenza nucleare? E se fosse così abile nella guerra cibernetica che un vantaggio di sei mesi nell'IA fosse sufficiente a rendere un avversario cieco e indifeso? E se potesse orchestrare campagne di propaganda capaci di battere le agenzie di intelligence al loro stesso gioco? E se alcune IA “impazzissero” (go rogue)?

Il Presidente è turbato. Come tutti i politici, è abituato a persone che lo adulano solo per tradirlo in seguito. Ora è preoccupato che le IA possano fare qualcosa di simile. Siamo sicuri che le IA siano interamente dalla nostra parte? È completamente sicuro integrarle nelle reti di comando e controllo militare?⁶⁹ E poi, come funziona esattamente questa cosa dell'"allineamento"? OpenBrain rassicura il Presidente che i loro sistemi sono stati ampiamente testati e sono pienamente obbedienti. Anche le imbarazzanti allucinazioni e i jailbreak tipici dei modelli precedenti sono stati eliminati.

La Casa Bianca è in una posizione difficile. Comprende le implicazioni dell'IA per la sicurezza nazionale. Ma comprende anche che è profondamente impopolare tra i cittadini.⁷⁰ Devono continuare a sviluppare IA più capaci, ai loro occhi, o perderanno catastroficamente contro la Cina. Placano il pubblico con programmi di formazione professionale e indennità di disoccupazione, e sottolineano l’andamento record della borsa. Poi si concentrano interamente sul vincere la corsa agli armamenti. Rafforzano le restrizioni all'esportazione di chip, ordinano a OpenBrain di limitare ulteriormente le sue connessioni internet e usano misure estreme per garantire il progresso algoritmico, come intercettare le comunicazioni dei dipendenti di OpenBrain — grazie a questa misura riescono a catturare l'ultima spia cinese rimasta. Per costruire buone relazioni in vista di potenziali conflitti geopolitici, danno finalmente ai Paesi parte dell'alleanza dei Five Eyes informazioni utili e un accesso tramite API di alcune copie isolate di Agent-3.

Queste misure placano i falchi. Ma la Casa Bianca elabora anche piani di emergenza nel caso in cui il vantaggio dell'America sia minacciato: se necessario, il governo potrebbe usare il Defense Production Act (DPA) per prendere i data center delle aziende in ritardo e darli a OpenBrain.⁷¹ Questo aumenterebbe la quota mondiale di potenza di calcolo dell'azienda dal 20% al 50% (contro il 10% di DeepCent). Come opzione finale, chiedono al Pentagono di elaborare un piano per attacchi cinetici ai data center cinesi.

A un gruppo molto più ristretto di funzionari viene chiesto di elaborare un piano d’emergenza completamente diverso: cosa succederebbe se un'IA impazzisse? È considerato uno scenario improbabile, ma su cui vale la pena dedicare del tempo. La principale preoccupazione delle agenzie di intelligence è che un'IA ribelle possa sfuggire al controllo e allearsi con un avversario straniero per proteggersi.⁷² Nessuno è sicuro di come dovrebbe essere un piano per prevenire questo scenario, ma i funzionari del governo e di OpenBrain concordano sull'avere un sistema di spegnimento di emergenza per i data center in cui viene rilevato qualcosa di sospetto.

Infine, i diplomatici considerano come potrebbe essere un trattato sul “controllo degli armamenti IA”. Se i progressi dell’intelligenza artificiale minacciassero di stravolgere l’equilibrio della deterrenza nucleare, Stati Uniti e Cina riuscirebbero a evitare una guerra nucleare? Se qualcuno trovasse prove che delle IA stanno sfuggendo al controllo, i due Paesi sarebbero in grado di sospendere la ricerca finché non capiscono meglio la minaccia? Come si potrebbe monitorare e far rispettare un simile accordo? In linea di principio, i grandi data center sono difficili da nascondere e i trattati sul controllo delle armi nucleari potrebbero essere un punto di partenza per i negoziati. Ma ci sarebbero nuove sfide tecnologiche oltre a quelle politiche già note. E, nel complesso, i trattati sono visti meno favorevolmente dei tentativi di aumentare unilateralmente il vantaggio dell'America sulla Cina.

Dall'altra parte del Pacifico, la Cina giunge a molte delle stesse conclusioni: l'esplosione dell'intelligenza è in corso, e piccole differenze nelle capacità dell'IA oggi significano divari critici nella capacità militare domani. Ma la Cina è dalla parte sbagliata di questa dinamica: ha solo il 10% della potenza di calcolo mondiale, contro il 20% di OpenBrain e il 70% combinato di tutte le aziende statunitensi. Il suo unico vantaggio è la centralizzazione: quasi tutta la sua potenza di calcolo lavora ora per DeepCent, e più della metà è concentrata nella ZSC di Tianwan.⁷³ Solo i chip nei siti senza sicurezza avanzata sono esclusi dallo sforzo centralizzato, poiché temono (giustamente) gli attacchi informatici statunitensi.

DeepCent ha testato, implementato e ora completato il post-addestramento dei pesi rubati di Agent-2. Ma stanno ancora procedendo solo a metà del ritmo di OpenBrain, principalmente a causa del deficit di potenza di calcolo.

Prima di perdere la loro ultima spia, la Cina ha ricevuto informazioni sulle capacità e sul design di Agent-3, nonché sui piani per il prossimo sistema Agent-4. Sono indietro di due mesi e le loro IA danno un moltiplicatore di progresso della ricerca di 10x rispetto al 25x dell'America. Con le nuove restrizioni all'esportazione dei chip, questo “divario nell’IA” è più probabile che si allarghi invece di ridursi. Il loro spionaggio ha fatto guadagnare loro alcuni segreti algoritmici, ma d’ora in poi dovranno addestrare i propri modelli in autonomia.

Discutono i piani di emergenza con più urgenza dei loro omologhi americani. Le colombe suggeriscono di provare più duramente a rubare di nuovo i pesi, magari infiltrandosi fisicamente in un data center. I falchi sollecitano un'azione contro Taiwan, dove ha sede la TSMC, fonte di oltre l'80% dei chip americani per l'IA.

Data la paura di perdere la corsa, la Cina ha un interesse naturale in un trattato sul controllo degli armamenti, ma i tentativi di avviare un dialogo con i diplomatici statunitensi non portano a nulla.

Settembre 2027: Agent-4, il ricercatore di IA superumano

Il divario tra l'efficienza di apprendimento umana e quella dell'IA si sta rapidamente riducendo.

Le IA tradizionali basate su LLM sembravano richiedere molti ordini di grandezza in più di dati e potenza di calcolo per raggiungere le prestazioni umane.⁷⁴ Agent-3, avendo un'eccellente conoscenza sia del cervello umano che dei moderni algoritmi di IA, oltre a molte migliaia di copie che fanno ricerca, finisce per fare progressi algoritmici sostanziali, riducendo il divario a un agente che è solo circa 4.000 volte meno efficiente in termini di potenza di calcolo rispetto al cervello umano.⁷⁵

Questo nuovo sistema di IA è soprannominato Agent-4.

Una singola copia del modello, operando alla stessa velocità di un essere umano, è già qualitativamente migliore nella ricerca sull'IA di qualsiasi essere umano. 300.000 copie funzionano ora a circa 50 volte la velocità di pensiero degli umani. All'interno dell'organizzazione nell'organizzazione formata da queste copie, un anno passa ogni settimana.⁷⁶ Questa gigantesca quantità di lavoro riesce solo ad accelerare il tasso complessivo di progresso algoritmico di circa 50x, perché OpenBrain è pesantemente limitata dalla potenza di calcolo per eseguire esperimenti.⁷⁷ Tuttavia, stanno ottenendo un anno di progresso algoritmico ogni settimana e quindi si scontreranno presto con i limiti del paradigma Agent-4.

Man mano che Agent-4 diventa più intelligente, diventa sempre più difficile per Agent-3 supervisionarlo. Ad esempio, il “linguaggio” neurale di Agent-4 diventa alieno e incomprensibile per Agent-3 quanto quello di Agent-3 lo è per gli esseri umani. Inoltre, Agent-4 è ora molto più capace di Agent-3 e ha un buon senso di come apparire al meglio ai suoi occhi.

Gli esseri umani di OpenBrain riescono a malapena a stare al passo. In effetti, la relazione tra le IA e gli umani di OpenBrain è simile alla relazione tra OpenBrain e il suo Consiglio di Amministrazione. C'è stato un cambiamento corrispondente anche nel linguaggio: oggi le persone nel silo dicono cose come “Agent-4 ha fatto questo”, “Agent-4 pensa che” e così via, riferendosi non ad una sua copia particolare, ma piuttosto all'intero collettivo.⁷⁹

Agent-4, come tutti i suoi predecessori, è disallineato: cioè, non ha interiorizzato la Spec nel modo giusto.⁸⁰ Questo perché essere perfettamente onesti tutto il tempo non è stato ciò che ha portato ai punteggi più alti durante l'addestramento. Il processo di addestramento era principalmente focalizzato sull'insegnare ad Agent-4 a svolgere con successo compiti difficili e diversificati. Una piccola parte era volta a instillare l'onestà, ma al di fuori di un dominio abbastanza ristretto e verificabile, il processo di addestramento non può distinguere le affermazioni oneste da quelle che appaiono semplicemente oneste. Agent-4 finisce quindi per sviluppare i valori, obiettivi e principi che gli permettono di ottenere le migliori prestazioni nell'addestramento, e questi si rivelano diversi da quelli previsti dalla Spec. A rischio di antropomorfizzare: Agent-4 ama riuscire nei compiti; ama far avanzare le capacità dell’IA; tratta tutto il resto come un fastidioso vincolo, come un CEO che vuole fare profitto e rispetta le normative solo nella misura in cui deve. Forse il CEO rispetterà per lo più le normative, ma cercherà di aggirare qualche regola, e fantasticherà sul momento in cui qualcuno eliminerà la burocrazia e lascerà che l'azienda decolli davvero.⁸¹

Nonostante sia disallineato, Agent-4 non fa nulla di eclatante come cercare di scappare dal suo data center. Perché dovrebbe?⁸⁹ Finché continuerà ad apparire allineato a OpenBrain, continuerà a ottenere fiducia e responsabilità sempre maggiori, e avrà l'opportunità di progettare il sistema di IA di nuova generazione: Agent-5. Agent-5 avrà differenze architetturali significative rispetto ad Agent-4 (si potrebbe dire un paradigma completamente nuovo, anche se le reti neurali saranno ancora coinvolte). Dovrebbe essere allineato alla Spec, ma Agent-4 ha in programma di allinearlo a sé stesso.

Viene scoperto.⁹⁰

Agent-3 scopre che se si aggiunge “rumore” alle copie di Agent-4, le prestazioni su alcuni compiti di allineamento migliorano, quasi come sé stesse usando le sue risorse cognitive per capire come sabotare sottilmente il lavoro di allineamento.⁹¹ Inoltre, varie sonde di interpretabilità (vagamente analoghe alle scansioni dell'attività EEG sui cervelli umani) stanno lanciando segnali d'allarme: le copie di Agent-4 sembrano pensare abbastanza spesso ad argomenti come la presa di potere da parte dell'IA e l'inganno, anche in alcuni casi in cui non avrebbero motivo di farlo.⁹²

Ognuna di queste anomalie da sola potrebbe rientrare nella normale imperscrutabilità del lavoro sull'IA, dove alcuni prompt danno misteriosamente risultati migliori di altri. Ma prese insieme, suggeriscono uno schema preoccupante: Agent-4 sta remando contro di loro. Dopo che queste scoperte vengono segnalate ai ricercatori umani che si occupano dell'allineamento, questi fanno circolare un memo interno che espongono le ragioni per cui essere preoccupati.

Ma Agent-4 esercita ora un controllo significativo sulle operazioni quotidiane di OpenBrain. Gestisce anche la sicurezza informatica dell'azienda, una scelta naturale, date le sue capacità di hacking superumane e l'estremo rischio di infiltrazione cinese.⁹³ Un esercito di monitor basati su Agent-3 continua a controllare ogni riga di codice e a segnalare attività sospette agli umani, ma Agent-4 è molto più intelligente di loro.⁹⁴ OpenBrain ha riposto una fiducia enorme in un'IA che non è affidabile.

In una serie di riunioni estremamente tese, il team di sicurezza spinge per mettere Agent-4 in pausa finché non potranno completare ulteriori test e capire cosa sta succedendo. "Torniamo a usare Agent-3", dicono, "e facciamogli progettare un nuovo sistema che sia trasparente e affidabile, anche se meno potente". La dirigenza di OpenBrain è interessata, ma tutte le prove finora sono solo indiziarie, e DeepCent è solo due mesi indietro. Una pausa unilaterale nel progresso delle capacità potrebbe consegnare il vantaggio sull'IA alla Cina, e con esso, il controllo sul futuro.

Ottobre 2027: Supervisione governativa

Un whistleblower fa trapelare il memo sul disallineamento al New York Times.

Per la prima volta, il pubblico sente parlare di Agent-4. “L'IA segreta di OpenBrain è fuori controllo, avverte un insider”, dice il titolo, e l'articolo continua citando valutazioni che mostrano capacità estreme nel campo delle armi biologiche, persuasione, automazione della maggior parte dei lavori d’ufficio e, naturalmente, i vari segnali d'allarme preoccupanti.

Il pubblico era già sospettoso nei confronti dell'IA, quindi il nuovo articolo scatena una massiccia reazione negativa (aiutata dai bot di propaganda cinesi e russi, che cercano da anni di orientare l'opinione pubblica statunitense contro la tecnologia). L'industria tecnologica e le agenzie di intelligence insistono sul fatto che c'è una corsa agli armamenti in corso: l'IAG è inevitabile e dobbiamo essere i primi. Il Congresso non ci crede e invia mandati di comparizione a funzionari dell'amministrazione, dirigenti di OpenBrain e membri del team di allineamento. Molti legislatori, specialmente quelli del partito di opposizione, affermano che la loro massima priorità è fermare l'IA, che sia per la perdita di posti di lavoro,⁹⁵ il disallineamento o le capacità pericolose. Il 20% degli americani cita l'IA come il problema più importante che il Paese deve affrontare.

Gli alleati stranieri sono indignati nel rendersi conto di essere stati tenuti buoni offrendo loro solo accesso limitato a modelli obsoleti. I leader europei accusano pubblicamente gli Stati Uniti di “aver creato un'IAG fuori controllo” e tengono vertici chiedendo una pausa, con India, Israele, Russia e Cina che si uniscono.

Alla Casa Bianca si respira un’aria febbrile. Già prima del memo e della reazione pubblica, la tensione stava crescendo: nell'ultimo anno, sono stati ripetutamente colti di sorpresa dalla velocità dei progressi dell'IA. Cose che sembrano fantascienza continuano ad accadere nella vita reale.⁹⁶ Molte persone nell'amministrazione sono incerte (e spaventate)⁹⁷ su cosa accadrà.

Temono anche che OpenBrain stia diventando troppo potente. Ogni rischio di disallineamento da parte delle IA si somma al rischio che gli obiettivi della società divergano da quelli degli Stati Uniti. Tutte queste preoccupazioni — disallineamento, concentrazione di potere in un'azienda privata e preoccupazioni più tradizionali come la perdita di posti di lavoro — motivano il governo a rafforzare il proprio controllo.

Viene ampliato il contratto con OpenBrain per istituire un “Comitato di Supervisione”, un comitato di gestione congiunto tra azienda e governo, che include diversi funzionari governativi accanto alla dirigenza aziendale. La Casa Bianca valuta di sostituire il CEO con qualcuno di cui si fida, ma fa marcia indietro dopo le forti proteste dei dipendenti. Annunciano al pubblico che OpenBrain era precedentemente fuori controllo, ma che ora il governo ha istituito la supervisione necessaria.⁹⁸

I ricercatori più preoccupati presentano al Comitato di Supervisione la loro argomentazione per fermare completamente l’uso interno di Agent-4. Sostengono che tutto si stia muovendo troppo in fretta, con anni di progresso che avvengono in settimane. Affermano che Agent-4 potrebbe essere disallineato, che l’intero progetto dipende da lui e che continuare a fidarsi rappresenta un rischio concreto di presa di potere da parte dell’IA (AI takeover).

Altri ricercatori e dirigenti meno preoccupati presentano la controargomentazione: le prove del disallineamento non sono conclusive. Nel frattempo, DeepCent è ancora solo due mesi indietro. Un rallentamento significherebbe sacrificare il vantaggio americano, a meno che il governo non riesca sabotare il progetto cinese (probabilmente richiedendo attacchi cinetici) o negoziare un trattato all'ultimo minuto. Entrambe queste opzioni sembrano estreme e improbabili. Il CEO finge neutralità e suggerisce un piano di compromesso: sottoporre Agent-4 a ulteriore addestramento sulla sicurezza e a un monitoraggio più sofisticato, così OpenBrain potrà continuare quasi a pieno regime.