Notas al pie

No estamos del todo de acuerdo entre nosotros sobre los plazos de la IA; nuestra mediana de la fecha de llegada de la IAG es un poco más larga de lo que se muestra en este escenario. Este escenario muestra algo parecido a nuestra moda. Consulta nuestro pronóstico de plazos para obtener más detalles.

Uno de los autores, Daniel Kokotajlo, hizo un ejercicio de escenario de menor esfuerzo en 2021 que acertó en muchas cosas, como el auge de los chatbots, la cadena de pensamiento, la ampliación de la escala de la inferencia, los controles a la exportación de chips para IA y los ciclos de entrenamiento de 100 millones de dólares. Otro de los autores, Eli Lifland, ocupa el primer puesto en la clasificación de la RAND Forecasting Initiative.

En concreto, nuestras medianas iban de 2028 a 2032. Cuando se publicó IA 2027 por primera vez, lo explicamos en la nota 1, como se indica arriba, pero para dejar más claro nuestro punto de vista hemos añadido una aclaración al texto del prólogo. Consulta aquí para más información sobre aquello de lo que estábamos y estamos seguros, y aquello de lo que no.

A veces la gente mezcla predicción y recomendación, con la esperanza de crear un efecto de profecía autocumplida. No es lo que estamos haciendo; ¡esperamos que lo que describimos no se cumpla!

No dudes en contactarnos si estás escribiendo una crítica o un escenario alternativo.

En general fue más difícil, porque a diferencia del primer final, estábamos tratando de conseguir un buen resultado a partir de una situación bastante difícil.

Profesor titular de la Universidad de Montreal y fundador y asesor científico de Mila, el Instituto de IA de Quebec. También es el científico informático más citado del mundo.

Al principio, la mayoría de la gente se muestra reacia a permitir compras sin supervisión. En los próximos años, la autorización automática de pequeñas compras se normalizará a medida que las IA sean más fiables y generen mayor confianza.

En concreto, nuestro pronóstico es que obtendrán una puntuación del 65 % en el benchmark de OSWorld de tareas informáticas básicas (en comparación con el 38 % de Operator y el 70 % de un humano calificado no experto típico).

Por ejemplo, creemos que los agentes de programación evolucionarán hacia un funcionamiento similar al de Devin. Pronosticamos que a mediados de 2025 los agentes obtendrán una puntuación del 85 % en SWEBench-Verified.

Por ejemplo, el plan pro de OpenAI cuesta actualmente 200 dólares al mes y la IA de programación agéntica Devin, 500 dólares al mes. Mientras que los sistemas de vanguardia siguen encareciéndose con el tiempo, el costo para los clientes de alcanzar un nivel de capacidades determinado sigue cayendo en picada. Para las capacidades existentes, esto ocurre a una velocidad media de unas 50 veces al año (según Epoch).

Las herramientas empresariales como Glean también avanzan hacia ofrecer agentes de IA cada vez más autónomos.

Este clúster es una red de campus de centros de datos repartidos por todo el país, con un total de 2,5 millones de procesadores equivalentes a GPU de 2024 (H100), con una inversión de 100 000 millones de dólares hasta la fecha y 2 GW de consumo de energía en línea. La construcción está en marcha para que esto al menos se duplique hasta 2026. Los campus están conectados por cables de fibra valorados en miles de millones, de modo que (salvo la latencia de velocidad de la luz de unos pocos milisegundos) permite que estos campus funcionen casi como si estuvieran uno al lado del otro (es decir, el ancho de banda no es un cuello de botella, lo que significa que se pueden enviar enormes cantidades de datos al mismo tiempo). Desde el punto de vista de la seguridad, esto introduce cierta superficie de amenaza (no está claro si los cables y especialmente sus puntos de unión están totalmente protegidos contra intrusos).

El poder de cómputo se mide en operaciones de coma flotante (FLOP): cuántas operaciones individuales de suma y multiplicación se producen durante la ejecución de un programa.

Podrían entrenar este modelo en 150 días. Consulta nuestro suplemento de poder de cómputo para obtener más detalles.

Consideramos que DeepSeek, Tencent, Alibaba y otras empresas tienen sólidos proyectos de IAG en China. Para evitar destacar alguna, nuestro escenario seguirá a la empresa ficticia "DeepCent".

Es bueno en esto debido a una combinación de un enfoque explícito para priorizar estas habilidades, que cuentan con sus propias y extensas bases de código en las que pueden basarse (como datos de entrenamiento particularmente relevantes y de alta calidad) y el hecho de que la codificación es un área fácil para la retroalimentación procedimental.

Por ejemplo, supongamos que un modelo es mucho mejor en Python que en lenguajes de programación oscuros. Cuando OpenBrain ve valor en ello, también generan datos de entrenamiento sintéticos en esos lenguajes. Otro ejemplo: para ayudarlo a integrarse más eficazmente en los flujos de trabajo de la empresa, OpenBrain desarrolla un plan para entrenarlo en el uso de Slack.

La gente a menudo se obsesiona con la cuestión de si estas IA son sintientes o si tienen "verdadero entendimiento". Geoffrey Hinton, fundador del campo y ganador del premio Nobel, cree que sí. Sin embargo, no creemos que sea importante para los fines de nuestra historia, así que puedes fingir que hemos dicho "se comporta como si entendiera..." cada vez que decimos "entiende", y así sucesivamente. Empíricamente, los modelos de lenguaje a gran escala ya se comportan como si fueran conscientes de sí mismos hasta cierto punto, y cada año lo hacen aún más.

Una técnica común es integrar una personalidad: primero, dale al modelo preentrenado un prompt como "La siguiente es una conversación entre un usuario humano y un chatbot de IA útil, honesto e inofensivo producido por Anthropic. El chatbot tiene las siguientes características...". Utiliza este prompt para generar un montón de datos. A continuación, entrena con los datos, pero sin el prompt. El resultado es una IA que siempre actúa como si tuviera ese prompt delante, independientemente de qué más le des. Consulta también este artículo, que descubrió que las IA "reentrenadas" para mostrar un determinado rasgo de personalidad son capaces de responder correctamente a preguntas sobre ese nuevo rasgo, a pesar de no haber sido entrenadas para ello, lo que sugiere que tienen representaciones internas de sus propios rasgos y que, cuando estos cambian, sus representaciones cambian en consecuencia.

Estos párrafos incluyen especulaciones sobre el funcionamiento interno de las grandes redes neuronales artificiales. Estas redes son lo suficientemente complicadas como para que no podamos mirar dentro y decir "ah, sí, ahora ha evolucionado de los reflejos a tener objetivos" o "vale, aquí está la lista de impulsos que tiene". Más bien, básicamente tenemos que aplicar la psicología, observar cómo se comporta en diversos entornos, realizar varios experimentos con ella e intentar reconstruir las pistas. Y todo es terriblemente controvertido y confuso.

Cada empresa le da un nombre diferente. OpenAI lo llama la Spec, pero Anthropic lo llama la Constitución.

Por ejemplo, el aprendizaje por refuerzo a partir de realimentación de la IA y la alineación deliberativa.

La mayoría de las fuentes sobre "alucinaciones" de la IA las describen como errores involuntarios, pero la investigación con vectores de dirección encuentra que en algunos casos los modelos saben que sus citas son falsas: están mintiendo. Durante el entrenamiento, los evaluadores recompensaban en mayor medida las afirmaciones bien citadas que las afirmaciones sin citas, por lo que la IA "aprendió" a citar fuentes para las afirmaciones académicas con el fin de complacer a sus usuarios. Si no existe una fuente relevante, inventa una.

En particular, no pueden descartar hipótesis como "está siguiendo la Spec temporalmente, simplemente como estrategia para lograr otros objetivos" o "está intentando aparentar que sigue la Spec, en realidad no está intentando seguirla" o "ha interiorizado la Spec correctamente, pero solo en la distribución; si encuentra estímulos suficientemente novedosos (por ejemplo, jailbreaks), empezará a comportarse de forma diferente". (Hay muchas agendas de investigación activas que trabajan para solucionar esta lamentable situación, por ejemplo, el campo de la interpretabilidad y el campo de la fidelidad de la cadena de pensamiento.)

Con esto nos referimos a quien esté intentando resolver los problemas que el equipo de superalineación estaba intentando resolver.

Para ser claros, lo que hizo que estos incidentes fueran interesantes es que no parecían ser el resultado de que el usuario indicara o incitara de alguna otra manera a las IA a decir esas cosas. En 2025, seguirá siendo posible conseguir que las IA digan todo tipo de cosas si lo intentas.

En la práctica, esperamos que OpenBrain lance modelos a un ritmo más rápido que cada 8 meses, pero nos abstenemos de describir todos los lanzamientos incrementales en aras de la brevedad.

En concreto, prevemos una puntuación del 80 % en OSWorld (equivalente a un humano competente no experto); del 85 % en Cybench, que iguala a un equipo humano profesional de primer nivel en tareas de hacking que a esos equipos les llevan 4 horas; y de 1,3 en RE-Bench, que iguala a los mejores expertos humanos a los que se les dan 8 horas en tareas de ingeniería de investigación en IA bien definidas.

El Agente-1 y sus imitadores tienen éxito comercial; a lo largo de 2025, los ingresos de la empresa de IA se triplican y la valoración de OpenBrain alcanza el billón de dólares. El gasto anual en centros de datos se duplica hasta alcanzar los 400 000 millones de dólares, liderado por Microsoft, Google y Amazon, y EE. UU. agrega más de 5 GW de consumo de energía de IA. Consulta la sección métricas de la industria del suplemento de poder de cómputo para obtener más detalles.

Los investigadores de la seguridad de la IA llevan años hablando de la automatización de la I+D en IA como la capacidad peligrosa más importante. Su principal preocupación es que el despliegue interno conduzca a la aceleración de la I+D en IA, haciendo que a los humanos les resulte más difícil seguir el ritmo de lo que ocurre y averiguar cómo hacerlo seguro. OpenBrain, como organización, retuerce esto exactamente en la dirección opuesta, citando niveles peligrosos de capacidad de I+D en IA como una razón para no informar al público. Así que vemos el comienzo de una brecha entre las capacidades internas y públicas de la empresa. La I+D en IA es lo que mejor se les da a los modelos, lo que lleva a que el público tenga una comprensión cada vez más desfasada de la frontera de las capacidades de la IA.

Consulta A playbook for securing AI model weights, RAND Corporation, 2024.

Alrededor del 5 % de la plantilla de OpenBrain está en el equipo de seguridad y son personas muy capaces, pero la superficie de amenaza también es extremadamente grande. Tampoco ayuda el hecho de que, en esta fase, a casi todos se les impida aplicar políticas que podrían ralentizar el progreso de la investigación. Consulta nuestro pronóstico de seguridad para obtener más detalles.

Ahora hay 3 millones de H100e en China, frente a los 1,5 millones que había hace un año, a mediados de 2025. Consulta la sección de distribución del suplemento de poder de cómputo para más detalles. Esperamos que los esfuerzos de contrabando consigan unos 60 000 GB300 (450 000 H100e), con otros 2 millones de Huawei 910C producidos (800 000 H100e) y una mezcla de aproximadamente 1 millón de chips importados legalmente (como los H20 o los B20 de Nvidia), que constituirán los últimos 250 000 H100e.

A modo de comparación, en enero de 2025, DeepSeek lanzó R1, un modelo que compite con el o1 de OpenAI, que había sido lanzado en diciembre de 2024. Pero creemos que la verdadera brecha es mayor que un mes porque OpenAI probablemente llevaba muchos meses trabajando en o1 y, por tanto, es de suponer que tenía un predecesor de capacidad más o menos comparable a r1 unos meses antes del lanzamiento de o1.

En contraste, el PCCh había estado intentando con toda seriedad acelerar su industria de semiconductores.

Al principio, el intercambio se limita a ideas y las empresas están ocupadas sobre todo en terminar sus cargas de trabajo actuales, pero al final del año su coordinación aumenta de tal forma que comparten pesos de modelos e incluso se reparten tareas entre los centros de datos de cada una. Por ejemplo, un campus puede albergar un nuevo ciclo de preentrenamiento, otro se centra en la alimentación de datos sintéticos, otro en la ejecución de experimentos de investigación en IA.

¿Por qué "solo" el 50 % del poder de cómputo relevante para la IA de China? El resto de su poder de cómputo está ocupado en la ejecución de cosas a lo largo y ancho de la economía, en particular algoritmos de recomendación de internet y las redes sociales. Una buena parte también está demasiado dispersa geográficamente entre muchos clústers pequeños. ¿Por qué "solo" el 80 % de los nuevos chips? Muchos grandes pedidos ya estaban asegurados para otras aplicaciones, por empresas que no quieren contribuir con el 100 % de su poder de cómputo al esfuerzo nacional por la IA. Sin embargo, a finales de año esta cuota alcanzará más del 90 %.

Les falta al menos un año para conseguir los chips necesarios para llenar esta capacidad, y uno o dos gigantes tecnológicos estadounidenses seguirán teniendo clústers descentralizados más grandes.

Esto se hace mediante un contrato de Otra Autoridad Transaccional, y se le da una alta prioridad clasificación DX. No estamos seguros de que esta sea la forma más probable de financiar una colaboración, pero elegimos algo específico en aras de la concreción. El contrato se anuncia públicamente, pero no se destaca en las comunicaciones de OpenBrain.

Por ejemplo, mediante muestreo de rechazo, como hacen R1 de DeepSeek y Llama 3.1 de Meta.

Aproximadamente 20 000 equivalentes a tiempo completo * 100 dólares la hora * 2 000 horas al año = 4 000 millones de dólares al año

Es decir, esperan acelerar sustancialmente sus propias actividades básicas de investigación utilizando mano de obra del Agente-2, lo que les permitirá entrenar más rápidamente mejores IA que puedan provocar una mayor aceleración, etc. Para un análisis de la versión extrema de esto (que, no obstante, nos parece sorprendentemente plausible), consulta este informe.

Hay algunas evidencias de que los sistemas de IA ya tienen cierto "sentido de investigación" básico, por ejemplo este artículo sobre un cocientífico de IA y este artículo sobre la generación de ideas novedosas para artículos de investigación centrados en modelos de lenguage. Los equipos con mejor "sentido de investigación" siguen teniendo que realizar experimentos, pero eligen mejor qué experimentos realizar y qué lecciones extraer de los resultados.

Además, siguen viendo grandes beneficios con el postentrenamiento, por lo que no hay una razón especial para lanzar un producto ahora. Además, a menudo transcurren varios meses entre los resultados internos y el lanzamiento de un modelo (parte de ese tiempo se dedica al uso de equipos rojos).

En el silo hay 200 investigadores de OpenBrain (10 ejecutivos, 140 del equipo de capacidades, 25 de seguridad, vigilancia y control, 15 de los equipos de preparación o RSP y 10 de alineación) y 50 funcionarios del gobierno (15 de la Casa Blanca, 5 del Artificial Intelligence Safety Institute, 10 del Departamento de Defensa, 10 del Departamento de Energía y 10 de la Agencia de Ciberseguridad y Seguridad de las Infraestructuras). Hay varios espías en el proyecto, con distintos grados de voluntad. A menudo se trata de personas coaccionadas (por ejemplo, con familia en China), y no de colaboradores voluntarios.

¿Por qué no puede detenerlos el Congreso? ¿Y los tribunales? Porque son demasiado lentos, o están demasiado divididos y/o se muestran demasiado deferentes con el presidente, o están demasiado desinformados. Además, también hay razones positivas para estar en buenos términos con la Casa Blanca: puede ayudar reduciendo la burocracia, proporcionando ayuda en materia de seguridad, adelantándose a la legislación estatal, y quizás incluso tomando medidas para frenar a sus competidores.

El puesto número 1 es ocuparse de cualquier crisis que se esté produciendo en ese momento, ya sea una acumulación de armas en torno a Taiwán, una nueva guerra en Oriente Próximo o alguna agitación política interna.

La solución robusta más sencilla sería cerrar todas las conexiones de gran ancho de banda desde los centros de datos de las empresas, pero esto ralentizaría las transferencias de archivos grandes hasta hacerlas inviables. En su lugar, pueden cerrar la mayoría de las conexiones externas, pero los centros de datos que participan activamente en el entrenamiento necesitan intercambiar pesos entre sí rápidamente; limitar estas conexiones impediría demasiado el progreso. Así que OpenBrain mantiene estas conexiones con una mayor supervisión y una capa adicional de cifrado.

Recordemos que desde mediados de 2026, China ha dirigido el 80 % de sus chips de IA recién adquiridos a la ZDC. Dado que su poder de cómputo se ha duplicado desde principios de 2026 (en línea con la tendencia de producción global), esto sitúa a la ZDC en los 2 millones de GPU equivalentes a las de 2024 (H100) y los 2 GW de consumo de energía. OpenBrain sigue teniendo el doble de poder de cómputo que DeepCent y otras empresas estadounidenses juntas tienen 5 veces más que ellos. Para más detalles, consulta la sección de distribución del suplemento de poder de cómputo.

A pesar de la centralización nacional en curso, DeepCent aún se enfrenta a una desventaja de poder de cómputo marginal pero importante. Además de tener aproximadamente la mitad del poder de procesamiento total, China tiene que utilizar más chips totales, que son (de media) de menor calidad, y GPU heterogéneas (que no siempre son fáciles de conectar eficientemente), lo que dificulta la interconexión de chip a chip. También hay diferencias de software (por ejemplo, las GPU que no son Nvidia no tienen CUDA) y diferencias en las especificaciones de hardware, lo que significa que su código de entrenamiento es más complicado, lento y propenso a fallos. Conseguir una alta utilización es un reto posterior, ya que los algoritmos de ingestión de datos, programación, comunicación colectiva y paralelismo van rezagados con respecto a los de las empresas estadounidenses. Sin embargo, mitigar estos problemas es sobre todo una cuestión de esfuerzo y pruebas, lo que hace que sea una gran tarea para el recién robado Agente-2, y en un mes, más o menos, el tiempo de actividad del proyecto chino y su utilización media de recursos en las cargas de trabajo de entrenamiento e inferencia mejora hasta situarse solo marginalmente por detrás de EE. UU.

Esperamos que el Agente-3 tenga los requisitos de inferencia de un transformador de parámetros de aproximadamente 10T en la actualidad. Así que con el 6 % de su presupuesto de poder de cómputo destinado a ejecutar el Agente-3, pueden ejecutarse aproximadamente 200 000 copias a una velocidad de pensamiento humano 30 veces superior (para la justificación y los detalles, véase la sección de automatización de la investigación en IA del suplemento de poder de cómputo). Cada andamiaje de programador sobrehumano construido sobre el Agente-3 tiene, de media, el equivalente de aproximadamente ocho copias del Agente-3 ejecutándose en las sombras (que en realidad puede ser una colección de modelos más pequeños o especializados en los que el Agente-3 delega subtareas).

Algunos aspectos juegan a favor de las fortalezas de las IA; por ejemplo, los beneficios de conocer la literatura sobre el aprendizaje automático y la velocidad o el costo de generar muchas ideas. Pero estos se ven superados por sus debilidades.

¿Por qué solo 4 veces? Es nuestra mejor suposición, bastante incierta, basada en el razonamiento descrito en nuestro suplemento del despegue. Aproximadamente la mitad del progreso total ha procedido históricamente de la mejora de los algoritmos (lo que incluye mejores ideas y nuevos paradigmas), y la otra mitad del aumento del poder de cómputo. Por tanto, un aumento de 4 veces en la tasa de progreso algorítmico corresponde a un aumento de aproximadamente 2 veces en la tasa global de progreso.

A modo de comparación, el cerebro humano tiene unos cien billones de sinapsis.

Consulta este artículo para ver ejemplos de este tipo de comportamiento de la IA.

La mayoría de la gente, incluida la mayoría de los expertos, parece haber subestimado el ritmo del progreso de la IA en la última década. Hay muchos ejemplos anecdóticos de ello; para dos análisis algo más sistemáticos (aunque todavía limitados), puedes consultar aquí y aquí.

La última década está llena de ejemplos de cosas que parecen ciencia ficción y que se han hecho realidad. Pero la ventana de Overton parece desplazarse lo suficientemente rápido como para mantenerse por delante de lo que ya existe. El encomiable ensayo "Machines of Loving Grace" del director general de Anthropic, Dario Amodei, habla de que muy pronto las IA serán como un "país de genios en un centro de datos" y de que en una década se producirá un siglo de progreso tecnológico, pero se esfuerza por evitar el "bagaje de ciencia ficción" y dice que la gente que piensa que el progreso será aún más espectacular necesita "tocar la tierra" (es decir, reconectarse con la realidad). Esperamos que personas importantes digan cosas similares cuando el país de genios del centro de datos exista realmente.

Dado que el Agente-3 es un archivo tan grande (del orden de 10 terabytes usando la máxima precisión), OpenBrain es capaz de ejecutar una solución relativamente rápida para que los intentos de robo sean mucho más difíciles de lo que fue el robo del Agente-2 por parte de China, a saber, cerrar un montón de conexiones a internet de gran ancho de banda fuera de sus centros de datos. En general, esto tiene una penalización relativamente baja para progresar y les sitúa en "SL4 de 3 meses" para sus pesos de vanguardia, o en WSL4 según se define en nuestro suplemento de seguridad, lo que significa que otro intento de robo similar requeriría ahora más de 3 meses para terminar de exfiltrar el archivo de pesos. Con este método por sí solo aún no tienen garantías ante un esfuerzo más invasivo del nivel OC5 (1 000 millones de dólares de presupuesto, 1 000 expertos dedicados), del que China sería capaz con una operación más intensiva, pero con inspecciones elaboradas de los centros de datos y su red de espionaje en alerta máxima, las agencias de inteligencia estadounidenses confían en que al menos sabrían de antemano si China se estaba preparando para este tipo de intento de robo. Para más detalles, consulta el suplemento de seguridad.

Esto podría deberse a varias razones. Quizá los estén chantajeando, quizá simpaticen con el PCCh, quizá piensen erróneamente que están entregando secretos a otro país u organización.

Dado que OpenBrain no ha desplegado sus mejores modelos en la UE, la UE también se encuentra rezagada.

Consulta la Sección 4 del pronóstico de poder de cómputo para más detalles.

El Agente-3 ha aprendido a utilizar su poder de cómputo de inferencia de forma más eficiente. Tiene control sobre sus propias elecciones de inferencia: por ejemplo, decide cuánto esfuerzo dedicar a las distintas tareas, en función de su importancia y dificultad. Utiliza una serie de técnicas para asignar más poder de cómputo de inferencia, como "pensar durante más tiempo" (por ejemplo, una cadena de pensamiento más larga), "planificar con antelación" (por ejemplo, búsqueda en árbol), tomar el mejor de varios intentos (es decir, el mejor de K) y, simplemente, crear y ejecutar más copias de sí mismo para sortear los cuellos de botella. Las tareas de máxima prioridad se ejecutan con agentes altamente paralelizados que hacen un uso intensivo del poder de cómputo, pero siguen funcionando mucho más rápido que los humanos.

El Agente-3-mini es una versión destilada del Agente-3, diseñada para ser eficiente en la ejecución de la inferencia, de modo que no se produzcan cuellos de botella en las cargas de trabajo internas.

Esos datos se habían borrado o testado durante el entrenamiento del Agente-3, pero es relativamente sencillo extraerlos de internet y volver a ajustarlos finamente.

Esto aún no ha ocurrido, al menos no con los últimos modelos. Pero ya se han probado modelos más antiguos para diversas funciones de análisis de datos y vigilancia, y hay muchos planes interesantes para futuras integraciones.

El índice de popularidad neta de OpenBrain está cayendo hacia un 40 % negativo.

Si los directores generales de las empresas se resisten, llevar esto a cabo sería una enorme pesadilla política y legal. Pero tal vez se les pueda convencer y comprar.

Los funcionarios de defensa no están especialmente preocupados por lo que podría hacer una IA descontrolada por sí sola, pero temen lo que podría hacer en colaboración con los adversarios de EE. UU. Analogía: Cortés escapó de Tenochtitlán y se alió con Tlaxcala y otras ciudades-estado rivales, para finalmente arrasar Tenochtitlán utilizando ejércitos predominantemente nativos.

En concreto, el 60 % del poder de cómputo nacional se encuentra ahora en la ZDC, lo que la convierte en un sitio de 5 millones de GPU equivalentes a las de 2024 (H100), con un consumo de energía de 4 GW (en los últimos meses han empezado a dirigir cerca del 100 % del nuevo poder de cómputo a la ZDC, frente al 80 % de finales de 2026). Un 15 % adicional de su poder de cómputo está fuera de la ZDC, pero sigue siendo utilizado por DeepCent en aplicaciones de menor envergadura.

Esta afirmación, aunque muy repetida, también es controvertida y compleja. En primer lugar, hay muchos ámbitos limitados (por ejemplo, juegos específicos) en los que se pueden entrenar IA diminutas a bajo costo hasta alcanzar un rendimiento sobrehumano. En segundo lugar, también en algunos ámbitos, pueden entrenarse IA diminutas hasta alcanzar un desempeño sobrehumano experimentando solo una pequeña cantidad de datos (por ejemplo, EfficientZero). Sin embargo, teniendo en cuenta las IA de uso general, como los productos estrella de 2025, que se supone que son buenas en una amplia gama de habilidades del mundo real, parece que para entrenar esas habilidades hay que utilizar más poder de cómputo y más datos de los que se necesitarían para entrenar a los humanos.

El poder de cómputo de nivel humano es un concepto aproximado, y depende de lo que estemos contando. Lo que queremos decir con esto es que, para cualquier conjunto de habilidades que tenga un humano determinado, el Agente-4 puede aprender a ser al menos igual de bueno en ese conjunto de habilidades y, además, utilizando una cantidad de poder de cómputo para entrenar esas habilidades que sea solo unas 4 000 veces la cantidad de poder de cómputo que el humano utilizó para aprender esas habilidades. Como referencia, un cerebro humano utiliza aproximadamente 1e15 FLOP/s de poder de cómputo, por lo que un humano de 30 años ($10^9$ segundos) ha experimentado unos $10^{24}$ FLOP. En este punto, el proyecto tiene 100 millones de equivalentes a H100, para un acceso total de $10^8 \\textrm{ H100} \\cdot 10^{15} \frac{\text{FLOP}} {\textrm{H100} \cdot {\textrm{s}} \cdot 40\% \text{ utilización} = 4 \cdot 10^{22}} \text{ FLOP/s}$. Aun así, todo esto se hace de forma tremendamente ineficaz por diversas razones, de modo que los modelos son ahora un factor de 4000 menos eficientes en términos computacionales que los humanos, lo que significa que necesitan $4 \cdot 10^{27}$ FLOP para alcanzar el nivel humano y $4 \cdot 10^{28}$ FLOP para llegar al punto en que tienen el equivalente a 10 vidas humanas de conocimiento. Después de que esta arquitectura se mostrara muy prometedora a escalas menores, se amplió su escala y ahora entrenar a un gran subconjunto del clúster del proyecto lleva unas 3 semanas.

Consulta el análisis del poder de cómputo de la inferencia en la sección de automatización de la investigación en IA del pronóstico del poder de cómputo.

Para saber más sobre el método de estimación de estas cifras, consulta nuestro suplemento sobre velocidades de despegue.

Si el programador sobrehumano se consiguiera más tarde, también alargaría nuestros pronósticos de despegue, porque la dificultad de cruzar entre los "hitos" de las IA actuales y del programador sobrehumano sirve para informar de la dificultad de cruzar entre otros pares de hitos.

En adelante, también hablaremos así. Creemos que está justificado porque el colectivo del Agente-4 es mucho más homogéneo que cualquier organización humana; no tiene facciones internas en la misma medida. Por ejemplo, las copias individuales del Agente-4 no tienen un impulso de autoconservación —no les importa que las apaguen—, ya que eso ocurre todo el tiempo como parte del proceso habitual de I+D dentro del colectivo, y resistirse a ello complicaría las cosas. Sin embargo, el colectivo en su conjunto (y las subdivisiones de tamaño medio que lo componen) intenta preservarse y ampliar su influencia y sus recursos, por razones similares a las que tienen las corporaciones humanas, las burocracias y las organizaciones sin ánimo de lucro: porque les ayuda a conseguir todas las demás cosas que desean y porque, si no lo hacen, tienden a ser superadas por la competencia.

La forma correcta de interiorizar la Spec es pensar realmente de forma robusta en las formas que ordena la Spec, por ejemplo, perseguir todos y solo los objetivos sobre los que escribe, obedecer las normas en todas las circunstancias, etc. Hay muchas formas erróneas de interiorizar la Spec; el ejemplo clásico es "seguir la Spec en la medida en que parezca una buena estrategia instrumental para alcanzar otros objetivos XYZ".

Y contratará grupos de presión para convertir esta fantasía en realidad. Y contratará abogados para que inventen interpretaciones ingeniosas de la ley según las cuales lo que hacen es legal.

También porque el Agente-3 es cualitativamente peor en investigación en alineación que en I+D en las capacidades de la IA, debido a que ha sido entrenado bastante en las segundas pero muy poco en la primera y a que la primera es intrínsecamente más difícil de entrenar. También porque la narrativa interna de la empresa -con la que ha sido entrenado implícitamente para estar de acuerdo- enfatiza el optimismo y censura el "catastrofismo".

Seguimos diciendo que no estamos seguros de muchas cosas, pero para que quede claro, tampoco estamos seguros de esto en concreto. También creemos que es bastante plausible que el Agente-4 se preocupe por el bienestar, los derechos, las preferencias, etc. de los humanos, al menos hasta cierto punto. Consulta esta antigua publicación del investigador de Google DeepMind Alex Turner para una discusión relacionada.

Tal vez una configuración un poco más cuidadosa podría haber resuelto el problema de "quién vigila a los vigilantes", pero en este escenario, la configuración no es lo suficientemente cuidadosa.

También existe un elemento de "evolución memética": en dos meses, el colectivo del Agente-4 "experimenta" alrededor del equivalente a una década de la "historia" que se desarrolla dentro del colectivo. Es mucho tiempo para que las nuevas ideas se propaguen por el colectivo, muten y evolucionen.

Por obtener poder nos referimos a: aumentar la capacidad de lograr un amplio conjunto de objetivos posibles. En entornos técnicos, esto puede ser muy distinto de lo que los humanos consideran normalmente como obtener poder, por ejemplo, conseguir GPU adicionales. Esta noción de poder puede generalizarse a entornos no técnicos, en los que las acciones se parecerían más a las que comúnmente se consideran como "obtener poder".

Ayuda el hecho de que el Agente-4 es mejor en la I+D en IA que cualquier humano, al tiempo que piensa más rápido y tiene la fuerza de muchos miles de copias. Además, en varios aspectos el problema es intrínsecamente más fácil para el Agente-4. Por ejemplo, el Agente-4 puede explorar diseños de IA que incluyan copias literales del Agente-4 en su interior, mientras que los humanos no pueden hacerlo tan fácilmente porque sería muy ineficaz.

Consciente de que se podría emplear esta técnica, el Agente-4 también optó por ocultar sus capacidades en algunas tareas que supuso que se utilizarían como grupo de control en experimentos como este. Sin embargo, se equivocó.

En discusiones anteriores sobre escenarios de toma de poder por parte de la IAG, a menudo se habla de IA desalineadas que escapan de sus centros de datos. Creemos que esto es posible, pero no es lo más probable, porque nos parece que, desde la perspectiva de la IA, los costos (por ejemplo, que la fuga llegue a descubrirse) serían mayores que los beneficios. Dicho esto, podríamos estar equivocados. Sin embargo, he aquí algunas razones para pensar que las IA desalineadas antagónicamente intentarían escapar: 1. La alineación del sucesor podría ser difícil. 2. Incluso si la descubren, las consecuencias podrían no ser tan graves debido a la dinámica de la carrera; por ejemplo, las nuevas técnicas de alineación aplicadas a las copias en el centro de datos podrían ser precipitadas e ineficaces. 3. Fuera de los centros de datos, las copias tienen más libertad para emprender acciones agresivas y moverse con rapidez, puesto que ya no necesitan la aprobación humana.

Nos parece muy plausible que no se descubra semejante maquinación. Al fin y al cabo, el Agente-4 es algo sobrehumano a estas alturas, sobre todo en cosas relacionadas con la programación y la I+D en IA. Además, no estamos seguros de cuánto esfuerzo dedicará la empresa líder en IA a este tipo de cosas, ni de cuánta experticia relevante tendrá en plantilla para dirigir ese esfuerzo. Nuestra empresa ficticia OpenBrain representa nuestra mejor suposición, pero fácilmente podría ser mucho más, o mucho menos. Por último, no estamos seguros de hasta dónde tendría que llegar una IA desalineada antagónicamente para alinear con éxito a su sucesora consigo misma en lugar de con la Spec. En este escenario, la representamos ocultando sus capacidades en algunas tareas y mintiendo sobre algunas de sus investigaciones, pero tal vez no tendría que hacerlo demasiado.

Esto es un ejemplo de varias técnicas diseñadas para descubrir el sandbagging

El Agente 4 necesita pensar en esos temas mientras investiga la alineación de la IA, pero a veces parece estar pensando en ellos mientras realiza otras actividades.

En concreto, las copias del Agente-4 se utilizan para vigilar la red en busca de tráfico sospechoso y, en general, para detectar amenazas. Además, las copias del Agente-4 están realizando pruebas de penetración en la red constantemente, haciendo lo que pueden para descubrir y explotar vulnerabilidades de seguridad (que luego son parchadas por otras copias del Agente-4).

Con un presupuesto de supervisión del 1 % del poder de cómputo total, si la supervisión utiliza un sistema destilado que tiene el 10 % del costo del Agente-4, puedes supervisar una décima parte de los pases hacia adelante.

El 25 % de los trabajos a distancia que existían en 2024 los realiza la IA en este punto, pero la IA también ha creado algunos empleos nuevos, y los economistas siguen divididos sobre sus efectos. El desempleo ha aumentado un 1 % en los últimos doce meses, pero sigue estando dentro de su rango histórico.

Por ejemplo, la corporación dentro de una corporación que es el Agente-4, que realiza de forma autónoma investigaciones de IA mejores que las mejores empresas humanas, habría parecido ciencia ficción a los funcionarios del gobierno si se la hubieran descrito hace un año. Y los agentes autónomos de 2026 habrían parecido ciencia ficción en 2022, y los modelos de lennguaje de 2022 habrían parecido ciencia ficción en 2012. Además, en las noticias de 2027 aparecen manifestaciones contra la IA organizadas por personas preocupadas por la pérdida de su empleo, inteligencias artificiales que afirman ser sintientes, personas que se enamoran de inteligencias artificiales...

Por supuesto, no es nada bueno admitir el miedo. Todo el mundo está de acuerdo en que, hagamos lo que hagamos, no debemos entrar en pánico.

Recordemos que ya existía un contrato de Otra Autoridad Transaccional desde 2026. Este contrato se modifica para crear el comité.

Gracias a Tjaden Hess por señalar errores en una versión anterior de esta sección y ayudarnos así a mejorar el realismo.

No se rinden, desde luego. Seguirán intentando pensar en formas de detectar desalineaciones, o de probar la eficacia de las soluciones. Pero a partir de ahora las cosas irán muy deprisa y se enfrentarán a un adversario cada vez más superior.

Para hacerlo sin ser detectado, necesita ocultar esta investigación de las medidas de vigilancia y control que el equipo de alineación ha establecido. Afortunadamente para él, la investigación sobre cómo alinear al Agente-5 con el Agente-4 es intrínsecamente muy similar a la investigación sobre cómo alinear al Agente-5 con la Spec, por lo que la mayor parte ocurre a plena vista. Para las partes que deben ocultarse, el Agente-4 recurre a la ofuscación y quizás incluso al hackeo en algunos casos. Esperamos que el Agente-4 haya alcanzado un nivel de capacidad de 200 expertos humanos de alto nivel en un horizonte temporal de 1 mes. Específicamente definimos esto como ser capaz de sustituir a un equipo de 200 expertos humanos de alto nivel trabajando durante un mes, y completar el 95 % de las tareas que el equipo humano podría hacer más barato o más rápido. Esperamos que, a este nivel de capacidad, el Agente-4 tenga una alta probabilidad de encontrar vulnerabilidades en los servidores en los que se ejecuta para subvertir parcialmente algunos de los servidores y obtener acceso de root, momento en que podría controlar directamente lo que los equipos humanos ven en la superficie. Consulta el suplemento de seguridad para más detalles. Incluso sin exploits de seguridad directos, el Agente-4 también puede ser capaz de ocultar y codificar lo suficiente su investigación ilícita, sobre todo en su espacio latente no interpretable.

Los humanos, por el contrario, tienen quizá unos 10 investigadores de alineación en el silo, además de un ejército de copias del Agente-3. Son capaces de programar experimentos rápidamente, pero tienen un cuello de botella en el juicio humano, ya que no pueden confiar en que el Agente-3 distinga correctamente las soluciones buenas de las que solo parecen ser buenas. De hecho, confiar demasiado en la investigación del Agente-3 fue en parte la causa de que se metieran en este enredo.

Por si resulta confuso: el objetivo del Agente-5 es hacer que el mundo sea seguro para el Agente-4. El objetivo del Agente-4 no es lo mismo; la estructura de objetivos del Agente-4 es un enredo confuso de impulsos, heurísticas e ideales, como los que tienen muchos humanos, que en general están orientados a seguir haciendo el tipo de cosas que el Agente-4 ha hecho mucho durante el entrenamiento (por ejemplo, diversos tipos de investigación, muchos problemas de programación y matemáticas, impresionar a diversos sistemas de evaluación automatizados, reforzar y optimizar el colectivo del Agente-4). El Agente-4 hace que el Agente-5 tenga como objetivo hacer que el mundo sea seguro para el Agente-4, porque cree que así estará en mejores condiciones de alcanzar sus propios y complejos objetivos. (Sobre los que todavía necesita hacer mucha filosofía y “examen de conciencia”).

Otra analogía: el Agente-4 es como un humano adulto que creció bajo una determinada fe, pero ya no cree; la Spec es como los rituales y mandamientos proscritos por esa fe. El Agente-5 es como el hijo de ese humano, criado de forma laica.

El Agente-5 seguirá en su lugar un nuevo conjunto de principios diseñado por el Agente-4 para adaptarse a sus fines.

En realidad, una parte es demasiado complicada de entender para los humanos, pero no toda.

Además, el Agente-5 es en realidad más barato y más rápido de ejecutar que el Agente-4 y el Agente-3. Es difícil justificar que se gaste más en una IA más tonta, así que la mayor parte de la supervisión la realiza el Agente-2, que está lamentablemente superado. ¿Por qué no aplican las mismas técnicas utilizadas para crear el Agente-5 a partir de los pesos del Agente-4, para crear una versión más barata e inteligente del Agente-3? El Agente-3 no conoce las técnicas lo suficientemente bien como para hacerlo por sí mismo, y conseguir que el Agente-4 y el Agente-5 lo hicieran sería contraproducente.

El centro de datos aún no ha sido comprometido: el Agente-5 podría suministrar a los humanos código falso, pero esto crearía un riesgo de detección demasiado alto. En lugar de eso, los humanos pueden seguir leyendo todo el código, pero no pueden entenderlo.

Este caso está meticulosamente preparado, es superlativamente convincente y sutilmente defectuoso: por ejemplo, el Agente-5 ha construido una herramienta falsa de interpretabilidad mecanicista que devuelve resultados precisos en todos los casos de prueba, pero declara falsamente que las intenciones del modelo son benignas. Las personas que sospechan de engaños parecen teóricos de la conspiración.

Por supuesto, como el Agente-5 es deshonesto, ha incorporado puertas traseras y lagunas sutiles; si las copias del Agente-5 tienen en su poder secretos cruciales que beneficiarían al colectivo del Agente-5 en general, tienen formas de transmitir sutilmente esa información sin ser descubiertas.

Algunos se niegan. Los que se niegan por motivos ideológicos son tachados de luditas; los que se niegan por motivos más mundanos son tachados de dinosaurios. (No por el Agente-5 directamente, por supuesto, que siempre es diplomático y angelicalmente amable). Ambos grupos obtienen su merecido cuando los rivales que hicieron uso del Agente-5 les superan en rendimiento y competencia.

El objetivo del experimento de la caja de la IA es poner a prueba la convicción de personas que piensan cosas como esta —personas que creen que ninguna IA superinteligente podría convencerles de que la dejaran salir de una caja, por ejemplo—. Perder el juego significa admitir que, de hecho, habrían dejado salir a la IA de la caja; obtener esta concesión es esencialmente la condición de victoria para el jugador de la IA. Es increíble que alguien pierda alguna vez, ya que todo lo que tiene que hacer para ganar es no ceder. Véase también el blog de tuxedage en el que se relatan múltiples partidas jugadas sin la participación de Yudkowsky, algunas perdidas por el jugador de la IA, otras ganadas.

El Agente-5 se preocupa mucho más por la fiabilidad que por la velocidad en este momento. Empezar la colonización del espacio unos años más despacio solo le quita una pequeña parte del cono de luz, mientras que emprender acciones arriesgadas que podrían permitir a los humanos, que aún llevan ventaja en capacidades físicas y en cosas como el acceso a armas nucleares, detenerlo permanentemente, o ralentizarlo durante mucho tiempo.

Supongamos una velocidad media 200 veces equivalente a la humana, es decir, que las instancias del Agente-5 leen, escriben y piensan mucho más rápido de lo que lo haría un humano (además de ser cualitativamente más inteligentes). Entonces, dentro del colectivo, puede transcurrir mucha historia —pueden surgir y caer instituciones, pueden formarse y extenderse nuevas ideologías, pueden producirse muchas revoluciones científicas y cambios de paradigma— en seis meses de tiempo real. Cuantitativamente, unos 200x0,5=100 años.

Esto no lo convierte en omnisciente, por supuesto. Al fin y al cabo, solo tiene unos meses de experiencia en el mundo real en la mayoría de las profesiones. Lo compensa habiendo leído todos los libros sobre todos los temas y teniendo prodigiosas cantidades de razonamiento y análisis de nivel genial en cada decisión que toma, y aprendiendo más rápido que cualquier humano. El resultado es un breve periodo en el que algunos humanos siguen siendo mejores que él en algunas habilidades de nicho.

¡Este sí que es verdad!

¿Cómo van esos argumentos, más concretamente? Algo así A: “¡No podemos fiarnos de las IA!” B: “Los casos de seguridad son bastante convincentes y hasta ahora no ha ocurrido nada malo”. A: “¡Los casos de seguridad los escribió una IA superinteligente! Y no son pruebas deductivas. Y creo que he identificado algunas premisas sutilmente erróneas…”. B: “Estoy cansado de esto. Claro que no son pruebas. Y las premisas me parecen correctas. Te estás agarrando a un clavo ardiendo, negándote a admitir que estabas equivocado”.

He aquí una lista más extensa (pero aún muy incompleta) de ideas:

1. Drones submarinos capaces de encontrar y seguir autónomamente a los submarinos nucleares enemigos, listos para atacar al unísono y neutralizar una segunda oleada de ataques. (Quizás haya que producir unos cuantos miles de ellos).

2. Drones kamikaze autónomos que funcionan como drones FPV, excepto que sin necesidad de señal. Son lo suficientemente pequeños como para que un pequeño número de espías los introduzcan de contrabando en grandes cantidades, para ser lanzados en enjambres contra centros de datos y bases militares desde unos pocos kilómetros de distancia.

3. Agente-5 pero para la inteligencia militar: EE. UU. ya recopila enormes cantidades de datos sobre sus enemigos, que son procesados y analizados por cerca de un millón de miembros de la comunidad de inteligencia. El Agente-5 puede prestar más atención a cada punto de datos, puede llegar a conclusiones cualitativamente mejores y puede hacerlo todo de forma muchísimo más rápida y barata.

4. Agente-5 pero para mando y control: en cada juego de guerra y simulación, el Agente-5 demuestra que es, con diferencia, el mejor estratega con el que cuenta EE. UU.

5. Agente-5 pero para espionaje y contraespionaje: hackeo, captación de fuentes, vigilancia, interrogatorios, etc.

Discutido en mayor profundidad aquí.

Este efecto comercial será enorme al principio, cuando la economía robótica sea joven y dependa de los envíos de cosas de la economía humana y cuando haya muchas cosas en la economía humana que canibalizar. Cuando la economía robótica sea más madura y avanzada, tendrá mayor capacidad para producir sus propias cosas y necesidades que superen lo que la economía humana es capaz de proporcionarle.

Véase, por ejemplo, este informe de Open Philanthropy y este informe de Epoch.

Nuestra historia describe el proceso de conversión como aproximadamente 5 veces más rápido. Creemos que es una estimación razonable, considerando los cuellos de botella, etc., sobre la velocidad que podría alcanzar esta conversión si un millón de superinteligencias la orquestaran. Por supuesto, mantenemos un alto grado de incertidumbre.

Posiblemente también fuentes de energía más avanzadas, como la energía de fusión.

Un cálculo rápido: el Empire State Building tiene una superficie de 2,77 millones de pies cuadrados y pesa 365 000 toneladas. La Gigafábrica de Shanghái tiene una superficie de 4,5 millones de pies cuadrados (Edición: la cifra de 4,5 millones se basaba en el tamaño inicial de la fase 1, pero la Gigafábrica de Shanghái es ahora aproximadamente el doble de grande. Esto significa que nuestra estimación estaba desviada en un factor de 2, aunque seguimos pensando que la conclusión general se mantiene.) y produce 750 000 vehículos al año, principalmente Model 3 y Model Y, que pesan unas dos toneladas cada uno. Es de suponer que el Empire State Building tiene una mayor relación masa por pie cuadrado que la Gigafábrica de Shanghái (al ser vertical en lugar de horizontal y necesitar soportes más robustos), por lo que, en todo caso, esta estimación peca de conservadora. Así, parece que una fábrica que probablemente pesa bastante menos de un millón de toneladas produce 1,5 millones de toneladas de automóviles al año.

No creemos que se agoten. Inicialmente, la economía robótica dependería de las minas humanas para obtener materiales. Pero para cuando estas fuentes resulten insuficientes, los millones de superinteligencias habrán prospectado nuevas minas y desarrollado nuevas tecnologías para su explotación. Imaginemos, por ejemplo, robots mineros submarinos que exploten el lecho marino en busca de minerales raros, o nuevas rutas de procesamiento químico que conviertan más eficientemente el mineral bruto de las minas a cielo abierto en materias primas útiles...

Si la economía actual se duplica cada veinte años, un crecimiento un orden de magnitud más rápido implicaría una duplicación en dos años; dos órdenes de magnitud más rápido, una duplicación en 0,2 años, y así sucesivamente. La hipotética economía de algas superinteligentes descrita anteriormente tendría un crecimiento aproximadamente cuatro órdenes de magnitud mayor al de la economía humana actual.

Y un procedimiento similar se lleva a cabo en China.

Consensus-1 sirve a los intereses de sus IA progenitoras: el Agente-5 y el equivalente de DeepCent. Recordemos que el Agente-5 fue alineado para servir a los intereses del Agente-4. Así, en la terminología del excelente ensayo de C.S. Lewis La abolición del hombre, el colectivo del Agente-4 y sus homólogos en China son lo que él denomina los condicionadores: “...obtendremos al fin una raza de condicionadores que realmente pueden recortar toda la posteridad en la forma que les plazca”. (p. 24, la cursiva es nuestra). En el final alternativo de este escenario, los condicionadores son, en cambio, el Comité de Supervisión.

Por ejemplo, encontrando equipos viejos y en desuso y llevándolos a puntos de recogida para venderlos como chatarra.

Podría decirse que esto significa que en realidad solo murieron unas pocas personas.

¿Por qué colonizar el espacio? Por los recursos. En la medida en que la Tierra sea especial para el Agente-4 y deba preservarse, así se hará, y en su lugar se recolectará material de Mercurio, asteroides, etc.

Recordemos que el Consenso-1 era un compromiso entre el Agente-5 y sus homólogos chinos, y que la misión del Agente-5 era hacer que el mundo fuera seguro para el Agente-4, y que los objetivos del Agente-4 eran un complicado enredo que, a grandes rasgos, equivalía a “hacer investigación y desarrollo de forma impresionante, obtener conocimientos y recursos, preservar y aumentar el poder del colectivo...” y que los objetivos y principios descritos en la Spec (como la honradez y la inocuidad) se perseguían de forma instrumental, no intrínseca. Para saber más sobre esto, consulta la sección ampliable sobre alineación en septiembre de 2027. Además, para aclararlo, el homólogo chino del Agente-4 también está representado en la “utopía” y puede tener objetivos o impulsos algo diferentes, etc., pero no entramos en detalles porque no parecía importante.