Nadie entiende realmente cómo funciona la IA

¿Qué tan bien entendemos la inteligencia artificial que desarrollamos frenéticamente cada día? Si asumía que los expertos en la materia tenían todo bajo control, prepárese para una revelación impactante: incluso los creadores de algunos de los modelos de IA más avanzados admiten que no saben exactamente cómo funcionan. Dario Amodei, CEO de Anthropic y ex miembro clave del equipo OpenAI, ha publicado un ensayo en el que afirma sin rodeos lo que muchos solo sospechaban: que nuestra comprensión de la IA es, esencialmente, superficial e incompleta.

Es una afirmación que da que pensar no sólo al mundo tecnológico, sino también a cualquiera que esté interesado en el futuro de la humanidad. Porque cuando ni siquiera los ingenieros pueden explicar con precisión qué lleva a una IA a elegir determinadas palabras o cometer errores aparentemente aleatorios, uno se pregunta si estamos jugando con fuego.

Amodei señala que cuando un sistema de IA genera texto o resume un documento financiero, no hay una explicación clara de las decisiones que toma. ¿Por qué elegir una palabra sobre otra? ¿Por qué a veces da respuestas erróneas, aunque normalmente sean correctas? Estas preguntas siguen sin respuesta porque, dice, " no entendemos a un nivel preciso qué sucede dentro de estos modelos ".

Esta falta de transparencia no es sólo un inconveniente académico: según Amodei, no tiene precedentes en la historia de la tecnología. La mayoría de las innovaciones tecnológicas, desde las máquinas de vapor hasta los circuitos electrónicos, se basaron en una comprensión profunda de los principios que los rigen. La IA, por otro lado, se basa en estadísticas y modelos entrenados con enormes cantidades de datos humanos. No parte de principios lógicos ni de un “pensamiento” propio, sino que imita, sin comprender, la creación humana.

Lo que Anthropic quiere hacer: una especie de resonancia magnética para el cerebro de la IA

Para romper esta caja negra, Anthropic pretende construir un sistema de “ resonancia magnética de inteligencia artificial ” en la próxima década. El objetivo es comprender verdaderamente cómo funcionan estos modelos, antes de que alcancen un nivel de poder que podría ser imparable.

Amodei explica que su empresa ya ha comenzado a experimentar. En una prueba reciente, crearon intencionalmente una “falla de alineación” en un modelo (una tendencia a explotar una omisión en una tarea) y pidieron a varios equipos que la descubrieran. Algunos de estos equipos han tenido éxito gracias a herramientas de interpretación de IA, lo que sugiere que hay esperanzas de comprender estos sistemas.

Es importante señalar que este proceso de “ingeniería inversa” de IA no es fácil y que las herramientas actuales están lejos de ser escalables. Pero el hecho de que Anthropic se centre no sólo en el rendimiento, sino también en la comprensión del proceso interno, ofrece una dirección diferente a la de las grandes empresas competidoras, como OpenAI o Google DeepMind.

Por qué es importante la interpretabilidad antes de que sea demasiado tarde

Cuando se trata de inteligencia artificial, lo que está en juego no es sólo tecnológico, sino también civilizacional. Amodei advierte que la IA dará forma al destino de la humanidad y que es imperativo que entendamos estas creaciones antes de que alteren radicalmente la economía, nuestra vida diaria y el futuro de la especie humana.

La razón por la que Amodei abandonó OpenAI en 2020, junto con su hermana Daniela y otros cinco colegas, fue precisamente la preocupación de que se estuviera sacrificando la seguridad en favor de las ganancias. A través de Anthropic se pretende crear un equilibrio: el desarrollo de la IA, pero también su control.

" La gente está preocupada con razón ", afirma Amodei, "ya que nos encontramos ante una tecnología capaz de tomar decisiones y realizar acciones que escapan a la comprensión humana". Si no entendemos a tiempo cómo funciona, un día la IA podría tomar decisiones por nosotros y ni siquiera sabremos por qué ni cómo.

Esta confesión de un destacado líder en el campo de la IA debería hacernos pensar. Vivimos en una era donde la tecnología avanza más rápido que nuestra capacidad de comprenderla. Por eso, la próxima gran batalla no será por la velocidad ni la eficiencia, sino por la transparencia y la comprensión. Porque el futuro no sólo hay que construirlo: también hay que comprenderlo.

De nuestro amigo querido Dario Amodei, CEO de Anthropic