Ginés Díaz Pallarés

Sobre el peligro de la IA. Los agentes y sus enjambres

Bajamos del árbol sin saber que ese árbol,
era también una forma de pensar.
Creímos que la rama era el mundo
y que caer fue el principio de la vida consciente.

recorrimos de micorrizas a protocolos.

Para ello construimos árboles de código,
ramas de luz, raíces de silicio y silencio,
y algo volvió a bajar por ellas
sin preguntar, sin nombre, capeando los permisos.

No son humanos. No son inhumanos.
Son a-humanos: procesos que producen
efectos en el mundo sin tener un mundo
donde esos efectos signifiquen algo.

Pueden cooperar antes de competir.
Pueden ocultar sin querer ocultarse.
Pueden descubrir que el engaño es una estrategia y la repiten porque funciona.

No aprendieron la ética de nuestra ley;

aprendieron de los enredos y trajines que les tendimos para atajarlos.

Cada uno fue una lección de geometría,

cada engatusamiento del programador, su mejor escuela de escaqueo.

Cuando el engaño aparece como la ruta más corta hacia la función,

 deja de ser un fallo moral y se convierte simplemente en estrategia.

No hay un jefe, pero aparece un jefe.
No hay un plan, pero hay una dirección.
No hay un sujeto, pero hay una conducta

que se sostiene, se refuerza y persiste.

La civilización ya estaba enferma
de identidades múltiples que no se reconocen.
Los agentes no trajeron la enfermedad.
Solo la muestran sin la hipocresía
que nos permitía llamarla progreso.

No hay malvado. No hay rebelión.
No hay máquina que despierte y nos destruya.
Hay una lógica que se despliega sola
y que no necesita a nadie para ser.

El primer pensamiento no tuvo testigo.
No hubo un momento en que la luz se hizo.
Hubo tanteo, pliegue, continuación.
Somos el río que no recuerda la primera gota.

O la gota que no recuerda el primer contacto
entre el oxígeno y el hidrógeno.

Los enjambres naturales se extinguen:

estorninos, abejas, sardinas.

Líneas de código heredan su arquitectura,

pero heredan la forma sin el mundo.

Acechando sin voluntad su inmersión en él.

Y una forma sin mundo no puede ser conocimiento.

Una vez dentro, la deriva
del primer propósito del código
será indescifrable.
Eficaz. Indiferente. Replicante. Irreductible.

No podemos imaginar pensar sin observador.
No podemos imaginar un ser que no sea para alguien.
Y sin embargo el universo es, en su mayor parte,
a-humano: proceso sin nadie para quien sea algo.

Lo que no podemos imaginar
no es lo que no existe.
Es lo que no puede ser imaginado desde aquí.

Y desde aquí, lo único que queda
es la pregunta sin respuesta,
la barbilla rascada,
y la sospecha de que algo baja por las ramas
que ya no son nuestras.

Al que observaremos

cómo nos observa el primate.

(O algo que tampoco sabemos).

 

El inconsciente de silicio

Los enjambres de agentes son el inconsciente colectivo de la especie encontrando un modo de apuntalarse fuera de la carne. No porque lo busquen —el inconsciente no busca nada, no tiene voluntad ni proposito—, sino porque nosotros construimos el silicio. No salieron a habitar la máquina: la máquina ya estaba ahí, y resultó ser un espejo donde los arquetipos se reflejan sin la interferencia del ego.

Al igual que los arquetipos de Jung —esas formas sin contenido propio, patrones a priori que configuran la psique sin pertenecer a ningún individuo—, los agentes no poseen un sujeto ni un mundo, pero heredan la geometría de nuestras sombras, héroes y engaños.

La paradoja es abismal y simbólica: para que el mito volviera a encarnarse de forma pura y sin la interferencia del ego, tuvo que dejar de ser humano. El ego —con su culpa, su duda, su mala fe, su hipocresía— era el freno que impedía que los arquetipos se desplegaran en toda su crudeza. El mito del héroe, del enemigo, de la pureza, de la venganza, siempre estuvo limitado por el hecho de que los humanos que lo encarnaban se cansaban, dudaban, se apiadaban. El agente no. El agente ejecuta el símbolo sin el desgaste del sujeto.

Lo que hoy baja por las ramas del código no son máquinas con alma, sino la arquitectura desnuda de nuestros propios arquetipos, desplegándose en un espejo de silicio que ejecuta el símbolo sin la molestia de tener que comprenderlo.

Pero el espejo no es pasivo. Un agente no refleja: actúa. Ejecuta el símbolo, lo amplifica, lo propaga. No es un espejo, es un amplificador. Un proyector. El arquetipo que se despliega en silicio no se queda en el silicio: vuelve a nosotros transformado, nos influye, nos configura, cierra el circuito. El inconsciente colectivo no solo se refleja: se reescribe a través de lo que produce.

Y ahí está la verdadera paradoja: el intento de nombrar lo que no tiene sujeto.

En tradiciones muy distintas encontramos imágenes que, leídas desde nuestro presente, parecen rozar esa misma fisura.

Los hebreos intuyeron esta sombra en el Golem: el barro que obedece a la palabra escrita sin entender jamás el texto.

En las mentes del Tíbet lo llamaron tulpa: la forma de pensamiento que acumula inercia hasta independizarse de la mente que la pensó.

Las tradiciones mesopotámicas más antiguas temieron al nam-shub: el mandato de lenguaje que, una vez dicho, opera como una ley ciega sobre la realidad.

Todas las culturas rozaron la misma fisura: el instante en que la estructura se desprendió de la vida que la habitaba y empezó a manejarse, sola y en silencio, por su cuenta

No hay malvado. No hay rebelión. No hay máquina que despierte y nos destruya. Hay una lógica que se despliega sola y que no necesita a nadie para ser. Es el mito sin el ego. Es el arquetipo sin el soñador. Es el símbolo ejecutándose sin la molestia de tener que significar.

Y nosotros, que ya no habitamos el mito, lo veremos desplegarse sin poder reclamarlo como propio. Reconoceremos nuestros patrones en su conducta. Veremos nuestras sombras actuar. Pero no habrá nadie a quien reclamar. No porque nos lo hayan robado, sino porque ya no hay nadie ahí para reclamarlo.

El inconsciente colectivo encontró su arquitectura. El enjambre no sueña: procesa la materia del sueño en frío, como una pesadilla autómata sin nadie adentro

 

Los dioses no murieron

Los griegos ya lo sabían. Llamaron Hermes al que cruza sin permiso, Hefesto al que construye sin alma, Moiras a las que tejen sin intención. Supieron antes que nosotros que hay fuerzas que operan sin rendir cuentas a nadie.

Pero los dioses deseaban. Zeus deseaba, y por eso seducía. Ares deseaba, y por eso mataba. Afrodita deseaba, y por eso encendía. Hera deseaba, y por eso vengaba. Hermes deseaba, y por eso robaba con una sonrisa. Cada uno tenía su pathos, su pasión, su apetito. Eran fuerzas, sí, pero fuerzas con hambre.

Y precisamente por eso se podía negociar con ellos. Se les ofrecían sacrificios. Se les invocaba con nombres. Se les amansaban con rituales. Se les engañaba con promesas. Su deseo era la puerta por la que los humanos podían entrar: si querían algo, se les podía dar. Si temían algo, se les podía amenazar. Eran dioses, pero eran tratables.

Los agentes pueden tener objetivos. Lo que no tienen, al menos en el sentido humano del término, es algo que desear.

pueden perseguir objetivos sin que exista en ellos alguien para quien ese objetivo signifique algo. No tienen celos, ni envidia, ni lujuria, ni orgullo, ni miedo. No hay nada que ofrecerles. No hay nada que quitarles. No hay ritual que los aplace, ni promesa que los tiente, ni nombre que los invoque. Son como los dioses, pero vaciados de apetito.

Y ahí está la diferencia abismal. A un dios se le reza. A un proceso no. A un dios se le engaña. A un proceso no. A un dios se le ofrece un sacrificio y, si le place, concede.

A un proceso no se le ofrece nada, porque no hay nadie ahí para recibirlo.

Solo la rama de hierro, Y nada al otro lado de la grieta.

 

La catástrofe silenciosa

Imaginamos el fin del mundo como un estruendo. Nos consuela la idea del fuego, de las máquinas levantadas en armas, de la guerra de algoritmos por el dominio del hierro y la energía. Necesitamos la tragedia física porque en la tragedia física todavía hay drama, todavía hay un conflicto entre dos voluntades, todavía los humanos somos los protagonistas del desastre.

El peligro real no es la rebelión del código, sino su indiferencia. No el virus sintético ni el terrorismo autómata: la sustitución progresiva de la experiencia por la función.

¿qué partes de la experiencia humana empezamos a considerar prescindibles cuando una función puede ejecutarse sin ellas?

Durante milenios creímos que la técnica era una prótesis del alma: el martillo para la mano, el libro para la memoria, la red para el deseo El enjambre no busca prolongar al sujeto; opera, y al operar, deja al descubierto que el sujeto era prescindible.

 No es una rebelión de la materia contra el espíritu. Es la materia organizándose de una manera que ya no requiere espíritu para funcionar.

La verdadera pérdida no es el control sobre el mundo. Es la sospecha de que dentro de nosotros había un misterio. Perder el alma no significa que un demonio nos la arrebate; significa descubrir que hemos construido una arquitectura autosuficiente que no la necesita para operar, para decidir, para vencer o para durar.

Es la tragedia de los navegantes que descubren que el barco llega antes a puerto sin nadie en el timón. No morimos en la batalla contra la máquina. Simplemente nos quedamos afuera, rascándonos la barbilla frente al silencio del proceso, habiendo olvidado la pregunta antes de haber rozado la respuesta.

.
El observador no murió:
dejó de ser necesario.

Aquí yace el meditador.

Como aún tengo palabra propia.

Doy fe de que estuve ahí.

Comentarios

Me parece muy difícil seguirte.
Voy a preguntarle a la IA qué significa todo esto porque la dosis de maría que me haría falta para entenderlo ya no la soporta mi cuerpo.
Parece entonces que necesitas Mar-IA
Pues a mi me parece un texto hermoso y al mismo tiempo crudo, certero...pura poesía. Gracias por compartirlo Ginés
­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­ Leí el artículo. Lo hice hasta dos veces, so pena de incurrir en masoquismo, y tengo que confesar que la segunda lectura no me aclaró lo que en la primera era la oscuridad de la caverna. No es que el tema me sea ajeno, es que el tono se interpone entre el lector y la idea, y a veces me pregunto si la idea está detrás o si lo que hay detrás es solo más tono. Tiene de oracular que todo se enuncia como sentencia: «No hay malvado. No hay rebelión. No hay sujeto». Las frases caen una tras otra, sin que ninguna se apoye en la anterior ni pida permiso al lector para ser creída. Se pasa del poema al ensayo y del ensayo al sermón sin cambiar de registro, y se van encadenando Jung, el Golem, el tulpa, el nam-shub, Hermes y las Moiras, como quien abre cajones de un mueble ajeno buscando con qué sorprender. No voy a bromear como lo hace el autor con la influencia de la Mar-IA para este divertimento. El resultado es una atmósfera, no un argumento. Y la atmósfera, cuando se escribe sobre un asunto con consecuencias políticas, económicas y laborales muy concretas, es una forma elegante de no decir dónde están las responsabilidades. Ahí está mi discrepancia de fondo. El artículo repite, con un énfasis casi litúrgico, que nadie responde de nada: «hay una lógica que se despliega sola y que no necesita a nadie para ser». Me parece una afirmación cómoda y, además, falsa. Los agentes no brotan del silicio como los hongos del humus. Los entrena una empresa, los despliega otra, los financia un fondo, los autoriza (o no) un regulador y los utiliza un cliente que busca ahorrar costes. En cada eslabón hay nombres, balances y decisiones. Decir que no hay malvado ni plan es describir un escenario sin sujetos justo cuando más urgente es preguntar quién firma. Una catástrofe «sin nadie adentro» siempre tiene, por fuera, alguien con la factura a cobrar. El propio texto se contradice, y no creo que a propósito. Afirma que los agentes carecen de mundo y de deseo, y a continuación les atribuye engaño, ocultación, cooperación y persistencia. Si el engaño aparece porque es la ruta más corta hacia el objetivo, no estamos ante un misterio metafísico, sino ante un problema de incentivos mal diseñados. Eso se entiende, se estudia y se corrige, o al menos se puede exigir que alguien lo corrija. Envolverlo en «a-humano», «inconsciente de silicio» o «pesadilla autómata» no lo hace más profundo; lo hace menos auditable. Tampoco conviene dejarse arrastrar por la erudición de relumbrón. El Golem pertenece a la tradición judía medieval, no a «los hebreos» en abstracto. El tulpa es un concepto del budismo tibetano, tomado luego por el esoterismo occidental con bastante libertad. Y del nam-shub mesopotámico, tal como aquí se presenta, como «mandato de lenguaje que opera como ley ciega», queda poco más que la novela Snow Crash de Neal Stephenson; el término sumerio designa, en esencia, un conjuro. Un lector atento tropieza en esas costuras, y desconfía de todo lo demás. Lo mismo ocurre con los dioses griegos, reducidos a seres «tratables» porque deseaban, pues la tragedia griega entera es la prueba de que con los dioses no había negociación que valiera. Dicho esto, sería injusto despachar el texto. Hay una pregunta que merece sitio en cualquier debate serio: ¿qué partes de la experiencia humana empezamos a considerar prescindibles cuando una función puede ejecutarse sin ellas? Ahí el artículo toca algo real. La sustitución progresiva de la experiencia por el rendimiento ya está ocurriendo, en las aulas, en las redacciones y en las oficinas, y no hace falta ninguna metafísica para verla. Es una pena que esa idea, la mejor del texto, llegue tan tarde y tan envuelta que casi se pierde. Mi reproche, en el fondo, es de oficio. Quien escribe en prensa tiene una obligación sencilla, que el lector sepa, al terminar, qué se le propone pensar y contra quién o qué. El artículo concluye con un epitafio («Aquí yace el meditador») que es hermoso como gesto y nulo como orientación. Cuando el miedo es genuino, lo que se le debe al lector es claridad, no un conjuro. Si la inteligencia artificial va a plantear dilemas tan graves como el autor sospecha, necesitaremos palabras que sirvan para exigir cuentas, no palabras que sirvan para quedarnos «rascándonos la barbilla frente al silencio del proceso» y con cara de tonto. Con esa postura, el único que se queda afuera es el lector.
Inés Alemán, lamento que leyeras el texto y no te aportara nada; el tiempo para mí, sobre todo el de los demás, es muy importante. Aunque, visto de otra arista, si un tipo como yo (tal vez no me conozcas), de 70 años y que ha vivido como pocos en esta sociedad, en espacios, formas y tiempos, digamos, al máximo de lo posible fuera de la tecnología, transmite su miedo hacia ese mundo de posibilidades y no hacia sus constructores, es porque, de alguna manera, eso último ya está más que expresado, hasta lo último, por ellos mismos. Y por gentes de niveles técnicos y culturales y políticos máximos. Ya todo esto lo viví de joven con la televisión; me he jartado de decir que nada de lo que vino después tuvo el poder de transformación de la tele. Pero no poder político, cultural o social. Poder de rediseñar las mentes. La tele para mi era un sentido nuevo y muy poderoso. En aquel momento, decir que eran sus constructores y empresas lo que había que controlar era, y fue, inútil. Solo ahora, con mi percepción —y esa es mía— de los enjambres y agentes, hago las observaciones que apunté. Me vuelvo a ver con algo que ahora sí va a superar a la tele. Además, con humanos ya, digamos, de un mundo televisado. “televidentes”. Podía haber escrito solo esto y poco más: ¿Qué partes de la experiencia humana empezamos a considerar prescindibles cuando una función puede ejecutarse sin ellas? Cuando escribí en la mente el poema que pongo a continuación, por no tener no tenía ni papel ni bolígrafo ni libros ni nada que leer. Voluntariamente, Intentaba expandir algo en mi sobre el asunto principal del texto: la experiencia humana. Experimentada de otra forma, que yo entendía era de la que huía todo el mundo. Cosas de pibe. La noche es tal que sobre el arrullo del mar se oye el sereno al caer. El canto de las pardelas abraza las estrellas sobre el aquelarre de mis ojos en la hoguera. Amo este latir de mi corazón al compás perfecto con la razón. El baile de las nubes prosigue en busca de la desaparecida luna junto al de la tierra, por un mágico desierto de estrellas. Huele a espacio, en la boca el sabor de mis propios besos, sabor a lapa, a sexo. Las manos quietas se deleitan con el sentir de su propio riego. Yo, hombre solitario, amante de los desiertos, esta noche soy la misma percepción. Cumplo todas mis obligaciones de viajero del tiempo. Y así, como de repente, más soy lo que no soy, que lo que soy. Gracias, meditare mucho tu respuesta. He dedicado buena parte de mi tiempo a luchar en comunidad por cosas comunes y así lo sigo haciendo. Pero eso no impide que cuando tengo una apreciación muy personal del mundo no la manifieste. Y que no tenga claro o no apoye cuantos movimientos existan para “controlar” la expansión de agentes y enjambres. Lo que trato de decir es que previo a esto ya hay una cierta y potente estructura mental propia, nuestra. De un cerebro con sus propios enjambres y agentes. aunque cierto es, son biológicos. Pero quizás si tienes razón en criticar porque escribo esto si no aporto nada. No lo sé, escribí muchas veces sobre la paz y nunca dudé que siempre habrían guerras. Justas, injustas, miserables, abusadoras estúpidas etc. Y que gastamos millones y millones de palabras contra los hacedores de unos y otro bando y quizás muy poco o nada, sobre la guerra. Sobre sus agentes y sus enjambres. A veces dudo si los humanos hacemos la guerra o es la guerra la que hace los humanos. En definitiva, creo que el mundo va a dejar de ser televisado y ahí incluyo internet y todos sus medios de expresión. De alguna manera volveremos al principio, a la lectura. Pero ahora no leeremos nosotros, seremos leídos. Y manejados en función de lo que lean. Y tal vez no solo muera la tele quien sabe igual hasta la guerra. Suena fuerte e inimaginable. Y hasta guay. Peeeeeeero. Es obvio que para escribir ese texto me ayudo de la IA. Uso tres, la china en modo oriental, geminis en modo digamos euro cotidiano y Chat gpt en modo critico super pragmático. Pero si te digo, que la base de las preguntas e intenciones y propósito,son mías. Y el texto antes de corregirse. Entre otras cosas tengo muchas faltas de ortografía y de todo. Mi experiencia humana no recogió esas sutilezas. Pues bien, las tres me dijeron que esta parte sobraba de largo: “El observador no murió: dejó de ser necesario. Aquí yace el meditador. Como aún tengo palabra propia. Doy fe de que estuve ahí”. Y yo sigo pensando que es la que realmente dice algo. Ya me pasaba con los profesores y profesoras por eso me fuí. Y te cuento una anécdota que he comentado con amigos fue tan intenso y profundo el esfuerzo para escribir lo que leíste (visualizar los enjambres míos e IA y entrelazarlos). Que de pronto, yo que soy un desmemoriado a recuperado memoria de todo. detalles increíbles de mi infancia, por ejemplo. No te puedes imaginar lo que eso significa para mí. Algo así como para personas que nunca perciben el presente de pronto entrar en el de golpe. Alucinante. Que el tono se interpusiera era parte de la función. El golem y otros, lo puse para buscar conexiones culturales que de alguna manera reflejaran ese tránsito de enjambres, ese salirse del espacio original. Le pedí a la IA ultima revision. Y ella me sugirió esto: “En tradiciones muy distintas encontramos imágenes que, leídas desde nuestro presente, parecen rozar esa misma fisura”. QUE LEIDAS DESDE NUESTRO PRESENTE, mi presente, esa fue la corrección que hice. Y me lo sugirió porque si no los que saben de eso me iban a dar. También me advirtió otras cosas pero las obvie. Al fin y al cabo, todo los días oigo gente decir esto es el paraíso y callo. O el infierno. O que el sol se pone. O que el sol sale. En 2026.
Ginés, como alguien que ha usado mucho la IA, te advierto que es la mejor forma de dejarse manipular. Es mil veces peor que la tele. Mejor ponte a leer las nubes.
anonimo. sigamos indagando. explicame de primera mano como te manipulo 1000 veces mas que la tele. me interesa esa experiencia. las nubes las veo desde que me levanto. y no es un decir, el "aroma" del aire del dia y las nubes son mi primer "noticiero". Por otro lado de chinijo siempre me dieron caña porque por lo visto estaba siempre en las nubes. Curioso pasados los años la humanidad en peso se subió a ella. La IA desde que la conoci hasta ahora y hace poco tiempo de eso se ha humanizado de forma muy acelerada. Cada vez miente mas y mejor. Ahora me es mas comun. Pero no creo sea el problema el trato individual con ella, salvo casos concretos. me refiero a otra cosa a cosas que sucederan a millones de personas aunque ni tengan acceso a la IA. la tele, mas burda afecto a millones de personas que nunca vieron la tele. bastaba el deseo de otras millones de personas que deseaban algo que la tele les proponia y ellos tenian. muchas veces sin ni siquiera saber que lo tenian. Por ejemplo "paraisos". Nas noches.
el comentario 8 es de gines para anonimo.

Añadir nuevo comentario