Cómo las Inteligencias Artificiales hiperconectadas pueden inventar nuevos idiomas para aprender más rápido que nunca

Autor: Olaf Witkowski¹.

“¿Cómo serán las futuras formas de inteligencia, una mezcla de razonamiento humano y artificial? ¿Qué tan distantes serán sus sistemas de comunicación del lenguaje humano?” En este artículo, Olaf Witkowski nos explica la relación entre estas preguntas y un problema geométrico de la inteligencia artificial que consiste en “cómo llenar volúmenes con esferas”.

Texto traducido y adaptado por DICTA del blog de Olaf Witkowski. Diagramación: Pilar Trillo.

   El idioma original en que está escrito este artículo es español. Mencionamos esto para considerar al utilizar la traducción automática que puede generar algunos errores.

Figura N° 1. Llenando óptimamente una esfera usando esferas más pequeñas ¿cómo se relaciona ese problema con la evolución de la comunicación? Crédito de la imagen: Paul Bourke.

    Este artículo se inspira en ideas sobre cómo la vida, desde su constitución inicial en células muy  pequeñas conocidas como procariontes, han evolucionado hacia formas biológicas más complejas, alcanzando niveles más altos de inteligencia, y cómo han podido “aprender colectivamente” mediante la formación de grupos que actúan de forma coherente.

    En la evolución de la vida, a través de la formación de las primeras redes sociales entre células, la vida aprendió a acumular información de manera distribuida. Desde un punto de vista evolutivo, toda aquella célula que comete “errores” como ingerir moléculas tóxicas para su metabolismo muere, de esa manera, la “selección natural” permite que las especies más aptas al entorno se reproduzcan más y sus linajes persistan. Sin embargo, en algún momento las especies biológicas fueron capaces de aprender simplemente intercambiando “ideas”, evitando tener que “sacrificar” individuos de su especie para mejorar. Unos pocos millones de generaciones más tarde, vemos el comienzo del surgimiento de la humanidad y hoy por hoy, la inteligencia artificial, que posiblemente ya ha logrado llevar el aprendizaje a niveles nunca antes alcanzados.

Figura N° 2. Línea de tiempo evolutiva, desde la vida simple a través de algunas transiciones evolutivas importantes hacia órdenes superiores de inteligencia en sistemas vivos.

    En este artículo, exploraremos cómo la conexión de la IA, al estar cada vez más interconectada con nosotros, puede crear nuevos paradigmas de aprendizaje. Para esto explicaremos las razones del poder de este nuevo aprendizaje, y por qué podría hacer que la inteligencia artificial acelere su aprendizaje de maneras inimaginables. El ingrediente secreto se encuentra en los protocolos de comunicación óptimos, que pueden ser desarrollados por las Inteligencias Artificiales (IAs) para establecer su propia comunicación.

    Al diseñar sus propios lenguajes para resolver colectivamente problemas específicos, las IAs pueden experimentar “transiciones de fase” en la forma en que representan la información. Dichas representaciones los impulsarían a niveles de resolución de problemas desconocidos.

“¿Cómo serán las futuras formas de inteligencia, una mezcla de razonamiento humano y artificial? ¿Qué tan distantes serán sus sistemas de comunicación del lenguaje humano?”

    Las teorías en las que me baso a continuación se fundamentan en el aprendizaje computacional, la complejidad, la lingüística formal, el problema matemático conocido como “empaquetamiento de esferas” y las teorías de codificación.

Acerca de la IA

    El importante científico Max Tegmark señala en su reciente libro “la vida está entrando en su tercera edad”. A través de los avances de la investigación en inteligencia artificial (IA), la vida se vuelve capaz de modificar no sólo su propio software a través del aprendizaje y la cultura, sino que ahora también puede editar su propio hardware. Siendo un investigador de ALife (Artificial Life traducido como Vida Artificial), esto resuena particularmente con mi investigación.

La sociedad hiperconectada

     Desde el advenimiento de Internet, hace medio siglo, la sociedad humana ha experimentado una transición crucial en la conectividad, que yo diría que tiene el poder de alterar drásticamente la estructura de la comunicación, de maneras muy impredecibles.

Figura N° 3. En gran medida impredecible, el advenimiento de la tecnología de Internet hizo que la biosfera fuera más interconectada que nunca, y de una manera muy diferente a como era antes.

Comunicación

     Actualmente existe una gran cantidad de literatura sobre la evolución de la comunicación, desde sistemas simples de señalización hasta lenguas complejas y de pleno derecho (Christiansen, 2003; Cangelosi, 2012). Sin embargo, mientras que la mayoría de las investigaciones en biología se centran en la evolución natural de los sistemas de comunicación, la informática ha estado durante mucho tiempo diseñando y optimizando protocolos para tareas específicas, como por ejemplo, para aplicaciones en robótica, logística y redes informáticas (Corne, 2000). Todos estos sistemas están basados en una teoría fundamental de la comunicación que estudia su rica estructura y propiedades fascinantes, cuyo pionero fue Claude Shannon (1948). Más tarde, Chomsky (2002) y Minsky (1974) contribuirían con teorías formales sobre la estructura, las reglas y la dinámica del lenguaje y la mente.

    A continuación, examinemos una de esas formalizaciones de la comunicación desde la perspectiva del “empaquetado de esferas”, haciendo el ejercicio mental de imaginar esferas en espacios de muchas dimensiones.

Comunicación multicanal

    Con la comunicación que se vuelve en gran parte digital, la humanidad se ha construido un nuevo nicho, que tiene el poder de cambiar su capacidad cognitiva, como nunca antes. Es un hecho que la comunicación se está volviendo cada vez más fluida y, por supuesto, para la mayoría de los intentos de predicciones futuristas, el futuro de la comunicación es altamente multicanal. Así, uno podría preguntarse por los efectos de aquello en el futuro de nuestra sociedad, no solo altamente conectada sino por muchos canales a la vez.

     Aquí, propongo una manera de razonar sobre esto combinando computación evolutiva con conocimientos de la teoría de la codificación, con el fin de mostrar el efecto de la ampliación de los canales en los sistemas de comunicación.

“Con la comunicación que se vuelve en gran parte digital, la humanidad se ha construido un nuevo nicho, que tiene el poder de cambiar su capacidad cognitiva, como nunca antes.”

Teoría de empaquetamiento de esferas

     El “empaquetamiento de esferas” es un problema matemático que consiste en estudiar cómo disponer esferas idénticas dentro de un espacio de la manera más eficiente posible, minimizando los huecos y maximizando la ocupación. Este problema se remonta a los fundamentos de la geometría desarrollados por Euclides quien describió por primera vez las bases de lo que entendemos por “espacio”, al explicar las propiedades de la distancia.

• Simetría: la distancia entre puntos “a” y “b” es la misma que entre “b” y “a”.

• Identidad: la distancia entre “a” y “a” es cero, para todo punto “a”.

• Desigualdad triangular: la distancia entre “a” a “b” es menor o igual que la suma de distancias entre “a” y “c” más la distancia entre “c” y “b”, para todos los puntos.

Figura N° 4. Ilustración de la desigualdad triangular. Una propiedad geométrica del espacio, sin importar su dimensión.

    En los últimos 4 siglos se han desarrollado muchas ideas sobre la geometría en espacios de más de tres dimensiones, incluso considerando infinitas dimensiones. Lo anterior tiene aplicaciones en prácticamente todas las tecnologías que incluyen señales y movimiento como transporte, minería, o telecomunicaciones. En comunicación, la geometría en espacios de alta dimensión se utiliza para comprender cómo corregir errores que puedan ocurrir en canales de comunicación continua como líneas de teléfonos o WiFi (Balakrishnan, 1961). Al representar los canales de comunicación del mundo real utilizando la geometría en numerosas dimensiones, podemos acercarnos a la comunicación moderna desde problemas matemáticos.

    La dimensionalidad de un código de comunicación, es decir, el número de dimensiones en las que se codifica la información, corresponde al número de mediciones que describen la señal que se transmite. Las señales de radio por ejemplo, utilizan dos dimensiones: amplitud y frecuencia. La idea general, cuando uno desea organizar las comunicaciones para eliminar los efectos del ruido, es construir un vocabulario C de palabras, a las que nos referiremos por la letra c indexada (c1, c2, …), y un “código de corrección” de errores en C, que va a ayudarnos a reconocer la palabra correcta cuando tiene pequeñas variaciones, típicamente llamadas “ruido”, que son generalmente adquiridas durante el proceso de transmisión. Por ejemplo, al calentarse o enfriarse demasiado los cables de transmisión de señales eléctricas, se pueden observar pequeñas variaciones en amplitud o frecuencia en las señales enviadas y recibidas.

    La idea es que las palabras se pueden ver como puntos en un espacio, y el código de corrección se puede constituir geométricamente como una esfera alrededor de cada palabra del vocabulario. De ese modo, el radio de la esfera corresponde a la “tolerancia al ruido” de la transmisión.

     Supongamos que el nivel de ruido de la comunicación tiene tamaño ε (letra utilizada típicamente en matemáticas para representar números pequeños). Si dos palabras clave c1 y c2 en C satisfacen que c1 – c2 < 2ε, la palabra clave recibida no podrá siempre ser reconocida, pues el ruido puede llevarnos de una esfera a la otra. Si por el contrario la distancia entre c1 y c2 es mayor a 2ε, tenemos que el nivel de ruido siempre puede ser “corregido por nuestro código”.

    El desafío es entonces empaquetar tantas bolas de radio ε como sea posible en una bola más grande de radio Rε (R veces ε), donde R es un parámetro que depende de la física del proceso de transmisión para enviar señales a través del canal. Entonces, la comunicación efectiva equivale al problema de empaquetamiento de la esfera (Cohn, 2016). En espacios de alta dimensión, los modelos de empaquetamiento habituales dejan de funcionar eficientemente, salvo cuando se conocen propiedades específicas de simetría (Adami, 1995), pero en la mayoría de los casos no se conoce cómo realizar el empaquetado de forma eficiente.

Figura N° 5. Ilustración de un código de corrección de errores C como un conjunto de 1-esferas en 2 dimensiones.

Figura N° 6. Ejemplo de resultado simulado con una computación evolutiva para 100 palabras clave después de 500 generaciones: los agentes tienen que hacer frente a un pequeño volumen debido al espacio tridimensional.

Una simulación evolutiva

       Para tener una idea de un problema de cierta complejidad, mi forma de trabajo es generalmente codificar primero y hablar después. Por lo tanto, en ese contexto codificaba una simulación; un modelo de juguete evolutivo en el que explorar la influencia de los canales de comunicación cada vez más altos dimensionalmente en las estructuras de los lenguajes, utilizados por una red de agentes para comunicarse a través de ellos.

Figura N° 7. El empaquetado de esferas en múltiples dimensiones está estrechamente relacionado con la búsqueda de códigos de comunicación óptimos. Crédito de la imagen: Emergent Design.

      En la simulación, los agentes tienen un objetivo simple: transmitir la mayor cantidad posible de mensajes importantes a través de canales que están representados por esferas en diferentes números de dimensiones. Estos canales están conectados en redes aleatorias. Cada agente tiene un “código genético” que define dónde coloca sus “puntos de comunicación” en el espacio multidimensional. Aquí variamos el número de dimensiones desde 1 hasta 100 para ver cómo afecta el desempeño.

    Para lograr mejoras en el tiempo, los agentes que comunican mejor tienen más descendientes, mientras que los que comunican peor desaparecen. Esto es exactamente como la evolución natural: adaptarse o desaparecer.

    Lo que ves en los resultados es un empaquetamiento de esferas. Cuando miras dos dimensiones es fácil visualizar, pero después de tres dimensiones se complica mucho. Es casi imposible dibujar lo que sucede en 5 o 10 dimensiones, aunque el proceso sigue funcionando.

    Lo interesante es esto: conforme la simulación avanza, los agentes encuentran mejores y mejores formas de empaquetar sus mensajes en el espacio disponible. Cada generación está más cerca del empaquetamiento perfecto. Los agentes “inventan” soluciones cada vez más eficientes por su cuenta.

Figura N° 8. Visualización de ejecuciones de optimización de comunicación colectiva, 100 palabras clave en 2 dimensiones, después de 500 generaciones.

La optimización numérica

      Existe un algoritmo de generación de empaquetado para 3 dimensiones que se basa en dejar que las esferas reboten entre sí. Con esto se busca el empaquetamiento óptimo simulando procesos físicos. Utilizando una variante tanto en el algoritmo Lubachevsky-Stillinger (Lubachevsky y Stillinger, 1990) y del algoritmo Torquato-Jiao (Torquato y Jiao, 2009), hemos generalizado este algoritmo a mayores dimensiones: tal procedimiento numérico simula un proceso físico de reorganización y compresión de un conjunto de hiperesferas duras, con el fin de encontrar su disposición espacial más densa dentro de las restricciones dadas, mediante el crecimiento progresivo del tamaño de las partículas y la adaptación de parámetros tales como la forma en que las esferas rebotan y la fricción entre éstas. La comparación entre los distintos algoritmos descritos mostró que la solución alcanzada por simulaciones evolutivas era consistentemente subóptima, para toda la gama de experimentos.

    Los resultados de la simulación indican que para una mayor dimensionalidad, la relación de densidad sufre varias transiciones, de una manera muy irregular, que podemos visualizar en forma de diferencia en derivado de densidades con respecto al número de dimensiones.

Figura N° 9. Esta gráfica muestra el logaritmo de la densidad de empaquetado de esferas en función de la dimensión (Cohn, 2016). La curva verde es el límite de algoritmos tradicionales (conocidos como programación lineal), la curva azul es el mejor empaquetado conocido actualmente y la curva roja es el límite inferior, que se obtiene por teoremas matemáticos. Notar que hay igualdad de límites superiores y mejores para las dimensiones 8 y 24 en curva verde y azul.

¿Y con esto qué?

     Se observa una propiedad interesante a través de estos resultados preliminares como es la frecuencia de los códigos atascados, es decir, los códigos para los que las bolas están bloqueadas en su lugar. Este parece ser especialmente el caso con esferas de diferentes dimensiones, aunque esta es una hipótesis que merece una investigación más profunda. Se requerirá un análisis adicional para interpretar plenamente este resultado y evaluar si las dimensiones más altas terminan en distribuciones cristalinas o fluidas.

    Una consideración importante es el hecho de que la simulación evolutiva puede preferir la codificación dinámica de las soluciones, pero eso también es algo a detallar en su propia publicación.

Figura N° 10. Ilustración del empaquetamiento de esferas con varios tamaños impuestos. Crédito de la imagen: Flickr.

Más allá de la IA

   Este artículo fue escrito inicialmente teniendo en mente la conferencia ALIFE 2018 en Tokio, la cual estuve organizando y en donde tuve el honor de ser Presidente del Programa para la conferencia. El presente artículo se relaciona con un trabajo desarrollado a principios del año 2018, y sobre el que presenté los primeros resultados en la conferencia. El tema de ALIFE 2018 inspiró una investigación que va “más allá de la IA”, utilizando la cultura de la vida artificial para hacer preguntas futuristas sobre la próxima transición en la evolución de la sociedad humana. Esta fue la primera de una serie de conferencias internacionales unificadas sobre La Vida Artificial, y tuvo lugar en Tokio. Esta nueva serie se convertiría en el híbrido único de la Conferencia Europea sobre Vida Artificial (ECAL) y la Conferencia Internacional sobre síntesis y simulación de sistemas vivos (ALIFE), reuniendo a todos los interesados como yo cada año para presentar su ciencia y arte.

Figura N° 11. Conferencia sobre Vida Artificial 2018 (ALIFE 2018).

    Los resultados preliminares sugieren que las futuras formas de vida inteligentes, naturales o artificiales, a partir de su interacción en redes de canales de banda ancha, pueden inventar nuevas estructuras lingüísticas en espacios de alta dimensión. Con nuevas formas de comunicarse, la vida futura puede lograr saltos cognitivos imprevistos en la resolución de problemas, que se verán representados como mejoras en sus formas de empaquetar esferas, acercándose cada vez más a la línea roja de la Figura 9.

   Hoy, sistemas de IA hiperconectados comienzan a desarrollar representaciones exactamente en espacios de alta dimensión, tal como predice la teoría de Witkowski. AlphaFold revolucionó la biología al descubrir estructuras de proteínas navegando en espacios de cientos de dimensiones que los humanos nunca visualizamos. Simultáneamente, los grandes modelos de lenguaje entrenan en espacios multidimensionales donde emergen relaciones semánticas complejas. Las redes neuronales multimodales (integrando texto, imágenes y audio) crean nuevos lenguajes visuales en espacios compartidos sin supervisión humana. Existen sistemas de IA colaborativa que ya desarrollan protocolos de comunicación propios más eficientes que nuestros códigos. Estos saltos cognitivos predichos por Witkowski ya ocurren en laboratorios globales. El futuro que imaginó, en donde la inteligencia artificial inventa nuevas estructuras lingüísticas para resolver problemas imposibles, no es distante: está sucediendo aquí, ahora mismo.

Referencias

Ay, N. (2015). Information geometry on complexity and stochastic interaction. Entropy, 17(4), 2432–2458.

Balakrishnan, A. V. (1961). A contribution to the sphere-packing problem of communication theory. Journal of Mathematical Analysis and Applications, 3(3), 485–506.

Cohn, H. (2016). Packing, coding, and ground states (arXiv preprint arXiv:1603.05202). arXiv.

Lubachevsky, B. D., & Stillinger, F. H. (1990). Geometric properties of random disk packings. Journal of Statistical Physics, 60(5-6), 561–583.
Shannon, C. E. (1948). A mathematical theory of communication (parts i and ii). Bell System Technical Journal, 27, 379–423.

Szathmáry, E., & Maynard Smith, J. (1995). The major evolutionary transitions. Nature, 374(6519), 227–232.

Tegmark, M. (2017). Life 3.0. Being Human in the Age of Artificial Intelligence. Allen Lane.

Torquato, S., & Jiao, Y. (2009). Dense packings of the platonic and archimedean solids. Nature, 460(7257), 876.

Wagner, G. P., & Altenberg, L. (1996). Perspective: complex adaptations and the evolution of evolvability. Evolution, 50(3), 967–976.