Llegan las garrapatas...
Una introducción de situación técnica y proyección, primero:
La clave de toda esta expansión de la IA (de este tipo de IA, probabilística), es la arquitectura de Red Neuronal llamada de tipo "Transformer", que fue presentada en 2017 en un artículo fundamentalmente de gente de Google, que cambió disruptivamente el concepto de Deep Learning. Es:
"Attention is all you need".
La clave son unos mecanismos que llaman "de atención", que esencialmente se encargan de crear un marco de contexto de cada palabra (o token) que va aprendiendo el modelo, en el cual se basa para obtener cada trozo de información de salida (token), buscando en él el token más probable para dar la respuesta acertada.
Además, la técnica desarrollada elimina la necesidad o idoneidad de una de las maravillas conceptuales clásicas de la computación: la recursividad (salvo para algunos, pocos, casos de procesamiento).
Y además, esta arquitectura Transformer permite algo esencial para la dotación de gran poder de cómputo: la paralelización de trabajos (debido a que la atención sobre las palabras de entrada puede hacerse, increíblemente, de forma simultánea sobre cada una), y con todo ello, obtiene resultados disruptivos en lo que es procesamiento de lenguaje natural, tanto de entrada como de resultados de salida ("The Transformer allows for significantly more parallelization and can reach a new state of the art in translation quality after being trained for as little as twelve hours on eight P100 GPUs.").
En (1) hay una descripción un poquitín más desarrollada de esos mecanismos, proporcionada por GPT-3.5,
Desde ese hito de 2017, se fue avanzando moderadamente en la obtención de modelos concretos, hasta aproximadamente Mayo - Junio de 2022, en que se empezaron a disparar las cosas, todo ello en lo que el público "normal" podemos apreciar. Hay que recordar en este punto el episodio de LaMDA, la IA de Google que en teoría convenció a un ingeniero de que tenía conciencia y éste fue a reivindicar sus derechos (fue apartado del trabajo, con cierta lógica, creo yo).
Se tuvo GPT-3 (de OpnenIA, Microsoft), con el que en Octubre de 2022, tuve la
conversación que abre este hilo, para probarlo, y no me entusiasmó.
Pero las cosas seguían desarrollándose deprisa. Le dieron el acabado conocido como "ChatGPT", que se ha popularizado muchísimo, que nació sobre GPT-3 y al que después actualizaron con GPT-3.5, que se abrió al público en Noviembre de 2022 y ya era otra cosa; un saltito que empezaba a dar resultados mínimamente aceptables.
Con GPT-3.5, la comunidad IA nos (me incluyo, cada uno con su nivel y aproximación) plantamos en Diciembre de 2022 con la sensación de que parecía que por fin la cosa parece que tiraba, y mirando con cierta ilusión al futuro que ansiosamente queríamos de corto plazo (y lo iba a ser...).
De ahí, con cositas cada semana, a la guerra entre Microsoft (OpenIA) y Google (DeepMind), de Febrero de 2023 ("les hemos obligado a salir a bailar", dijo Satya Nadella, CEO de Microsoft, aunque yo no sé si estaban y están en la misma onda o juego, Microsoft y Google).
Y de ahí, en Marzo de 2023; a GPT-4 (14 Marzo 2023) y un montón de iniciativas de IA, de todos los tamaños, algunas muy interesantes y no me refiero precisamente a las grandes conocidas GPT-4 o Bing de Microsoft, basado en el propio GPT-4, ni a Bard de Google, que no llega, sino p. ej. a Sage, que costándome un poco saber quién está detrás, y está OpenIA, me tiene encantado con su precisión, completitud y empatía. Y también el ilusionante proyecto
OpenAssistant, de LAION, de código abierto y destinado a que sea instalado en modo local por cualquiera (todavía en fase de entrenamiento).
Todas esas IAs tienen todavía importantes limitaciones en varios aspectos: formas de operar con ellas (el "multimodal"); no admiten que les puedas dar ficheros, la mayoría no están conectadas a Internet, etc, pero ya se ven cosas importantes que comenté en los mensajes anteriores y que
han provocado la aparición de las garrapatas...
Kesh escribió: ↑Sab 25 Mar 2023, 10:10
Las IAs que se están poniendo a disposición del gran público, aunque todavía con bastantes limitaciones que van mejorándose por días, son suficiente para provocar un revolución en diversos aspectos; productividad, generación de nuevos trabajos, nuevos emprendimientos, grandes avances, etc, etc. Algo que al NOM no le debe gustar nada.
Kesh escribió: ↑Mar 28 Mar 2023, 14:56
Y cuando se depura el valor añadido, se inyecta des-inflación en la economía (lo cual tampoco le viene bien al NOM).
El X-29-3-23;
el NOM entra en escena, con urgencia.
Una institución que apesta a NOM; la
Future of Life publica una
carta abierta pidiendo un mínimo de seis meses de parón en avances de IA.
Traducido: "Hacemos un llamado a todos los laboratorios de IA, para que pausen inmediatamente, durante al menos 6 meses, el entrenamiento de los sistemas de IA más potentes que GPT-4".
Típica acción del NOM que tomando titulares e ideas positivas y de bien hacer, busca, requiere, atribuirse el cuidado con el fin de ser el controlador (la mejor forma de controlar algo, es conseguir ser su cuidador). Nada de esos fines positivos entran en sus objetivos, sino controlar y servirse.
El problema de esta carta no es el qué, sino el cómo, como en general los titulares de la Agenda 2030, que son de querer u ocuparse, pero vamos a ver cómo, con mucho cuidado y detalle...
La solución no es parar el Mundo, entre otras razones porque no se va a parar y no se le va a poder obligar a parar (alguien, incluso a nivel Estado, seguirá avanzando).
Esos que están tan preocupados; no enfocan soluciones concretas, no tienen proyectos abiertos para esas soluciones, solo quieren parar urgentemente y aplicar soluciones de control por su parte.
Esos seis meses que piden de parón, es el tiempo que necesitan los gobiernos para implantar legislación restrictiva de urgencia, a base de Decretos Ley, que nos ate las manos a nosotros, a ellos no, y además, una vez más, les dé recursos (dinero) de todos para que "cuiden" de nosotros. Lo de siempre.
El caso que debería hacer la sociedad civil libre, es utilizar el empuje que tienen las iniciativas NOM, para, en efecto; buscar el cuidado de ciertos aspectos potencialmente peligrosos, posiblemente originados por IAs descontroladas, pero en ningún caso plegarse (plegarnos) a ceder el control de los avances, a los intereses de unos pocos supremacistas jetas, y que tal y como ellos reivindican en la carta abierta, hay que aplicarles eso que dicen de: "Tales decisiones no deben delegarse en líderes tecnológicos no elegidos.", y ellos tampoco lo están...
Las soluciones no están a tiempo, debido, como siempre; a los políticos que no hacen su trabajo, que están ocupados en vivir bien a costa de los demás, en enriquecerse, en conservar el Poder y el control, y en servir a sus verdaderos jefes, que no son el Pueblo, sino el NOM.
Efectivamente hay que plantearse cosas, y una vez más, como las personas de a pie no sabemos organizarnos, se liará parda y encima podrán decir: "nosotros ya lo avisamos".
La solución es ponerse de inmediato y con urgencia, con apertura a la sociedad, y total transparencia, a nivel político y científico, coordinadamente, a establecer modos de funcionamiento que limiten al máximo los peligros (sin olvidar la legislación punitiva a todos los niveles y a tope de potencia, y las infraestructuras para poder perseguir el delito), pero nunca limitar ni detener el progreso, nunca entorpecer los avances, porque además es imposible, y más ya, que el Genio ya salió de la lámpara...
Como tantas veces, no hay que olvidar que el martillo, algo imposible de des-inventar, es malo o bueno según se utilice.
(1):
El codificador del Transformer (NdE: el "input", la entrada a procesar) procesa la secuencia de entrada y la transforma en una representación de alta dimensionalidad llamada "embedding". Utiliza capas de atención para asignar una ponderación a cada token de la secuencia de entrada, permitiendo que el modelo se centre en las partes más relevantes de la secuencia. Estas capas de atención también facilitan la captura de dependencias de largo alcance en la secuencia.
El decodificador del Transformer (NdE: el "output", la salida del proceso) toma la representación del codificador y genera una secuencia de salida. Al igual que el codificador, utiliza capas de atención para enfocarse en partes específicas de la representación del codificador durante la generación de la secuencia de salida.
Una de las principales ventajas del Transformer es su capacidad para realizar el aprendizaje en paralelo debido a su estructura sin dependencia de la posición y su capacidad para atender a todas las posiciones de la secuencia simultáneamente. Esto permite una mayor eficiencia computacional y una capacidad de escalabilidad mejorada en comparación con modelos secuenciales tradicionales.
El Transformer ha demostrado un rendimiento excepcional en una variedad de tareas de NLP (procesamiento de lenguaje natural) y ha establecido nuevos estándares en la calidad de la traducción automática y la generación de texto. Su arquitectura innovadora y su capacidad para capturar relaciones de largo alcance en las secuencias, lo han convertido en una herramienta fundamental en el campo de la IA, especialmente en el procesamiento del lenguaje natural.
Una explicación para entender esto de una manera todavía más simple y pedagógica, sería la siguiente:
Imagínate que tienes que traducir una frase del español al inglés. Una forma de hacerlo sería leer toda la frase en español, entender su significado y luego escribir una frase en inglés que tenga el mismo significado. Este es un proceso bastante complicado y es precisamente el tipo de tarea para la que se diseñó el modelo Transformer.
En los modelos anteriores de NLP, como las redes neuronales recurrentes (RNN), la frase se procesaría palabra por palabra en orden. Pero en el modelo Transformer, todas las palabras se procesan a la vez. Esto permite al modelo tener en cuenta todas las palabras de la frase a la vez cuando está decidiendo cómo traducir cada palabra individual.
Una de las ideas clave del modelo Transformer es el concepto de "atención". La idea es que cuando el modelo está traduciendo una palabra, debería "prestar atención" a todas las otras palabras en la frase, pero algunas palabras son más relevantes que otras. Por ejemplo, si estás traduciendo la frase "Él lanzó la pelota", cuando estás traduciendo "lanzó", las palabras más relevantes son "Él" y "la pelota". El modelo Transformer utiliza un algoritmo de atención para calcular cuánta "atención" debe prestar a cada palabra.
Otra idea clave es el uso de múltiples "cabezas" de atención. Esto significa que el modelo puede prestar atención a diferentes partes de la frase de diferentes maneras al mismo tiempo. Por ejemplo, podría tener una "cabeza" que se centra en el sujeto de la frase, otra que se centra en el objeto, y otra que se centra en el verbo.
En resumen; el modelo Transformer es una forma muy potente de procesar el lenguaje que puede tener en cuenta el contexto completo de una frase al traducir cada palabra. Está siendo muy exitoso y es la base de muchos modelos de lenguaje modernos.