De redes neuronales a grandes modelos de lenguaje

El teclado de tu teléfono te sugiere la siguiente palabra mientras escribes. Un chatbot redacta ensayos enteros, responde preguntas y traduce poemas. ¿Son el mismo tipo de máquina? En el corazón de ambos hay una tarea sorprendentemente modesta: dado el texto hasta ahora, adivinar qué viene después. Esta última lección muestra hasta dónde puede llegar esa única pregunta y dónde están sus límites. Pruébalo tú mismo antes de leer la explicación.

Prueba esto

• Escribe una palabra común en el campo de texto y lee la lista de palabras siguientes probables y sus probabilidades. ¿Tienen sentido según lo que sabes del texto?
• Mueve el control de temperatura hacia la izquierda y observa cómo la palabra principal se lleva casi toda la probabilidad. Luego muévelo hacia la derecha y mira cómo las probabilidades se igualan.
• Prueba una palabra que probablemente sea rara en el texto breve. Con tan pocos ejemplos que contar, ¿cuánto puedes fiarte de las probabilidades que muestra el modelo?
• Sigue una cadena a mano: escribe la palabra siguiente más probable, luego la más probable después de esa, y así sucesivamente. ¿La frase que sale suena fluida? ¿Va a alguna parte?

La idea en pocas palabras

Un modelo de lenguaje asigna probabilidades a lo que viene a continuación en un texto. Después de «Quisiera una taza de», la palabra «té» es probable, «café» también, «grava» casi nada. Con esas probabilidades se puede generar texto: elegir una palabra siguiente, añadirla y volver a preguntar.

El modelo de lenguaje más sencillo posible es un modelo de bigramas. Lee un conjunto de textos (un corpus) y simplemente cuenta qué palabra sigue a cuál. En esta lección miramos uno construido con un texto breve escrito para este curso. Para cada palabra, el modelo conoce las palabras que la siguieron en el corpus, con sus probabilidades.

Piensa en alguien que solo ha leído un libro, muchas veces, y cuya única habilidad es recordar qué palabra venía después de cuál. Pídele que continúe una frase y producirá algo que suena vagamente al libro: fluido en lo local, sin rumbo en lo global. Esa persona es un modelo de bigramas.

Por qué funciona

El modelo de bigramas estima la probabilidad de la siguiente palabra b después de la palabra a a partir de recuentos:

P(siguiente = b | actual = a) = recuento(a b) / recuento(a)

Si «taza» aparece diez veces en el corpus y siete veces va seguida de «de», el modelo da a «de» una probabilidad de 0,7 después de «taza». Eso es todo: contar y dividir. Aprender, una vez más, significa ajustar un modelo a unos ejemplos, y la puntuación es lo bien que predice la siguiente palabra de un texto real.

Para generar texto, el modelo tiene que elegir entre los candidatos, y aquí entra la temperatura. Una temperatura baja afila la distribución: la palabra más probable gana casi siempre, y el texto se vuelve repetitivo y seguro. Una temperatura alta la aplana: las palabras más raras tienen una oportunidad real, y el texto se vuelve más variado y más errático. La temperatura no cambia lo que el modelo sabe, solo con cuánta audacia elige.

Un gran modelo de lenguaje (LLM, por sus siglas en inglés) hace la misma tarea con tres grandes mejoras. Primero, predice tokens —trozos de palabras—, así que puede manejar cualquier palabra, incluso una que nunca ha visto entera. Segundo, en lugar de mirar solo la palabra anterior, es una red neuronal, normalmente un transformer (presentado en 2017), cuyo mecanismo de atención permite que cada posición mire hacia atrás miles de tokens anteriores y decida cuáles importan. Tercero, sus probabilidades no son recuentos, sino salidas de una red con miles de millones de pesos, entrenada exactamente con las herramientas de este curso: la pérdida logarítmica de la lección 5 sobre el siguiente token, minimizada con el descenso de gradiente de la lección 4, con la retropropagación de la lección 11. Entrenada con una cantidad enorme de texto, la tarea de adivinar obliga a la red a captar gramática, hechos y patrones de razonamiento, porque todo eso ayuda a predecir lo que viene después.

Error frecuente

El mayor malentendido sobre los modelos de lenguaje es pensar que buscan las respuestas. No consultan una base de datos; producen la continuación que su entrenamiento hizo probable. La mayoría de las veces también es la verdadera, pero no siempre: cuando lo plausible y lo verdadero se separan, el modelo afirma una falsedad con fluidez, y eso se llama alucinación. El segundo error es tratar la temperatura como un control de calidad. Una temperatura baja no es «más correcta», solo más predecible; conviene para respuestas factuales, mientras que una temperatura más alta conviene para generar ideas.

Ese es todo el recorrido: de un umbral sobre una medida de un tumor a una red que predice la siguiente palabra de todo lo escrito. La receta nunca cambió: una familia de modelos, una puntuación, una búsqueda y una prueba honesta con datos que el modelo nunca vio. Los enlaces al Atlas que aparecen abajo son el lugar para profundizar en cualquier paso.

import re
from collections import Counter

src = open("site-src/course/labs/next-token.corpus.js", encoding="utf-8").read()
text = re.search(r"en: `(.*?)`", src, re.S).group(1)  # las frases en inglés del lab
words = re.findall(r"[a-z']+", text.lower())
after_the = Counter(b for a, b in zip(words, words[1:]) if a == "the")
counts = after_the.most_common()
print(f'"the" seen {sum(after_the.values())} times, {len(after_the)} different next words, top: {counts[:3]}')
for t in (1, 0.5, 0.1, 3):
    w = {b: c ** (1 / t) for b, c in counts}
    print(f"temperature {t}: P(morning | the) = {w['morning'] / sum(w.values()):.1%}")

"the" seen 42 times, 26 different next words, top: [('morning', 4), ('cup', 3), ('garden', 3)]
temperature 1: P(morning | the) = 9.5%
temperature 0.5: P(morning | the) = 18.6%
temperature 0.1: P(morning | the) = 85.0%
temperature 3: P(morning | the) = 5.3%