De redes neurais a grandes modelos de linguagem

O teclado do seu celular sugere a próxima palavra enquanto você digita. Um chatbot escreve redações inteiras, responde perguntas e traduz poemas. São o mesmo tipo de máquina? No coração dos dois existe uma tarefa surpreendentemente modesta: dado o texto até aqui, adivinhar o que vem depois. Esta última lição mostra até onde essa única pergunta pode levar e onde estão os limites dela.

Experimente

• Digite uma palavra comum no campo de texto e leia a lista de próximas palavras prováveis e as suas probabilidades. Elas fazem sentido com o que você sabe do texto?
• Mova o controle de temperatura para a esquerda e veja a palavra mais provável ficar com quase toda a probabilidade. Depois mova para a direita e veja as probabilidades se igualarem.
• Teste uma palavra que provavelmente é rara no texto curto. Com tão poucos exemplos para contar, quão confiáveis são as probabilidades que o modelo mostra?
• Siga uma cadeia à mão: digite a próxima palavra mais provável, depois a mais provável depois dela, e assim por diante. A frase que sai soa fluente? Ela chega a algum lugar?

A ideia em poucas palavras

Vamos ver agora, em palavras simples, o que você acabou de manipular.

Um modelo de linguagem atribui probabilidades ao que vem a seguir num texto. Depois de “Eu queria uma xícara de”, a palavra “chá” é provável, “café” também, “cascalho” quase nada. Com essas probabilidades, dá para gerar texto: escolher uma próxima palavra, acrescentá-la e perguntar de novo.

O modelo de linguagem mais simples possível é um modelo de bigramas. Ele lê um conjunto de textos (um corpus) e simplesmente conta qual palavra vem depois de qual. Nesta lição olhamos para um desses, construído com um texto curto escrito para este curso. Para cada palavra, o modelo conhece as palavras que vieram depois dela no corpus, com as suas probabilidades.

Pense numa pessoa que leu um único livro, muitas vezes, e cuja única habilidade é lembrar qual palavra vinha depois de qual. Peça para ela continuar uma frase, e ela vai produzir algo que soa vagamente como o livro — fluente de perto, sem rumo no todo. Essa pessoa é um modelo de bigramas.

Por que funciona

O modelo de bigramas estima a probabilidade da próxima palavra b depois da palavra a a partir de contagens:

P(próxima = b | atual = a) = contagem(a b) / contagem(a)

Se “xícara” aparece dez vezes no corpus e é seguida por “de” sete vezes, o modelo dá a “de” uma probabilidade de 0,7 depois de “xícara”. É só isso — contar e dividir. Aprender, mais uma vez, significa ajustar um modelo a exemplos, e a pontuação é o quanto ele prevê bem a próxima palavra de um texto real.

Para gerar texto, o modelo precisa escolher entre os candidatos, e aqui entra a temperatura. Uma temperatura baixa afia a distribuição: a palavra mais provável vence quase sempre, e o texto fica repetitivo e seguro. Uma temperatura alta achata a distribuição: palavras mais raras ganham uma chance real, e o texto fica mais variado e mais errático. A temperatura não muda o que o modelo sabe, só o quanto ele ousa ao sortear.

Um grande modelo de linguagem (LLM, na sigla em inglês) faz a mesma tarefa com três grandes melhorias. Primeiro, ele prevê tokens — pedaços de palavras —, então consegue lidar com qualquer palavra, mesmo uma que nunca viu inteira. Segundo, em vez de olhar só a palavra anterior, ele é uma rede neural, geralmente um transformer (apresentado em 2017), cujo mecanismo de atenção permite que cada posição olhe para trás por milhares de tokens anteriores e decida quais importam. Terceiro, as probabilidades dele não são contagens, e sim saídas de uma rede com bilhões de pesos, treinada exatamente com as ferramentas deste curso: a perda logarítmica da lição 5 sobre o próximo token, minimizada pela descida de gradiente da lição 4, com a retropropagação da lição 11. Treinada com uma quantidade enorme de texto, a tarefa de adivinhar força a rede a captar gramática, fatos e padrões de raciocínio, porque tudo isso ajuda a prever o que vem depois.

Erro comum

O maior mal-entendido sobre modelos de linguagem é achar que eles procuram as respostas. Eles não consultam um banco de dados; produzem a continuação que o treinamento tornou provável. Na maioria das vezes, ela também é a verdadeira, mas nem sempre — quando o plausível e o verdadeiro se separam, o modelo afirma uma falsidade com fluência, e isso se chama alucinação. O segundo erro é tratar a temperatura como um botão de qualidade. Temperatura baixa não é “mais correta”, só mais previsível; ela combina com respostas factuais, enquanto uma temperatura mais alta combina com brainstorming.

Essa é a jornada inteira: de um limiar numa medida de um tumor a uma rede que prevê a próxima palavra de tudo o que já foi escrito. A receita nunca mudou — uma família de modelos, uma pontuação, uma busca e um teste honesto com dados que o modelo nunca viu. Os links para o Atlas logo abaixo são o lugar para se aprofundar em qualquer etapa.

import re
from collections import Counter

src = open("site-src/course/labs/next-token.corpus.js", encoding="utf-8").read()
text = re.search(r"en: `(.*?)`", src, re.S).group(1)  # as frases em inglês do lab
words = re.findall(r"[a-z']+", text.lower())
after_the = Counter(b for a, b in zip(words, words[1:]) if a == "the")
counts = after_the.most_common()
print(f'"the" seen {sum(after_the.values())} times, {len(after_the)} different next words, top: {counts[:3]}')
for t in (1, 0.5, 0.1, 3):
    w = {b: c ** (1 / t) for b, c in counts}
    print(f"temperature {t}: P(morning | the) = {w['morning'] / sum(w.values()):.1%}")

"the" seen 42 times, 26 different next words, top: [('morning', 4), ('cup', 3), ('garden', 3)]
temperature 1: P(morning | the) = 9.5%
temperature 0.5: P(morning | the) = 18.6%
temperature 0.1: P(morning | the) = 85.0%
temperature 3: P(morning | the) = 5.3%