Redes neurais: muitas unidades simples juntas

A regressão logística da lição 5 só consegue traçar uma fronteira reta. Árvores só conseguem traçar caixas. Mas e se as classes se enroscarem umas nas outras? Você poderia tentar inventar à mão a curva certa para cada problema — ou poderia construir um modelo com peças tão simples que cada uma só sabe traçar uma reta, e deixar que a combinação trace qualquer coisa. Essa é a aposta das redes neurais.

Experimente

• Coloque o controle de unidades ocultas no menor valor e clique em Treinar. Olhe as regiões de decisão: quantas bordas retas você consegue ver?
• Aumente o número de unidades ocultas e clique em Treinar de novo. Veja as fronteiras se curvarem e compare a acurácia.
• Coloque o controle de unidades ocultas no maior valor e treine. As regiões começam a se curvar em volta de flores específicas? Pergunte-se se uma flor nova que caísse num desses bolsões seria mesmo daquela espécie.
• Olhe as flores onde duas espécies se sobrepõem. Alguma fronteira consegue separá-las usando só essas duas medidas?

A ideia em poucas palavras

Vamos ver agora, em palavras simples, o que você acabou de manipular.

Uma rede neural é feita de pequenas unidades chamadas neurônios. Cada neurônio faz algo que já conhecemos: calcula uma soma ponderada das entradas, soma um intercepto e passa o resultado por uma função simples que o dobra, chamada função de ativação. Um neurônio sozinho é quase uma regressão logística; ele consegue separar o plano com uma reta.

Os neurônios são organizados em camadas. As entradas (aqui, duas medidas da flor) alimentam uma camada oculta de neurônios, e cada um deles traça a sua própria reta e informa a que distância, e de que lado, um ponto está. A camada de saída combina esses relatos na decisão final. Como cada neurônio oculto dobra o seu sinal, combiná-los produz fronteiras com cantos e curvas.

Imagine uma equipe de vigias bem simples guardando um campo. Cada vigia só consegue dizer “o intruso está à minha esquerda” ou “à minha direita” de uma única cerca reta. Um vigia sozinho não ajuda muito. Mas uma supervisora que ouve muitos vigias, cada um com a sua cerca num lugar diferente, consegue delimitar regiões de quase qualquer formato.

Por que funciona

Um neurônio calcula

saída = f(w · x + b)

em que x é a lista de entradas, w os pesos, b o intercepto e f a ativação. Sem f, empilhar camadas não serviria para nada: uma soma ponderada de somas ponderadas continua sendo uma única soma ponderada, então a rede inteira traçaria uma única reta. A ativação é a dobra que fica. Com ela, cada neurônio oculto acrescenta uma dobra, e dobras suficientes conseguem aproximar qualquer fronteira razoável. Mais unidades ocultas significam mais dobras possíveis — mais flexibilidade, que, como a lição 7 ensinou, é uma faca de dois gumes.

Os pesos são aprendidos com as ferramentas das lições 4 e 5. A rede faz previsões, a perda logarítmica mede o quanto elas erram e a descida de gradiente empurra cada peso morro abaixo. O único truque novo é como encontrar o gradiente dos pesos que estão lá no fundo da rede: um algoritmo chamado retropropagação (backpropagation) aplica a regra da cadeia do cálculo de trás para frente, a partir da saída, camada por camada, dizendo a cada peso quanto ele contribuiu para o erro.

O exemplo desta lição é o conjunto de dados Iris: 150 flores de três espécies, 50 de cada, que ficou famoso com um artigo de Ronald Fisher de 1936. Usamos duas das quatro medidas, então cada flor é um ponto num plano, e a rede treinada atribui uma espécie prevista a cada lugar desse plano.

A ideia é antiga — Frank Rosenblatt construiu o perceptron, um único neurônio treinável, em 1958 —, mas as redes só passaram a dominar quando os dados, o poder de computação e os truques de treinamento cresceram o bastante para treinar muitas camadas.

Erro comum

“Neural” sugere um cérebro, e essa sugestão engana. Um neurônio artificial é uma soma ponderada com uma dobra, não um modelo de uma célula biológica, e uma rede não entende de flores; ela ajusta uma função a exemplos. O erro prático é supor que maior é sempre melhor. Uma rede com muitas unidades ocultas num conjunto de dados pequeno consegue decorar exatamente como uma árvore profunda ou um polinômio de grau alto. O tamanho dela precisa ser escolhido com dados de validação, e o treinamento precisa ser acompanhado de olho na mesma distância entre treino e teste que vimos na lição 7.

Empilhe camadas suficientes, alimente-as com texto suficiente, e uma tarefa de previsão vira algo que escreve. Na última lição vemos como uma rede aprende linguagem adivinhando a próxima palavra.

Quer ir mais fundo? O curso de redes neurais começa com um único neurônio (PL).

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.neural_network import MLPClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

X, y = load_iris(return_X_y=True)
X = X[:, :2]  # comprimento e largura da sépala, como no lab
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.5, stratify=y, random_state=1)
for h in (2, 32):
    net = make_pipeline(StandardScaler(), MLPClassifier(hidden_layer_sizes=(h,), activation="tanh", solver="lbfgs", max_iter=5000, random_state=0))
    net.fit(X_tr, y_tr)
    print(f"{h:2d} hidden units: train {net.score(X_tr, y_tr):.1%}, test {net.score(X_te, y_te):.1%}")

 2 hidden units: train 84.0%, test 74.7%
32 hidden units: train 96.0%, test 66.7%