Regressão linear: ajustando uma reta

O peso corporal diz alguma coisa sobre a velocidade com que uma doença piora? Médicos têm muitos palpites desse tipo. O aprendizado de máquina permite transformar um palpite num número: traçar a melhor reta pelos dados e ler o quanto ela é inclinada. A única pergunta é o que “melhor” significa — e a resposta a essa pergunta é a semente de tudo o que vem a seguir neste curso.

Experimente

• Mova o controle da inclinação e veja a reta girar e o MSE mudar. Depois mova o do intercepto. Tente baixar o MSE o máximo possível à mão.
• Clique em Melhor ajuste e compare a reta de mínimos quadrados com a sua. Quão perto você chegou?
• Coloque a inclinação em zero, para a reta ficar plana, e mova só o intercepto até o MSE ficar o menor possível. Você acabou de encontrar a progressão média: sem nenhum atributo, o melhor palpite para todos é a média.
• Compare o MSE dessa reta plana com o do melhor ajuste. A diferença é o quanto vale conhecer o IMC.

A ideia em poucas palavras

Vamos ver agora, em palavras simples, o que você acabou de manipular.

Na lição 1, o modelo respondia “sim” ou “não”. Agora ele responde com um número, e isso se chama regressão. O modelo de regressão mais simples é uma reta:

previsão = inclinação × atributo + intercepto

A inclinação diz quanto a previsão muda quando o atributo aumenta uma unidade. O intercepto sobe ou desce a reta inteira. Aprender significa encontrar os dois números que fazem a reta passar o mais perto possível dos pontos.

Imagine um vendedor de carros usados que define preços pela idade do carro. A regra prática dele é uma reta: parte do preço de um carro zero (o intercepto) e desconta um valor fixo por ano de uso (a inclinação). Nenhum carro de verdade é vendido exatamente por esse preço, mas a reta captura a tendência e é fácil de explicar.

Nesta lição usamos dados de um estudo médico clássico com 442 pacientes com diabetes. Para cada um, sabemos o índice de massa corporal (IMC) e uma medida de quanto a doença progrediu um ano depois da primeira consulta. Assim, cada paciente é um par de números, ou seja, um ponto: o IMC na horizontal e a progressão na vertical.

Por que funciona

Para cada paciente, a reta faz uma previsão, e a diferença entre o valor real e a previsão se chama resíduo — a distância vertical do ponto até a reta. Para dar nota a uma reta, precisamos transformar centenas de resíduos num único número. A escolha padrão é o erro quadrático médio:

MSE = (1/n) · Σ (yᵢ − ŷᵢ)²

em que yᵢ é o valor real do paciente i, ŷᵢ é a previsão da reta e n é o número de pacientes. Elevar ao quadrado faz dois serviços. Torna todo erro positivo, para que erros acima e abaixo da reta não se anulem. E pune erros grandes muito mais que os pequenos: um ponto duas vezes mais longe da reta custa quatro vezes mais. Uma reta que erra um pouco para todo mundo costuma vencer uma que é perfeita para a maioria e péssima para alguns.

A reta com o menor MSE é chamada de ajuste por mínimos quadrados. Para uma reta, ela nem precisa ser procurada: uma fórmula curta, conhecida desde o começo do século XIX, dá a inclinação e o intercepto ótimos exatos. Repare no que isso significa. Aprender é a mesma receita de antes — uma família de regras (todas as retas possíveis), uma pontuação (o MSE) e a regra com a melhor pontuação —, só que agora a família é infinita e a pontuação é contínua.

Mais uma coisa para notar: mesmo a melhor reta deixa resíduos grandes nesses dados. O IMC tem relação com a progressão, mas está longe de explicar tudo. Um modelo só pode ser tão bom quanto a informação contida nos seus atributos.

Erro comum

Uma reta ajustada não é uma lei da natureza. Esquecer isso leva a dois erros clássicos. O primeiro é ler a inclinação como causa: nestes dados, pacientes com IMC mais alto progridem mais rápido em média, mas a reta sozinha não diz se o peso causa a progressão ou se as duas coisas vêm de outro fator. O segundo é a extrapolação — usar a reta muito fora da faixa dos dados. Os pacientes deste estudo têm IMC dentro de uma faixa limitada; a reta não diz nada confiável sobre valores que nunca viu.

Encontrar a melhor reta por fórmula é um luxo que a maioria dos modelos não tem. Na próxima lição encontramos a mesma reta de outro jeito — dando pequenos passos morro abaixo —, que é como as redes neurais aprendem.

from sklearn.datasets import load_diabetes
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score

X, y = load_diabetes(return_X_y=True, as_frame=True, scaled=False)
bmi = X[["bmi"]]  # uma variável, mantida como tabela (o sklearn espera entrada 2-D)
model = LinearRegression().fit(bmi, y)
pred = model.predict(bmi)

print(f"slope {model.coef_[0]:.2f}, intercept {model.intercept_:.1f}")
print(f"MSE of the line: {mean_squared_error(y, pred):.0f}")
print(f"MSE of the mean: {mean_squared_error(y, [y.mean()] * len(y)):.0f}")
print(f"R2: {r2_score(y, pred):.2f}")

slope 10.23, intercept -117.8
MSE of the line: 3890
MSE of the mean: 5930
R2: 0.34