Naive Bayes: suposição falsa, boas decisões

Uma médica vê febre e tosse. Até que ponto isso indica gripe? O naive Bayes responde assim: pegue o quanto a gripe é comum em geral (esse é o prior), multiplique pelo quanto a febre é típica em quem tem gripe e pelo quanto a tosse é típica nessas pessoas. Faça o mesmo para outras doenças e escolha o maior produto. O modelo é “ingênuo” porque multiplica os sintomas como se, dentro de cada doença, eles fossem independentes entre si. Em dados reais, quase nunca são.

Experimente

• Comece pelas sépalas. Como estão dispostas as elipses das espécies, e onde fica a sonda quando o modelo hesita?
• Mude para as pétalas. Em qual espécie as medidas se correlacionam mais, e quanto o modelo acerta na validação?
• Vá para os tumores. Compare só o raio com o trio raio, perímetro, área. O que acontece com a confiança, e o que acontece com a acurácia?
• Com as 10 medidas, conte quantos tumores de calibração recebem confiança acima de 99%.

Depois de conferir no lab, vamos dar nome ao que você vê.

A ideia em palavras simples

Para cada espécie, o naive Bayes guarda só dois números por medida: a média e a dispersão (variância). Com eles faz uma curva em sino: o quanto um certo comprimento de pétala é típico para setosa, para versicolor, para virginica. Uma flor nova recebe um produto por espécie: prior × densidade do comprimento × densidade da largura. O maior vence. Dividindo cada produto pela soma dos três, você obtém as probabilidades das espécies, o posterior.

A independência é uma suposição sobre a forma: as elipses das espécies ficam alinhadas com os eixos, não inclinadas. Nas pétalas isso é falso, em versicolor r = 0,80. Mesmo assim o modelo acerta 97,1% na validação e 93,3% no teste. Uma decisão não precisa de produtos exatos, só que a espécie certa tenha o maior. Nas pétalas, as espécies estão separadas o bastante para que até elipses tortas costumem apontar para o lado certo.

Com as porcentagens a coisa é pior. Nos tumores de mama, o raio, o perímetro e a área são quase uma medida só: o raio se correlaciona com o perímetro com r = 0,998 e com a área com r = 0,987. O naive Bayes os multiplica como três evidências independentes, então conta a mesma evidência três vezes. Nas 132 biópsias de calibração da lição 2.4, só o raio dá acurácia de 88,6% e confiança média declarada de 89,2%. Raio, perímetro e área juntos: acurácia 86,4%, confiança 96,5%. Três cópias sobem, portanto, a confiança, não a acurácia. As 10 medidas trazem também informação nova, como textura e suavidade: a acurácia sobe para 93,9%, mas a confiança (98,5%) continua acima dela.

Jak to policzono

• Íris: Iris (Fisher, 1936; UCI, licença CC BY 4.0), 150 flores, 3 espécies. Divisão estratificada: 105 flores para aprender, 45 para o teste. Validação: validação cruzada em 5 partes dentro das 105 flores.
• Tumores: Breast Cancer Wisconsin (Diagnostic) (Wolberg et al., 1993; UCI, licença CC BY 4.0), 569 biópsias, 10 medidas “mean”. Divisão e nomes como na lição 2.4: 266 biópsias para aprender, 132 de calibração (nelas o lab compara os conjuntos de medidas) e 171 de validação, só para olhar.
• Modelo: naive Bayes com distribuição normal, como o GaussianNB do scikit-learn; os números do lab batem com ele.

Por que funciona

Um classificador só erra quando uma espécie errada recebe o maior produto. Domingos e Pazzani (1997) mostraram que, por esse critério, o naive Bayes pode ser o melhor possível mesmo com atributos muito dependentes: o que conta é a ordem dos produtos, não o valor deles. A suposição tem, porém, um preço. Um modelo que leva a correlação em conta (elipses inclinadas, a chamada análise discriminante quadrática, QDA) acerta nas pétalas em média 97,1% em outras 20 divisões, contra 95,8% do naive Bayes. É melhor em 11 divisões e pior em nenhuma. Nas sépalas, o naive Bayes se sai em média melhor: 80,0% contra 78,8%. Costuma-se explicar isso por ele ter menos números para estimar a partir de 105 flores.

O excesso de confiança não é capricho de uma divisão. Em outras 20 divisões dos tumores, só o raio dá uma diferença entre confiança e acurácia de −3,6 a 2,2 pontos. Raio, perímetro e área juntos dão sempre mais confiança que acurácia: de 4,9 a 11,5 pontos. As 10 medidas: de 4,7 a 10,8 pontos.

Um erro comum

Verdadeiro ou falso: “suposição falsa é modelo inútil”. Falso. Nas pétalas a suposição de independência é claramente falsa, e o modelo acerta 93,3% das flores de teste. No código abaixo, ele faz 0,960 na validação cruzada, quase tanto quanto o modelo com correlações (0,973). O que a suposição falsa estraga são as porcentagens: com as 10 medidas do tumor, o modelo declara 0,990 e acerta 0,906.

A conclusão prática: confie nas decisões do naive Bayes até onde a validação mostra. Não confie nas porcentagens dele sem calibrá-las em dados separados (lição 2.4).

from sklearn.datasets import load_iris, load_breast_cancer
from sklearn.model_selection import cross_val_score, train_test_split
from sklearn.naive_bayes import GaussianNB
from sklearn.discriminant_analysis import QuadraticDiscriminantAnalysis

iris = load_iris(as_frame=True)
for part in ["sepal", "petal"]:
    cols = [f"{part} length (cm)", f"{part} width (cm)"]
    r = iris.data[iris.target == 1][cols].corr().iloc[0, 1]  # correlação dentro de versicolor
    nb = cross_val_score(GaussianNB(), iris.data[cols], iris.target, cv=10).mean()
    qda = cross_val_score(QuadraticDiscriminantAnalysis(), iris.data[cols], iris.target, cv=10).mean()
    print(f"{part}s: versicolor r = {r:.2f}; 10-fold CV accuracy: naive Bayes {nb:.3f}, with correlations (QDA) {qda:.3f}")
bc = load_breast_cancer(as_frame=True)
X, y = bc.data.iloc[:, :10], 1 - bc.target
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.3, stratify=y, random_state=0)
for cols in [["mean radius"], ["mean radius", "mean perimeter", "mean area"], list(X.columns)]:
    p = GaussianNB().fit(X_tr[cols], y_tr).predict_proba(X_te[cols])
    acc, conf = (p.argmax(1) == y_te).mean(), p.max(1).mean()
    print(f"{len(cols):2d} of 10 measurements: accuracy {acc:.3f}, mean declared confidence {conf:.3f}, over 99% sure: {(p.max(1) > 0.99).sum()} of {len(y_te)}")

sepals: versicolor r = 0.53; 10-fold CV accuracy: naive Bayes 0.793, with correlations (QDA) 0.773
petals: versicolor r = 0.79; 10-fold CV accuracy: naive Bayes 0.960, with correlations (QDA) 0.973
 1 of 10 measurements: accuracy 0.883, mean declared confidence 0.884, over 99% sure: 26 of 171
 3 of 10 measurements: accuracy 0.895, mean declared confidence 0.969, over 99% sure: 127 of 171
10 of 10 measurements: accuracy 0.906, mean declared confidence 0.990, over 99% sure: 150 of 171