Uma jogadora de basquete acerta 3 dos seus 4 primeiros lances livres. Qual é a taxa de acerto verdadeira dela, p? A estatística clássica responde com um número, 3/4. A estatística bayesiana responde com uma distribuição inteira para p, construída com três ingredientes: a verossimilhança (o quanto cada p possível explica os dados), a priori (o que você acreditava sobre p antes dos dados) e a regra de Bayes, que multiplica as duas e dá a posteriori (o que você acredita depois). Este capítulo constrói cada ingrediente separadamente, com a binomial para os dados e a distribuição beta para a crença, porque esse par é onde quase todo curso e lista de exercícios começa.
Ao final você vai conseguir
- Escrever a verossimilhança de um conjunto de observações e dizer por que ela não é uma distribuição de probabilidade para p.
- Achar o valor de p que torna os dados mais prováveis, y/n, pela log-verossimilhança.
- Ler uma priori Beta(a, b) como uma crença: seu centro, sua força a + b, e escolher a e b a partir de uma frase.
- Transformar uma priori beta e dados binomiais na posteriori Beta(a + y, b + n − y), e explicar por quê.
- Responder perguntas com a posteriori: sua média, P(p > ½), um intervalo, a chance do próximo sucesso.
Cada lance livre é uma tentativa com dois resultados, acerto ou erro, e supomos a mesma chance de acerto p toda vez e nenhuma influência entre os lances (tentativas independentes). Então o número de acertos Y em n lances tem a distribuição binomial, vista no capítulo Distribuições comuns.
Antes dos lances, p está fixo e Y é desconhecido: a fórmula diz quão provável é cada contagem. Depois dos lances é o contrário. Os dados são conhecidos, y = 3 de n = 4, e p é o que não sabemos. Mantenha os dados fixos e deixe p variar: a mesma expressão agora diz, para cada p candidato, quão provável teria sido ver os dados que você de fato viu. Essa função de p é a verossimilhança, L(p).
| probabilidade: p = ½ fixo, y varia | y = 0 | y = 1 | y = 2 | y = 3 | y = 4 | total |
|---|---|---|---|---|---|---|
| P(Y = y | ½) | 1/16 | 4/16 | 6/16 | 4/16 | 1/16 | 1 |
| verossimilhança: y = 3 fixo, p varia | p = 0 | p = ¼ | p = ½ | p = ¾ | p = 1 | área |
|---|---|---|---|---|---|---|
| L(p) = 4p³(1 − p) | 0 | 0.047 | 0.250 | 0.422 | 0 | 1/5 |
A primeira linha é uma distribuição de probabilidade: seus valores somam 1. A segunda não é. Seus valores são probabilidades do mesmo evento (3 acertos) sob hipóteses diferentes, e nada os obriga a somar coisa alguma: a área sob L(p) de 0 a 1 é ∫ 4p³(1 − p) dp = 4(1/4 − 1/5) = 1/5. Então a verossimilhança compara valores de p entre si (p = ¾ explica 3 acertos em 4 cerca de 1,7 vez melhor que p = ½, pois 0,422/0,25 ≈ 1,7), mas ainda não é uma crença sobre p. Transformá-la em uma é o trabalho da priori e da regra de Bayes.
Montando uma verossimilhança, passo a passo
A binomial é um caso de uma receita geral que funciona para qualquer modelo:
| passo | o que fazer | para os lances acerto, acerto, erro, acerto |
|---|---|---|
| 1 | Escreva a probabilidade de uma observação, como função do desconhecido. | acerto: p; erro: 1 − p |
| 2 | Observações independentes: multiplique. | p · p · (1 − p) · p |
| 3 | Simplifique, e leia o resultado como função do desconhecido. | L(p) = p³(1 − p) |
| 4 | Descarte todo fator que não contém o desconhecido. | nada a descartar aqui |
Essa verossimilhança, para os lances naquela ordem, é p³(1 − p). A binomial, para “3 acertos em alguma ordem”, é 4p³(1 − p). Elas diferem só pela constante 4, o número de ordens, então ordenam todo valor de p do mesmo jeito e levam às mesmas conclusões. Registrando a ordem ou só a contagem, a informação sobre p é a mesma.
O valor mais bem apoiado: y/n
O valor de p onde L é mais alta se chama estimativa de máxima verossimilhança, p̂. Para achá-la, tire o logaritmo primeiro: ln transforma o produto numa soma, mais fácil de derivar, e como ln só cresce, L e ln L têm o pico no mesmo lugar.
Então o valor que os dados sozinhos apoiam melhor é a proporção observada, que é o que o bom senso diz. O que a verossimilhança acrescenta é a largura: com 3 de 4 a curva é larga e muitos valores são quase tão bons; com 30 de 40 ela tem o mesmo pico mas é bem mais estreita. A figura abaixo mostra as duas.
| modelo de uma observação | verossimilhança de n observações | máximo em |
|---|---|---|
| sucesso ou fracasso, chance p | pʸ(1 − p)ⁿ⁻ʸ | y / n |
| uma contagem com taxa de Poisson λ | λ^(x₁ + … + xₙ) e^(−nλ) | a média das contagens x̄ |
| uma medida, normal com média μ e σ conhecido | exp(−Σ(xᵢ − μ)² / 2σ²) | a média x̄ |
Antes de ver a jogadora você não está totalmente no escuro: a maioria dos jogadores acerta entre 50 % e 90 % dos lances livres. Uma priori é uma distribuição de probabilidade para p que diz quão plausível é cada valor antes dos dados. Como p vive em [0, 1], a família natural é a distribuição beta do capítulo Distribuições comuns.
| priori | média | desvio padrão | o que ela diz |
|---|---|---|---|
| Beta(1, 1) | 0.5 | 0.289 | plana: todo valor de p igualmente plausível, “não faço ideia” |
| Beta(2, 2) | 0.5 | 0.224 | um palpite leve de que p está perto de ½, fácil de derrubar |
| Beta(10, 10) | 0.5 | 0.109 | bem seguro de que p está perto de ½, vale 20 tentativas de evidência |
| Beta(8, 2) | 0.8 | 0.121 | p provavelmente é alto, por volta de 0,8 |
| Beta(½, ½) | 0.5 | 0.354 | em forma de U: p provavelmente está perto de 0 ou de 1, raramente no meio |
Escolhendo a e b a partir de uma frase
Uma crença costuma vir em palavras: “acho que ela acerta uns 70 %, e tenho tanta certeza quanto se tivesse visto 10 lances”. O centro dá a média, o “tanta certeza quanto” dá a força. Se em vez disso você consegue dizer quão incerto está, como um desvio padrão s, use a variância da beta, v = s², para achar a força.
A regra de Bayes para eventos dizia: P(A | B) é P(A) vezes P(B | A), dividido por P(B). Com uma faixa inteira de valores de p ela diz a mesma coisa valor a valor: a nova plausibilidade de cada p é a plausibilidade antiga, vezes o quanto ele explica bem os dados, dividida por um único total que faz tudo somar 1.
Quando a priori e a posteriori pertencem à mesma família, a priori é chamada conjugada da verossimilhança; a beta é conjugada da binomial. Para a jogadora, uma priori leve Beta(2, 2) e 3 acertos em 4 dão a posteriori Beta(5, 3). A média é 5/8 = 0,625, o ponto mais alto (a moda, (a′ − 1)/(a′ + b′ − 2)) é 4/6 ≈ 0,667, e o desvio padrão é √(5 · 3 / (8² · 9)) ≈ 0,161.
Âmbar: o que você acreditava antes dos dados (a priori). Azul tracejado: o quanto cada p explica y sucessos em n tentativas (a verossimilhança, reescalada para área 1). Verde: a posteriori, priori vezes verossimilhança, reescalada. Os triângulos sob o eixo marcam os três centros: a média a posteriori sempre fica entre a média a priori e y/n, à fração w do caminho que vai de y/n até a média a priori. Experimente uma priori firme com poucos dados, depois aumente n mantendo a mesma proporção de sucessos: a priori deixa de importar e a curva verde se estreita sobre y/n.
A média a posteriori é um meio-termo
Conforme os dados crescem, w = (a + b)/(a + b + n) encolhe em direção a 0, e a média a posteriori vai para y/n. Duas pessoas que começam de prioris diferentes acabam concordando quando há dados suficientes. Com a mesma taxa de acerto de 75 %:
| dados | posteriori (priori Beta(2, 2)) | média | desvio padrão | w |
|---|---|---|---|---|
| 3 / 4 | Beta(5, 3) | 0.625 | 0.161 | 0.50 |
| 30 / 40 | Beta(32, 12) | 0.727 | 0.066 | 0.09 |
| 300 / 400 | Beta(302, 102) | 0.748 | 0.022 | 0.01 |
Atualizando em lotes
A posteriori de hoje é a priori de amanhã. Depois de 3 acertos em 4 a crença é Beta(5, 3). Se ela depois acerta mais 2 de 3, some de novo: Beta(5 + 2, 3 + 1) = Beta(7, 4). Usando todos os dados de uma vez, 5 acertos em 7 a partir da Beta(2, 2) original, dá Beta(2 + 5, 2 + 2) = Beta(7, 4), a mesma. A ordem em que a evidência chega não importa, só os totais.
A posteriori é a resposta completa; perguntas sobre p são lidas nela. As mais comuns:
| pergunta | como | Beta(5, 3) |
|---|---|---|
| um melhor palpite único | a média a posteriori a′/(a′ + b′) | 0.625 |
| o valor mais plausível | a moda (a′ − 1)/(a′ + b′ − 2) | 0.667 |
| ela é melhor que 50 %? | P(p > ½): a área da posteriori à direita de ½ | 99/128 ≈ 0.773 |
| uma faixa de valores plausíveis | um intervalo com 95 % da área (um intervalo de credibilidade) | veja abaixo |
| o próximo lance vai entrar? | a média de p sobre a posteriori, que é a média dela | 5/8 |
Para a e b inteiros existe um atalho sem integral. Uma variável Beta(a, b) tem a mesma distribuição que o a-ésimo menor de a + b − 1 pontos jogados ao acaso, de modo uniforme, em [0, 1]. Esse ponto fica acima de x exatamente quando no máximo a − 1 dos pontos caem abaixo de x, e o número de pontos abaixo de x é binomial. Então P(p > x) = P(Binomial(a + b − 1, x) ≤ a − 1). Para Beta(5, 3) e x = ½: P(Bin(7, ½) ≤ 4) = (1 + 7 + 21 + 35 + 35)/128 = 99/128, a mesma resposta.
Um intervalo exato de 95 % precisa dos quantis da beta (uma tabela ou um programa). Com mais dados a posteriori fica perto de uma curva normal, e média ± 1,96 desvio padrão é uma boa aproximação: para 30 de 40, Beta(32, 12) dá 0,727 ± 1,96 · 0,066, mais ou menos [0,60; 0,86]. Diferente de um intervalo de confiança clássico, este significa o que as pessoas geralmente querem que signifique: dados os dados e a priori, p está nele com probabilidade 95 %.
Uma rodada de 10 perguntas
Acerte quantas conseguir. Os erros voltam no final, numa rodada de revisão.
Cada exercício é criado na hora, então uma rodada nova nunca é igual. O computador escolhe a resposta primeiro e monta a pergunta em volta dela, trabalhando com frações exatas, por isso o gabarito está sempre certo. As respostas são lidas de forma exata: 0,75, 3/4 e 6/8 contam como o mesmo número (quando a forma irredutível é pedida, 6/8 só recebe um lembrete). Uma resposta errada mostra a resolução linha por linha, na ordem em que a lição faz; o número novo de cada linha aparece colorido.
| Errado | Certo | Por quê |
|---|---|---|
| a verossimilhança é a probabilidade de p | é a probabilidade dos dados, para cada p | a área dela não é 1 (1/5 para 3 de 4); só priori × verossimilhança, reescalada, é uma distribuição para p |
| Beta(a, b) → Beta(a + y, b + n) | Beta(a + y, b + n − y) | b acumula os fracassos, n − y, não todas as tentativas |
| a média a priori é (a − 1)/(a + b − 2) | a / (a + b) | essa é a moda, o ponto mais alto; as duas diferem a não ser que a = b |
| carregar C(n, y) e B(a, b) pela atualização | descarte-as, depois dê nome à beta | a constante da posteriori é fixada por a área ser 1 |
| uma priori forte nunca pode ser derrubada | o peso dela é (a + b)/(a + b + n) | com dados suficientes o peso vai para 0 |
| P(próximo sucesso) = y/n | a média a posteriori (a + y)/(a + b + n) | y/n ignora a priori; com 4 de 4 alegaria certeza |
Ideias-chave
- A verossimilhança é a probabilidade dos dados lida como função do desconhecido: dados fixos, p varia. Ela não é uma distribuição para p.
- Monte-a multiplicando as probabilidades de observações independentes e descartando fatores sem p: pʸ(1 − p)ⁿ⁻ʸ.
- O máximo dela fica na proporção observada y/n; a largura mostra o quanto os dados fixam p.
- Uma priori Beta(a, b) está centrada em a/(a + b) e é tão firme quanto a + b tentativas; escolha a e b a partir de uma média e uma força.
- Posteriori ∝ priori × verossimilhança. Beta(a, b) com y de n dá Beta(a + y, b + n − y).
- A média a posteriori é uma média ponderada da média a priori e de y/n, com peso da priori (a + b)/(a + b + n).
- Os lotes podem ser somados um de cada vez ou todos de uma vez; o resultado é o mesmo.
- P(p > x) para a, b inteiros é P(Binomial(a + b − 1, x) ≤ a − 1); a próxima tentativa dá sucesso com a média a posteriori.