Desempenho do Modelo ValorFinal: o quanto ele acerta

Como a avaliação é feita

Cada partida já disputada é prevista com a informação que existia antes dela. As forças dos clubes são reconstruídas jogo a jogo, e a força só é atualizada depois que a partida daquele instante foi prevista. Partidas com o mesmo horário são previstas em bloco pelo mesmo motivo: quem olhasse para a rodada antes dela começar não conhecia nenhum dos resultados.

Nenhuma informação do futuro entra na conta. É esse cuidado que separa uma avaliação de um exercício de memória, e ele é fácil de perder sem perceber: bastaria usar o primeiro jogo de um domingo para prever o segundo.

As primeiras rodadas ficam de fora do resultado principal. O modelo começa a temporada tratando todos os clubes como iguais, então uma previsão feita na segunda rodada não mede o modelo, mede a ausência de informação. A avaliação começa na 6ª rodada.

O modelo contra as referências

Um número solto não diz se um modelo é bom. Duas referências entram na comparação, e as duas são deliberadamente simples.

O palpite cego dá 33,3% para cada desfecho e não sabe nada. Ganhar dele é o mínimo absoluto. A taxa média da temporada aplica a todos os jogos a frequência com que mandante venceu, empatou e perdeu no campeonato inteiro, que nesta temporada foi de 46,7%, 29,1% e 24,2%. Essa referência é injusta a favor dela: ela já conhece o resultado agregado da temporada, coisa que o modelo não conhece enquanto ela acontece. Está aqui de propósito, para não deixar o modelo parecer melhor do que é.

O ganho em RPS é a redução do erro em relação ao palpite cego. Nas três medidas de probabilidade, menor é melhor.

A leitura honesta desta tabela: o modelo ganha com folga do palpite cego e ganha por pouco da taxa média da temporada. Em outras palavras, saber quem está jogando acrescenta menos do que a intuição sugere num campeonato equilibrado como o Brasileirão, em que o mando de campo explica boa parte do que acontece. Isso não é defeito de implementação, é característica da competição, e vale dizer em voz alta em vez de esconder atrás de um número grande de simulações.

Calibração: a probabilidade quer dizer o que ela diz?

Esta é a pergunta que mais importa para quem vai citar o número. As previsões são agrupadas por faixa de probabilidade, e cada faixa compara o que foi previsto com o que de fato aconteceu.

Cada partida entra três vezes, uma por desfecho possível, porque cada uma das três probabilidades é uma afirmação que pode ser conferida. Faixas com poucas previsões oscilam muito e não devem ser lidas isoladamente.

O que a tabela mostra, além da calibração em si, é que as probabilidades deste modelo são concentradas: quase tudo cai entre 20% e 50%, e previsões acima de 60% são raras. Isso tem uma causa direta. O rating separa os clubes por menos do que a intuição espera, porque ele só usa os resultados desta temporada e o Brasileirão é equilibrado. Um modelo mais confiante acertaria mais quando estivesse certo e erraria mais feio quando estivesse errado, e a seção seguinte explica por que essa troca ainda não foi feita.

Por que o modelo não foi ajustado, mesmo com um ajuste à vista

Uma varredura de parâmetros foi feita sobre esta temporada, variando a velocidade de ajuste do rating, o peso do mando de campo e a sensibilidade da conversão de força em gols. Oitenta configurações entraram, e a melhor delas reduziu o RPS de 0,2165 para algo em torno de 0,212, uma melhora de aproximadamente 2%.

Essa melhora não foi adotada, e a razão é metodológica. No teste pareado partida a partida, a diferença ficou em torno de 1,5 desvio padrão do erro, o que não passa em nenhum critério razoável de significância, e a configuração vencedora melhorou o resultado em pouco mais da metade das partidas, praticamente um cara ou coroa. Além disso, escolher o melhor entre oitenta candidatos sobre a mesma amostra que serviu para medir é a definição de ajuste ao passado: a melhora esperada por puro acaso, nessas condições, é da ordem da melhora encontrada.

A conclusão é que a direção sugerida pela varredura, um modelo um pouco mais confiante, é plausível e coerente com a concentração observada na calibração, mas uma temporada com menos de duzentas partidas avaliáveis não sustenta a mudança. A reavaliação será feita com a temporada fechada e, principalmente, com mais de uma temporada, quando o ajuste puder ser estimado num período e testado em outro. Se a evidência aparecer, a versão do modelo sobe e a mudança fica registrada na metodologia.

Este parágrafo existe para ser lido por quem desconfia. Um produto que mostra apenas os números que o favorecem não merece ser citado como fonte.

Desempenho por fase do campeonato

O modelo não é igualmente bom o ano inteiro. No começo, o rating ainda não separou os clubes; no fim, times já classificados ou já rebaixados jogam de um jeito que nenhum resultado passado explica.

Trechos com poucas dezenas de partidas variam bastante. A tabela serve para mostrar a tendência, não para comparar um trecho com o outro casa decimal a casa decimal.

O que ainda não é medido

As probabilidades de título, de Libertadores e de rebaixamento não aparecem nesta página, e isso é intencional. Elas só podem ser avaliadas com temporadas terminadas, porque uma probabilidade publicada na 25ª rodada só vira acerto ou erro quando a 38ª acontece. Uma temporada inteira dá vinte observações, uma por clube, e vinte observações não fecham uma curva de calibração.

O arquivo de fotografias por rodada existe exatamente para tornar essa medição possível. A partir do fim desta temporada, cada fotografia arquivada vira um par de previsão e desfecho, e a avaliação das probabilidades de temporada será publicada aqui com o mesmo tratamento: métrica, referência e limitação declarada.

Também não é medido o erro da projeção de pontos e de posição final, pelo mesmo motivo. Ele será, com o campeonato fechado, comparando a pontuação projetada em cada rodada com a pontuação real do fim.

Estimativa, não previsão. Ferramenta matemática e educativa, sem relação com apostas. Como validamos os cálculos.

Perguntas frequentes