Статистика прогнозов на футбол: как проверить выборку и проценты

Процент успешных прогнозов выглядит убедительно, пока не начинаются вопросы к выборке. Какие матчи вошли в расчёт? Все ли прогнозы были опубликованы до начала? Что считалось успехом? Статистика становится полезной только тогда, когда читатель может восстановить правила подсчёта.

Сначала определите, что именно измеряется

Фраза «72% точности» не имеет самостоятельного смысла. Она может означать долю верно выбранных победителей, долю событий с некоторым условием, совпадение одного из нескольких сценариев или результат на отобранной части матчей.

До сравнения цифр зафиксируйте четыре определения:

1. Объект: победитель, 1X2, тотал, обе забьют, точный счёт или другой исход.
2. Момент прогноза: например, за сутки до игры или после публикации составов.
3. Единица наблюдения: один матч, один исход или один полный набор вероятностей.
4. Правило результата: что заранее считается верным, ошибочным или неоцениваемым.

Без этих определений одинаковые проценты могут описывать совершенно разные задачи.

Проверьте знаменатель, а не только процент

Любая доля состоит из числителя и знаменателя. Запись «18 верных из 25» информативнее, чем «72%»: сразу видно размер выборки.

Но и этого недостаточно. Нужно знать, почему в расчёт вошли именно эти 25 матчей. Полезная выборка задаётся правилом до просмотра результатов, например: «все прогнозы 1X2 на матчи выбранного турнира, опубликованные с 1 по 31 июля не позднее чем за час до начала».

Плохое правило возникает после результата: «возьмём только матчи, где уверенность была высокой» — если граница высокой уверенности раньше не была определена.

Полная и последовательная выборка

Самый понятный способ проверки — выгрузить все подходящие прогнозы по порядку. Пропуски должны быть объяснены: перенос матча, отсутствие результата, техническая ошибка источника. Неудачный прогноз не может исчезнуть только потому, что портит итоговый процент.

Не смешивайте прогнозы, сделанные в разное время

Оценка за сутки до матча и оценка после подтверждения составов отвечают на разные информационные условия. Более поздняя версия может учитывать травму, ротацию или изменение места проведения.

Для каждой записи храните:

• дату и время публикации;
• запланированное время начала матча;
• версию прогноза;
• момент появления важной новой информации;
• итоговый результат.

Если прогноз обновился, сравнивайте либо только последние версии до общего отсечения, либо все версии как отдельную задачу обновления. Нельзя задним числом выбрать наиболее удачную.

Для 1X2 проценты должны описывать все исходы

В футболе прогноз 1X2 — это не только имя фаворита. Полный набор показывает вероятность победы хозяев, ничьей и победы гостей; в сумме они должны давать 100%.

Рассмотрим три условных прогноза:

Если считать только выбранного победителя, первый прогноз будет ошибкой, а два остальных — успехом. Но такая схема не видит разницу между осторожными 38% и уверенными 62%. Вероятностная оценка сохраняет эту информацию.

Подробно об устройстве трёх исходов рассказано в материале «Анализ 1X2 в футболе».

Доля угаданных исходов не равна качеству вероятностей

Представьте два метода. Первый во всех матчах даёт фавориту 51%, второй различает близкие встречи и явные преимущества. Если оба чаще называют одного и того же фаворита, доля верных победителей может совпасть, хотя полезность вероятностей различается.

Для проверки вероятностных прогнозов применяют правила оценки. В исходной работе Гленна Брайера ошибка строится на расстоянии между заявленными вероятностями и фактическим исходом. Чем больше уверенность в неслучившемся событии, тем сильнее штраф.

Для футбольного 1X2 исследователи также сравнивают Brier score, ранжированный вероятностный показатель и логарифмическую оценку. Важно не объявлять одну метрику универсальной: разные правила по-разному реагируют на ошибки, поэтому способ оценки следует выбрать заранее.

Что такое калибровка на понятном примере

Калибровка отвечает на вопрос: происходят ли события примерно с той частотой, которую им назначали?

Если собрать достаточно прогнозов с вероятностью победы хозяев около 60%, такие победы должны происходить примерно в шести случаях из десяти. Не ровно в каждой десятке: на коротком отрезке случайность создаёт заметные колебания.

Рабочая сводка может выглядеть так:

• Диапазон 40–49%: 120 прогнозов, средняя оценка 45%, фактическая доля исхода 43%.
• Диапазон 50–59%: 160 прогнозов, средняя оценка 55%, фактическая доля исхода 57%.
• Диапазон 60–69%: 95 прогнозов, средняя оценка 64%, фактическая доля исхода 61%.

Это условные числа, а не ориентир качества. Смысл таблицы — сравнить обещанную уверенность с наблюдаемой частотой и увидеть систематическое завышение или занижение.

В рекомендациях Всемирной метеорологической организации к свойствам вероятностного прогноза относятся надёжность, разрешающая способность, смещение и другие характеристики. Сам предмет там другой, но принцип проверки применим и к футбольным вероятностям: соответствие наблюдениям нельзя заменить одной красивой долей.

С чем сравнивать сложный прогноз

Метрике нужен простой ориентир. Иначе невозможно понять, добавил ли подробный метод что-то сверх очевидного выбора.

Базой может быть:

• одинаковая вероятность трёх исходов;
• историческая частота исходов в сопоставимом турнире;
• простая модель на голевых средних;
• общедоступная исходная оценка, зафиксированная в то же время.

Сравнение честно только при одинаковом наборе матчей и одинаковом моменте отсечения. Нельзя оценивать сложную модель на трудных встречах, а простую — на удобной подборке.

Семь вопросов к странице со статистикой

1. Виден размер выборки?

Процент без количества наблюдений скрывает масштаб случайности.

2. Описано правило включения матчей?

Читатель должен понимать турнир, период, тип прогноза и причины исключений.

3. Прогнозы зафиксированы до начала?

Нужны время публикации и история версий. Итоговая таблица без хронологии уязвима для исправлений задним числом.

4. Все исходы определены заранее?

Успех, ошибка, возврат, перенос и отсутствие данных должны иметь однозначные правила до подсчёта.

5. Есть ли вероятности, а не только выбранный исход?

Вероятности позволяют оценить уверенность и калибровку. Одна метка «победа хозяев» — нет.

6. Показаны неудачные периоды?

Полная временная шкала полезнее лучшего месяца. Выбор удобного фрагмента завышает впечатление о стабильности.

7. Есть ли простой ориентир?

Без базового метода неизвестно, улучшает ли сложный анализ результат или только усложняет объяснение.

Условный аудит отчёта

На странице заявлено: «74% верных прогнозов за сезон». Проверка показывает 37 успешных записей из 50. Однако за сезон опубликовано 86 материалов, а правила исключения 36 записей не объяснены. Часть прогнозов не содержит времени, а в нескольких постах одновременно названы два возможных исхода.

Корректный вывод здесь не «статистика ложная» и не «точность 74% подтверждена». Корректно сказать: опубликованных данных недостаточно для воспроизводимого расчёта. Чтобы показатель стал проверяемым, нужны полный реестр, заранее заданное правило исхода и отметки времени.

Теперь другой пример: 240 последовательных прогнозов 1X2 доступны в таблице, для каждого сохранены три вероятности, время и источник результата. Описаны исключения и заранее выбрана метрика. Даже если итоговая доля верных фаворитов ниже 74%, такая статистика полезнее: её можно независимо повторить и найти слабые места.

Как вести собственный журнал

Минимальная строка журнала содержит:

Не переписывайте старую строку после финального свистка. Если нужно исправление, добавьте новую версию и причину. Такой журнал помогает увидеть не только итоговую метрику, но и ситуации, где метод систематически ошибается: гостевые матчи, ранние туры, встречи после смены тренера или прогнозы до составов.

Короткий чек-лист

• Понятно, что означает заявленный процент?
• Видны числитель и знаменатель?
• Выборка последовательная и задана до просмотра результатов?
• Прогнозы опубликованы до матчей и имеют версии?
• Исключения перечислены и объяснены?
• Для 1X2 вероятности складываются в 100%?
• Проверяется калибровка, а не только победитель?
• Сравнение проведено на одинаковых матчах и времени?
• Есть простой базовый ориентир?
• Вывод не превращает прошлую статистику в обещание будущего результата?

Источники и методическая база

• Glenn Brier: проверка прогнозов, выраженных вероятностями
• Evaluating probabilistic forecasts of football matches
• Verification of probabilistic football forecasts: scoring and diagnostic approaches
• WMO: свойства и проверка вероятностных прогнозов

Статистика футбольных прогнозов полезна не тогда, когда показывает самый высокий процент, а когда позволяет повторить подсчёт. Полная выборка, заранее определённые правила, сохранённая хронология и проверка вероятностей дают основание судить о методе — без обещаний, которых данные не могут подтвердить.