Результаты хорошие, потому что... мы их подогнали

Отсылка к известному мему, потому что я сегодня хочу поговорить с вами не столько про ошибки в расчётах, сколько про ошибки в постановке целей и критериев их достижения.

Так называемый закон (принцип) Гудхарта гласит:

Когда мера становится целью, она перестает быть хорошей мерой

Изначальное утверждение звучало чуть иначе: «Наблюдаемая статистическая закономерность склонна разрушаться, если на нее оказывается давление с целью контроля».
Гудхарт говорил о функции спроса на деньги в Великобритании, указывая, что при таргетировании денежной массы нарушилась связь между номинальными ставками и предложением денег.

Сейчас же этот принцип вспоминают в очень многих ситуациях, когда на KPI смотрят больше, чем на суть происходящего.

Разберём конкретные примеры, когда это видно в IT и жизни:

Любые метрики разработки а-ля «количество пофикшенных багов», «количество коммитов», «количество изменённых строк»
— Нужно пофиксить баг? Окей, но сначала создадим его!
— Почему-то растёт доля коммитов с названиями вроде the very final fix v5, revert the very final fix v5

Другие количественные характеристики в работе — количество закрытых тикетов (если вы не в службе поддержки, конечно), время за компьютером. Вот тут затрагивала тему трекинга времени в компаниях — ничего фатального на данный момент там нет, но это действительно странный показатель.

Скорость закрытия вакансии — если сделать такой KPI для рекрутеров, то может сильно просесть качество работы, а при попытке это исправить будет картина из вчерашнего поста

Манипуляции с метриками в ML. Ну и что, что классы неравные, и precision невысокий, зато какова accuracy
Я примерно так курсачи сдавала, но в реальной жизни не стоит)

Накрутка или неправильная интерпретация метрик продукта. Например, нарочно кликбейтный или неудачно переведённый заголовок объявления / название товара будет привлекать внимание — просмотры и клики, но не покупки и деньги. Или ещё кейс для размышления — рост числа сессий или времени, проведённого пользователем в том же поисковике, это хорошо или плохо? С одной стороны, хорошо, ведь продукт используется (да и реклама крутится — прибыль мутится), но при этом с определённой вероятностью юзеру стало сложнее достигать основной цели (нужная информация не находится с первой попытки и так далее), это не очень хорошо...

А что делать-то?
помнить конечную цель существования продукта или своей деятельности, не оптимизироваться по прокси-метрикам
смотреть на разные метрики, как мы делаем при A/B-тестах (согласовываем и контролируем ряд прокси- и контр- метрик, помимо основной), так же можно действовать и в жизни

Дополнения и ваши истории приветствуются

#аналитика_и_жизнь
@analytess