Специалисты по DS хорошо умеют пользоваться метриками для оценки качества своих моделей. Но очень часто эти метрики сложно отобразить на реальные потребности бизнеса. А иногда и сами DS-специалисты плохо могут объяснить их смысл. Попросите, например, их объяснить обычному человеку, что такое расстояние Кульбака-Лейблера, и они почувствуют, что и сами плохо это понимают.

При этом понимание того, как DS-метрики могут повлиять на итоговые бизнес-результаты — важнейший вопрос, который необходимо прояснить на самых ранних этапах проекта. Сделать это можно с помощью построения пирамиды метрик, которая поможет понять, как можно пересчитать эти нетривиальные ROC-AUC в реальную экономию фонда оплаты труда или другие важные бизнес-показатели.

В докладе на примерах из реальных проектов будут показаны шаги по построению таких связей. Для этого участникам предстоит неглубоко погрузиться в мир DS-метрик.

Elena Krupenina

Talks from 2023 season

Difficulties of Formulating Requirements in ML Projects, and How the Metrics Pyramid Helps With It

Pavel Filonov