Reverse analytics. Как аналитики могут нанести непоправимую пользу продукту и заработать денег

Доклад о роли бизнес- и системных аналитиков на проектах построения аналитических хранилищ для BI-аналитики. 

На примере внедрения встроенной BI-аналитики в B2B SaaS-продукт (EdTech-платформу Teachbase) силами двух аналитиков покажу, что даже не привлекая дорогостоящих дата инженеров можно построить рабочий пайплайн данных.

Проблема, с которой сталкиваются многие продуктовые команды: данные о поведении пользователей накапливаются годами (в нашем случае — OLTP-база, в которой более 300 таблиц за 5 лет), но клиенты и продакты по-прежнему получают доступ к информации через экспорт CSV или API. Это перегружает продовую инфраструктуру, замедляет продукт и демотивирует команду разработки. Такая ситуация — отличный повод нанять команду дата-инженеров и девопсов и стартовать проект по построению аналитического хранилища. Но мы предложили клиенту другой путь. 

В проекте с нашей стороны участвовали только два специалиста — бизнес-аналитик и аналитик данных. Техническая реализация базировалась на управляемых сервисах Yandex Cloud (ClickHouse, Data Transfer, Serverless Functions), визуализация в Yandex DataLens и все это в облаке Yandex. Это позволило убрать работы на развертывание и поддержания ETL-процесса и хранилища.

Главный акцент был на проработке предметной области и методологии расчета метрик, а не на инфраструктуре. Больше всего времени мы потратили на понимание, как бизнес-данные реализованы в таблицах базы — разбирались с той самой reverse analytics из таблиц OLTP-базы к конечным метрикам.

В проекте было несколько ключевых аспектов:

• Быстрое и глубокое погружение в предметную область — здесь как раз нужен был AI. Итогом были специфичные для предметной области метрики и методы их расчета.
• Сопоставление бизнес-слоя с таблицами базы данных LMS-системы. Мы буквально разбирали, что такое «ученик», «Начал обучение», «закончил обучение».
• И самое важное — сильная вовлеченность со стороны команды заказчика. В готовую ИС нельзя «внедрить BI со стороны», нужна вовлеченность продуктовой команды и команды разработки.

Первые дашборды появились через 4 недели, первые продажи аналитики как услуги — через 6 месяцев после старта. В результате Teachbase снизили нагрузку на разработку, а клиенты получили отчетность «из коробки», не прибегая к выгрузкам или внешнему BI. При этом я отчетливо понимаю, что с сильным дата-инженером мы бы сделали проект быстрее месяца на полтора. И по цене больше раза в два.

В докладе разберем: 

• Как использовать LLM для быстрого погружения в новую предметную область.
• Архитектуру MVP-решения без дата-инженеров и без ETL-платформ.
• Какие есть ограничения у такого подхода и когда его можно использовать.
• Как мы сформировали методологию метрик для корпоративного обучения.
• Какую роль играет партнерство с продуктовой командой клиента.
• Какие ошибки были на старте и как мы вышли на результат.

Будет полезно системным аналитикам; продакт-менеджерам, работающим с аналитикой и внутренними сервисами; техлидам и CTO, решающим задачи масштабирования аналитики; командам, которые «завязли» на API и выгрузках, но хотят встроенный BI.

Технологии:

• Yandex Cloud: ClickHouse, Yandex Data Transfer, Serverless Functions.
• Yandex DataLens.
• ClickHouse SQL, витрины данных без полноформатного DWH.
• OLTP-база PostreSQL с более чем 300 таблицами, частично неформализованные схемы.