Yandex Cloud Postbox модернизирует аналитическую инфраструктуру

Команда Yandex Cloud Postbox, сервиса API для надёжной доставки электронных писем, представила подробный отчёт о развитии своей аналитической подсистемы. В начале пути аналитические данные успешно сосуществовали с операционными в рамках единой транзакционной СУБД. Однако, по мере роста нагрузки и увеличения объёмов данных, этот подход стал неэффективным, что привело к необходимости кардинальных изменений в архитектуре.

Этапы трансформации и преодоление вызовов

Дмитрий Наумов из команды Yandex Cloud Postbox описал ключевые этапы эволюции системы и признаки, указывающие на исчерпание текущих решений:

  • Замедление транзакций: На первом этапе аналитические запросы начали негативно влиять на производительность операционных транзакций, что стало первым сигналом к разделению данных.
  • Неэффективность индексов: По мере роста объёмов данных существующие индексы перестали справляться с нагрузкой, что приводило к дальнейшему снижению производительности.
  • Ограничения трансфера данных: С перемещением аналитики в отдельное хранилище возникла задача эффективного переноса данных из операционной базы. Типовые сценарии трансфера оказались недостаточными для удовлетворения растущих требований.

Каждый из этих этапов требовал перехода на новый уровень архитектурного решения, что в конечном итоге привело к внедрению специализированных подходов для обеспечения стабильной и масштабируемой работы аналитики в Postbox, включая использование YDB Transfer для миграции данных.