Хранилище данных (DWH): что это такое, как устроено и как его построить

Возьмём сеть магазинов. Продажи живут в кассовой системе, остатки в WMS, закупки и себестоимость в ERP-системе, бюджеты в отдельной системе планирования. Каждая из них хорошо делает свою работу, но ни одна не ответит на вопрос «какая маржа была у категории в регионе за три последних года с учётом возвратов». Чтобы его задать, данные нужно свести в одно место, сопоставить коды товаров и магазинов и не потерять прошлые значения, когда меняется справочник.

Это и делает DWH. Классические свойства хранилища описал Билл Инмон, которого считают автором концепции:

• предметная ориентация — данные организованы вокруг бизнес-сущностей (клиент, товар, договор), а не вокруг экранов учётной программы;
• интеграция — один и тот же клиент из CRM и ERP становится одной записью;
• неизменяемость — загруженные данные не правят задним числом, а дописывают новые версии;
• поддержка истории — можно посмотреть, как выглядели показатели на любую прошлую дату.

Одна версия правды. Финансы и продажи считают выручку по одной методике и из одного источника. Споры на совещаниях о том, чья цифра верная, заканчиваются, но только если методику расчёта согласовали до разработки, а не после.

Разгрузка учётных систем. Тяжёлые запросы уходят в хранилище и не тормозят ERP в день закрытия месяца.

История. Учётная система хранит текущее состояние, а хранилище — все прошлые. Без этого не построить ни прогноз спроса, ни модель оттока.

Скорость отчётности. В «Сервис-Телекоме» подготовка отчётности до появления хранилища занимала неделю, после проекта данные в отчётах обновляются автоматически (кейс «Сервис-Телеком»).

Фундамент для ИИ. Модели машинного обучения учатся на исторических, очищенных и связанных данных. Если их нет, проект по ИИ начинается со сбора данных и растягивается на месяцы.

Типичная архитектура DWH состоит из нескольких слоёв. Названия у разных команд отличаются, но логика одна.

База данных учётной системы (OLTP) рассчитана на тысячи мелких операций в секунду: провести заказ, списать остаток. Хранит текущее состояние, история обычно ограничена.

Хранилище данных (OLAP) рассчитано на сложные запросы по большим объёмам: суммировать продажи за пять лет по всем магазинам. Данные структурированы и проверены.

Озеро данных (Data Lake) хранит всё подряд в исходном виде, включая логи, тексты, картинки и показания датчиков. Дёшево хранить, но без дисциплины озеро быстро превращается в болото, где никто не знает, каким данным можно верить.

Lakehouse объединяет оба подхода: данные лежат в дешёвом объектном хранилище в открытых форматах, а поверх него работают движки, которые дают SQL-запросы и транзакции как в хранилище. Это направление сейчас растёт быстрее всего, но классический DWH оно не отменяет: для регламентной финансовой отчётности строгая модель по-прежнему удобнее.

До 2022 года крупные российские хранилища часто строили на продуктах Oracle, SAP, Microsoft и SAS. После ухода вендоров основу рынка заняли отечественные сборки на открытом коде: Arenadata DB, Greenplum-сервисы облачных провайдеров, ClickHouse, PostgreSQL. В мае 2024 года репозиторий открытого Greenplum был переведён в архив, и российским вендорам пришлось развивать собственные ветки. Arenadata, например, перенесла ядро своей СУБД в открытый проект Greengage.

ЦСР ожидает, что среднегодовой рост рынка систем управления и обработки данных до 2032 года превысит 15%, а доля иностранных решений в новых продажах снизится до 1%.

(Пордобнее в статье про развитие российских решений для управления данными).

Начинать стоит не с СУБД, а с вопросов к бизнесу и к своей ИТ-архитектуре:

• Какие решения будут принимать на данных хранилища? Список из десяти ключевых отчётов и показателей полезнее, чем «собрать всё».
• Какой объём и скорость обновления? Сотни гигабайт с загрузкой раз в сутки и десятки терабайт с обновлением каждые 15 минут — разные архитектуры и бюджеты.
• Где будет жить хранилище? Свой контур или облако. Облако быстрее запустить, свой контур чаще требуют безопасность и регуляторы.
• Есть ли своя команда? Открытый Greenplum или ClickHouse без вендорской поддержки требует сильных инженеров. Если их нет, считайте стоимость коммерческой сборки и поддержки.
• Нужны ли ML и неструктурированные данные? Тогда сразу закладывайте Lakehouse или связку хранилища с озером.

1. Обследование. Источники, отчёты, показатели, владельцы данных. Здесь же выясняется, что «выручку» в компании считают тремя способами.
2. Концепция. Целевая архитектура, выбор платформы, дорожная карта по бизнес-доменам.
3. Проектирование. Модель данных, потоки загрузки, правила качества, требования к отказоустойчивости.
4. Разработка. Развёртывание платформы, ETL-процессы, ядро, первые витрины.
5. Пилот. Один домен, например продажи, с реальными пользователями и сверкой цифр со старой отчётностью.
6. Развитие. Новые источники, домены и витрины, поддержка и оптимизация производительности.

Миграция со старой платформы

Перенести хранилище, которое работало 15–20 лет, значит перенести сотни источников, справочников и алгоритмов расчёта, о которых уже никто не помнит. Все показатели нужно сверить до рубля со старой системой.

Качество данных

Хранилище честно покажет, что в CRM три записи об одном клиенте, а в ERP неверные единицы измерения. Чинить это приходится в источниках, и без процессов управления данными хранилище быстро накопит мусор. О том, с чего начать, мы писали в материале о целеполагании в Data Governance.

Производительность

Рост данных и пользователей постепенно замедляет загрузки и отчёты. Финансовому маркетплейсу «Сравни» команда «ДАР» провела аудит хранилища на Greenplum, ClickHouse и Spark в Yandex Cloud и подготовила 14 рекомендаций по ускорению ETL и снижению нагрузки (кейс «Сравни»).

Несколько команд на одной платформе

Когда с хранилищем работают десятки аналитиков и инженеров, нужны общие правила разработки, релизов и переиспользования готовых наборов данных, иначе каждая команда строит свою копию.

Строят хранилище без заказчика из бизнеса. ИТ-служба загружает всё, до чего дотянулась, публикует сотню витрин, а финансовый директор продолжает получать отчёт в Excel от своего аналитика. Хранилище формально работает, но решения по нему никто не принимает.

• Откладывают качество данных «на потом». Первые же расхождения с привычной отчётностью подрывают доверие к системе.
• Выбирают модель данных по моде. Data Vault для пяти источников — лишняя сложность.
• Не описывают метаданные. Через год никто не может объяснить, откуда в витрине взялось поле и почему оно так считается.
• Не закладывают поддержку. Хранилище сдают как проект и оставляют без команды, а через полгода изменения в источниках ломают загрузки.
• Переносят старую логику один к одному. Миграция — удобный повод выбросить неиспользуемые отчёты, а не копировать их на новую платформу.

Хранилищами и платформами данных в группе занимается компания «ДАР». Её услуги по созданию корпоративных хранилищ данных и дата-платформ охватывают обследование, концепцию, проектирование, разработку, техподдержку и аудит действующих хранилищ. За плечами команды более 200 завершённых проектов по BI, хранилищам и управлению данными. Технологические партнёры — Arenadata, Yandex Cloud, DIS Group и другие.

КХД ОАО «РЖД». С начала 2000-х в РЖД работало хранилище на платформе SAS. После ухода вендора специалисты ОЦРВ и «КОРУС Консалтинг» создали импортонезависимое корпоративное хранилище данных: 27 бизнес-доменов, архив исторических данных за 25 лет объёмом 1,5 ПБ, миграция 57 систем-источников, 30 систем-потребителей и 620 справочников. Новым решением могут пользоваться более 40 тыс. сотрудников, а проект получил награду Global CIO в номинации «Лучшая платформа для хранения данных» (пресс-релиз о КХД РЖД).

Korus Data Framework. Собственное решение «ДАР» для быстрого создания платформ данных: шаблоны для работы с источниками, оркестрации и построения хранилища по методологиям Data Vault, Snowflake и 3NF на Airflow, S3, Greenplum, ClickHouse, dbt и Trino. На нём можно собрать и классическое хранилище, и Lakehouse. По опыту компании, KDF сокращает время развёртывания платформы данных на 20%.

BNS Group. Для сети из более чем 100 магазинов одежды и обуви в трёх странах КОРУС Консалтинг создал новое хранилище и витрину данных. Подготовка данных по продажам и остаткам сократилась с восьми часов до одного.

«Сервис-Телеком», «Ренессанс страхование», «Сравни». Централизованное хранилище вместо разрозненных источников, архитектура нового DWH в облаке, аудит нагруженной платформы.

Хранилище данных окупается не объёмом загруженных терабайт, а тем, что руководители перестают спорить о цифрах и начинают принимать по ним решения. Поэтому сначала договоритесь о показателях и их владельцах, а уже потом выбирайте СУБД и модель данных. После волны импортозамещения выбор платформ в России есть, и время на спокойное сравнение тоже.

Начните с одного домена, где боль от ручной отчётности сильнее всего, проверьте платформу пилотом на своих данных и сразу заложите команду поддержки. Если нужна помощь с концепцией, миграцией или аудитом хранилища, специалисты «ДАР» и «КОРУС Консалтинг» подключатся на любом этапе.

Источники

1. ЦСР. «ЦСР: российский рынок СУБД превысил 100 млрд рублей и продолжит расти темпами выше мировых», 23.04.2026 — https://www.csr.ru/ru/news/tssr-rossiyskiy-rynok-subd-prevysil-100-mlrd-rubley-i-prodolzhit-rasti-tempami-vyshe-mirovykh/
2. Группа Arenadata. «Финансовые результаты Группы Arenadata за 2025 год: рост выручки на 46%», 26.03.2026 — https://arenadata.tech/ru/news/finansovye-rezultaty-gruppy-arenadata-za-2025-god-rost-vyruchki-na-46
3. GitHub. Архив репозитория Greenplum Database (greenplum-db/gpdb-archive), переведён в архив 24.05.2024 — https://github.com/greenplum-db/gpdb-archive
4. «КОРУС Консалтинг». Как развиваются российские решения для управления данными и почему рынок ждёт интеграция — https://korusconsulting.ru/blog/tekhnologii/sblizhenie-platform-pochemu-rynok-rossiyskikh-resheniya-dlya-upravleniya-dannymi-zhdet-integratsiya/
5. «КОРУС Консалтинг». Проект по созданию платформы корпоративного хранилища данных ОАО «РЖД», ОЦРВ и «КОРУС Консалтинг» — https://korusconsulting.ru/press-centr/proekt-po-sozdaniyu-platformy-korporativnogo-khranilishcha-dannykh-oao-rzhd-otsrv-i-korus-konsalting/
6. «ДАР». Кейс «Сервис-Телеком»: создание хранилища данных (DWH) — https://data.korusconsulting.ru/cases/razrabotka-i-vnedrenie-khranilishcha-dannykh/