Круговорот данных в системах

Круговорот данных в системах Оригинальный пост, нояб. 2020

3 года прошло с публикации оригинального поста, а я до сих пор встречаю в выступлениях HR на конференциях путаницу в терминах "озеро данных", "хранилище данных".

Да и, в целом, с течением времени, появляются новые термины и интерпретации, так что обновить будет не лишним. В обновлении инфо мне помогла моя коллега, Татьяна, эксперт по всему, что касается работы с данными в промышленных масштабах и автор канала Data Governance для чайников.

Итак,

Сейчас принято говорить про слои данных. Каждый под определенные бизнес-потребности.

Источники данных, или Операционный Слой. Тут ввод и обработка данных в целях поддержания непрерывной деятельности компании, например, данные по кадровым операциям из CoreHR системы, по процессу подбора из ATS, по обучению из LMS и т.п.

Озеро данных, или Слой сырых данных. Слой предназначен для сбора и хранения больших объемов данных из различных систем, с минимальной предобработкой перед загрузкой в хранилища.

Хранилище данных, или Слой детальных данных (DDS), который является ядром хранилища. Сюда могут попадать не все данные из озера, а "подниматься" только необходимые для решения аналитических и стратегических задач. Все данные рассортированы по дата-доменам, нормализованы, т.е. разобраны и разложены по сущностям с указанием связей между ними, например, "физлицо", "должности", "назначения", "документы" и т.п. Данные в хранилище можно легко и быстро найти, они доступны для дальнейшего использования.

Витрины данных, или Аналитический слой (EM- Enterprise Marts). Тут собираются основные данные, потребляемые бизнес-пользователям. Как правило разделяют слой EM по бизнес-доменам: 1 витрина - 1 бизнес-домен.

Дашборды, это пользовательские витрины. Собираются под конкретную задачу. Тут снова данные собраны по отдельным направлениям, как в источнике 🙈, только они прошли через 3 круга ада слоя, и теперь чистые, нормализованные, единые для всей компании. Главное тут не начать их обрабатывать заново 🙈