Подходы к организации архитектуры информационного хранилища аналитических систем

К.В. Чернышева, канд. экон. наук, доц., сhernysheva.KV@rea.ru (ФГБОУ ВО РЭУ имени Г.В. Плеханова)

Аннотация

Рассмотрены основные современные концепции архитектур построения хранилищ: реляционные и размерные модели данных с модификацией Data Vault; озера данных Data Lakes и их развитие; децентрализованная концепция сетки данных Data Mesh. Изложены авторские рекомендации по выбору модели или концепции архитектуры данных хранилища (размер и вид деятельности, уровень зрелости управления в организации, источники данных и цели анализа данных информационного хранилища). Предложен алгоритм выбора модели данных традиционного Data Warehouse (Снежинка, Data Vault, якорная модель) в зависимости от объема поступающих данных, структурных изменений и текучести источников данных.

Ключевые слова

цифровая экономика, экономика данных, информационно-аналитические системы, хранилища данных, архитектуры данных, концепции построения информационных хранилищ.

Список использованных источников

1. Национальный проект «Экономика данных» [Электронный ресурс]. URL: http://government.ru/rugovclassifier/909/events/ (дата обращения: 10.12.2024).

2. Arenadata: «Технологический цикл решений для обработки данных» [Электронный ресурс]. URL: https://www.youtube.com/watch?v=i_3_DdB4pk4&list=PLThlRr26UjnPchbO0fhIJasSe5QTlCgYH (дата обращения: 10.12.2024).

3. Пять подходов к построению современной платформы данных [Электронный ресурс]. URL: https://arenadata.tech/about/blog/5-ways-to-dwh/ (дата обращения: 10.12.2024).

4. Горожанкин В. Data Mesh вместо информационных «бункеров»: как управлять данными с пользой для бизнеса [Электронный ресурс]. URL: https://rb.ru/opinion/datamesh/ (дата обращения: 10.12.2024).

5. Зенкова М. Хранилища данных. Обзор технологий и подходов к проектированию [Электронный ресурс]. URL: https://systems.education/dwh-technologies-and-design (дата обращения: 10.12.2024).

6. Чернышева К.В., Королькова А.П., Афанасьева С.И., Карпузова Н.В. Использование хранилищ данных в экономике и менеджменте АПК // Техника и оборудование для села. 2022. № 4 (298). С. 44-48.

7. Вичугова А. Проектирование хранилища данных с методологией Data Vault в архитектуре Lakehouse [Электронный ресурс]. URL: https://bigdataschool.ru/blog/data-vault-for-lakehouse.html (дата обращения: 15.12.2024).

8. Снежинка, Data Vault, Anchor Modeling. Какая методология проектирования DWH подойдет для вашего бизнеса? [Электронный ресурс]. URL: https://www.qlever.ru/press/dwh-methodology (дата обращения: 15.12.2024).

9. Управление данными в госсекторе. Навигатор для начинающих / под ред. О.М. Гиацинтова, В.А. Сазонова, М.С. Шклярук. М.: РАНХиГС, 2022. 198 с.

10. Gorelik А. The Enterprise Big Data Lake Delivering the Promise of Big Data and Data Science. O'Reilly Media, Inc., 2019.

11. Вичугова А. CMMI: зрелость процессов для технологий Big Data [Электронный ресурс]. URL: https://bigdataschool.ru/blog/cmmi-data-lakes.html (дата обращения: 15.12.2024).

12. Первое в России внедрение «умного озера данных» – комплексной платформы обработки, хранения и анализа данных с интегрированным Data Governance [Электронный ресурс]. URL: https://globalcio.ru/projects/3040/ (дата обращения: 15.12.2024).

13. Верховский Н. Цифровой актив: данные – это про деньги [Электронный ресурс]. URL: https://www.skolkovo.ru/expert-opinions/cifrovoi-aktiv-dannye-eto-pro-dengi (дата обращения: 10.12.2024).

14. Круги Громова – исследование русских ИТ-вендоров и российского ПО [Электронный ресурс]. URL: https://russianbi.ru/ (дата обращения: 10.12.2024).

Approaches to Organizing the Architecture of Information Warehouse of Analytical Systems

K.V. Chernysheva (Plekhanov Russian University of Economics)

Summary

The article deals with the main modern concepts of warehouse architectures: relational and dimensional data models with a modification of Data Vault; Data Lakes and their development; decentralized concept of the Data Mesh data grid. The author's recommendations for choosing a model or concept of warehouse data architecture (size and type of activity, level of management maturity in the organization, data sources and data analysis goals of the information warehouse) are presented. Algorithm for choosing a data model of a traditional Data Warehouse (Snowflake, Data Vault, anchor model) depending on the volume of incoming data, structural changes and fluidity of data sources is proposed.

Key words

digital economy, data economy, information and analytical systems, data warehouses, data architectures, concepts for building information warehouses.