Журналов:     Статей:        

Математика и математическое моделирование. 2020; : 52-64

Анализ вычислительной сложности методов декомпозиции OLAP–гиперкубов многомерных данных

Ахрем А. А., Носов А. П., Рахманкулов В. З., Южанин К. В.

https://doi.org/10.24108/mathm.0420.0000221

Аннотация

В работе исследуются проблемы редукции (декомпозиции) моделей многомерных данных в виде гиперкубовых OLAP-структур. OLAP обработка данных не допускает изменения размерности пространства. С увеличением объемов данных падает производительность вычислений кубовых структур. Методы редукции больших кубов данных на подкубы с меньшими объемами позволяют решать проблему снижения производительности вычислений.

Рассматриваются задачи редукции для случаев, когда агрегирование критериев уже определено решёткой куба, а декомпозиция куба на меньшие по размерности кубы нужна для снижения времени вычисления полной решётки при динамическом изменении данных в кубе.

Цель работы состоит в нахождении условий уменьшения вычислительной сложности решения задач анализа данных редукционными методами, получении точных количественных границ уменьшения сложности декомпозиционных методов из класса полиномиальной степеней сложности, установлении характера зависимости вычислительной производительности от структурных свойств гиперкуба и определении количественных границ вычислительной производительности решения декомпозиционных задач агрегирования данных.

Проведено исследование вычислительной сложности декомпозиционных методов анализа многомерных гиперкубов полиномиально-логарифмической и полиномиальной степеней сложности. Найдена точная верхняя граница уменьшения сложности декомпозиционных методов анализа исходного OLAP--гиперкуба данных по отношению к недекомпозиционным, и на их основе доказаны критерии эффективного применения редукционных методов анализа гиперкубовых структур по сравнению с традиционными нередукционными методами.

Приведены примеры методов декомпозиции кубовых структур, как уменьшающих, так и увеличивающих вычислительную сложность по сравнению с вычислениями по полной модели.

Результаты работы могут быть использованы при обработке и анализе массивов информации гиперкубовых структур аналитических OLAP-систем, относящихся к классу BigData, или сверхбольших компьютерных систем многомерных данных.

Список литературы

1. Павловский Ю.Н., Смирнова Т.Г. Проблема декомпозиции в математическом моделировании. М.: ФАЗИС, 1998. 272 с.

2. Ёлкин В.И. Редукция нелинейных управляемых систем: декомпозиция и инвариантность по возмущениям. М.: ФАЗИС, 2003. 208 с.

3. Цурков В.Н. Декомпозиция в задачах большой размерности. М.: Наука, 1981. 352 с.

4. Петровский А.Б., Лобанов В.Н. Многокритериальный выбор в пространстве признаков большой размерности: мультимедийная технология ПАКС-М // Искусственный интеллект и принятие решений. 2014. № 3. С. 92 – 104.

5. Agarwal S., Agrawal R., Deshpande P.M., Gupta A., Naughton J., Ramakrishnan R., Sarawagi S. On the computation of multidimensional aggregates // Materialized views: techniques, implementations and applications / Ed. by A. Gupta, I.S. Mumick. Camb.: MIT Press, 1999. Ch. 24. Pp. 506 – 521. DOI: 10.7551/mitpress/4472.003.0030

6. Чубукова И.А. Data mining: учеб. пособие. 2-е изд. М.: Бином. Лаборатория знаний, 2008. 382 c.

7. Макаров И.М., Рахманкулов В.З., Ахрем А.А., Ровкин И.О. Исследование свойств гиперкубовых структур в OLAP-системах // Информационные технологии и вычислительные системы. 2005. № 2. С. 4 – 9.

8. Ахрем А.А., Рахманкулов В.З., Южанин К.В. О сложности редукции моделей многомерных данных // Искусственный интеллект и принятие решений. 2016. № 4. С. 79-85.

9. Ахрем А.А., Рахманкулов В.З., Южанин К.В. Декомпозиционные методы анализа многомерных данных // Системные исследования. Методологические проблемы: ежегодник 2015 – 2018. Вып. 38. М., 2018. С. 88 – 97.

10. Ахрем А.А., Носов А.П., Рахманкулов В.З., Южанин К.В. Вычислительная производительность методов редукции гиперкубов многомерных данных аналитических OLAP-систем // Искусственный интеллект и принятие решений. 2019. № 4. С. 23 – 28.

11. Гуров С.И. Булевы алгебры, упорядоченные множества, решётки. 2-е изд. М.: URSS, 2013. 352 c.

12. Богомолов А.М., Салий В.Н. Алгебраические основы теории дискретных систем. М.: Наука. ФИЗМАТЛИТ, 1997. 368 с.

Mathematics and Mathematical Modeling. 2020; : 52-64

Computational Complexity Analysis of Decomposition Methods of OLAP Hyper-cubes of Multidimensional Data

Akhrem A. A., Nosov A. P., Rakhmankulov V. Z., Yuzhanin K. V.

https://doi.org/10.24108/mathm.0420.0000221

Abstract

The paper investigates the problems of reduction (decomposition) of multidimensional data models in the form of hypercube OLAP structures. OLAP data processing does not allow changes in the dimension of space. With the increase in data volumes, the productivity of computing cubic structures decreases. Methods for reducing large data cubes to sub-cubes with smaller volumes can solve the problem of reducing computing performance.

The reduction problems are considered for cases when the cube lattice has already determined criteria aggregation, and the cube decomposition into smaller cubes is needed to reduce the computation time of the full lattice when dynamically changing data in the cube.

The objective of the paper is to find conditions for reducing the computational complexity of solving data analysis problems by reduction methods, to obtain exact quantitative boundaries for reducing the complexity of decomposition methods from the class of polynomial degrees of complexity, to establish the nature of the dependence of computational performance on the structural properties of a hypercube, and to determine the quantitative boundaries of computational performance for solving decomposition problems of data aggregation .

The study of the computational complexity of decomposition methods for the analysis of multidimensional hyper-cubes of polynomial-logarithmic and polynomial degrees of complexity is carried out. An exact upper limit is found for reducing the complexity of decomposition methods for analyzing the initial OLAP - data hypercube with respect to non-decomposition ones and based on them criteria are proved for the effective application of reduction methods for analyzing hypercube structures in comparison with traditional non-reduction methods.

Examples of decomposition methods of cube structures are presented, both reducing and increasing computational complexity in comparison with calculations using the full model.

The results obtained can be used in processing and analysis of information arrays of hypercube structures of analytical OLAP-systems belonging to the BigData class, or ultra-large computer multidimensional data systems.

References

1. Pavlovskii Yu.N., Smirnova T.G. Problema dekompozitsii v matematicheskom modelirovanii. M.: FAZIS, 1998. 272 s.

2. Elkin V.I. Reduktsiya nelineinykh upravlyaemykh sistem: dekompozitsiya i invariantnost' po vozmushcheniyam. M.: FAZIS, 2003. 208 s.

3. Tsurkov V.N. Dekompozitsiya v zadachakh bol'shoi razmernosti. M.: Nauka, 1981. 352 s.

4. Petrovskii A.B., Lobanov V.N. Mnogokriterial'nyi vybor v prostranstve priznakov bol'shoi razmernosti: mul'timediinaya tekhnologiya PAKS-M // Iskusstvennyi intellekt i prinyatie reshenii. 2014. № 3. S. 92 – 104.

5. Agarwal S., Agrawal R., Deshpande P.M., Gupta A., Naughton J., Ramakrishnan R., Sarawagi S. On the computation of multidimensional aggregates // Materialized views: techniques, implementations and applications / Ed. by A. Gupta, I.S. Mumick. Camb.: MIT Press, 1999. Ch. 24. Pp. 506 – 521. DOI: 10.7551/mitpress/4472.003.0030

6. Chubukova I.A. Data mining: ucheb. posobie. 2-e izd. M.: Binom. Laboratoriya znanii, 2008. 382 c.

7. Makarov I.M., Rakhmankulov V.Z., Akhrem A.A., Rovkin I.O. Issledovanie svoistv giperkubovykh struktur v OLAP-sistemakh // Informatsionnye tekhnologii i vychislitel'nye sistemy. 2005. № 2. S. 4 – 9.

8. Akhrem A.A., Rakhmankulov V.Z., Yuzhanin K.V. O slozhnosti reduktsii modelei mnogomernykh dannykh // Iskusstvennyi intellekt i prinyatie reshenii. 2016. № 4. S. 79-85.

9. Akhrem A.A., Rakhmankulov V.Z., Yuzhanin K.V. Dekompozitsionnye metody analiza mnogomernykh dannykh // Sistemnye issledovaniya. Metodologicheskie problemy: ezhegodnik 2015 – 2018. Vyp. 38. M., 2018. S. 88 – 97.

10. Akhrem A.A., Nosov A.P., Rakhmankulov V.Z., Yuzhanin K.V. Vychislitel'naya proizvoditel'nost' metodov reduktsii giperkubov mnogomernykh dannykh analiticheskikh OLAP-sistem // Iskusstvennyi intellekt i prinyatie reshenii. 2019. № 4. S. 23 – 28.

11. Gurov S.I. Bulevy algebry, uporyadochennye mnozhestva, reshetki. 2-e izd. M.: URSS, 2013. 352 c.

12. Bogomolov A.M., Salii V.N. Algebraicheskie osnovy teorii diskretnykh sistem. M.: Nauka. FIZMATLIT, 1997. 368 s.