Применение концепции активных знаний, GAN к задаче построения цифровых двойников публичных пространств для поддержки принятия решений при ликвидации чрезвычайных ситуаци

Актуальностью проекта является разработка и реализация алгоритмов для построения цифровых двойников публичных пространств с целью поддержки принятия решений при ликвидации чрезвычайных ситуаций.

Научной новизной и фундаментальной значимостью обладает предлагаемая формализация предметной области “создание цифровых двойников публичных пространств в целях поддержки принятия решений в условиях чрезвычайных ситуаций” в виде базовой версии ВМ, которая включит в себя величины и операции, необходимые для решения задач построения трехмерных моделей пространств на основе фотографий и видео с применением технологий машинного обучения, визуализации данных с применением технологий виртуальной/дополненной реальности, моделирования  поведения людей, методов обнаружения людей на основе сигналов носимых устройств (Bluetooth), данных видеонаблюдения.

Вычислительные модели могут использоваться как активное знание при наличии соответствующей инфраструктуры, поддерживающей разработку и применение моделей. Созданная базовая ВМ станет основой для дальнейшего систематического накопления активного знания в рассматриваемой предметной области.

Создание информационной системы на основе концепции активных знаний, GAN и мультиагентных систем  для построения цифровых двойников публичных пространств в целях поддержки принятия решений при ликвидации чрезвычайных ситуаций с использованием алгоритмов построения трехмерной геометрии, визуализации в режиме виртуальной или дополненной реальности и алгоритмов  трекинга перемещения людей для уточнения поведенческой модели.

• Будут разработаны генеративно-состязательные сети GAN для определения форм трехмерных объектов (зданий и деревьев) на изображениях и ее использование для построения трехмерных объектов на основе изображений с БПЛА;
• Будут созданы модули визуализации трехмерной модели поверхности земли в виртуальной и дополненной реальности на различных платформах с использованием стандарта Vulkan с возможностью совместного просмотра;
• Будут разработаны подсистемы сбора информации о скоплениях и перемещениях людей на основе носимых устройств, транслирующих сигналы (например bluetooth) и систем видеонаблюдения;
• Будет разработан модуль моделирования поведения людей во время чрезвычайных ситуаций на основе мультиагентных систем и собранных данных перемещениях;
• Будет проведена интеграция разработанных компонентов в интеллектуальную информационную систему на основе формального представления знаний о предметной области в виде вычислительной модели, вводящей отношение на множестве величин предметной области через вычислительные операции, обеспечивающие вычисление одних величин через другие;
• Будут разработаны интерфейсы для решения типовых задач моделирования (построение трехмерной модели сооружений на основе фото-, видеоизображений; моделирование эвакуации; визуализация скоплений людей в трехмерной модели сооружений).

• Были реализованы и протестированы существующие алгоритмы генерации трехмерной геометрии с использованием технологии GAN, разработана архитектура GAN в первом приближении;
• По чертежу планировки публичного пространства были смоделированы все помещения и готовые трехмерные модели экспортированы в игровой движок Unreal Engine;
• Разработан модуль  моделирования поведения людей во время чрезвычайных ситуаций (ЧС) на основе мультиагентных систем, определен набор данных данных агента и функции обработки событий;
• Разработана архитектура мультиагентной системы моделирования поведения людей, определены функцию реактивности и дееспособности, определен протоколы действий отдельных агентов и последовательность их взаимодействия;
• Разработана вычислительная модель предметной области, выделены и описаны ключевые вычислительные операции;
• Разработан архитектура элементов сети сбора данных на основе видеонаблюдения и модуля сканирования радиопередающих устройств, описаны модули на основе видеонаблюдения и сканера радиопередающих устройств, описано их взаимодействие.

Список публикаций членов исследовательской группы:

1. Akhmed-Zaki, D, Lebedev, D., Perepelkin, V. Implementation of a 3D model heat equation using fragmented programming technology // Journal of Supercomputing Volume 75, Issue 12, 1 December 2019, Pages 7827-7832
2. Mukhambetzhanov, S. T., Lebedev D.V., Kassymbek N.M., Imankulov T.S., Matkerim B., Akhmed-Zaki D.Zh. (2020). GMRES based numerical simulation and parallel implementation of multicomponent multiphase flow in porous media. Cogent Engineering, 7(1), 1785189. https://doi.org/10.1080/23311916.2020.1785189
3. Akhmed-Zaki D.Zh., Turar O.N., Rakhymova A.R. Three dimensional visualization of models and physical characteristics of oil and gas reservoir for virtual reality systems // Al-Farabi Kazakh National University. Journal of Mathematics, Mechanics and Computer Science. – 2018. – №3 (99). –С. 92.
4. Турар О.Н., Данаев Н.Т., Ахмед—Заки Д.Ж., Дарибаев Б.С., Иманкулов Т.С. Проектирование и разработка высокопроизводительных приложении на мобильных платформах // Вестник КазНУ. – 2014. – T.83. – № 4
5. Турар О.Н., Д.Ж. Ахмед-Заки, Б.С. Дарибаев. Разработка высокопроизводительного модуля визуализации для гидродинамического Web симулятора // Вестник НИА РК. – 2015. – T. 57. – № 3
6. Turar O.N., Akhmed-Zaki D.Zh., Daribayev B.S., Imankulov T.S. High-performance computing of oil recovery problem on a mobile platform using CUDA technology // Eurasian Journal of mathematical and computer applications. – – V. 5. – № 2
7. Mustafin M.B.; Akhmed-Zaki D.Zh.; Turar O.N.. Application of Vulkan technology for 3D Visualization of large computing data which change over the time. Journal of Mathematics, Mechanics and Computer Science, v. 102, n. 2. (в печати)
8. N. Turar, D.Zh. Akhmed-Zaki and D.V. Lebedev. Design Unstructured Grids For Modeling Complex Fields Of Oil Deposits. ECMOR XV — 16th European Conference on the Mathematics of Oil Recovery, 3-6 september 2018, Barcelona, Spain.
9. Akhmed-Zaki, D, Lebedev, D., Perepelkin, V. Implementation of a 3D model heat equation using fragmented programming technology // Journal of Supercomputing Volume 75, Issue 12, 1 December 2019, Pages 7827-7832
10. Imankulov, T., Lebedev, D., Aidarov, K., Turar, O. Design of HPC system for analysis the gel-polymer flooding of oil fields // Contemporary Engineering Sciences. – 2014
11. Imankulov, T.S., Akhmed-Zaki, D.Zh., Daribayev, B.S., Lebedev D.V., Nurakhov, Y.S., Turar, O.N. Intellectual system for analyzing thermal compositional modeling with chemical reactions // 16th European Conference on the Mathematics of Oil Recovery, ECMOR 2018. — 2018
12. Лебедев Д.В., Ахмед—Заки Д.Ж., Жуман К.Б., Нурахов Е.С., Толенбеков Е.К., Городничев М.А., Перепелкин В.А.. Разработка облачной интеллектуальной системы анализа данных на основе системы активных знаний. Материалы IV Международной научной конференции «Информатика и прикладная математика» (Часть I), 2019. с.500-510
13. Абсадык А.М. Исследования в области построения трехмерной модели тела человека по фотографиям с помощью машинного обучения // Science XXI century: Proceedings of articles the V International Scientific Practical Conference. — 2019
14. Абсадык А.М. Разработка интеллектуальной системы построения трехмерной модели человека// Вестник КазНИТУ №6. — 2019
15. Darkhan Akhmed-Zaki, Danil Lebedev, Victor Malyshkin and Vladislav Perepelkin. Automated Construction of High Performance Distributed Programs in LuNA System// Springer, Germany, LNCS, Vol.11657, pp. 3-9, 2019. DOI http://doi.org/10.1007/978-3-030-25636-4_1
16. Д.Ахмед-Заки, Д.Лебедев, В.Малышкин, В.Перепелкин. Автоматизация конструирования распределенных программ численного моделирования в системе LuNA на примере модельной задачи // Проблемы информатики, 2019, № 3, стр. 4-12
17. S. Nurakhov, B. Bektugan, K. Nurbergen, T.S. Imankulov and D.Zh. Akhmed-Zaki. Intelligent Distributed System for Indoor Heat Flow Control // Proceedings of the 16th International Conference on Informatics in Control, Automation and Robotics (ICINCO 2019), Volume 2 Prague, Czech Republic. 29 — 31 July, 2019. pp. 595-598.
18. Aubakirov S., Trigo P. and Ahmed-Zaki D. (2018). Distributed Optimization of Classifier Committee Hyperparameters.In Proceedings of the 7th International Conference on Data Science, Technology and Applications — Volume 1: DATA, ISBN 978-989-758-318-6, pages 171-179. DOI: 10.5220/000688410171017