- Код статьи
- 10.31857/S0132347423030056-1
- DOI
- 10.31857/S0132347423030056
- Тип публикации
- Статус публикации
- Опубликовано
- Авторы
- Том/ Выпуск
- Том / Номер выпуска 3
- Страницы
- 26-36
- Аннотация
- Системы смешанной реальности являются перспективным направлением, открывающим большие возможности для взаимодействия с виртуальными объектами в реальном мире. Как любое перспективное направление смешанная реальность имеет ряд нерешенных проблем. Одна из таких проблем – это формирование естественных условий освещения для виртуальных объектов, а также обеспечение корректного светового взаимодействия виртуальных объектов с реальным миром. Так как виртуальные и реальные объекты находятся в разных пространствах, то обеспечить их корректное взаимодействие является сложной задачей. Для создания цифровых копий объектов реального мира используются инструменты машинного обучения и технологии нейронных сетей. Данные методы успешно применяются в задачах компьютерного зрения для решения проблем ориентации в пространстве и реконструкции окружающей среды. В качестве решения предлагается переместить все объекты в одно информационное пространство – виртуальное. Такое решение позволит снять большую часть проблем, связанных с дискомфортом зрительного восприятия, вызванного неестественным световым взаимодействием объектов реального и виртуального миров. Поэтому основная идея метода заключается в определении объектов физического мира по облакам точек и их замена виртуальными CAD-моделями. То есть семантический анализ сцены и задача классификации объектов с последующим преобразованием в полигональные модели. В данной работе предлагается использование конкурентоспособных нейросетевых архитектур, позволяющих получить современные “state of the art” результаты. Эксперименты проводились на наборах данных “Semantic3D”, “ScanNet” и “S3DIS”, которые на данный момент являются крупнейшими датасетами с наборами облаков точек интерьерных сцен. В качестве метода решения задач семантической сегментации и классификации 3D-облаков точек было решено использовать архитектуру PointNeXt, основанную на PointNet, и применить в процессе обучения современные методы аугментации данных. Для восстановления геометрии был рассмотрен метод дифференциального рендеринга Soft Rasterizer и нейронная сеть “Total3Understanding”.
- Ключевые слова
- Дата публикации
- 01.05.2023
- Год выхода
- 2023
- Всего подписок
- 0
- Всего просмотров
- 49
Библиография
- 1. Dhaval S. Critical review of mixed reality integration with medical devices for patientcare // International Journal for Innovative Research in Multidisciplinary Field. 2022. V. 8. Issue 1. https://doi.org/10.2015/IJIRMF/202201017
- 2. Maas M.J., Hughes J.M. Virtual, augmented and mixed reality in K-12 education: a review of the literature // Technology, Pedagogy and Education. 2020. V. 29. Issue 2. https://doi.org/10.1080/1475939X.2020.1737210
- 3. Evangelidis K., Sylaiou S., Papadopoulos T. Mergin’mode: Mixed reality and geoinformatics for monument demonstration // Applied Sciences. 2020. V. 10. № 11. P. 3826.
- 4. Piumsomboon T., Lee G.A., Hart J.D., Ens B., Lindeman R.W., Thomas B.H., Billinghurst M. Mini-me: An adaptive avatar for mixed reality remote collaboration / In Proceedings of the 2018 CHI conference on human factors in computing systems. 2018. P. 1–13.
- 5. Miedema N.A., Vermeer J., Lukosch S., Bidarra R. Superhuman sports in mixed reality: The multi-player game League of Lasers / In 2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR). IEEE, 2019. P. 1819–1825.
- 6. Guna J., Gersak G., Humar I. Virtual Reality Sickness and Challenges Behind Different Technology and Content Settings // Mobile Networks and Applications. 2020. V. 25. P. 1436–1445. https://doi.org/10.1007/s11036-019-01373-w
- 7. Saredakis D., Szpak A., Birckhead B., Keage H.A., Rizzo A., Loetscher T. Factors associated with virtual reality sickness in head-mounted displays: a systematic review and meta-analysis // Frontiers in human neuroscience. 2020. V. 14. P. 96.
- 8. Moser T., Hohlagschwandtner M., Kormann-Hainzl G., Pölzlbauer S., Wolfartsberger J. Mixed reality applications in industry: challenges and research areas / In International Conference on Software Quality. Cham.: Springer, 2019. P. 95–105.
- 9. Pallot M., Fleury S., Poussard B., Richir S. What are the Challenges and Enabling Technologies to Implement the Do-It-Together Approach Enhanced by Social Media, its Benefits and Drawbacks? // Journal of Innovation Economics Management. 2022. I132-XLII.
- 10. Guo J., Weng D., Zhang Z., Liu Y., Duh H.B., Wang Y. Subjective and objective evaluation of visual fatigue caused by continuous and discontinuous use of HMDs // Journal of the Society for Information Display. 2019. V. 27, № 2. P. 108–119.
- 11. Armeni I., Sener O., Zamir A.R., Jiang H., Brilakis I., Fischer M., Savarese S. 3D semantic parsing of large-scale indoor spaces / In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016. P. 1534–1543.
- 12. Dai A., Chang A.X., Savva M., Halber M., Funkhouser T., Nießner M. ScanNet: Richly-annotated 3D reconstructions of indoor scenes / In Proc. Computer Vision and Pattern Recognition (CVPR), IEEE, 2017.
- 13. Haoming L., Humphrey S. Deep Learning for 3D Point Cloud Understanding: A Survey // Computer Vision and Pattern Recognition. 2020. https://doi.org/10.48550/arXiv.2009.08920
- 14. Qian G., Li Y., Peng H., Mai J., Hammoud H.A., Elhoseiny M., Ghanem B. PointNeXt: Revisiting PointNet++ with Improved Training and Scaling Strategies. arXiv preprint arXiv:2206.04670. 2022.
- 15. Qian G., Hammoud H., Li G., Thabet A., Ghanem B. Assanet: An anisotropicseparable set abstraction for efficient point cloud representation learning // Advances in Neural Information Processing Systems (NeurIPS). 2021. P. 34.
- 16. Sandler M., Howard A., Zhu M., Zhmoginov A., Chen L.C. Mobilenetv2: Inverted residuals and linear bottlenecks / In Proceedings of the IEEE/CVF Conference on Computer Visionand Pattern Recognition (CVPR). 2018. P. 4510–4520.
- 17. He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition / In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2016. P. 770–778.
- 18. Li Y., Bu R., Sun M., Wu W., Di X., Chen B. Pointcnn: Convolution on X-transformed points // Advances in Neural Information Processing Systems (NeurIPS), 2018.
- 19. Li G., Muller M., Thabet A., Ghanem B. Deepgcns: Can gcns go as deep as cnns? / In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). 2019. P. 9267–9276.
- 20. Loshchilov I., Hutter F. Decoupled weight decay regularization / In International Conference on Learning Representations (ICLR). 2019.
- 21. Diederik P. Kingma, Jimmy Ba. Adam: A method for stochastic optimization / In International Conference on Learning Representations (ICLR). 2015.
- 22. Szegedy C., Vanhoucke V., Ioffe S., Shlens J., Wojna Z. Rethinking theinception architecture for computer vision / In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2016.
- 23. Nie Y., Han X., Guo S., Zheng Y., Chang J., Zhang J.J. Total3dunderstanding: Joint layout, object pose and mesh reconstruction for indoor scenes from a single image / In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020. P. 55–64.
- 24. Kulikajevas A., Maskeliūnas R., Damaševičius R., Misra S. Reconstruction of 3D object shape using hybrid modular neural network architecture trained on 3D models from ShapeNetCore dataset // Sensors. 2019. V. 19. № 7. P. 1553.
