- Код статьи
- S3034584725030036-1
- DOI
- 10.7868/S3034584725030036
- Тип публикации
- Статья
- Статус публикации
- Опубликовано
- Авторы
- Том/ Выпуск
- Том / Номер выпуска 3
- Страницы
- 27-39
- Аннотация
- В статье представлен метод реконструкции оптических свойств объектов реальной сцены по ряду ее изображений, основанный на использовании методов дифференцируемого рендеринга. Основной целью исследования является разработка подхода, позволяющего с высокой точностью восстановить оптические характеристики объектов сцены при минимизации вычислительных затрат. Во введении описана актуальность создания реалистичных виртуальных моделей сцен для компьютерной графики и их применения в таких областях, как виртуальная и дополненная реальность, анимация. Отмечено, что для достижения реализма изображения необходимо учитывать геометрию сцены, параметры освещения и оптические свойства объектов. В данной работе предполагается, что геометрия сцены и источники света известны, а основной задачей является восстановление оптических свойств объектов. Раздел “Методы” описывает основные этапы предложенного подхода. Первая стадия включает предварительную обработку данных, в ходе которой осуществляется выбор ключевых точек изображения, характеризующихся высокой яркостью и равномерным распределением по объектам сцены. Это позволяет значительно сократить объем данных, необходимых для оптимизации. Далее, используя численное дифференцирование и обратную трассировку лучей, вычисляются градиенты яркости по параметрам модели. Предложенный алгоритм учитывает как первичное, так и вторичное освещение, что повышает точность восстановления оптических характеристик сцены. На завершающем этапе параметры оптических моделей восстанавливаются с помощью метода Adam, улучшенного с использованием библиотеки Optuna для автоматического подбора гиперпараметров. В разделе результатов представлены эксперименты, выполненные на сцене Cornell Box. Демонстрируется результат восстановления оптических свойств и сравниваются оригинальная и восстановленная яркости. Выявлены ограничения, связанные с длительностью вычислений и чувствительностью к выбросам данных, которые подробно рассмотрены в работе. В заключении подведены итоги и предложены направления для дальнейшего развития, включая перенос вычислений на GPU и использование более сложных моделей оптических свойств для повышения точности и скорости алгоритма.
- Ключевые слова
- рендеринг дифференцируемый рендеринг трассировка лучей рассеивание света реконструкция оптических свойств
- Дата публикации
- 02.06.2025
- Год выхода
- 2025
- Всего подписок
- 0
- Всего просмотров
- 55
Библиография
- 1. Veach E. Robust monte carlo methods for light transport simulation. Ph.D. Dissertation, Stanford University. 1998. P. 406.
- 2. Bogolepov D.K., Ulyanov D. GPU-Optimized Bidirectional Path Tracing. In Proc. of the 21th International Conference in Central Europe on Computer Graphics, Visualization and Computer Vision. 2013. P. 15.
- 3. Veach E., Guibas L.J. Metropolis Light Transport. In Proc. of the of the 24th Annual Conference on Computer Graphics and Interactive Techniques. 1997. P. 65-76.
- 4. Bitterli B., Jakob W., Novak J., Jarosz W. Reversible Jump Metropolis Light Transport Using Inverse Mappings. ACM Transactions on Graphics. 2017. T. 37. № 1. P. 1-12.
- 5. Gruson A., West R., Hachisuka T. Stratified Markov Chain Monte Carlo Light Transport. Computer Graphics Forum. 2020. V. 39. № 2. P. 351-362.
- 6. Jensen H.W. Global illumination using photon maps. Eurographics workshop on Rendering techniques. Springer, Vienna. 1996. P. 21-30.
- 7. Kato H., Beker D., Morariu M., Ando T., Matsuoka T., Kehl W., Gaidon A. Differentiable Rendering: A Survey. 2015.
- 8. Phong B.T. Illumination for computer generated pictures. Communications of ACM 18. 1975. V. 6. -P. 311-317.
- 9. Cook R.L., Torrance K.E. A Reflectance Model for Computer Graphics. ACM Transactions on Graphics. 1981. V. 1. № 3. P. 301-316.
- 10. Burley B. Physically Based Shading at Disney. ACM Transactions on Graphics (ACM SIGGRAPH). 2012. P. 7.
- 11. Loper M.M., Black M.J. OpenDR: An approximate differ entiable renderer. in ECCV. 2014.
- 12. Kato H., Ushiku Y., Harada T. Neural 3D Mesh Renderer. in CVPR. 2018.
- 13. Genova T., Cole F., Maschinot A., Sarna A., Vlasic D., Freeman W.T. Unsupervised Training for 3D Morphable Model Regression. in CVPR. 2018.
- 14. Rhodin H., Robertini N., Richardt C., Seidel H.-P., Theobalt C. A. Versatile Scene Model with Differentiable Visibility Applied to Generative Pose Estimation. in ICCV. 2015.
- 15. Kajiya, J.T. The rendering equation. ACM SIGGRAPH Computer Graphics. 1986. V. 20. № 4. P. 143-150.
- 16. Li T.M., Aittala M., Durand F., Lehtinen J. Differentiable monte carlo ray tracing through edge sampling. ACM Trans. Graph. 2018. V. 37. № 6. P. 11.
- 17. Zhang C., Wu L., Zheng C., Gkioulekas I., Ramamoorthi R., Zhao S. A differential theory of radiative transfer. ACM Trans. Graph. 2019. V. 38. № 6. P. 16.
- 18. Shuang Z., Wenzel J., Tzu-Mao L. Physics-Based Differentiable Rendering: From Theory to Implementation. 2020.
- 19. Merlin N., Delio V., Tizian Z., Wenzel J. Mitsuba 2: A Retargetable Forward and Inverse Renderer. 2019.
- 20. Сорокин М.И., Жданов Д.Д., Жданов А.Д., Потемин И.С., Богданов Н.Н. Восстановление параметров освещения в системах смешанной реальности с помощью технологии сверточных нейронных сетей по RGBD-изображениям. Программирование. 2020. № 3. С. 24-34.
- 21. Кинёв И.Е., Куприянов С.И. Восстановление оптических свойств объектов сцены методом дифференцируемого рендеринга с применением оптимизации выбора наиболее важных точек. Труды конференции ГрафиКон - 2024. 2024. C. 179-193.
- 22. Zhdanov D.D., Guskov K.S., Zhdanov A.D., Potemin I.S., Kulbako A.Y., Alexandrov Y.V., Lopatin A.V., Sokolov V.G. Using a Federated Approach to Synthesize Images of Confidential Scene Models. Light & Engineering. 2024. V. 32. № 4. P. 89-102.
- 23. Optuna - Ahyperparameter Optimization framework. https://optuna.org.2024
- 24. Adam - PyToch 2.5 documentation. https://pytorch.org/docs/stable/generated/torch.optim.Adam.html.2024
