By this author

3D SCENE RECONSTRUCTION AND DIGITIZATION METHOD FOR MIXED REALITY SYSTEMS

Issue number 3 from 17.09.2025

Системы смешанной реальности являются перспективным направлением, открывающим большие возможности для взаимодействия с виртуальными объектами в реальном мире. Как любое перспективное направление смешанная реальность имеет ряд нерешенных проблем. Одна из таких проблем – это формирование естественных условий освещения для виртуальных объектов, а также обеспечение корректного светового взаимодействия виртуальных объектов с реальным миром. Так как виртуальные и реальные объекты находятся в разных пространствах, то обеспечить их корректное взаимодействие является сложной задачей. Для создания цифровых копий объектов реального мира используются инструменты машинного обучения и технологии нейронных сетей. Данные методы успешно применяются в задачах компьютерного зрения для решения проблем ориентации в пространстве и реконструкции окружающей среды. В качестве решения предлагается переместить все объекты в одно информационное пространство – виртуальное. Такое решение позволит снять большую часть проблем, связанных с дискомфортом зрительного восприятия, вызванного неестественным световым взаимодействием объектов реального и виртуального миров. Поэтому основная идея метода заключается в определении объектов физического мира по облакам точек и их замена виртуальными CAD-моделями. То есть семантический анализ сцены и задача классификации объектов с последующим преобразованием в полигональные модели. В данной работе предлагается использование конкурентоспособных нейросетевых архитектур, позволяющих получить современные “state of the art” результаты. Эксперименты проводились на наборах данных “Semantic3D”, “ScanNet” и “S3DIS”, которые на данный момент являются крупнейшими датасетами с наборами облаков точек интерьерных сцен. В качестве метода решения задач семантической сегментации и классификации 3D-облаков точек было решено использовать архитектуру PointNeXt, основанную на PointNet, и применить в процессе обучения современные методы аугментации данных. Для восстановления геометрии был рассмотрен метод дифференциального рендеринга Soft Rasterizer и нейронная сеть “Total3Understanding”.

15 0

USING MULTILEVEL HASH TABLES TO SPEED UP RENDERING

Issue number 3 from 17.09.2025

Проведен анализ методов реалистичного рендеринга с точки зрения эффективности расчета яркостей каустического и вторичного освещений. В качестве основного подхода для реализации реалистичного рендеринга был выбран метод двунаправленной прогрессивной трассировки лучей с обратными фотонными картами. Проведен анализ основных причин, снижающих производительность данного метода. Показано, что главным фактором, снижающим его производительность, является медленный доступ к данным фотонных карт. Рассмотрены различные варианты построения ускоряющих пространственных структур, исследованы их преимущества и недостатки. В качестве основных подходов были выбраны регулярная пространственная решетка и бинарное kd-дерево. Пространственная решетка обеспечивает высокую скорость доступа к данным при низкой адаптивности разбиения фотонной карты. Kd-дерево обеспечивает высокую пространственную адаптивность разбиения карты при низкой скорости доступа к данным. Предложено комбинированное решение, объединяющее адаптивность kd-дерева с высокой скоростью доступа к данным пространственной решетки. Для этого регулярная решетка накладывается на kd-дерево, построенное по принципу пространственного деления области фотонов на геометрически равные половины. Для уменьшения объемов памяти было предложено, во-первых, использовать многоуровневые пространственные решетки, накладываемые на выбранные узлы kd-дерева, и, во-вторых, для уменьшения объема памяти ускоряющей структуры хранить пространственные решетки в виде хэш-таблиц. В результате был предложен и реализован новый тип пространственных ускоряющих структур, представляющих собой дерево хэш-таблиц. Для разработанной пространственной структуры были реализованы методы поиска ближайших фотонов, сферы интегрирования которых покрывают точку освещения, и методы поиска пересечения сегмента луча со сферами интегрирования фотонов. Разработанные программные решения были реализованы в программном комплексе Lumicept, и для ряда базовых сцен было произведено сравнение скорости работы предложенного метода с методом, основанным на бинарном дереве, имеющемся в Lumicept. Сравнение показало, что новый метод может повысить общую производительность процедуры рендеринга более чем на 40%.

18 0

Conversion of Point Cloud Data to 3D Models Using PointNet++ and Transformer

Issue number 3 from 17.09.2025

В данной работе представлен подход к восстановлению 3D-моделей из данных облака точек, основанный на использовании современных архитектур нейронных сетей. Основу метода составляют PointNet++ и Transformer. PointNet++ играет центральную роль, обеспечивая эффективное извлечение признаков и кодирование сложных геометрий 3D-сцен. Это достигается благодаря рекурсивному применению PointNet++ к вложенным разбиениям входного набора точек в метрическом пространстве. Выпуклая декомпозиция, являющаяся важным этапом в подходе, позволяет преобразовать сложные трехмерные объекты в набор более простых выпуклых форм. Это упрощает обработку данных и делает процесс восстановления более управляемым. Transformer затем обучает модель на этих признаках, что позволяет генерировать высококачественные реконструкции. Важно отметить, что Transformer используется исключительно для определения положения стен и границ объектов. Это сочетание технологий позволяет достичь высокой точности при восстановлении 3D-моделей. Основная идея метода заключается в сегментации облака точек на малые фрагменты, которые затем восстанавливаются как полигональные сетки. Для восстановления отсутствующих точек в данных облака точек применяется метод, основанный на алгоритме L1-Median и локальных признаках облака точек. Этот подход может адаптироваться к различным геометрическим структурам и исправлять ошибки топологического соединения. Предложенный метод был сравнен с несколькими современными подходами и показал свой потенциал в различных областях, включая архитектуру, инжиниринг, цифровизацию культурного наследия и системы дополненной и смешанной реальности. Это подчеркивает его широкую применимость и значительный потенциал для дальнейшего развития и применения в различных областях.

12 0

Dual Representation of Geometry for Ray Tracing Acceleration in Optical Systems with Freeform Surfaces

Issue number 3 from 17.09.2025

В статье исследуется возможность использования двойного представления геометрии для повышения скорости трассировки лучей и обеспечения устойчивости результатов моделирования распространения света в сложных оптических системах, содержащих поверхности свободной формы, заданные полиномами высокого порядка (до 34-го порядка) или полиномами Якоби. Был проведен анализ традиционных методов представления данной геометрии как в виде треугольной сетки, так и в виде аналитического выражения. Проведенный анализ продемонстрировал недостатки традиционных подходов, которые заключаются в недостаточной точности вычисления координат точки встречи луча с треугольной сеткой, а также в неустойчивости результатов поиска точки встречи касательных лучей с аналитической поверхностью при использовании существующих методов расчета. В результате было предложено использовать двойное представление геометрии в виде грубого приближения поверхности треугольной сеткой, которое в дальнейшем используется как начальное приближение для поиска точки встречи луча с поверхностью, заданной аналитическим выражением. Это решение позволило существенно ускорить сходимость аналитических методов и повысить устойчивость их решений. Использование библиотеки Intel® Embree для быстрого поиска точки встречи луча с грубой треугольной сеткой и векторной модели вычислений для уточнения координат точки пересечения луча с геометрией, представленной аналитическим образом, позволило разработать и реализовать алгоритм трассировки лучей в оптической системе, содержащей поверхности с двойным представлением геометрии. Эксперименты, проведенные с использованием разработанного и реализованного алгоритма, показывают значительное ускорение трассировки лучей при сохранении точности вычислений и высокой стабильности результатов. Результаты были продемонстрированы на примере расчета функции рассеивания точки и бликов для двух объективов с поверхностями свободной формы, заданными полиномами Якоби. Кроме того, для двух данных объективов был произведен расчет изображения, формируемого RGB-D-объектом, имитирующим реальную сцену.

14 0