Статьи автора

МЕТОД РЕКОНСТРУКЦИИ ГЕОМЕТРИИ ИЗ НАБОРА RGB-ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ ДИФФЕРЕНЦИРУЕМОГО РЕНДЕРИНГА И ВИЗУАЛЬНОЙ ОБОЛОЧКИ

Номер выпуска 3 от 24.01.2025

Применение методов дифференцируемого рендеринга является актуальным на сегодняшний день решением задачи реконструкции геометрии из набора RGB-изображений без задействования дорогостоящего оборудования. Недостатком этого класса методов являются возможные искажения геометрии, возникающие в ходе оптимизации, и высокая вычислительная сложность. Современные методы дифференцируемого рендеринга вычисляют и используют два типа градиентов: градиенты силуэтов и градиенты нормалей. Причиной большинства искажений, возникающих в ходе оптимизации геометрии, являются модификации параметров, связанных с градиентами силуэтов. В работе рассматривается возможность увеличения эффективности методов реконструкции геометрии, основанных на использовании дифференцируемого рендеринга, путем разделения процесса реконструкции на два этапа: инициализации и оптимизации. Первый этап реконструкции предполагает создание визуальной оболочки восстанавливаемого объекта. Выполнение этого этапа позволяет автоматизировать процесс выбора исходной геометрии и начать следующий этап с двумя условиями: силуэты объекта уже восстановлены со всех точек наблюдения, а топологии реконструируемого и истинного объектов эквивалентны. Второй этап представляет собой цикл оптимизации геометрии, основанный на выполнении перечисленных условий. Этот цикл состоит из четырех шагов: рендеринг изображений, вычисление функции потерь, расчет градиентов и оптимизация геометрии. Выполнение условия соответствия контуров исходной и эталонной геометрии позволяет избавиться от необходимости использования градиентов силуэтов. Такое решение позволяет значительно снизить число ошибок, возникающих в ходе оптимизации, а также уменьшить вычислительную сложность метода, благодаря исключению вычисления функции потерь, расчета градиентов и оптимизации параметров, связанных с силуэтами объектов. Проведены тестирование и анализ результатов, показавшие повышение точности реконструкции геометрии при уменьшении разрешения сетки и уменьшении общего времени работы метода в сравнении с аналогичными методами, а также увеличение скорости шагов оптимизации до двух раз.

14 0

МЕТОД 3D-РЕКОНСТРУКЦИИ И ОЦИФРОВКИ СЦЕНЫ ДЛЯ СИСТЕМ СМЕШАННОЙ РЕАЛЬНОСТИ

Номер выпуска 3 от 17.09.2025

Системы смешанной реальности являются перспективным направлением, открывающим большие возможности для взаимодействия с виртуальными объектами в реальном мире. Как любое перспективное направление смешанная реальность имеет ряд нерешенных проблем. Одна из таких проблем – это формирование естественных условий освещения для виртуальных объектов, а также обеспечение корректного светового взаимодействия виртуальных объектов с реальным миром. Так как виртуальные и реальные объекты находятся в разных пространствах, то обеспечить их корректное взаимодействие является сложной задачей. Для создания цифровых копий объектов реального мира используются инструменты машинного обучения и технологии нейронных сетей. Данные методы успешно применяются в задачах компьютерного зрения для решения проблем ориентации в пространстве и реконструкции окружающей среды. В качестве решения предлагается переместить все объекты в одно информационное пространство – виртуальное. Такое решение позволит снять большую часть проблем, связанных с дискомфортом зрительного восприятия, вызванного неестественным световым взаимодействием объектов реального и виртуального миров. Поэтому основная идея метода заключается в определении объектов физического мира по облакам точек и их замена виртуальными CAD-моделями. То есть семантический анализ сцены и задача классификации объектов с последующим преобразованием в полигональные модели. В данной работе предлагается использование конкурентоспособных нейросетевых архитектур, позволяющих получить современные “state of the art” результаты. Эксперименты проводились на наборах данных “Semantic3D”, “ScanNet” и “S3DIS”, которые на данный момент являются крупнейшими датасетами с наборами облаков точек интерьерных сцен. В качестве метода решения задач семантической сегментации и классификации 3D-облаков точек было решено использовать архитектуру PointNeXt, основанную на PointNet, и применить в процессе обучения современные методы аугментации данных. Для восстановления геометрии был рассмотрен метод дифференциального рендеринга Soft Rasterizer и нейронная сеть “Total3Understanding”.

15 0

ИСПОЛЬЗОВАНИЕ МНОГОУРОВНЕВЫХ ХЭШ-ТАБЛИЦ ДЛЯ УСКОРЕНИЯ ПРОЦЕССА РЕНДЕРИНГА

Номер выпуска 3 от 17.09.2025

Проведен анализ методов реалистичного рендеринга с точки зрения эффективности расчета яркостей каустического и вторичного освещений. В качестве основного подхода для реализации реалистичного рендеринга был выбран метод двунаправленной прогрессивной трассировки лучей с обратными фотонными картами. Проведен анализ основных причин, снижающих производительность данного метода. Показано, что главным фактором, снижающим его производительность, является медленный доступ к данным фотонных карт. Рассмотрены различные варианты построения ускоряющих пространственных структур, исследованы их преимущества и недостатки. В качестве основных подходов были выбраны регулярная пространственная решетка и бинарное kd-дерево. Пространственная решетка обеспечивает высокую скорость доступа к данным при низкой адаптивности разбиения фотонной карты. Kd-дерево обеспечивает высокую пространственную адаптивность разбиения карты при низкой скорости доступа к данным. Предложено комбинированное решение, объединяющее адаптивность kd-дерева с высокой скоростью доступа к данным пространственной решетки. Для этого регулярная решетка накладывается на kd-дерево, построенное по принципу пространственного деления области фотонов на геометрически равные половины. Для уменьшения объемов памяти было предложено, во-первых, использовать многоуровневые пространственные решетки, накладываемые на выбранные узлы kd-дерева, и, во-вторых, для уменьшения объема памяти ускоряющей структуры хранить пространственные решетки в виде хэш-таблиц. В результате был предложен и реализован новый тип пространственных ускоряющих структур, представляющих собой дерево хэш-таблиц. Для разработанной пространственной структуры были реализованы методы поиска ближайших фотонов, сферы интегрирования которых покрывают точку освещения, и методы поиска пересечения сегмента луча со сферами интегрирования фотонов. Разработанные программные решения были реализованы в программном комплексе Lumicept, и для ряда базовых сцен было произведено сравнение скорости работы предложенного метода с методом, основанным на бинарном дереве, имеющемся в Lumicept. Сравнение показало, что новый метод может повысить общую производительность процедуры рендеринга более чем на 40%.

18 0

Преобразование данных облака точек в 3D‑модели с помощью PointNet++ и Transformer

Номер выпуска 3 от 17.09.2025

В данной работе представлен подход к восстановлению 3D-моделей из данных облака точек, основанный на использовании современных архитектур нейронных сетей. Основу метода составляют PointNet++ и Transformer. PointNet++ играет центральную роль, обеспечивая эффективное извлечение признаков и кодирование сложных геометрий 3D-сцен. Это достигается благодаря рекурсивному применению PointNet++ к вложенным разбиениям входного набора точек в метрическом пространстве. Выпуклая декомпозиция, являющаяся важным этапом в подходе, позволяет преобразовать сложные трехмерные объекты в набор более простых выпуклых форм. Это упрощает обработку данных и делает процесс восстановления более управляемым. Transformer затем обучает модель на этих признаках, что позволяет генерировать высококачественные реконструкции. Важно отметить, что Transformer используется исключительно для определения положения стен и границ объектов. Это сочетание технологий позволяет достичь высокой точности при восстановлении 3D-моделей. Основная идея метода заключается в сегментации облака точек на малые фрагменты, которые затем восстанавливаются как полигональные сетки. Для восстановления отсутствующих точек в данных облака точек применяется метод, основанный на алгоритме L1-Median и локальных признаках облака точек. Этот подход может адаптироваться к различным геометрическим структурам и исправлять ошибки топологического соединения. Предложенный метод был сравнен с несколькими современными подходами и показал свой потенциал в различных областях, включая архитектуру, инжиниринг, цифровизацию культурного наследия и системы дополненной и смешанной реальности. Это подчеркивает его широкую применимость и значительный потенциал для дальнейшего развития и применения в различных областях.

12 0

Двойное представление геометрии для ускорения трассировки лучей в оптических системах с поверхностями свободной формы

Номер выпуска 3 от 17.09.2025

В статье исследуется возможность использования двойного представления геометрии для повышения скорости трассировки лучей и обеспечения устойчивости результатов моделирования распространения света в сложных оптических системах, содержащих поверхности свободной формы, заданные полиномами высокого порядка (до 34-го порядка) или полиномами Якоби. Был проведен анализ традиционных методов представления данной геометрии как в виде треугольной сетки, так и в виде аналитического выражения. Проведенный анализ продемонстрировал недостатки традиционных подходов, которые заключаются в недостаточной точности вычисления координат точки встречи луча с треугольной сеткой, а также в неустойчивости результатов поиска точки встречи касательных лучей с аналитической поверхностью при использовании существующих методов расчета. В результате было предложено использовать двойное представление геометрии в виде грубого приближения поверхности треугольной сеткой, которое в дальнейшем используется как начальное приближение для поиска точки встречи луча с поверхностью, заданной аналитическим выражением. Это решение позволило существенно ускорить сходимость аналитических методов и повысить устойчивость их решений. Использование библиотеки Intel® Embree для быстрого поиска точки встречи луча с грубой треугольной сеткой и векторной модели вычислений для уточнения координат точки пересечения луча с геометрией, представленной аналитическим образом, позволило разработать и реализовать алгоритм трассировки лучей в оптической системе, содержащей поверхности с двойным представлением геометрии. Эксперименты, проведенные с использованием разработанного и реализованного алгоритма, показывают значительное ускорение трассировки лучей при сохранении точности вычислений и высокой стабильности результатов. Результаты были продемонстрированы на примере расчета функции рассеивания точки и бликов для двух объективов с поверхностями свободной формы, заданными полиномами Якоби. Кроме того, для двух данных объективов был произведен расчет изображения, формируемого RGB-D-объектом, имитирующим реальную сцену.

14 0