By this author

METHOD OF GEOMETRY RECONSTRUCTION FROM A SET OF RGB IMAGES USING DIFFERENTIABLE RENDERING AND VISUAL HULL

Issue number 3 from 24.01.2025

Применение методов дифференцируемого рендеринга является актуальным на сегодняшний день решением задачи реконструкции геометрии из набора RGB-изображений без задействования дорогостоящего оборудования. Недостатком этого класса методов являются возможные искажения геометрии, возникающие в ходе оптимизации, и высокая вычислительная сложность. Современные методы дифференцируемого рендеринга вычисляют и используют два типа градиентов: градиенты силуэтов и градиенты нормалей. Причиной большинства искажений, возникающих в ходе оптимизации геометрии, являются модификации параметров, связанных с градиентами силуэтов. В работе рассматривается возможность увеличения эффективности методов реконструкции геометрии, основанных на использовании дифференцируемого рендеринга, путем разделения процесса реконструкции на два этапа: инициализации и оптимизации. Первый этап реконструкции предполагает создание визуальной оболочки восстанавливаемого объекта. Выполнение этого этапа позволяет автоматизировать процесс выбора исходной геометрии и начать следующий этап с двумя условиями: силуэты объекта уже восстановлены со всех точек наблюдения, а топологии реконструируемого и истинного объектов эквивалентны. Второй этап представляет собой цикл оптимизации геометрии, основанный на выполнении перечисленных условий. Этот цикл состоит из четырех шагов: рендеринг изображений, вычисление функции потерь, расчет градиентов и оптимизация геометрии. Выполнение условия соответствия контуров исходной и эталонной геометрии позволяет избавиться от необходимости использования градиентов силуэтов. Такое решение позволяет значительно снизить число ошибок, возникающих в ходе оптимизации, а также уменьшить вычислительную сложность метода, благодаря исключению вычисления функции потерь, расчета градиентов и оптимизации параметров, связанных с силуэтами объектов. Проведены тестирование и анализ результатов, показавшие повышение точности реконструкции геометрии при уменьшении разрешения сетки и уменьшении общего времени работы метода в сравнении с аналогичными методами, а также увеличение скорости шагов оптимизации до двух раз.

15 0

3D SCENE RECONSTRUCTION AND DIGITIZATION METHOD FOR MIXED REALITY SYSTEMS

Issue number 3 from 17.09.2025

Системы смешанной реальности являются перспективным направлением, открывающим большие возможности для взаимодействия с виртуальными объектами в реальном мире. Как любое перспективное направление смешанная реальность имеет ряд нерешенных проблем. Одна из таких проблем – это формирование естественных условий освещения для виртуальных объектов, а также обеспечение корректного светового взаимодействия виртуальных объектов с реальным миром. Так как виртуальные и реальные объекты находятся в разных пространствах, то обеспечить их корректное взаимодействие является сложной задачей. Для создания цифровых копий объектов реального мира используются инструменты машинного обучения и технологии нейронных сетей. Данные методы успешно применяются в задачах компьютерного зрения для решения проблем ориентации в пространстве и реконструкции окружающей среды. В качестве решения предлагается переместить все объекты в одно информационное пространство – виртуальное. Такое решение позволит снять большую часть проблем, связанных с дискомфортом зрительного восприятия, вызванного неестественным световым взаимодействием объектов реального и виртуального миров. Поэтому основная идея метода заключается в определении объектов физического мира по облакам точек и их замена виртуальными CAD-моделями. То есть семантический анализ сцены и задача классификации объектов с последующим преобразованием в полигональные модели. В данной работе предлагается использование конкурентоспособных нейросетевых архитектур, позволяющих получить современные “state of the art” результаты. Эксперименты проводились на наборах данных “Semantic3D”, “ScanNet” и “S3DIS”, которые на данный момент являются крупнейшими датасетами с наборами облаков точек интерьерных сцен. В качестве метода решения задач семантической сегментации и классификации 3D-облаков точек было решено использовать архитектуру PointNeXt, основанную на PointNet, и применить в процессе обучения современные методы аугментации данных. Для восстановления геометрии был рассмотрен метод дифференциального рендеринга Soft Rasterizer и нейронная сеть “Total3Understanding”.

15 0

Conversion of Point Cloud Data to 3D Models Using PointNet++ and Transformer

Issue number 3 from 17.09.2025

В данной работе представлен подход к восстановлению 3D-моделей из данных облака точек, основанный на использовании современных архитектур нейронных сетей. Основу метода составляют PointNet++ и Transformer. PointNet++ играет центральную роль, обеспечивая эффективное извлечение признаков и кодирование сложных геометрий 3D-сцен. Это достигается благодаря рекурсивному применению PointNet++ к вложенным разбиениям входного набора точек в метрическом пространстве. Выпуклая декомпозиция, являющаяся важным этапом в подходе, позволяет преобразовать сложные трехмерные объекты в набор более простых выпуклых форм. Это упрощает обработку данных и делает процесс восстановления более управляемым. Transformer затем обучает модель на этих признаках, что позволяет генерировать высококачественные реконструкции. Важно отметить, что Transformer используется исключительно для определения положения стен и границ объектов. Это сочетание технологий позволяет достичь высокой точности при восстановлении 3D-моделей. Основная идея метода заключается в сегментации облака точек на малые фрагменты, которые затем восстанавливаются как полигональные сетки. Для восстановления отсутствующих точек в данных облака точек применяется метод, основанный на алгоритме L1-Median и локальных признаках облака точек. Этот подход может адаптироваться к различным геометрическим структурам и исправлять ошибки топологического соединения. Предложенный метод был сравнен с несколькими современными подходами и показал свой потенциал в различных областях, включая архитектуру, инжиниринг, цифровизацию культурного наследия и системы дополненной и смешанной реальности. Это подчеркивает его широкую применимость и значительный потенциал для дальнейшего развития и применения в различных областях.

13 0