Исследователи используют струйную печать для создания портативной мультиспектральной 3D-камеры

Важные новости

Исследователи используют струйную печать для создания портативная мультиспектральная 3D-камера

Исследователи использовали струйную печать для создания мультиспектральной версии камеры светового поля, которая умещается на ладони. 3D-камера может быть полезна для таких приложений, как автономное вождение, классификация вторсырья и дистанционное зондирование. Фото: Максимилиан Шамбах, Технологический институт Карлсруэ

Исследователи использовали струйную печать для создания компактной мультиспектральной версии камеры светового поля. Камера, умещающаяся на ладони, может быть полезна во многих приложениях, включая автономное вождение, классификацию переработанных материалов и дистанционное зондирование.

3D-спектральная информация может быть полезна для классификации объектов и материалов; однако для захвата трехмерной пространственной и спектральной информации из сцены обычно требуется несколько устройств или трудоемкие процессы сканирования. Новая камера светового поля решает эту проблему, одновременно получая трехмерную информацию и спектральные данные за один снимок.

«Насколько нам известно, это самая передовая и интегрированная версия многоспектральной камеры светового поля», — сказал руководитель исследовательской группы Ули Леммер из Технологического института Карлсруэ в Германии. «Мы объединили ее с новыми методами ИИ для реконструкции глубины и спектральных свойств сцены, чтобы создать передовую сенсорную систему для получения 3D-информации».

В журнале Optics ExpressИсследователи сообщают, что новые методы реконструкции камеры и изображения можно использовать для различения объектов в сцене на основе их спектральных характеристик. Использование струйной печати для изготовления ключевых оптических компонентов камеры позволяет легко настраивать ее или производить в больших объемах.

«Реконструированные 3D-данные из изображений с камеры находят широкое применение в виртуальной и дополненной реальности, автономных автомобилях, робототехнике. , устройства умного дома, дистанционное зондирование и другие приложения», — сказал Майкл Хейцманн, член исследовательской группы.

«Эта новая технология может, например, позволить роботам лучше взаимодействовать с людьми или повысить точность классификации и разделения материалов при переработке. Ее также потенциально можно использовать для классификации здоровых и больных тканей».

< img class="aligncenter" src="https://scx1.b-cdn.net/csz/news/800a/2024/researchers-leverage-i-1.jpg" alt="Исследователи используют струйную печать для создания портативного мультиспектральная 3D камера" />

Струйную печать использовали для нанесения отдельных капель материала для формирования отдельных линз на одной стороне ультратонких предметных стекол микроскопа (i). После отверждения (ii) полностью выровненные матрицы цветных фильтров были напечатаны на противоположной стороне предметных стекол микроскопа (iii). Полученный оптический компонент был интегрирован непосредственно в CMOS-чип камеры и помещен в корпус камеры (iv). Фото: Цяошуан Чжан, Технологический институт Карлсруэ

Добавление цвета с помощью струйной печати

Камеры светового поля, также называемые пленоптическими камерами, представляют собой специализированные устройства формирования изображений, которые фиксируют направление и интенсивность световых лучей. После получения изображения вычислительная обработка используется для восстановления информации трехмерного изображения на основе полученных данных. В этих камерах обычно используются массивы микролинз, совмещенные с пикселями чипа камеры высокого разрешения.

Для создания многоспектральной камеры светового поля исследователи использовали струйную печать для нанесения одной капли материала для формирования каждой отдельной линзы на одной стороне сверхтонких предметных стекол микроскопа, а затем напечатали полностью выровненные матрицы цветных фильтров на противоположной стороне предметных стекол микроскопа. Полученный оптический компонент был интегрирован непосредственно в чип камеры CMOS. Метод струйной печати позволил точно выровнять оптические компоненты, что значительно снизило сложность производства и повысило эффективность.

Поскольку эта установка выдает информацию о спектре и глубине, которая переплетается с изображением камеры, исследователи разработали методы разделения каждого компонента. Они обнаружили, что подход, основанный на глубоком обучении, лучше всего работает для извлечения нужной информации непосредственно из полученных измерений.

Исследователи используют струйную печать для создания портативной мультиспектральной 3D-камеры

Исследователи использовали новую камеру и метод глубокого обучения для создания этих реконструированных изображений в разных цветовых каналах (представление ложного цвета). Фото: Максимилиан Шамбах, Технологический институт Карлсруэ

Обнаружение объектов на основе спектра

«Решение задачи создания мультиспектральной камеры светового поля стало возможным только путем объединения последних достижений производство, проектирование систем и реконструкция изображений на основе искусственного интеллекта», — сказал Цяошуан Чжан, первый автор статьи. «Эта работа расширяет границы струйной печати — универсального метода с высокой точностью и промышленной масштабируемостью — для производства фотонных компонентов».

Исследователи протестировали камеру, записав тестовую сцену, содержащую многоцветные 3D-объекты на разных расстояниях. Алгоритм реконструкции изображения был обучен и протестирован на множестве синтетических и реальных мультиспектральных изображений. Результаты показывают, что прототип камеры может одновременно получать трехмерную пространственную и спектральную информацию, а также что различные объекты можно отображать и различать по разному спектральному составу и информации о глубине в одном снимке.

Теперь, когда они завершили это В качестве первой проверки концепции исследователи изучают различные приложения, в которых может быть полезна камера светового поля с возможностью получения мультиспектральной информации.

Дополнительная информация: Цяошуан Чжан и др., Компактная мультиспектральная камера светового поля на основе матрицы микролинз, напечатанной на струйной печати, и матрицы цветных фильтров, Optics Express (2024). DOI: 10.1364/OE.521646

Информация журнала: Optics Express

Предоставлено Optica

Новости сегодня

Последние новости