Фотонный чип объединяет сенсорные и вычислительные функции для сверхбыстрого машинного зрения

Важные новости

Фотонный чип объединяет датчики и вычисления для сверхбыстрого машинного зрения» /></p>
<p> Исследователи разработали новый интеллектуальный фотонный сенсорно-вычислительный чип, который может обрабатывать, передавать и реконструировать изображения сцены за наносекунды. Фото: Вэй Ву, Университет Цинхуа </p>
<p>Исследователи продемонстрировали новый интеллектуальный фотонный сенсорно-вычислительный чип, который может обрабатывать, передавать и реконструировать изображения сцены за наносекунды. Это достижение открывает двери для чрезвычайно высокоскоростной обработки изображений, которая может принести пользу периферийному интеллекту для приложений машинного зрения, таких как автономное вождение, промышленный контроль и роботизированное зрение.</p>
<p>Перичные вычисления, которые выполняют интенсивные вычислительные задачи, такие как обработка изображений. и анализ на локальных устройствах превращается в периферийный интеллект за счет добавления анализа и принятия решений на основе искусственного интеллекта (ИИ).</p>
<p>«Захват, обработка и анализ изображений для задач, связанных с периферией, таких как автономное вождение, в настоящее время ограничены скоростями на уровне миллисекунд из-за необходимости опто-электронных преобразований», — сказал руководитель исследовательской группы Лу Фанг из Университета Цинхуа в Китае. /p> </p>
<p>«Наш новый чип может выполнять все эти процессы всего за наносекунды, сохраняя их все в оптической области. Это может быть использовано для значительного улучшения или даже замены традиционной архитектуры сбора данных с датчиков, за которой следует пост-ИИ. обработка.»</p>
<p>В <i>Optica</i>Исследователи описывают новый чип, который они называют чипом оптической параллельной вычислительной матрицы (OPCA). Они показывают, что OPCA имеет пропускную способность обработки до ста миллиардов пикселей и время отклика всего 6 наносекунд, что примерно на шесть порядков быстрее, чем нынешние методы. Они также использовали этот чип для создания оптической нейронной сети, которая объединяет восприятие, вычисления и реконструкцию изображений.</p>
<p>«Чип и оптическая нейронная сеть могут повысить эффективность обработки сложных сцен при промышленном контроле и помочь вывести технологию интеллектуальных роботов на более высокий уровень когнитивного интеллекта», — сказал Вэй Ву, соавтор статьи. «Мы думаем, что это также может произвести революцию в области периферийного интеллекта».</p>
<p><img decoding=

Новый чип интеллектуальной оптической вычислительной матрицы (OPCA) выполняет сквозную обработку, передачу и реконструкцию изображений путем интеграции датчиков и вычислений на одном чипе. Фото: Вэй Ву, Университет Цинхуа.

Устранение оптического преобразования в электрическое

Машинное зрение, использующее камеры, датчики изображения, освещение и компьютерные алгоритмы для захвата, обработки и анализа изображений. для конкретных задач – традиционно предполагает преобразование оптической информации в цифровые электрические сигналы с помощью датчиков. Эти сигналы затем передаются по оптическим волокнам для передачи данных на большие расстояния и выполнения последующих задач.

Однако частое преобразование оптических и электрических сигналов наряду с ограниченным развитием электронных процессоров стало основным препятствием на пути повышения скорости и вычислительной мощности машинного зрения.

«Мир вступает в эпоху ИИ, но ИИ очень затратен по времени и энергии», — сказал Фанг. «Между тем, рост периферийных устройств, таких как смартфоны, интеллектуальные автомобили и ноутбуки, привел к взрывному росту данных изображений, которые необходимо обрабатывать, передавать и отображать. Мы работаем над развитием машинного зрения, интегрируя зондирование и вычисления в оптической области, что особенно важно для периферийных вычислений и для обеспечения более устойчивых приложений ИИ».

Проблема выполнения как получения изображений, так и анализа на одном и том же чипе в оптической области заключается в поиске способа преобразования пространственного света свободного пространства, используемого для визуализации, в направленную световую волну на чипе.

Исследователи добились этого, разработав чип, который состоит из сенсорно-вычислительного массива специально разработанных кольцевых резонаторов, которые преобразуют изображение оптической интенсивности в свободном пространстве — 2D-представление интенсивности света сцены — в когерентный световой сигнал, которым затем можно управлять. на чипе. Массив микролинз улучшает процесс, фокусируя сцену на чипе OPCA.

Фотонный чип объединяет датчики и вычисления для сверхбыстрое машинное зрение» /></p>
<p> На фотографии видно, как свет фокусируется через матрицу микролинз на микрокольцо в системе тестирования чипов OPCA. Фото: Вэй Ву, Университет Цинхуа. </p>
<p><b>Создание полностью оптического соединения ввода-вывода</b></p>
<p>Архитектура чипа позволила исследователям создать сквозную многоволновую оптическую нейронную сеть для объединения модулированного света на кристалле в оптический волновод с широкой полосой пропускания, где модулированный свет спектрально суммируется. Мультиспектральные оптические выходы затем можно использовать для задач классификации или для создания полностью оптической реконструкции изображения.</p>
<p>«Поскольку каждый сенсорно-вычислительный элемент этого чипа реконфигурируем, каждый из них может работать как программируемый нейрон, который генерирует выходные данные модуляции света на основе входных данных и веса», — сказал Фанг.</p>
<p>«Нейронная сеть соединяет все сенсорно-вычислительные нейроны с помощью одного волновода, обеспечивая полностью оптическое соединение между входной информацией и выходом».</p>
<p>Чтобы продемонстрировать возможности чипа OPCA, исследователи показал, что его можно использовать для классификации рукописных изображений и выполнения свертки изображений — процесса, который применяет фильтр к изображению для извлечения признаков. Результаты показали, что архитектура чипа может эффективно выполнять сжатие информации и реконструкцию сцены, что указывает на ее потенциал для широкого применения.</p>
<p><img decoding=

Новости сегодня

Последние новости