Оптическая реализация. Кредит: arXiv (2024). DOI: 10.48550/arxiv.2408.05629
Модели глубокого обучения используются во многих областях, от диагностики в здравоохранении до финансового прогнозирования. Однако эти модели настолько вычислительно интенсивны, что требуют использования мощных облачных серверов.
Такая зависимость от облачных вычислений создает значительные риски безопасности, особенно в таких областях, как здравоохранение, где больницы могут не спешить использовать инструменты ИИ для анализа конфиденциальных данных пациентов из-за проблем с конфиденциальностью.
Чтобы решить эту насущную проблему, исследователи Массачусетского технологического института разработали протокол безопасности, который использует квантовые свойства света, чтобы гарантировать, что данные, отправляемые на облачный сервер и с него, остаются в безопасности во время вычислений глубокого обучения.
Кодируя данные в лазерный свет, используемый в волоконно-оптических системах связи, протокол использует фундаментальные принципы квантовой механики, что делает невозможным для злоумышленников копировать или перехватывать информацию без обнаружения.
Более того, эта технология гарантирует безопасность, не ставя под угрозу точность моделей глубокого обучения. В ходе испытаний исследователи продемонстрировали, что их протокол может поддерживать точность 96%, обеспечивая при этом надежные меры безопасности.
«Модели глубокого обучения, такие как GPT-4, обладают беспрецедентными возможностями, но требуют огромных вычислительных ресурсов.
«Наш протокол позволяет пользователям использовать эти мощные модели, не ставя под угрозу конфиденциальность своих данных или проприетарную природу самих моделей», — говорит Кфир Сулимани, постдок Массачусетского технологического института в Исследовательской лаборатории электроники (RLE) и ведущий автор статьи, опубликованной на сервере препринтов arXiv по этому протоколу безопасности.
К Сулимани в работе над статьей присоединились Шри Кришна Вадламани, постдок MIT; Райан Хамерли, бывший постдок, ныне работающий в NTT Research, Inc.; Прахлад Айенгар, аспирант кафедры электротехники и компьютерных наук (EECS); и старший автор Дирк Энглунд, профессор EECS, главный исследователь Группы квантовой фотоники и искусственного интеллекта и RLE.
Исследование было недавно представлено на Ежегодной конференции по квантовой криптографии (Qcrypt 2024).
Двусторонняя улица для безопасности в глубоком обучении
Сценарий облачных вычислений, на котором сосредоточились исследователи, включает две стороны — клиента, у которого есть конфиденциальные данные, такие как медицинские изображения, и центральный сервер, который управляет моделью глубокого обучения.
Клиент хочет использовать модель глубокого обучения для составления прогноза, например, есть ли у пациента рак на основе медицинских изображений, не раскрывая информацию о пациенте.
В этом сценарии для создания прогноза необходимо отправить конфиденциальные данные. Однако в ходе процесса данные пациента должны оставаться в безопасности.
Кроме того, сервер не хочет раскрывать какие-либо части фирменной модели, на создание которой такая компания, как OpenAI, потратила годы и миллионы долларов.
«У обеих сторон есть что-то, что они хотят скрыть», — добавляет Вадламани.
В цифровых вычислениях злоумышленник может легко скопировать данные, отправленные с сервера или клиента.
С другой стороны, квантовая информация не может быть идеально скопирована. Исследователи используют это свойство, известное как принцип отсутствия клонирования, в своем протоколе безопасности.
В протоколе исследователей сервер кодирует веса глубокой нейронной сети в оптическое поле с помощью лазерного света.
Нейронная сеть — это модель глубокого обучения, которая состоит из слоев взаимосвязанных узлов или нейронов, которые выполняют вычисления над данными. Веса — это компоненты модели, которые выполняют математические операции над каждым входом, по одному слою за раз. Выход одного слоя подается в следующий слой, пока последний слой не сгенерирует прогноз.
Сервер передает веса сети клиенту, который реализует операции для получения результата на основе своих личных данных. Данные остаются защищенными от сервера.
В то же время протокол безопасности позволяет клиенту измерять только один результат и не позволяет клиенту копировать веса из-за квантовой природы света.
Как только клиент передает первый результат на следующий уровень, протокол предназначен для отмены первого уровня, чтобы клиент не мог узнать ничего другого о модели.
«Вместо того, чтобы измерять весь входящий свет с сервера, клиент измеряет только тот свет, который необходим для работы глубокой нейронной сети и передачи результата в следующий слой. Затем клиент отправляет остаточный свет обратно на сервер для проверки безопасности», — объясняет Сулимани.
Из-за теоремы о запрете клонирования клиент неизбежно применяет крошечные ошибки к модели при измерении ее результата. Когда сервер получает остаточный свет от клиента, сервер может измерить эти ошибки, чтобы определить, произошла ли утечка какой-либо информации. Важно то, что этот остаточный свет, как доказано, не раскрывает данные клиента.
Практический протокол
Современное телекоммуникационное оборудование обычно использует оптические волокна для передачи информации из-за необходимости поддерживать огромную пропускную способность на больших расстояниях. Поскольку это оборудование уже включает оптические лазеры, исследователи могут кодировать данные в свет для своего протокола безопасности без какого-либо специального оборудования.
Протестировав свой подход, исследователи обнаружили, что он может гарантировать безопасность сервера и клиента, позволяя при этом глубокой нейронной сети достигать точности 96%.
Крошечный кусочек информации о модели, который просачивается, когда клиент выполняет операции, составляет менее 10% от того, что понадобится злоумышленнику для восстановления любой скрытой информации. Работая в другом направлении, вредоносный сервер может получить только около 1% информации, которая ему понадобится для кражи данных клиента.
«Вы можете быть уверены, что он безопасен в обоих направлениях — от клиента к серверу и от сервера к клиенту», — говорит Сулимани.
«Несколько лет назад, когда мы разработали нашу демонстрацию распределенного вывода машинного обучения между главным кампусом Массачусетского технологического института и лабораторией Линкольна Массачусетского технологического института, меня осенило, что мы можем сделать что-то совершенно новое для обеспечения безопасности на физическом уровне, основываясь на многолетней работе в области квантовой криптографии, которая также была продемонстрирована на этом испытательном стенде», — говорит Энглунд.
«Однако необходимо было преодолеть множество глубоких теоретических проблем, чтобы увидеть, может ли быть реализована эта перспектива распределенного машинного обучения с гарантированной конфиденциальностью. Это стало возможным только после того, как к нашей команде присоединился Кфир, поскольку Кфир обладал уникальным пониманием экспериментальных и теоретических компонентов для разработки единой структуры, лежащей в основе этой работы».
В будущем исследователи хотят изучить, как этот протокол можно применить к технике, называемой федеративным обучением, где несколько сторон используют свои данные для обучения центральной модели глубокого обучения. Его также можно использовать в квантовых операциях, а не в классических операциях, которые они изучали для этой работы, что может обеспечить преимущества как в точности, так и в безопасности.
«Эта работа умным и интригующим образом объединяет методы, взятые из областей, которые обычно не встречаются, в частности, глубокое обучение и квантовое распределение ключей. Используя методы из последнего, он добавляет уровень безопасности к первому, а также допускает то, что кажется реалистичной реализацией.
«Это может быть интересно для сохранения конфиденциальности в распределенных архитектурах. «Я с нетерпением жду возможности увидеть, как протокол поведет себя в условиях экспериментальных несовершенств и его практической реализации», — говорит Элени Диаманти, директор по исследованиям CNRS в Университете Сорбонны в Париже, которая не принимала участия в этой работе.
Дополнительная информация: Кфир Сулимани и др., Квантовое безопасное многопартийное глубокое обучение, arXiv (2024). DOI: 10.48550/arxiv.2408.05629
Информация о журнале: arXiv
Предоставлено Массачусетским технологическим институтом
