Очистка и многопартийная аналитика данных

Конфиденциальные вычисления Azure (ACC) предоставляют основу для решений, позволяющих нескольким сторонам совместно работать с данными. Существуют различные подходы к решениям и растущей экосистеме партнеров, которые помогут клиентам Azure, исследователям, специалистам по обработке и анализу данных сотрудничать с данными при сохранении конфиденциальности. В этом обзоре рассматриваются некоторые подходы и существующие решения, которые можно использовать, все работающие в ACC.

Что такое защита данных и моделей?

Решения очистки данных обычно предлагают средства для одного или нескольких поставщиков данных для объединения данных для обработки. Обычно согласован код, запросы или модели, созданные одним из поставщиков или другим участником, например исследователь или поставщик решений. Во многих случаях данные могут считаться конфиденциальными и нежелательными для прямой передачи другим участникам — будь то другой поставщик данных, исследователь или поставщик решений. Чтобы обеспечить безопасность и конфиденциальность данных и моделей, используемых в чистых комнатах данных, конфиденциальные вычисления можно использовать для шифрования проверки того, что у участников нет доступа к данным или моделям, включая во время обработки. С помощью ACC решения могут обеспечить защиту данных и IP-адреса модели от оператора облака, поставщика решений и участников совместной работы с данными.

Каковы примеры вариантов использования в отрасли?

Благодаря ACC, клиенты и партнеры создают решения для совместной аналитики данных, обеспечивая сохранение конфиденциальности. Эти решения иногда называются "конфиденциальными пространствами" – как совершенно новые, уникально конфиденциальные решения, так и существующие решения для сотрудничества, которые становятся конфиденциальными с помощью ACC.

• Scotiabank — продемонстрировал эффективность использования ИИ для анализа межбанковских денежных потоков с целью выявления случаев отмывания денег и торговли людьми, используя конфиденциальные вычисления Azure и партнера по разработке решения Opaque.
• Novartis Biome — использовал партнерское решение beeKeeperAI , работающее в ACC, чтобы найти кандидатов на клинические испытания для редких заболеваний.
• Ведущие поставщики платежей , подключающие данные между банками для мошенничества и обнаружения аномалий.
• Службы аналитики данных и решения для чистых помещений с помощью ACC для повышения защиты данных и удовлетворения требований к соответствию требованиям клиентов ЕС и регулированию конфиденциальности.

Почему конфиденциальные вычисления?

Чистые комнаты данных не являются новой концепцией, однако с прогрессом в конфиденциальных вычислениях есть больше возможностей для использования облачных масштабов с более широкими наборами данных, защиты IP-адресов моделей ИИ и возможности лучше соответствовать правилам конфиденциальности данных. В предыдущих случаях некоторые данные могут быть недоступны по таким причинам, как

• Конкурентные недостатки или регулирование, предотвращающие обмен данными между отраслевыми компаниями.
• Анонимизация снижает качество аналитических сведений о данных или слишком затратно и занимает много времени.
• Данные привязаны к определенным расположениям и воздерживаются от обработки в облаке из-за проблем безопасности.
• Дорогостоящие или длительные юридические процессы покрывают ответственность, если данные обнародованы или неправомерно использованы.

Эти реалии могут привести к неполным или неэффективным наборам данных, которые приводят к более слабой аналитике или больше времени, необходимого для обучения и использования моделей искусственного интеллекта.

Что следует учитывать при создании решения для очистки?

Пакетная аналитика и конвейеры данных в режиме реального времени: Размер наборов данных и скорости аналитики следует учитывать при проектировании или использовании решения для очистки. Если данные доступны в автономном режиме, их можно загрузить в проверенную и защищенную вычислительные среды для обработки данных на больших участках данных, если не весь набор данных. Эта пакетная аналитика позволяет оценивать большие наборы данных с помощью моделей и алгоритмов, которые не должны предоставлять немедленный результат. Например, пакетная аналитика хорошо работает при выполнении выводов на основе машинного обучения по миллионам медицинских записей, чтобы найти лучших кандидатов для клинического испытания. Другие решения требуют аналитических сведений о данных в режиме реального времени, например, когда алгоритмы и модели нацелены на выявление мошенничества в практически реальном времени транзакций между несколькими сущностями.

Участие на основе нулевого доверия: Отличительная черта конфиденциальных чистых комнат — это возможность не доверять ни одной из сторон, включая всех поставщиков данных, разработчиков кода и моделей, поставщиков решений и администраторов операторов инфраструктуры. Решения можно предоставить, где можно защитить как данные, так и IP-адрес модели от всех сторон. При подключении или создании решения участники должны учитывать как то, что нужно защитить, так и от кого защитить каждый код, модели и данные.

Федеративное обучение: Федеративное обучение включает создание или использование решения, в то время как модели обрабатываются в клиенте владельца данных, а аналитические сведения объединяются в центральном клиенте. В некоторых случаях модели могут даже выполняться на данных за пределами Azure, при этом агрегирование модели все еще происходит в Azure. Во многих случаях федеративное обучение выполняет итерацию данных во многих случаях по мере улучшения параметров модели после агрегирования аналитических сведений. Затраты на итерацию и качество модели должны учитываться в решении и ожидаемых результатах.

Размещение данных и источники: Клиенты хранят данные в нескольких облаках и локальной среде. Совместная работа может включать данные и модели из разных источников. Решения cleanroom могут облегчить доступ к данным и моделям, поступающим в Azure из других расположений. Если данные не могут перейти в Azure из локального хранилища данных, некоторые решения очистки могут выполняться на сайте, где находятся данные. Управление и политики могут поддерживаться общим поставщиком решений, где это возможно.

Целостность кода и конфиденциальные реестры: Благодаря технологии распределенного реестра (DLT), работающей в конфиденциальных вычислениях Azure, решения можно создавать в сети в разных организациях. Логику кода и правила аналитики можно добавлять только при наличии консенсуса между различными участниками. Все обновления кода записываются для аудита с помощью ведения журнала, защищенного от изменений, с поддержкой конфиденциальных вычислений Azure.

Какие есть варианты, чтобы начать?

Конфиденциальные чистые комнаты Azure (предварительная версия)

Конфиденциальные чистые комнаты Azure (ACCR) предназначены для организаций, которые должны безопасно обмениваться конфиденциальными данными, такими как персональные данные (PII) или защищенные медицинские данные (PHI), с другими организациями для получения критически важных бизнес-аналитических сведений. Это может включать оптимизацию моделей машинного обучения с использованием конфиденциальных данных других организаций для повышения точности или проведение безопасной аналитики объединенных данных с партнерскими организациями. ACCR использует конфиденциальные контейнеры в экземплярах контейнеров Azure, чтобы обеспечить защиту данных от других участников совместной работы и от операторов Azure. Он имеет приложения, охватывающие несколько отраслей, таких как здравоохранение, реклама, банковские и финансовые услуги и розничные продажи.

Вы можете зарегистрироваться для предварительной версии ACCR, отправив эту форму.

Предложения платформы ACC, которые помогают создать условия для конфиденциальных чистых помещений

Закатайте рукава и создайте решение для конфиденциальной обработки данных на основе этих предложений службы конфиденциальных вычислений.

Конфиденциальные контейнеры в экземплярах контейнеров Azure (ACI) и виртуальных машинах Intel SGX с анклавами приложений предоставляют решение для создания решений конфиденциальной очистки.

Конфиденциальные виртуальные машины предоставляют платформу виртуальных машин для решений конфиденциальной очистки.

Azure SQL AE в безопасных анклавах предоставляет платформенную службу для шифрования данных и запросов в SQL, которые можно использовать в многопользовательской аналитике данных и конфиденциальных чистых зонах.

Конфиденциальная платформа консорциума — это платформа с открытым исходным кодом для создания высокодоступных служб с отслеживанием состояния, использующих централизованные вычислительные ресурсы для удобства использования и производительности, обеспечивая децентрализованное доверие. Она позволяет нескольким сторонам выполнять проверяемые вычисления по конфиденциальным данным, не доверяя друг другу или привилегированному оператору.

Решения партнеров ACC, которые обеспечивают конфиденциальные чистые комнаты

Используйте партнера, создающего решение аналитики данных нескольких сторон на основе платформы конфиденциальных вычислений Azure.

• Anjuna предоставляет платформу конфиденциальных вычислений, которая позволяет различным вариантам использования, включая безопасные чистые комнаты, организациям предоставлять общий доступ к данным для совместного анализа, например вычисление кредитных показателей рисков или разработку моделей машинного обучения без предоставления конфиденциальной информации.
• BeeKeeperAI обеспечивает возможность использования ИИ в здравоохранении с помощью безопасной платформы совместной работы для владельцев алгоритмов и распорядителей данных. BeeKeeperAI™ использует аналитику с сохранением конфиденциальности для нескольких институциональных источников защищенных данных в конфиденциальной вычислительной среде. Решение поддерживает сквозное шифрование, безопасные анклавы вычислений и новейшие процессоры SGX Intel для защиты данных и IP-адреса алгоритма.
• Decentriq предоставляет чистые комнаты данных SaaS, созданные на основе конфиденциальных вычислений, которые обеспечивают безопасную совместную работу с данными, не предоставляя общий доступ к данным. Чистые комнаты для науки о данных позволяют гибко анализировать в многопользовательской среде, а безкодовое решение чистых комнат для медиа и рекламы обеспечивает согласованную активацию и аналитику аудитории на основе собственных данных пользователей. Конфиденциальные чистые комнаты подробно описаны в этой статье в блоге Майкрософт.
• Fortanix предоставляет платформу конфиденциальных вычислений, которая может включать конфиденциальный ИИ, включая несколько организаций, совместно сотрудничающих с многопартийной аналитикой.
• Habu предоставляет интероперабельную платформу чистой комнаты данных, которая позволяет предприятиям раскрывать совместную аналитику интеллектуальным, безопасным, масштабируемым и простым способом. Habu подключает децентрализованные данные между отделами, партнерами, клиентами и поставщиками для улучшения совместной работы, принятия решений и результатов.
• Mithril Security предоставляет средства, помогающие поставщикам SaaS обслуживать модели искусственного интеллекта внутри безопасных анклавах и предоставлять локальный уровень безопасности и контроля владельцам данных. Владельцы данных могут использовать свои решения SaaS AI, соблюдая требования и сохраняя контроль над своими данными.
• Opaque предоставляет платформу конфиденциальных вычислений для совместной аналитики и искусственного интеллекта, дающая возможность выполнять совместную масштабируемую аналитику, защищая данные от начала до конца и позволяя организациям соблюдать юридические и нормативные мандаты.