Обзор целевой зоны управления данными в облачном масштабе
Целевая зона управления данными является функцией управления и является централизованной для облачной аналитики. Она отвечает за управление платформой аналитики.
Целевая зона управления данными — это отдельная подписка, которая имеет те же стандартные службы целевой зоны Azure. Это позволяет управлять данными с помощью обходчиков, которые подключаются к озерам данных и хранилищу полиглотов в целевых зонах данных. Пиринг виртуальной сети подключает целевую зону управления данными к целевым зонам и подписке на подключение.
Используйте эту архитектуру в качестве отправной точки. Скачайте файл Visio и измените его в соответствии с конкретными бизнес-требованиями и техническими требованиями при планировании реализации целевой зоны управления данными.
Примечание.
Сохраняемость Polyglot — это термин хранения, описывающий выбор между различными технологиями хранения и хранилища данных для поддержки различных типов данных и их потребностей в хранении. По сути, сохраняемость polyglot — это концепция, которую приложение может использовать более одной основной базы данных или технологии хранения.
Важно!
Целевая зона управления данными должна быть развернута как отдельная подписка в группе управления с соответствующим управлением. Затем вы можете контролировать управление в вашей организации. Акселератор целевой зоны Azure иллюстрирует подход к целевым зонам Azure.
Каталог данных
Группа ресурсов: governance-rg
Каталог данных регистрирует и сохраняет сведения о данных в централизованном месте и делает его доступным для организации. Это гарантирует, что предприятия избежать дублирования продуктов данных, вызванных приемом избыточных данных различными командами проектов.
Мы рекомендуем подготовить службу каталога данных для определения метаданных продуктов данных, хранящихся в целевых зонах данных.
Аналитика в масштабе облака использует Microsoft Purview, чтобы служить в качестве:
- Система регистрации
- Обнаружение корпоративных источников данных
- Подсистема классификации данных
- Хранилище политик
- API для регистрации и чтения сведений о данных
- Центр мониторинга соответствия требованиям
Так как каталог данных является частью целевой зоны управления данными, он может взаимодействовать с каждой целевой зоной данных через пиринг виртуальной сети и локальную среду выполнения интеграции. Обнаружение продуктов данных в локальных хранилищах и других общедоступных облаках достигается с помощью дополнительных развертываний локальной среды выполнения интеграции.
Примечание.
Хотя в этой документации основное внимание уделяется использованию Microsoft Purview для возможностей каталога данных и классификации данных, предприятия могут инвестировать в другие продукты, такие как Alation, Okera или Collibra. Если это так, обратитесь к поставщику, чтобы применить принципы, описанные для целевой зоны управления данными, как можно ближе. Имейте в виду, что может потребоваться определенная настраиваемая интеграция.
Дополнительные сведения см. в разделе "Каталог данных" и рекомендации по развертыванию Microsoft Purview для облачной аналитики.
Управление качеством данных
Группа ресурсов: governance-rg2
Продолжайте работу с текущим решением.
Вы должны управлять качеством данных как можно ближе к источнику данных, чтобы избежать проблем с качеством реплика в аналитике и активе ИИ. Перемещение метрик качества и проверки в интеграцию данных выравнивает процесс качества с командами, ближайшими к данным. Эти команды имеют самое глубокое представление о вашем ресурсе данных.
Происхождение данных также обеспечивает достоверность качества данных, и ее следует предоставить для всех продуктов и продуктов данных.
Дополнительные сведения об управлении качеством данных см. в разделе "Качество данных".
Репозиторий моделирования данных
Группа ресурсов: governance-rg2
Вы должны записывать и хранить модели связей сущностей в центральном расположении в целевой зоне управления данными. Это обеспечивает потребителям данных одно место для поиска концептуальных схем.
Многие клиенты используют ER Studio и iServer для моделирования своих продуктов данных перед приемом.
Управление основными данными
Группа ресурсов: governance-rg2
Управление главными данными находится в целевой зоне управления данными. Управление главными данными в сетке данных содержит конкретные рекомендации, которые следует вызывать для сетки данных.
Многие решения по управлению главными данными полностью интегрируются с идентификатором Microsoft Entra. Эта интеграция позволяет защитить данные и предоставить различные представления для разных групп пользователей.
Дополнительные сведения см. в разделе "Система управления главными данными".
Каталог API
Группа ресурсов: governance-rg2
Группы приложений данных, скорее всего, создадут различные API для своего приложения данных. Эти API-интерфейсы могут быть трудно обнаружить в вашей организации. Размещение каталога API в целевой зоне управления данными может решить эту проблему.
Каталог API может помочь стандартизировать документацию и предлагает место для внутренней совместной работы в API. Кроме того, он может управлять потреблением, публикацией и управлением в организации.
Общий доступ к данным и контракты
Группа ресурсов: governance-rg2
Аналитика в масштабе облака использует управление правами Microsoft Entra или политики Microsoft Purview для управления доступом к данным. Даже в этом случае может потребоваться общий доступ и репозиторий контрактов. Этот репозиторий является организационной функцией и должен находиться в целевой зоне управления данными.
Ваши контракты должны предоставлять сведения о проверке данных, моделях и политиках безопасности.
Дополнительные сведения см. в разделе "Контракты данных"
Реестр контейнеров Azure
Группа ресурсов: containers-rg
Целевая зона управления данными размещает Реестр контейнеров Azure. Реестр контейнеров Azure позволяет операциям платформы данных развертывать стандартные контейнеры для использования в проектах обработки и анализа данных, используемых командами приложений данных.
Центры azure Synapse Приватный канал
Группа ресурсов: synapse-link-rg
Центры Azure Synapse Analytics Приватный канал — это ресурсы Azure, которые подключают безопасную сеть и веб-интерфейс Azure Synapse Studio. Аналитика в масштабе облака безопасно подключает azure виртуальная сеть к Azure Synapse Studio с помощью частных ссылок из этих центров.
Подключение к Azure Synapse Studio с помощью приватных каналов выполняется в два шага.
- Создайте ресурс центра Приватный канал.
- Создайте частную конечную точку из azure виртуальная сеть в этот центр Приватный канал.
После этого можно использовать частные конечные точки для безопасной связи с Azure Synapse Studio. Интеграция этих частных конечных точек с решением DNS либо с локальным решением, либо с azure Частная зона DNS.
Дополнительные сведения см. в статье Подключение к Azure Synapse Studio с использованием приватных каналов.
Интерфейсы автоматизации (необязательно)
Ваша организация может решить создать множество служб автоматизации для расширения возможностей облачной аналитики. Эти службы автоматизации управляют соответствием и подключением решений для состояния аналитики.
Если вы решите создать эти службы автоматизации, у вас должен быть пользовательский интерфейс, который выступает как в marketplace данных, так и в консоли управления. Этот интерфейс должен полагаться на базовое хранилище метаданных, как мы ранее обсуждали в стандартах метаданных.
Ваша консоль управления или Marketplace данных вызывает средний уровень микрослужб для упрощения подключения, регистрации метаданных, подготовки безопасности, жизненного цикла данных и наблюдаемости.
Вы можете подготовить группу ресурсов automationdb-rg для размещения хранилища метаданных.
Важно!
Ни одна из этих служб автоматизации не является продуктами, и они не иллюстрируют ни один элемент стратегии. Они перечислены, чтобы помочь вам рассмотреть, какие элементы может потребоваться автоматизировать.
Службы
| Service | Область службы |
|---|---|
| Подготовка целевой зоны данных | Эта служба создает новую целевую зону данных. Вряд ли у вас высокий уровень использования, но включен для комплексного подключения решения. Дополнительные сведения см. в статье "Подготовка облачной аналитики" |
| Подключение продукта к данным | Эта служба создает и изменяет группы ресурсов, относящиеся к подключенного клиента. Он также содержит возможности для обновления и снижения уровня SKU, а также для активации и деактивации групп ресурсов для любого подключенного клиента или службы. Он создает новую целевую зону данных DevOps. Дополнительные сведения см. в статье "Подготовка облачной аналитики" |
| Подготовка доступа | Эта служба создает пакеты доступа, политики доступа и процесс утверждения доступа к ресурсам (вручную или автоматически) с помощью имени участника-службы или участника-пользователя. Он также может предоставить API для предоставления списка запросов подписки (активов), которые пользователи отправили за последние 90 дней. Дополнительные сведения см. в разделе "Управление доступом к данным" |
| Не зависят от приема данных | Эта микрослужба создает новые источники данных для приема в целевые зоны данных. Это делается путем взаимодействия с хранилищем метаданных Фабрика данных Azure База данных SQL в каждой целевой зоне данных. Дополнительные сведения см. в статье О том, как автоматизированные платформы приема поддерживают облачную аналитику в Azure. |
| Метаданные | Эта служба предоставляется и создает метаданные для платформы. Дополнительные сведения см. в разделе "Стандарты метаданных" |
| Жизненный цикл данных | Эта служба отвечает за обслуживание жизненного цикла данных на основе метаданных. Это обслуживание может включать перемещение данных в холодное хранилище и удаление записей, которые больше не должны храниться. Дополнительные сведения см. в разделе "Управление жизненным циклом данных" |
| Подключение домена данных | ПРИМЕНИМО ТОЛЬКО К СЕТКЕ ДАННЫХ. Эта служба записывает метаданные, относящиеся к новым доменам, и при необходимости подключены новые домены. Он также может создавать, обновлять, активировать и деактивировать любой домен или строку обслуживания, которые могут быть вложены в микрослужбу. Дополнительные сведения см. в статье "Подготовка облачной аналитики" |
Стандартизация данных
Хотя это не определенная функция или продукт целевой зоны управления данными, следует вызвать стандартизацию данных во всех службах. Стандартизация данных определяет формат, в котором данные должны находиться и храниться.
Совет
Используйте формат delta-lake, где это возможно, как стандарт defacto во всех службах и хранилище.
Дополнительные сведения см. в разделе "Стандартизация данных".