Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Схема данных Microsoft Purview Microsoft Purview — это основа для обнаружения данных и управления ими в Microsoft Purview. Он собирает метаданные о данных в аналитике, SaaS и операционных системах в гибридных, локальных и многооблачных средах. Встроенные средства сканирования и классификации позволяют поддерживать схему данных в актуальном состоянии.
Этот обзор помогает администраторам Microsoft Purview планировать ресурсы и отслеживать использование и затраты на использование карты данных. Каждая учетная запись Microsoft Purview имеет карту данных, которая начинается с одной единицы емкости и может масштабироваться в зависимости от нагрузки запроса и объема хранимых метаданных.
Емкость и автомасштабирование
Карта данных имеет два компонента емкости: хранилище метаданных и пропускная способность. Единица емкости (CU) представляет оба компонента. По умолчанию учетная запись Microsoft Purview начинается с одной единицы емкости и масштабируется на основе использования максимум до 10 единиц емкости. Каждая единица емкости включает пропускную способность 25 операций в секунду и 10 ГБ хранилища метаданных.
Схема данных включает следующие возможности:
- Elastic Data Map с автомасштабированием: начните с одной единицы емкости и автоматически масштабируйте на основе нагрузки до 10 единиц емкости.
- Расширенное сканирование и прием: отслеживание и контроль того, как сканирование и прием данных заполняют ресурсы данных, классификации и происхождение. Эта возможность влияет на ценообразование.
Пропускная способность
Операции измеряют пропускную способность схемы данных Microsoft Purview. К ним относятся операции создания, чтения, записи, обновления и удаления метаданных, хранящихся в схеме данных. Вот некоторые примеры.
- Создание ресурса в схеме данных.
- Добавление отношения к активу, например владельцу, управляющему, родителю или родословной.
- Редактирование актива путем добавления метаданных компании, таких как описание или термин глоссария.
- Запуск поиска по ключевым словам, который возвращает результаты на страницу результатов поиска.
Хранилище метаданных
Хранилище включает технические, деловые, операционные и семантические метаданные.
Технические метаданные включают схемы, типы данных и столбцы, обнаруженные с помощью сканирования Microsoft Purview. К метаданным бизнеса относятся автоматические метаданные, например метаданные, продвигаемые из наборов данных Microsoft Power BI или описания из таблиц SQL, а также добавленные вручную описания и термины глоссария. Семантические метаданные включают сопоставления коллекции с источниками данных или классификациями. Операционные метаданные включают в себя фабрику данных и действия потока данных, состояния выполнения и время выполнения.
Пример сценария
Клаудия — администратор Microsoft Azure в Contoso, которая хочет создать учетную запись Microsoft Purview на портале Azure. Она не знает, какой размер карты данных требуется для будущего состояния платформы. Однако она знает, что при выставлении счетов по схеме данных используются единицы емкости и на нее влияют пропускная способность хранилища и операций. Она хочет начать с самой маленькой карты данных, чтобы снизить затраты и эластично увеличить ее в зависимости от потребления.
Клаудия может создать учетную запись Microsoft Purview с размером карты данных по умолчанию в одну единицу емкости, которая может автоматически увеличивать и уменьшать масштаб. Автомасштабирование также позволяет настраивать емкость с учетом периодических или запланированных всплесков данных в определенные периоды. Затем Клаудия настраивает параметры сети и завершает создание учетной записи.
На странице "Метрики" учетной записи Microsoft Purview на портале Azure Клаудия может просматривать потребление пропускной способности хранилища и операций карты данных. Она также может создать оповещение, когда пропускная способность хранилища или операций достигает указанного предела.
Выставление счетов за сопоставление данных
Выставление счетов для классических учетных записей Microsoft Purview
Вы платите за одну единицу емкости, которая включает 25 операций в секунду и 10 ГБ хранилища метаданных. Дополнительное выставление счетов основано на потреблении каждой единицы дополнительной емкости, рассчитываемом ежечасно. Операции карты данных масштабируются с шагом 25 операций в секунду, а хранилище метаданных — с шагом в 10 ГБ. Data Map может автоматически масштабировать вверх и вниз в окне эластичности. Вы можете увеличить окно эластичности только для классических учетных записей Microsoft Purview. Чтобы запросить увеличение, просмотрите текущие ограничения и создайте запрос на поддержку.
Единицы емкости карты данных имеют ограничение на операции, пропускную способность и хранение. Если объем хранилища превышает текущую единицу емкости, вы платите за следующую единицу емкости, даже если пропускная способность операций не используется. В следующей таблице показаны диапазоны единиц емкости схемы данных. Обратитесь в службу поддержки, если единица емкости Data Map превышает 10 единиц емкости.
| Единица емкости Data Map | Пропускная способность операций в секунду | Объем памяти в ГБ |
|---|---|---|
| 1 | 25 | 10 |
| 2 | 50 | 20 |
| 3 | 75 | 30 |
| 4 | 100 | 40 |
| 5 | 125 | 50 |
| 6 | 150 | 60 |
| 7 | 175 | 70 |
| 8 | 200 | 80 |
| 9 | 225 | 90 |
| 10 | 250 | 100 |
Примеры выставления счетов
- Пропускная способность операции в час меньше или равна 25 операциям в секунду, а размер хранилища составляет 1 ГБ. Вы платите за одну единицу емкости.
- Пропускная способность операции в час меньше или равна 25 операциям в секунду, а размер хранилища составляет 15 ГБ. Вы платите за две единицы емкости.
- Пропускная способность операции в час составляет 50 операций в секунду, а размер хранилища — 15 ГБ. Вы платите за две единицы емкости.
- Пропускная способность операции в час составляет 50 операций в секунду, а размер хранилища — 25 ГБ. Вы платите за три единицы емкости.
- Пропускная способность операции в час составляет 250 операций в секунду, а размер хранилища — 15 ГБ. Вы платите за 10 единиц емкости.
Пример подробного выставления счетов
Пример выставления счетов за карту данных показывает растущее хранилище метаданных и операции с переменными в секунду в течение шестичасового окна с 12:00 до 18:00. Пунктирная линия показывает операции в секунду, а сплошная линия — хранилище метаданных:
Каждая единица емкости Data Map поддерживает 25 операций в секунду и 10 ГБ хранилища метаданных. Плата за использование схемы данных выставляется ежечасно. В процессе выставления счетов учитываются максимальные единицы емкости схемы данных, необходимые в течение часа, с минимумом в одну единицу емкости. Иногда может потребоваться больше операций в секунду в течение часа, и большее количество операций увеличивает количество единиц емкости, необходимых в течение этого часа. В других случаях количество операций в секунду может быть низким, но вам все равно может потребоваться большой объем хранилища метаданных. Хранилище метаданных определяет, сколько единиц емкости требуется в течение часа.
В таблице показано максимальное количество операций в секунду и максимальное количество используемых метаданных в час для этого примера выставления счетов:
На основе операций в секунду и потребления хранилища метаданных в течение этого периода плата за карту данных взимается за 22 часа работы в течение шести часов (1 + 3 + 4 + 5 + 6 + 3):
Важно!
Data Map может автоматически масштабировать вверх и вниз в окне эластичности. Чтобы увеличить окно эластичности, просмотрите текущие ограничения и создайте запрос на поддержку.
Ограничения пропускной способности операций
Ограничение пропускной способности по умолчанию составляет 10 единиц емкости. Если вы работаете с большой средой Microsoft Purview и вам требуется более высокая пропускная способность, вы можете запросить большее окно эластичности, создав запрос квоты. Выберите единицу емкости схемы данных в качестве типа квоты. Включите соответствующую информацию о вашей среде и необходимых дополнительных емкостях Вы можете увеличить окно эластичности только для классических учетных записей Microsoft Purview.
Важно!
Ограничения по умолчанию для хранилища метаданных не существует. По мере добавления дополнительных метаданных в схему данных она эластично увеличивается.
При увеличении предельной пропускной способности операций также увеличивается минимальное количество единиц емкости. Например, если вы увеличиваете предел пропускной способности до 20, вы платите минимум за две единицы емкости. В следующей таблице показаны возможные варианты пропускной способности. Число, указанное в запросе на квоту, является минимальным количеством единиц емкости в учетной записи.
| Единицы минимальной емкости | Ограничение пропускной способности операций |
|---|---|
| 1 | 10 (по умолчанию) |
| 2 | 20 |
| 3 | 30 |
| 4 | 40 |
| 5 | 50 |
| 6 | 60 |
| 7 | 70 |
| 8 | 80 |
| 9 | 90 |
| 10 | 100 |
Оптимизация единиц емкости и пропускной способности операций
Используйте эти рекомендации для оптимизации использования ресурсов на единицу и пропускной способности:
- Используйте добавочное сканирование после начального полного сканирования. Добавочное сканирование обрабатывает только объекты, измененные с момента предыдущего сканирования, и обычно обеспечивает наибольшее уменьшение.
- Ограничьте область сканирования и, если возможно, используйте расширенный режим , чтобы включить или исключить определенные пути вместо сканирования всего источника.
- Скользящее расписание сканирования. Избегайте одновременного выполнения нескольких проверок; Запускайте их последовательно вне периодов пиковой нагрузки.
- Уменьшите частоту сканирования. Например, можно изменить ежечасные проверки на ежедневные, если это разрешено требованием свежести управления.
- Отключите извлечение родословной, если оно не требуется.
- Используйте отдельные, неперекрывающиеся сканирования.
- Регулярно очищайте исторические данные о происхождении из хранилища Microsoft Purview.
- Вручную удалите ненужные или устаревшие данные из хранилища Microsoft Purview.
Мониторинг и метрики
Отслеживайте метрики единиц емкости схемы данных и размера хранилища схемы данных , чтобы понять размер и выставление счетов за пространство данных.
На портале Azure перейдите к учетным записям Microsoft Purview и выберите свою учетную запись Microsoft Purview.
На странице Обзор прокрутите до раздела Мониторинг , чтобы просмотреть метрики Единицы емкости Картыданных и Размер хранилища Карты данных за разные периоды времени.
Дополнительные параметры см. в разделе "Метрики мониторинга>" для просмотра единиц емкости иразмера хранилища схемы данных.
Выберите Единицы емкости схемы данных, чтобы просмотреть использование единиц емкости за последние 24 часа. Наведите курсор на линейный график, чтобы просмотреть единицы емкости карты данных, потребленные в определенное время.
В верхней части страницы выберите местное время: последние 24 часа (автоматически — 1 час), чтобы изменить отображаемый на графике диапазон времени.
Выберите тип графика для настройки визуализации.
Выберите "Создать диаграмму ", чтобы добавить диаграмму размера хранилища схемы данных .
