Управление данными с помощью Unity Catalog

Unity Catalog — это единый уровень управления данными и ИИ в Azure Databricks. Он предоставляет единое место для контроля доступа, обнаружения активов, отслеживания родословной, классификации конфиденциальных данных и мониторинга качества по всей вашей организации, независимо от того, где находятся ваши данные. Unity Catalog управляет моделями, функциями и другими ИИ-активами как защищёнными объектами, так же как управляет вашими таблицами и томами.

В этой главе рассматриваются возможности Unity Catalog, которые управляют вашими данными и AI-активами. Управление ИИ во время выполнения, такое как маршрутизация трафика моделей, установка ограничений и мониторинг использования и стоимости ИИ, охватывается управлением ИИ с помощью Unity AI Gateway. Связанные темы безопасности, такие как проверка подлинности, сеть, шифрование и соответствие конфиденциальности, рассматриваются в разделе "Безопасность и соответствие".

Начните здесь

Следующие ресурсы помогут вам понять каталог Unity, настроить его и следовать рекомендациям.

Тема	Описание
Что такое Unity Catalog?	Узнайте об объектной модели каталога Unity и о том, как она управляет данными и ресурсами ИИ.
Начало работы с каталогом Unity	Настройте каталог Unity и создайте свои первые управляемые ресурсы.
Рекомендации по работе с каталогом Unity	Следуйте рекомендациям по настройке системы управления и управлению ими с помощью каталога Unity.

Возможности управления

Следующие возможности охватывают основные области управления данными и ресурсами ИИ с помощью каталога Unity.

Capability	Описание
Управление доступом	Предоставьте и управляйте точным доступом к данным и ресурсам ИИ с привилегиями, контролем доступа на основе атрибутов и фильтрами строк и масками столбцов.
Управляемые теги	Определите и управляйте тегами, используемыми для классификации и упорядочения защищаемых объектов.
Обнаружение данных	Помогите пользователям найти ресурсы данных и ИИ, необходимые им с помощью обозревателя каталогов, комментариев, созданных ИИ, а также сертифицированных и устаревших тегов.
Родословная данных и искусственного интеллекта	Фиксируйте и визуализируйте, как данные проходят через вашу организацию вплоть до уровня столбца, включая модели, которые их потребляют.
Классификация данных	Автоматически сканируйте и помечайте тегами конфиденциальные данные, такие как персональные данные (PII), в таблицах Unity Catalog.
Мониторинг качества данных	Обнаружение аномалий в каталоге или схеме и профилирование статистических свойств отдельных таблиц.
Аудит	Отслеживайте, кто обращается к данным и какие действия они приняли с помощью журналов аудита.
Общий доступ к данным	Безопасное совместное использование данных и ресурсов ИИ на разных платформах с помощью OpenSharing, Clean Rooms и Databricks Marketplace.
Управление ИИ с помощью шлюза ИИ Unity	Управлять взаимодействием ИИ во время выполнения с помощью Unity AI Gateway, включая API моделей, агентов кода, агентов, трафик ИИ и ограничения.

Администраторы учетной записи и метахранилища могут просматривать сводную информацию по ландшафту данных, включая использование активов, охват классификацией и качество данных, на странице «Данные» в Governance Hub.