Чтение данных, к которым предоставлен общий доступ через Databricks-to-Databricks OpenSharing (для получателей)

На этой странице описывается, как считывать общие данные с помощью протокола Databricks to Databricks OpenSharing, где Databricks управляет безопасным подключением для общего доступа к данным. В отличие от протокола открытого общего доступа OpenSharing , протокол Databricks to Databricks не требует файла учетных данных (безопасность на основе токенов).

Обмен между Databricks и Databricks требует, чтобы вы, как получатель, соответствовали следующим двум требованиям:

• У вас есть доступ к рабочей области Databricks, в которой включен каталог Unity.
• Поставщик использует протокол OpenSharing Databricks-to-Databricks, а не протокол Databricks-to-Open sharing, который предоставляет вам файл учетных данных.

Если поставщик использует открытый доступ (при котором вам предоставляется файл учетных данных), но у вас есть рабочая область с поддержкой Unity Catalog, вы можете импортировать поставщика и читать общие данные в Azure Databricks. См. статью Импорт поставщика данных и чтение общих данных в Azure Databricks. Если у вас нет рабочей области с поддержкой Unity Catalog, см. Чтение данных, предоставленных через токены предъявителя.

Как сделать общие данные доступными для моей команды?

Чтобы читать данные и записные книжки, которые были вам предоставлены с помощью протокола Databricks-to-Databricks, необходимо быть пользователем рабочей области Databricks, где включен каталог Unity. Член вашей команды предоставляет поставщику данных уникальный идентификатор для хранилища метаданных каталога Unity, а поставщик данных использует этот идентификатор для создания безопасного подключения к совместному использованию с вашей организацией. Затем общие данные становятся доступными для доступа на чтение в рабочей области. Обновления, которые поставщик данных вносит в общие таблицы, представления, тома и секции, отображаются в вашей рабочей области практически в реальном времени.

Примечание.

Изменения столбцов, такие как добавление, переименование или удаление, могут не отображаться в обозревателе каталогов до одной минуты. Аналогичным образом новые общие папки и обновления общих папок, включая добавление новых таблиц, кэшируются в течение одной минуты, прежде чем они будут доступны для просмотра и запроса.

Примечание.

Таблицы information_schema из общего каталога отражают метаданные, хранящиеся в каталоге Unity. Эти метаданные обновляются от поставщика, только если запрашивать общую таблицу напрямую или выполнять команду, например ОПИСАНИЕ или REFRESH FOREIGN. До этого information_schema может казаться устаревшим по сравнению с данными, указанным поставщиком.

Чтобы считать данные, которыми с вами поделились, выполните следующие действия.

1. Пользователь в вашей команде находит общую папку — контейнер для таблиц, представлений, томов и записных книжек, которыми вы предоставили общий доступ, и использует этот общий ресурс для создания каталога — контейнера верхнего уровня для всех данных в каталоге Databricks Unity.
2. Пользователь в команде предоставляет или запрещает доступ к каталогу и объектам внутри каталога (схемы, таблицы, представления и тома) членам вашей команды.
3. Вы считываете данные в таблицах, представлениях и томах, к которым вы получили доступ, как к любому ресурсу данных в Databricks, к которому у вас есть доступ только для чтения (SELECT или READ VOLUME) .
4. Вы можете просматривать и клонировать записные книжки в общем доступе, если у вас есть USE CATALOG привилегия в каталоге.

Необходимые разрешения

Чтобы получить доступ к списку и просмотру сведений обо всех поставщиках и общих ресурсах поставщика, необходимо иметь привилегии USE PROVIDER . Другие пользователи имеют доступ только к поставщикам и общим ресурсам, которыми они владеют.

Чтобы создать каталог на основе ресурса от поставщика, необходимо быть администратором хранилища метаданных, пользователем, который имеет как привилегии CREATE CATALOG и USE PROVIDER для хранилища метаданных Unity Catalog, или пользователем, у которого есть привилегия CREATE CATALOG и права собственности на объект поставщика.

Возможность предоставлять доступ только для чтения к схемам (базам данных), таблицам, представлениям и томам в каталоге, созданном из разделяемого ресурса, следует типичной иерархии привилегий каталога Unity. Возможность просмотра записных книжек в каталоге, созданном из общей папки, требует USE CATALOG привилегии в каталоге. См. раздел "Управление разрешениями" для схем, таблиц и томов в каталоге OpenSharing.

Доступ к данным в общей таблице или томе

Для чтения данных в общей таблице или томе:

1. Привилегированный пользователь должен создать каталог из общей папки, содержащей таблицу или том. Это может быть администратор хранилища метаданных, пользователь, имеющий привилегии CREATE CATALOG и USE PROVIDER для хранилища метаданных каталога Unity, или пользователь, имеющий привилегию CREATE CATALOG и владение объектом поставщика.
2. Этот пользователь или другой пользователь с аналогичными привилегиями должен предоставить вам доступ к общей таблице или разделу.
3. Вы можете получить доступ к таблице или том как к любому другому объекту данных, зарегистрированному в хранилище метаданных каталога Unity.

Создание каталога из общего ресурса

Чтобы сделать данные в общей папке доступными для вашей команды, необходимо создать каталог из общей папки или подключить его к существующему общему каталогу. Чтобы создать каталог из общего ресурса, можно использовать Catalog Explorer, интерфейс командной строки Databricks Unity Catalog или команды SQL в записной книжке Azure Databricks или редакторе SQL-запросов Databricks. Чтобы подключить общую папку к существующему общему каталогу, можно использовать обозреватель каталогов.

Разрешения, необходимые для создания каталога: администратор хранилища метаданных, пользователь, имеющий как привилегии CREATE CATALOG и USE PROVIDER для вашего хранилища метаданных Unity Catalog, или пользователь, имеющий привилегию CREATE CATALOG и права владения объектом поставщика.

Разрешения, необходимые для подключения общей папки к существующему каталогу: Пользователь должен иметь привилегию USE PROVIDER или право владения объектом поставщика, а также должен либо владеть существующим общим каталогом, либо иметь привилегии MANAGE и USE CATALOG в этом каталоге.

Примечание.

При создании каталога из общей папки SAP BDC семантические метаданные SAP (примечания таблиц и столбцов, первичные ключи, внешние ключи и теги управления) синхронизируются автоматически в каталог. Дополнительные действия не требуются. Дополнительные сведения см. в разделе семантические метаданные SAP BDC.

Примечание.

Если общий ресурс содержит представления, необходимо использовать имя каталога, отличное от имени каталога, содержащего представление в хранилище метаданных поставщика.

Обозреватель каталогов

1. В рабочей области Azure Databricks щелкните Catalog, чтобы открыть обозреватель каталогов.

2. В верхней части панели Каталог щелкните и выберите OpenSharing.

   Кроме того, в правом верхнем углу нажмите кнопку "Общий доступ > к OpenSharing".

3. На вкладке "Общий доступ со мной" найдите и выберите поставщика.

4. Найдите нужную общую папку и нажмите кнопку "Подключить к каталогу" в строке этой общей папки.

5. Выберите "Создать новый каталог " или " Подключить к существующему каталогу ", чтобы добавить ресурс данных в существующий каталог.

6. Введите имя нового каталога или выберите существующий каталог, чтобы добавить доступ.

7. Нажмите "Создать" или "Подключить".

Кроме того, при открытии обозревателя каталогов можно нажать кнопку + > Создать каталог в правом верхнем углу, чтобы создать общий каталог. См. Создание каталогов.

SQL

Выполните следующую команду в записной книжке или редакторе sql-запросов Databricks.

CREATE CATALOG [IF NOT EXISTS] <catalog-name>
USING SHARE <provider-name>.<share-name>;

CLI

databricks catalogs create <catalog-name> /
--provider-name <provider-name> /
--share-name <share-name>

Каталог, созданный из общего ресурса, имеет тип OpenSharing. Тип можно просмотреть на странице сведений о каталоге в обозревателе каталогов или с помощью команды DESCRIBE CATALOG SQL в записной книжке или SQL-запросе Databricks. Все общие каталоги перечислены в разделе "Общие каталоги>" в левой области обозревателя каталогов.

Каталог OpenSharing можно управлять так же, как и обычные каталоги в хранилище метаданных каталога Unity. Вы можете просматривать, обновлять и удалять каталог Open Sharing с помощью Catalog Explorer, Databricks CLI, а также SQL-команд SHOW CATALOGS, DESCRIBE CATALOG, ALTER CATALOG и DROP CATALOG.

Трехуровневая структура пространства имен в каталоге OpenSharing, созданном из общего ресурса, совпадает со структурой обычного каталога в Unity Catalog: catalog.schema.table или catalog.schema.volume.

Данные таблицы и тома в общем каталоге доступны только для чтения. Это означает, что вы можете выполнять такие операции чтения, как:

• DESCRIBE, SHOWи SELECT для таблиц.
• DESCRIBE VOLUME, LIST <volume-path>, SELECT * FROM <format>.'<volume_path>' и COPY INTO для томов.

Записные книжки в общем каталоге могут быть просмотрены и клонированы любым пользователем, у которого есть USE CATALOG на каталоге.

Модели в общем каталоге можно считывать и загружать для вывода любым пользователем со следующими привилегиями: EXECUTE привилегии для зарегистрированной модели, а также USE SCHEMAUSE CATALOG привилегии схемы и каталога, содержащего модель.

Управление разрешениями для схем, таблиц и томов в каталоге OpenSharing

По умолчанию создатель каталога является владельцем всех объектов данных в каталоге OpenSharing и может управлять разрешениями для любого из них.

Привилегии унаследованы сверху вниз, хотя некоторые рабочие области по-прежнему могут использовать устаревшую модель безопасности, которая не поддерживала наследование. См. наследование привилегий. Любой пользователь, которому SELECT предоставлена привилегия в каталоге, будет иметь SELECT привилегию для всех схем и таблиц в каталоге, если только это разрешение не отозвано. Аналогичным образом, любой пользователь, которому предоставлена READ VOLUME привилегия в каталоге, будет иметь READ VOLUME привилегию для всех томов в каталоге, если только это привилегия не будет отменена. Нельзя предоставлять привилегии, дающие доступ на запись или обновление в каталоге OpenSharing или к объектам в каталоге OpenSharing.

Владелец каталога может делегировать владение объектами данных другим пользователям или группам, тем самым предоставляя этим пользователям возможность управлять разрешениями объекта и жизненными циклами.

Подробные сведения об управлении привилегиями для объектов данных с помощью каталога Unity см. в разделе "Управление привилегиями" в каталоге Unity.

Читайте данные в общей таблице

Вы можете считывать данные в общей таблице с помощью любого из средств, доступных пользователю Azure Databricks: обозреватель каталогов, записные книжки, sql-запросы, интерфейс командной строки Databricks и REST API Databricks. У вас должны быть права SELECT на таблицу.

Если поставщик предоставил общий доступ к таблице WITH HISTORY, можно выполнять транзакции в таблице. Дополнительные сведения о требованиях и ограничениях транзакций см. в разделе "Транзакции".

Чтение данных в общей внешней таблице или внешней схеме

Это важно

Эта функция доступна в бета-версии. Администраторы рабочей области могут управлять доступом к этой функции на странице "Предварительные версии ". См. статью "Управление предварительными версиями Azure Databricks".

Вы можете считывать данные в общей внешней таблице или внешней схеме с помощью любого из средств, доступных пользователю Azure Databricks: Обозреватель каталогов, записные книжки, sql-запросы, ИНТЕРФЕЙС командной строки Databricks и REST API Databricks. У вас должны быть SELECT привилегии на общую внешнюю таблицу или внешнюю схему.

Транзакции можно выполнять в общих внешних таблицах. См. требования к транзакциям и ограничения.

При доступе к общей внешней таблице или внешней схеме возникают дополнительные затраты. Сведения о том, как рассчитываются расходы на совместное использование, см. в разделе Как начисляются расходы OpenSharing и как их проверить?.

Ограничения. Невозможно обойти ограничение кластера для чтения общих внешних таблиц, даже если поставщик разрешает его.

Чтение данных в общедоступной общей таблице Iceberg

Это важно

Эта функция доступна в общедоступной предварительной версии.

Данные можно считывать в совместно используемой внешней таблице Iceberg с помощью любого из инструментов, доступных пользователям Azure Databricks: обозреватель каталогов, записные книжки, SQL-запросы, Databricks CLI и Databricks REST API. В Catalog Explorer общая внешняя таблица Iceberg отображается с типом таблицы Foreign и форматом источника данных Iceberg.

У вас есть доступ к исходному расположению Айсберга, но может выполнять только следующие типы запросов:

• Запросы моментальных снимков
• Потоковые запросы

Требования.

• Вы должны иметь привилегию SELECT на общую внешнюю таблицу Iceberg.
• Необходимо использовать Databricks Runtime 15.4 LTS или более поздней версии.

Чтение данных в общем томе

Данные можно считывать в общем томе с помощью любого из средств, доступных пользователю Azure Databricks: Catalog Explorer, записные книжки, SQL-запросы, интерфейс командной строки Databricks (CLI) и REST API Databricks. Для тома READ VOLUME необходимо иметь определённую привилегию.

Чтение защищенных ABAC данных и применение политик ABAC

Управление доступом на основе атрибутов (ABAC) — это модель управления данными, которая обеспечивает гибкий, масштабируемый и централизованный контроль доступа в Azure Databricks.

Создайте политики ABAC для разделяемых таблиц, схем и каталогов, созданных из общего ресурса. Материализованные представления поддерживаются с ограничениями. Нельзя создавать политики ABAC для разделяемых таблиц потоковой передачи или материализованных представлений. Сведения о настройке политик ABAC см. в статье "Создание фильтров строк и политики маски столбцов" и "Управление ими".

Чтение столбцов отслеживания строк в общих таблицах

Если поставщик данных включил отслеживание строк в общей таблице, можно запросить столбцы метаданных отслеживания строк. Список доступных столбцов приведен в разделе Отслеживание строк в Azure Databricks.

Доступ к этим столбцам зависит от типа передаваемой таблицы.

• Таблицы с общей историей и без фильтров разделов: можно запрашивать столбцы отслеживания строк без ограничений.

• Таблицы с фильтрами секций или таблицы, разделяемые без истории: необходимо использовать Scala Spark и явно задать параметр responseFormatdelta.

  spark.read.option(“responseformat”, “delta”).table(“shared_table”).select(“_metadata.row_id”).show()
  

Загрузка общей модели для вывода

Дополнительные сведения о загрузке общей модели и ее использовании для пакетного вывода прогнозов см. в разделе "Загрузка версии модели по псевдониму для рабочих нагрузок прогнозирования".

Запрос исторических данных таблицы

Если история связана с таблицей, вы можете запросить данные таблицы на определённую версию или метку времени. Требуется Databricks Runtime 12.2 LTS или более поздней версии.

Рассмотрим пример.

SELECT * FROM vaccine.vaccine_us.vaccine_us_distribution VERSION AS OF 3;
SELECT * FROM vaccine.vaccine_us.vaccine_us_distribution TIMESTAMP AS OF "2023-01-01 00:00:00";

Кроме того, если поток изменения данных (CDF) включен для таблицы, можно запросить CDF. Поддерживаются как версия, так и метка времени:

SELECT * FROM table_changes('vaccine.vaccine_us.vaccine_us_distribution', 0, 3);
SELECT * FROM table_changes('vaccine.vaccine_us.vaccine_us_distribution', "2023-01-01 00:00:00", "2022-02-01 00:00:00");

Дополнительные сведения о канале передачи данных об изменениях см. в статье Использование канала передачи данных об изменениях в Azure Databricks.

Запрос таблицы с помощью структурированной потоковой передачи Apache Spark

Если таблица делится с историей, ее можно использовать в качестве источника для структурированной потоковой обработки Spark. Требуется Databricks Runtime 12.2 LTS или более поздней версии.

Поддерживаемые параметры:

• ignoreDeletes: игнорировать транзакции, которые удаляют данные.
• ignoreChanges: Повторно обработать обновления, если файлы были перезаписаны в исходной таблице из-за операции изменения данных, такой как UPDATE, MERGE INTO, DELETE (в пределах разделов), или OVERWRITE. Неизменённые строки всё ещё можно выводить. Таким образом, конечные потребители должны иметь возможность обрабатывать дубликаты. Удаления не распространяются вниз по потоку. ignoreChanges включает ignoreDeletes. Таким образом, если вы используете ignoreChanges, поток не будет нарушен удалением или обновлением исходной таблицы.
• startingVersion: начальная версия общей таблицы. Все изменения таблицы, начиная с этой версии (включительно), будут считываться источником потоковой передачи.
• startingTimestamp: Метка времени, с которой начинается отсчет. Все изменения в таблице, зафиксированные в момент или после метки времени (включительно), считываются источником потоковой передачи. Пример: "2023-01-01 00:00:00.0"
• maxFilesPerTrigger: количество новых файлов, которые следует учитывать в каждом микропакете.
• maxBytesPerTrigger: объем данных, обрабатываемых в каждом микропакете. Этот параметр задает "мягкий максимум", то есть пакетная обработка примерно столько данных и может обрабатывать больше, чем лимит, чтобы продвигать потоковый запрос вперед в случаях, когда наименьшая входная единица превышает этот лимит.
• readChangeFeed: поток считывает поток изменения данных общей таблицы.

Поддерживаемые триггеры:

• Trigger.ProcessingTime: триггер по умолчанию, используемый при отсутствии явного триггера. Данные обрабатываются в непрерывных микропакетах.
• Trigger.AvailableNow: запрос фиксирует серверную версию общей таблицы на момент запуска, обрабатывает накопившиеся данные в виде нескольких микропакетов с учетом maxFilesPerTrigger и maxVersionsPerRpc и завершает работу, когда захваченная версия будет исчерпана. Требуется Databricks Runtime 18.0 или более поздней версии для responseFormat=delta; для responseFormat=parquet дополнительно требуется, чтобы входящий в комплект JAR-файл delta-sharing-client был версии 1.4.0 или выше (в более старых версиях используется оболочка Trigger.AvailableNow, которая не учитывает maxVersionsPerRpc).
• Trigger.Once: не рекомендуется; вместо этого используйте Trigger.AvailableNow . В Databricks Runtime 17.3 и ниже Trigger.AvailableNow автоматически преобразуется в Trigger.Once, так как встроенная поддержка Trigger.AvailableNow требует Databricks Runtime 18.0 или выше.

Примеры структурированных запросов потоковой передачи

Scala

spark.readStream.format("deltaSharing")
.option("startingVersion", 0)
.option("ignoreChanges", true)
.option("maxFilesPerTrigger", 10)
.table("vaccine.vaccine_us.vaccine_us_distribution")

Python

spark.readStream.format("deltaSharing")\
.option("startingVersion", 0)\
.option("ignoreDeletes", true)\
.option("maxBytesPerTrigger", 10000)\
.table("vaccine.vaccine_us.vaccine_us_distribution")

Если функция "change data feed" (CDF) включена для таблицы, вы можете выполнять потоковое чтение CDF.

spark.readStream.format("deltaSharing")
.option("readChangeFeed", "true")
.table("vaccine.vaccine_us.vaccine_us_distribution")

Применение фильтров строк и маски столбцов

Чтобы применить фильтры строк и маски столбцов к таблицам и внешним таблицам, общими поставщиком данных, см. статью "Вручную применить фильтры строк и маски столбцов". Нельзя применять маски столбцов к потоковым таблицам или материализованным представлениям.

Чтение таблиц с включенными векторами удаления или сопоставлением столбцов

Это важно

Эта функция доступна в общедоступной предварительной версии.

Векторы удаления — это функция оптимизации хранилища, которую поставщик может включить в общих таблицах Delta. См. векторы удаления в Databricks.

Azure Databricks также поддерживает сопоставление столбцов для таблиц Delta. См. как переименовывать и удалять столбцы с использованием сопоставления столбцов в Delta Lake.

Если поставщик предоставил общий доступ к таблице с векторами удаления или сопоставлением столбцов, вы можете выполнять пакетные операции чтения в таблице с помощью хранилища SQL или кластера под управлением Databricks Runtime 14.1 или более поздней версии. Для запросов CDF и потоковой передачи требуется Среда выполнения Databricks 14.2 или более поздней версии.

Пакетные запросы можно выполнять в неизменном виде, так как они могут автоматически разрешаться responseFormat на основе характеристик общей таблицы.

Чтобы считывать поток данных об изменениях (CDF) или выполнять потоковые запросы к общим таблицам с включенными векторами удаления или сопоставлением столбцов, необходимо задать дополнительный параметр responseFormat=delta.

В следующих примерах показаны пакетные запросы, запросы CDF и потоковые запросы.

import org.apache.spark.sql.SparkSession

// Batch query
spark.read.format("deltaSharing").table(<tableName>)

// CDF query
spark.read.format("deltaSharing")
  .option("readChangeFeed", "true")
  .option("responseFormat", "delta")
  .option("startingVersion", 1)
  .table(<tableName>)

// Streaming query
spark.readStream.format("deltaSharing").option("responseFormat", "delta").table(<tableName>)

Чтение общих управляемых таблиц Iceberg

Это важно

Эта функция доступна в общедоступной предварительной версии.

Чтение общих управляемых таблиц Айсберга такое же, как и чтение общих управляемых таблиц, за исключением следующих случаев:

Поддержка обмена Databricks-to-Open:

Инструкции в данной статье посвящены чтению общих данных с помощью пользовательских интерфейсов Azure Databricks, в частности синтаксиса и интерфейсов Unity Catalog. Из-за ограничения расширенной поддержки функций Delta для соединителей OpenSharing запросы к общим управляемым таблицам Iceberg с помощью Python, Tableau и Power BI не поддерживаются.

Изменить канал данных:

Передача потока данных изменений не поддерживается для управляемых таблиц Iceberg.

Ограничения Azure Databricks Iceberg:

Применяются ограничения для таблиц Айсберга, в том числе управляемых таблиц Айсберга. См. Ограничения.

Чтение общих представлений

Чтение общих представлений совпадает с чтением общих таблиц с этими исключениями:

Ограничения общих представлений:

• Общие представления поддерживают только подмножество встроенных функций и операторов в Databricks. См. сведения о функциях, поддерживаемых в режиме общего доступа к Databricks.
• Получатели не могут запрашивать более 20 общих представлений в одном запросе в обмене между платформами Databricks. Общие представления не могут быть из более чем пяти разных общих папок поставщика.
• Если поставщик находится из одной учетной записи или при использовании бессерверных вычислений в другой учетной записи, вы не можете запрашивать несколько зависимых представлений от одного поставщика в одном запросе. Например, если view1 зависит от view2 на стороне поставщика и оба представления доступны вам, вы не можете ссылаться как на view1, так и на view2 в одном и том же запросе.
• Транзакции можно запускать на общих представлениях. См. требования к транзакциям и ограничения.

Требования к именованию:

Имя каталога, используемое для общего каталога, содержащего представление, не может совпадать с любым каталогом поставщиков, содержащим таблицу, на которую ссылается представление. Например, если общее представление содержится в каталоге test, и одна из таблиц поставщика, на которые ссылается это представление, содержится в каталоге поставщика test, запрос приведет к ошибке конфликта пространства имен. См. статью "Создание каталога из общей папки".

Время ожидания результата запроса:

Если у вас нет прямого доступа к базовым данным, Azure Databricks выполняет материализацию во время запроса представления. Когда эта материализация занимает более 5 минут, время ожидания запроса истекает. Переключитесь на бессерверные вычисления, чтобы избежать этого ограничения.

История и потоковая передача:

Вы не можете запрашивать историю или использовать представление в качестве источника потоковой передачи.

Просмотр поддержки в режиме общего доступа Databricks to-Open:

Инструкции в данной статье посвящены чтению общих данных с помощью пользовательских интерфейсов Azure Databricks, в частности синтаксиса и интерфейсов Unity Catalog. Вы также можете запрашивать общие представления с помощью Apache Spark, Python и средств бизнес-аналитики, таких как Tableau и Power BI.

Costs:

Сведения о том, как рассчитываются расходы на совместное использование, см. в разделе Как начисляются расходы OpenSharing и как их проверить?.

Чтение совместно используемых стриминговых таблиц и материализованных представлений

Чтение потоковых таблиц и материализованных представлений, общих для нескольких пользователей, аналогично чтению общих таблиц, за исключением следующих случаев:

Поддержка обмена Databricks-to-Open:

Инструкции на этой странице посвящены чтению общих данных, используя пользовательские интерфейсы Azure Databricks, в частности, синтаксис и интерфейсы каталога "Unity Catalog". Вы также можете запрашивать общие таблицы потоковой передачи и материализованные представления с помощью Apache Spark, Python и средств бизнес-аналитики, таких как Tableau и Power BI. См. Чтение данных, доступных по токенам предъявителя.

Операции:

• Транзакции можно запускать в общих материализованных представлениях и потоковых таблицах. См. требования к транзакциям и ограничения.

Ограничения SQL:

• Функция current_recipient не поддерживается.
• Команда DESCRIBE EXTENDED не поддерживается.

Сопоставление столбцов:

Если вы используете классические вычисления при получении доступа из другой учетной записи Azure Databricks, необходимо указать responseFormat при запросе материализованного представления или потоковых таблиц с сопоставлением столбцов.

spark.read.option("responseFormat", "delta").table("catalog_name.schema_name.mv_name")

Если вы используете классические вычисления при совместном использовании в одной учетной записи Azure Databricks или бессерверные вычисления в любом сценарии, вы можете выполнять запросы без ограничений.

Costs:

Сведения о том, как рассчитываются расходы на совместное использование, см. в разделе Как начисляются расходы OpenSharing и как их проверить?.

Исключения, специфичные для материализованных представлений

History:

Невозможно выполнить запрос истории.

Refresh:

Невозможно получить доступ к состоянию обновления и расписанию обновления материализованного представления.

Просмотр и создание потоковой таблицы:

Вы не можете создавать потоковые таблицы на основе общих материализованных представлений.

Исключения, специфичные для потоковых таблиц

History:

Журнал запросов доступен в следующих обстоятельствах совместного использования Databricks to Databricks:

• Вы используете бессерверные вычисления при совместном использовании с другой учетной записью Azure Databricks.

• Вы используете бессерверные или классические вычисления при совместном использовании в пределах одной учетной записи Azure Databricks.

Дополнительные сведения о различных вычислениях см. в разделе "Вычисления".

Refresh:

Невозможно получить доступ к состоянию обновления и расписанию обновления таблицы потоковой передачи.

Чтение общих Python UDFs

Чтение общих пользовательских файлов Python совпадает с чтением общих таблиц. После создания нового каталога для общей папки или подключения общей папки к существующему каталогу можно получить доступ к Python UDF.

Общий доступ для чтения FeatureSpecs

Чтение общего ресурса FeatureSpecs аналогично чтению общих таблиц. После создания нового каталога хранения для общей папки или подключения общей папки к существующему каталогу хранения, можно развернуть FeatureSpec на нужной точке обслуживания. Сведения о создании конечной точки см. в статье "Создание конечной точки".

Если ваш поставщик обновляет FeatureSpec с новой зависимостью, но не делится этой зависимостью с вами, ваша модель завершится ошибкой. Обратитесь к поставщику данных, чтобы проверить наличие новых зависимостей.

Перед обслуживанием FeatureSpecнеобходимо создать интернет-магазин и опубликовать зависимые таблицы в рабочей области. Сведения о создании интернет-магазинов и публикации таблицы см. в разделе Databricks Online Feature Store.

Чтение общих записных книжек

Для предварительного просмотра и клонирования общих файлов записной книжки можно использовать обозреватель каталогов.

Ограничение хранилища: Если хранилище использует частные конечные точки, вы не можете читать общие записные книжки.

Необходимые разрешения: Владелец каталога или пользователь с USE CATALOG привилегиями на каталоге, созданном из общего ресурса.

1. В рабочей области Azure Databricks щелкните Catalog.

2. В левой области разверните меню Каталог, найдите и выберите каталог, созданный из общего ресурса.

3. На вкладке "Другие ресурсы" вы увидите все файлы общей записной книжки.

4. Щелкните имя файла общей записной книжки, чтобы просмотреть его.

5. (Необязательно) Нажмите кнопку «Клонировать», чтобы импортировать файл общей записной книжки в рабочую область.

   1. В диалоговом окне "Клонировать в ", при необходимости введите новое имя, а затем выберите папку рабочей области, в которую нужно клонировать файл записной книжки.
   2. Нажмите Клонировать.
   3. После клонирования записной книжки появится диалоговое окно, чтобы сообщить вам, что оно успешно клонировано. Щелкните Показать в редакторе записной книжки в диалоговом окне, чтобы просмотреть его в редакторе записной книжки.

   См. записные книжки Databricks.

Отключить общий ресурс

Отключите диск, чтобы удалить ресурс данных из его каталога.

Необходимые разрешения: Пользователь с USE CATALOG правами и MANAGE привилегиями в общем каталоге.

1. В рабочей области Azure Databricks щелкните Catalog, чтобы открыть обозреватель каталогов.

2. В верхней части панели Каталог щелкните и выберите OpenSharing.

   Кроме того, в правом верхнем углу нажмите кнопку "Общий доступ > к OpenSharing".

3. На вкладке "Общий доступ со мной" найдите и выберите поставщика.

4. Щелкните в строке общего доступа.

5. Щелкните "Отключить общую папку".

6. Нажмите "Отключить".