Поделиться через

Настройка каталога Delta Lake

  • Статья

Внимание

Эта функция в настоящее время доступна для предварительного ознакомления. Дополнительные условия использования для предварительных версий Microsoft Azure включают более юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в статье Azure HDInsight в предварительной версии AKS. Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и следуйте за нами для получения дополнительных обновлений в сообществе Azure HDInsight.

В этой статье представлен обзор настройки каталога Delta Lake в кластере Trino с HDInsight в AKS. Вы можете добавить новый каталог, обновив шаблон ARM кластера, кроме каталога hive, который можно добавить во время создания кластера Trino в портал Azure.

Необходимые компоненты

Действия по настройке каталога Delta Lake

  1. Обновите шаблон ARM кластера, чтобы добавить новый файл конфигурации каталога Delta Lake. Эта конфигурация должна быть определена в serviceConfigsProfiles свойстве clusterProfile шаблона ARM.

    Свойство Значение Описание
    fileName delta.properties Имя файла каталога. Если файл называется delta.properties, delta становится именем каталога.
    connector.name delta-lake Тип каталога. Для Delta Lake тип каталога должен быть delta-lake
    delta.register-table-procedure.enabled true Требуется, чтобы разрешить регистрацию внешних таблиц.

    Дополнительные сведения см . в документации trino для других параметров конфигурации delta lake.

    "serviceConfigsProfiles": [
{
    "serviceName": "trino",
    "configs": [
        {
            "component": "catalogs",
            "files": [
                        {
                            "fileName": "delta.properties",
                            "values": {
                                "connector.name": "delta-lake",
                                "delta.register-table-procedure.enabled": "true"
                            }
                        }
   ]

...

  2. Настройте хранилище метаданных Hive для определений таблиц и расположений, если у вас еще нет хранилища метаданных.

    • Настройте хранилище метаданных Hive для каталога Delta.

      Раздел catalogOptions шаблона ARM определяет сведения о подключении к хранилищу метаданных Hive и может настроить его.

      • Конфигурация хранилища метаданных.
      • Экземпляр хранилища метаданных.
      • Ссылка из каталога в хранилище метаданных (catalogName).

      Добавьте эту catalogOptions конфигурацию в trinoProfile свойство в шаблон ARM кластера:

      Примечание.

      Если параметры каталога Hive уже присутствуют, дублируйте конфигурацию Hive и укажите имя разностного каталога.

      "trinoProfile": {
   "catalogOptions": {
       "hive": [
           {
               "catalogName": "delta",
               "metastoreDbConnectionURL": "jdbc:sqlserver://{{DATABASE_SERVER}}.database.windows.net:1433;database={DATABASE_NAME}};encrypt=true;trustServerCertificate=true;loginTimeout=30;",
               "metastoreDbConnectionUserName": "{{DATABASE_USER_NAME}}",
               "metastoreDbConnectionPasswordSecret": "hms-db-pwd-ref",
               "metastoreWarehouseDir": "abfss://{{AZURE_STORAGE_CONTAINER}}@{{AZURE_STORAGE_ACCOUNT_NAME}}.dfs.core.windows.net/"
           }  
       ]
   }
} ...

  3. Storage Blob Data Owner Назначьте роль назначаемой пользователем кластеру MSI в учетной записи хранения, содержащей разностные таблицы. Узнайте, как назначить роль.

    • Назначаемое пользователем имя MSI отображается в свойстве msiResourceId в json ресурса кластера.

Разверните обновленный шаблон ARM, чтобы отразить изменения в кластере. Узнайте, как развернуть шаблон ARM.
После успешного развертывания можно просмотреть каталог delta в кластере Trino.

Следующие шаги

Чтение таблиц Delta Lake (Synapse или External Location)