Настройка каталогов

Внимание

Эта функция в настоящее время доступна для предварительного ознакомления. Дополнительные условия использования для предварительных версий Microsoft Azure включают более юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в статье Azure HDInsight в предварительной версии AKS. Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и следуйте за нами для получения дополнительных обновлений в сообществе Azure HDInsight.

Каждый кластер Trino поставляется по умолчанию с несколькими каталогами — системными, tpcds, tpch. Вы можете добавить собственные каталоги так же, как и в OSS Trino. Кроме того, Trino с HDInsight в AKS позволяет хранить секреты в Key Vault, поэтому их явно не нужно указывать в шаблоне ARM.

Вы можете добавить новый каталог, обновив шаблон ARM кластера, кроме каталога hive, который можно добавить во время создания кластера Trino в портал Azure.

В этой статье показано, как добавить новый каталог в кластер с помощью шаблона ARM. В этом примере описаны шаги по добавлению каталогов SQL Server и памяти.

Необходимые компоненты

• Операционный кластер Trino с HDInsight в AKS.
• База данных SQL Azure.
• Имя входа и пароль сервера SQL Azure хранятся в секретах Key Vault и назначаемом пользователем MSI, присоединенном к кластеру Trino, предоставленным разрешениями на чтение. Обратитесь к учетным данным хранилища ключей в Key Vault и назначьте роль MSI.
• Создайте шаблон ARM для кластера.
• Знакомство с разработкой и развертыванием шаблонов ARM.
• Просмотрите полный пример шаблона ARM кластера arm-trino-catalog-sample.json.

Шаги по добавлению каталога в шаблон ARM

1. Подключите Key Vault и добавьте секреты в secretsProfile свойство.clusterProfile

   На этом шаге необходимо убедиться, что Key Vault и секреты настроены для кластера Trino. В следующем примере учетные данные SQL Server хранятся в этих секретах: trinotest-admin-user, trinotest-admin-pwd.

   "secretsProfile": {
       "keyVaultResourceId": "/subscriptions/{USER_SUBSCRIPTION_ID}/resourceGroups/{USER_RESOURCE_GROUP}/providers/Microsoft.KeyVault/vaults/{USER_KEYVAULT_NAME}",
       "secrets": [
           {
               "referenceName": "trinotest-admin-user",
               "keyVaultObjectName": "trinotest-admin-user",
               "type": "secret"
           },
           {
               "referenceName": "trinotest-admin-pwd",
               "keyVaultObjectName": "trinotest-admin-pwd",
               "type": "secret"
           }
       ]
   },
   

2. Добавьте каталоги в serviceConfigsProfiles свойство under clusterProfile .

   На этом шаге необходимо добавить в кластер конфигурацию конкретного каталога Trino. В следующем примере настраивается два каталога с помощью соединителей Памяти и SQL Server. Конфигурация каталога может быть указана двумя разными способами:

   • Пары "ключ-значение" в разделе значений.
   • Одна строка в свойстве содержимого.

   Каталог памяти определяется с помощью пары "ключ-значение", а каталог SQL Server определяется с помощью одного параметра строки.

    "serviceConfigsProfiles": [
        {
            "serviceName": "trino",
            "configs": [
                {
                    "component": "catalogs",
                    "files": [
                            {
                            "fileName": "memory.properties",
                            "values": {
                                "connector.name": "memory",
                                "memory.max-data-per-node": "128MB"
                            }
                        },
                        {
                            "fileName": "trinotestdb1.properties",
                            "content":"connector.name=sqlserver\nconnection-url=jdbc:sqlserver://server-name.database.windows.net:1433;database=db1;encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;loginTimeout=30;\nconnection-user=${SECRET_REF:trinotest-admin-user}\nconnection-password=${SECRET_REF:trinotest-admin-pwd}\n"
                        },
                    ]
                }
            ]
        }
    ],
   

   Свойства

   Свойство	Description
   serviceName	трино
   component	Определяет, что раздел настраивает каталоги, должен быть "каталогами".
   files	Список файлов каталога Trino, добавляемых в кластер.
   filename	Список файлов каталога Trino, добавляемых в кластер.
   content	json escape-строка, которая будет помещена в файл каталога trino. Эта строка должна содержать все свойства каталога, зависящие от типа используемого соединителя. Дополнительные сведения см. в документации osS trino.
   ${SECRET_REF:<referenceName>}	Специальный тег для ссылки на секрет из secretProfile. Trino во время выполнения извлекает секрет из Key Vault и заменяет его в конфигурации каталога.
   Значения	Можно указать конфигурацию каталога с помощью свойства содержимого в качестве одной строки и использовать отдельные пары "ключ-значение" для каждого отдельного свойства каталога Trino, как показано в каталоге памяти.

Разверните обновленный шаблон ARM, чтобы отразить изменения в кластере. Узнайте, как развернуть шаблон ARM.