Konfigurera Delta Lake-katalogen

Viktigt!

Den här funktionen finns i förhandsgranskning. De kompletterande användningsvillkoren för Förhandsversioner av Microsoft Azure innehåller fler juridiska villkor som gäller för Azure-funktioner som är i betaversion, förhandsversion eller på annat sätt ännu inte har släppts i allmän tillgänglighet. Information om den här specifika förhandsversionen finns i Azure HDInsight på AKS-förhandsversionsinformation. Om du vill ha frågor eller funktionsförslag skickar du en begäran på AskHDInsight med informationen och följer oss för fler uppdateringar i Azure HDInsight Community.

Den här artikeln innehåller en översikt över hur du konfigurerar Delta Lake-katalogen i ditt Trino-kluster med HDInsight på AKS. Du kan lägga till en ny katalog genom att uppdatera arm-mallen för klustret förutom hive-katalogen, som du kan lägga till när Du skapar Trino-klustret i Azure-portalen.

Förutsättningar

• Förståelse för Konfiguration av Trino-kluster.
• Lägg till kataloger i ett befintligt kluster.

Steg för att konfigurera Delta Lake-katalogen

1. Konfigurera Hive-metaarkivet för tabelldefinitioner och -platser om du inte redan har konfigurerat ett metaarkiv.

   Konfigurera extern Hive-metaarkivdatabas och standardlagringskatalog i config.properties filen (mer information om Trino-konfiguration):

   "serviceConfigsProfiles": [
       {
           "serviceName": "trino",
           "configs": [
               {
                   "component": "common",
                   "files": [
                       {
                           "fileName": "config.properties",
                           "values": {
                               "hive.metastore.hdi.metastoreDbConnectionURL": "jdbc:sqlserver://{{DATABASE_SERVER}}.database.windows.net;database={{DATABASE_NAME}};encrypt=true;trustServerCertificate=true;create=false;loginTimeout=30",
                               "hive.metastore.hdi.metastoreDbConnectionUserName": "{{DATABASE_USER_NAME}}",
                               "hive.metastore.hdi.metastoreDbConnectionPasswordSecret": "{{SECRET_REFERENCE_NAME}}",
                               "hive.metastore.hdi.metastoreWarehouseDir": "abfs://{{AZURE_STORAGE_CONTAINER}}@{{AZURE_STORAGE_ACCOUNT_NAME}}.dfs.core.windows.net/hive/warehouse"
                           }
                       }
                   ]
               }
           ]
       }
   ]
   "secretsProfile": {
           "keyVaultResourceId": "/subscriptions/{USER_SUBSCRIPTION_ID}/resourceGroups/{USER_RESOURCE_GROUP}/providers/Microsoft.KeyVault/vaults/{USER_KEYVAULT_NAME}",
           "secrets": [
               {
                   "referenceName": "{{SECRET_REFERENCE_NAME}}",
                   "type": "Secret",
                   "keyVaultObjectName": "myCredSecret"
               }                        ]
       },
   

   Kommentar

   referenceName ska matcha det värde som anges i hive.metastore.hdi.metastoreDbConnectionPasswordSecret

2. Uppdatera arm-klustrets mall för att lägga till en ny Delta Lake-katalogkonfigurationsfil. Den här konfigurationen måste definieras i serviceConfigsProfiles under clusterProfile egenskapen för ARM-mallen.

   Property	Värde	beskrivning
   fileName	delta.properties	Namnet på katalogfilen. Om filen kallas delta.properties delta blir katalognamnet.
   connector.name	delta_lake	Typ av katalog. För Delta Lake måste katalogtypen vara delta_lake
   hive.metastore	hdi	Typ av hive-metaarkiv som ska användas för den här katalogen. Skriv hdi, instruerar det klustret att använda hive-metaarkivtjänsten i klustret, som konfigurerats ovan.
   delta.register-table-procedure.enabled	true	Krävs för att tillåta att externa tabeller registreras.

   Se Trino-dokumentationen för andra konfigurationsalternativ för Delta Lake.

   "serviceConfigsProfiles": [
   {
       "serviceName": "trino",
       "configs": [
           {
               "component": "catalogs",
               "files": [
                           {
                               "fileName": "delta.properties",
                               "values": {
                                   "connector.name": "delta_lake",
                                   "hive.metastore": "hdi",
                                   "delta.register-table-procedure.enabled": "true"
                               }
                           }
      ]
   
   ...
   

3. Storage Blob Data Owner Tilldela rollen till klustrets användartilldelade MSI i lagringskontot som innehåller deltatabellerna. Lär dig hur du tilldelar en roll.

   • Användartilldelat MSI-namn visas i msiResourceId egenskapen i klustrets resurs-JSON.

Distribuera den uppdaterade ARM-mallen för att återspegla ändringarna i klustret. Lär dig hur du distribuerar en ARM-mall.
När den har distribuerats kan du se "delta"-katalogen i ditt Trino-kluster.

Nästa steg

Läs Delta Lakes-tabeller (Synapse eller extern plats)