Konfigurera Delta Lake-katalogen

Viktigt!

Den här funktionen finns i förhandsgranskning. De kompletterande användningsvillkoren för Förhandsversioner av Microsoft Azure innehåller fler juridiska villkor som gäller för Azure-funktioner som är i betaversion, förhandsversion eller på annat sätt ännu inte har släppts i allmän tillgänglighet. Information om den här specifika förhandsversionen finns i Azure HDInsight på AKS-förhandsversionsinformation. Om du vill ha frågor eller funktionsförslag skickar du en begäran på AskHDInsight med informationen och följer oss för fler uppdateringar i Azure HDInsight Community.

Den här artikeln innehåller en översikt över hur du konfigurerar Delta Lake-katalogen i ditt Trino-kluster med HDInsight på AKS. Du kan lägga till en ny katalog genom att uppdatera arm-mallen för klustret förutom hive-katalogen, som du kan lägga till när Du skapar Trino-klustret i Azure-portalen.

Förutsättningar

• Förståelse för Konfiguration av Trino-kluster.
• Lägg till kataloger i ett befintligt kluster.

Steg för att konfigurera Delta Lake-katalogen

1. Uppdatera arm-klustrets mall för att lägga till en ny Delta Lake-katalogkonfigurationsfil. Den här konfigurationen måste definieras i serviceConfigsProfiles under clusterProfile egenskapen för ARM-mallen.

   Property	Värde	beskrivning
   fileName	delta.properties	Namnet på katalogfilen. Om filen kallas delta.properties delta blir katalognamnet.
   connector.name	delta-lake	Typ av katalog. För Delta Lake måste katalogtypen vara delta-lake
   delta.register-table-procedure.enabled	true	Krävs för att tillåta att externa tabeller registreras.

   Se Trino-dokumentationen för andra konfigurationsalternativ för Delta Lake.

   "serviceConfigsProfiles": [
   {
       "serviceName": "trino",
       "configs": [
           {
               "component": "catalogs",
               "files": [
                           {
                               "fileName": "delta.properties",
                               "values": {
                                   "connector.name": "delta-lake",
                                   "delta.register-table-procedure.enabled": "true"
                               }
                           }
      ]
   
   ...
   

2. Konfigurera ett Hive-metaarkiv för tabelldefinitioner och platser om du inte redan har konfigurerat ett metaarkiv.

   • Konfigurera Hive-metaarkivet för Delta-katalogen.

     Avsnittet catalogOptions i ARM-mallen definierar anslutningsinformationen för Hive-metaarkivet och kan konfigureras

     • Metaarkivkonfiguration.
     • Metaarkivinstans.
     • Länka från katalogen till metaarkivet (catalogName).

     Lägg till den här catalogOptions konfigurationen under trinoProfile egenskapen i arm-mallen för klustret:

     Kommentar

     Om Hive-katalogalternativ redan finns duplicerar du Hive-konfigurationen och anger namnet på deltakatalogen.

     "trinoProfile": {
        "catalogOptions": {
            "hive": [
                {
                    "catalogName": "delta",
                    "metastoreDbConnectionURL": "jdbc:sqlserver://{{DATABASE_SERVER}}.database.windows.net:1433;database={DATABASE_NAME}};encrypt=true;trustServerCertificate=true;loginTimeout=30;",
                    "metastoreDbConnectionUserName": "{{DATABASE_USER_NAME}}",
                    "metastoreDbConnectionPasswordSecret": "hms-db-pwd-ref",
                    "metastoreWarehouseDir": "abfss://{{AZURE_STORAGE_CONTAINER}}@{{AZURE_STORAGE_ACCOUNT_NAME}}.dfs.core.windows.net/"
                }  
            ]
        }
     } ...
     

3. Storage Blob Data Owner Tilldela rollen till klustrets användartilldelade MSI i lagringskontot som innehåller deltatabellerna. Lär dig hur du tilldelar en roll.

   • Användartilldelat MSI-namn visas i msiResourceId egenskapen i klustrets resurs-JSON.

Distribuera den uppdaterade ARM-mallen för att återspegla ändringarna i klustret. Lär dig hur du distribuerar en ARM-mall.
När den har distribuerats kan du se "delta"-katalogen i ditt Trino-kluster.

Nästa steg

Läs Delta Lakes-tabeller (Synapse eller extern plats)