Delta Lake-katalógus konfigurálása

Fontos

Ez a szolgáltatás jelenleg előzetes kiadásban elérhető. A Microsoft Azure Előzetes verzió kiegészítő használati feltételei további jogi feltételeket tartalmaznak, amelyek a bétaverzióban, előzetes verzióban vagy egyébként még nem általánosan elérhető Azure-funkciókra vonatkoznak. Erről az adott előzetes verzióról az Azure HDInsight az AKS előzetes verziójában tájékozódhat. Ha kérdése vagy funkciójavaslata van, küldjön egy kérést az AskHDInsightban a részletekkel együtt, és kövessen minket további frissítésekért az Azure HDInsight-közösségről.

Ez a cikk áttekintést nyújt arról, hogyan konfigurálhatja a Delta Lake-katalógust a Trino-fürtben a HDInsighttal az AKS-en. Új katalógust úgy vehet fel, hogy frissíti a fürt ARM-sablonját, kivéve a hive-katalógust, amelyet a Trino-fürt létrehozása során adhat hozzá az Azure Portalon.

Előfeltételek

• A Trino-fürtkonfiguráció ismertetése.
• Katalógusok hozzáadása meglévő fürthöz.

A Delta Lake-katalógus konfigurálásához szükséges lépések

1. Frissítse a fürt ARM-sablonját egy új Delta Lake-katalógus konfigurációs fájljának hozzáadásához. Ezt a konfigurációt az ARM-sablon tulajdonságában serviceConfigsProfilesclusterProfile kell meghatározni.

   Tulajdonság	Érték	Leírás
   fileName	delta.properties	A katalógusfájl neve. Ha a fájl neve delta.properties, delta akkor a katalógus neve lesz.
   connector.name	delta-lake	A katalógus típusa. A Delta Lake esetében a katalógustípusnak delta-lake
   delta.register-table-procedure.enabled	true	A külső táblák regisztrálásához szükséges.

   További delta lake-konfigurációs lehetőségekért tekintse meg a Trino dokumentációját .

   "serviceConfigsProfiles": [
   {
       "serviceName": "trino",
       "configs": [
           {
               "component": "catalogs",
               "files": [
                           {
                               "fileName": "delta.properties",
                               "values": {
                                   "connector.name": "delta-lake",
                                   "delta.register-table-procedure.enabled": "true"
                               }
                           }
      ]
   
   ...
   

2. Ha még nincs konfigurálva metaadattár, konfiguráljon Hive-metaadattárat tábladefiníciókhoz és helyekhez.

   • Konfigurálja a Hive metaadattárat a Delta-katalógushoz.

     Az catalogOptions ARM-sablon szakasza határozza meg a Hive metaadattár kapcsolatának részleteit, és beállíthat

     • Metaadattár konfigurációja.
     • Metaadattár-példány.
     • Hivatkozás a katalógusból a metaadattárra (catalogName).

     Adja hozzá ezt a catalogOptions konfigurációt a tulajdonság alatt trinoProfile a fürt ARM-sablonjához:

     Feljegyzés

     Ha a Hive-katalógus beállításai már léteznek, duplikálja a Hive-konfigurációt, és adja meg a deltakatalógus nevét.

     "trinoProfile": {
        "catalogOptions": {
            "hive": [
                {
                    "catalogName": "delta",
                    "metastoreDbConnectionURL": "jdbc:sqlserver://{{DATABASE_SERVER}}.database.windows.net:1433;database={DATABASE_NAME}};encrypt=true;trustServerCertificate=true;loginTimeout=30;",
                    "metastoreDbConnectionUserName": "{{DATABASE_USER_NAME}}",
                    "metastoreDbConnectionPasswordSecret": "hms-db-pwd-ref",
                    "metastoreWarehouseDir": "abfss://{{AZURE_STORAGE_CONTAINER}}@{{AZURE_STORAGE_ACCOUNT_NAME}}.dfs.core.windows.net/"
                }  
            ]
        }
     } ...
     

3. Rendelje hozzá a szerepkört a Storage Blob Data Owner fürthöz felhasználó által hozzárendelt MSI-hez a deltatáblákat tartalmazó tárfiókban. Megtudhatja, hogyan rendelhet hozzá szerepkört.

   • A felhasználó által hozzárendelt MSI-név szerepel a msiResourceId fürt JSON-erőforrásának tulajdonságában.

Telepítse a frissített ARM-sablont a fürt változásainak megfelelően. Megtudhatja, hogyan helyezhet üzembe ARM-sablont.
A sikeres üzembe helyezés után megjelenik a "delta" katalógus a Trino-fürtben.

Következő lépések

Delta Lakes-táblák olvasása (Synapse vagy külső hely)