Správa konfigurace Trino

Článek
10/29/2023

Důležité

Tato funkce je aktuálně dostupná jako ukázková verze. Doplňkové podmínky použití pro Microsoft Azure Preview obsahují další právní podmínky, které se vztahují na funkce Azure, které jsou v beta verzi, ve verzi Preview nebo ještě nejsou vydány v obecné dostupnosti. Informace o této konkrétní verzi Preview najdete v tématu Azure HDInsight o službě AKS ve verzi Preview. Pokud máte dotazy nebo návrhy funkcí, odešlete prosím žádost na AskHDInsight s podrobnostmi a sledujte nás o dalších aktualizacích v komunitě Azure HDInsight.

Cluster Trino se službou HDInsight v AKS obsahuje většinu výchozích konfigurací opensourcového Trino. Tento článek popisuje, jak aktualizovat konfigurační soubory a přidat do clusteru vlastní doplňkové konfigurační soubory.

Konfigurace můžete přidat nebo aktualizovat dvěma způsoby:

Pomocí webu Azure Portal
Použití šablony ARM

Poznámka:

Trino se službou HDInsight v AKS vynucuje určité konfigurace a zakazuje úpravy některých souborů nebo vlastností. To se provádí, aby se zajistilo správné zabezpečení a připojení prostřednictvím konfigurace. Příklad zakázaných souborů/vlastností zahrnuje, ale není omezen na:

Soubor jvm.config s výjimkou nastavení velikosti haldy.
Node.properties: node.id, node.data-dir, log.path atd.
Config.properties: http-server.authentication.*, http-server.https.* etc.

Pomocí webu Azure Portal

Na webu Azure Portal můžete upravit tři sady standardních konfigurací Trino:

log.properties
config.properties
node.properties

Podle kroků upravte konfigurace:

Přihlaste se na portál Azure.
Na panelu hledání na webu Azure Portal zadejte "HDInsight v clusteru AKS" a v rozevíracím seznamu vyberte Azure HDInsight v clusterech AKS.
Na stránce seznamu vyberte název clusteru.
Přejděte do okna Správa konfigurace.
Přidejte nové nebo aktualizujte existující páry klíč-hodnota pro konfigurace, které chcete upravit. Například config.properties -> Custom configurations -> Click "Add" (Přidat) přidejte nové nastavení konfigurace a potom klikněte na ok.
Kliknutím na Uložit uložte konfigurace.

Použití šablony Resource Manageru

Požadavky

Provozní cluster Trino se službou HDInsight v AKS.
Vytvořte šablonu ARM pro váš cluster.
Projděte si kompletní ukázku šablony ARM clusteru.
Znalost vytváření a nasazování šablon ARM

Správa clusteru

Všechny konfigurace Trino lze zadat v serviceConfigsProfiles.serviceName[“trino”] části properties.clusterProfile.

Následující příklad se zaměřuje na coordinator/worker/miscfiles. Katalogy najdete v tématu Přidání katalogů do existujícího clusteru:

"serviceConfigsProfiles": [
    {
        "serviceName": "trino",
        "configs": [
            {
                "component": "catalogs",
                "files": [<file-spec>,…]
            },
            {
                "component": "coordinator",
                "files": [<file-spec>,…]
            },
            {
                "component": "worker",
                "files": [<file-spec>,…]
            },
            {
                "component": " miscfiles",
                "files": [<file-spec>,…]
            },
        ]
    }
]

Existuje několik komponent, které řídí různé aspekty konfigurace:

Název komponenty	Požadované/povolené vlastnosti pro každou specifikaci souboru	Popis
společné	`filename`, `values`	Obsahuje konfigurační soubory pro koordinátora i pracovní proces.
Koordinátor	`filename`, `values`	Obsahuje konfigurační soubory pouze pro koordinátory, přepíše běžné, pokud jsou k dispozici.
Pracovník	`filename`, `values`	Obsahuje pouze konfigurační soubory pro pracovní procesy, přepíše běžné, pokud jsou k dispozici.
`miscfiles`	`filename`, `content`	Obsahuje různé konfigurační soubory poskytované uživatelem pro celý cluster.
Katalogy	`filename`, obsah nebo hodnoty	Obsahuje soubory katalogu pro celý cluster.

Následující příklad ukazuje:

Přepsat výchozí node.environment pro cluster (zobrazený v uživatelském rozhraní Trino).
Přepsat výchozí hodnoty config.properties pro koordinátor a pracovní proces.
Přidejte ukázkový soubor JSON skupin prostředků a nakonfigurujte koordinátora, aby ho používal.

"serviceConfigsProfiles": [
    {
        "serviceName": "trino",
        "configs": [
            {
                "component": "common",
                "files": [
                    {
                        "fileName": "node.properties",
                        "values": {
                            "node.environment": "preview"
                        }
                    },
                    {
                        "fileName": "config.properties",
                        "values": {
                            "join-distribution-type": "AUTOMATIC",
                            "query.max-execution-time": "5d",
                            "shutdown.grace-period": "5m"
                        }
                    }
                ]                
            },
            {
                "component": "coordinator",
                "files": [
                    {
                        "fileName": "resource-groups.properties",
                        "values": {
                            "resource-groups.configuration-manager": "file",
                            "resource-groups.config-file": "${MISC:resource-groups}"
                        }                                            
                    }
                ]
            },
            {
                "component": "miscfiles",
                "files": [
                    {
                        "fileName": "resource-groups",
                        "path": "/customDir/resource-groups.json",
                        "content": "{\"rootGroups\":[{\"name\":\"global\",\"softMemoryLimit\":\"80%\",\"hardConcurrencyLimit\":100,\"maxQueued\":1000,\"schedulingPolicy\":\"weighted\",\"jmxExport\":true,\"subGroups\":[{\"name\":\"data_definition\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":5,\"maxQueued\":100,\"schedulingWeight\":1},{\"name\":\"adhoc\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":50,\"maxQueued\":1,\"schedulingWeight\":10,\"subGroups\":[{\"name\":\"other\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":2,\"maxQueued\":1,\"schedulingWeight\":10,\"schedulingPolicy\":\"weighted_fair\",\"subGroups\":[{\"name\":\"${USER}\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":1,\"maxQueued\":100}]}]}]},{\"name\":\"admin\",\"softMemoryLimit\":\"100%\",\"hardConcurrencyLimit\":50,\"maxQueued\":100,\"schedulingPolicy\":\"query_priority\",\"jmxExport\":true}],\"selectors\":[{\"group\":\"global.adhoc.other.${USER}\"}],\"cpuQuotaPeriod\":\"1h\"}"
                    }
                ]
            }
        ]
    }

Nasaďte aktualizovanou šablonu ARM tak, aby odrážela změny v clusteru. Zjistěte, jak nasadit šablonu ARM.

Share via

Správa konfigurace Trino

Pomocí webu Azure Portal

Použití šablony Resource Manageru

Požadavky

Správa clusteru

Další materiály