Trino-Konfigurationsverwaltung

Artikel
04/18/2024

Wichtig

Diese Funktion steht derzeit als Vorschau zur Verfügung. Die zusätzlichen Nutzungsbedingungen für Microsoft Azure-Vorschauen enthalten weitere rechtliche Bestimmungen, die für Azure-Features in Betaversionen, in Vorschauversionen oder anderen Versionen gelten, die noch nicht allgemein verfügbar gemacht wurden. Informationen zu dieser spezifischen Vorschau finden Sie unter Informationen zur Vorschau von Azure HDInsight in AKS. Bei Fragen oder Funktionsvorschlägen senden Sie eine Anfrage an AskHDInsight mit den entsprechenden Details, und folgen Sie uns für weitere Updates in der Azure HDInsight-Community.

Trino-Cluster mit HDInsight on AKS enthalten den Großteil der Standardkonfigurationen von Open-Source-Trino. In diesem Artikel wird beschrieben, wie Sie Konfigurationsdateien aktualisieren und dem Cluster eigene zusätzliche Konfigurationsdateien hinzufügen.

Zum Hinzufügen bzw. Aktualisieren der Konfigurationen stehen Ihnen zwei Möglichkeiten zur Auswahl:

Über das Azure-Portal
Verwenden einer ARM-Vorlage (Azure Resource Manager)

Hinweis

Trino mit HDInsight on AKS erzwingt bestimmte Konfigurationen und untersagt Änderungen einiger Dateien und/oder Eigenschaften. Dies dient dazu, über die Konfiguration eine angemessene Sicherheit/Konnektivität sicherzustellen. Im Folgenden finden Sie einige Beispiele für Dateien und Eigenschaften, bei denen keine Änderungen zulässig sind (dies ist keine vollständige Liste):

Datei „jvm.config“ mit Ausnahme der Einstellungen für die Heapgröße
Node.properties: „node.id“, „node.data-dir“, „log.path“ usw.
Config.properties: http-server.authentication.*, http-server.https.* etc.

Über das Azure-Portal

Im Azure-Portal können Sie drei Sätze standardmäßiger Trino-Konfigurationen ändern:

log.properties
config.properties
node.properties

Führen Sie die folgenden Schritte aus, um die Konfigurationen zu ändern:

Melden Sie sich beim Azure-Portal an.
Geben Sie in die Suchleiste des Azure-Portals den Suchbegriff „HDInsight on AKS-Cluster“ ein, und wählen Sie in der Dropdownliste „Azure HDInsight on AKS-Cluster“ aus.
Wählen Sie auf der Seite mit der Liste den Namen Ihres Clusters aus.
Navigieren Sie zum Blatt „Konfigurationsverwaltung“.
Fügen Sie neue Schlüssel-Wert-Paare hinzu, oder aktualisieren Sie die vorhandenen Schlüssel-Wert-Paare für die Konfigurationen, die Sie ändern möchten. Wählen Sie beispielsweise „config.properties“ -> „Benutzerdefinierte Konfigurationen“ und dann „Hinzufügen“ aus, um eine neue Konfigurationseinstellung hinzuzufügen, und klicken Sie anschließend auf „OK“.
Wählen Sie „Speichern“ aus, um die Konfigurationen zu speichern.

Per ARM-Vorlage

Voraussetzungen

Ein betriebsbereiter Trino-Cluster mit HDInsight on AKS.
Erstellen einer ARM-Vorlage für Ihren Cluster
Überprüfen eines Beispielclusters basierend auf einer ARM-Vorlage
Kenntnisse in der Erstellung und Bereitstellung von ARM-Vorlagen.

Clusterverwaltung

Alle Trino-Konfigurationen können in serviceConfigsProfiles.serviceName[“trino”] unter properties.clusterProfile angegeben werden.

Das folgende Beispiel konzentriert sich auf coordinator/worker/miscfiles. Informationen zu Katalogen finden Sie unter Hinzufügen von Katalogen zu einem vorhandenen Cluster:

"serviceConfigsProfiles": [
    {
        "serviceName": "trino",
        "configs": [
            {
                "component": "catalogs",
                "files": [<file-spec>,…]
            },
            {
                "component": "coordinator",
                "files": [<file-spec>,…]
            },
            {
                "component": "worker",
                "files": [<file-spec>,…]
            },
            {
                "component": " miscfiles",
                "files": [<file-spec>,…]
            },
        ]
    }
]

Es gibt mehrere Komponenten, die verschiedene Konfigurationsaspekte steuern:

Komponentenname	Erforderliche/zulässige Eigenschaften für jede Dateispezifikation	Beschreibung
allgemein	`filename`, `values`	Enthält Konfigurationsdateien für Koordinatoren und Worker.
Koordinator	`filename`, `values`	Enthält Konfigurationsdateien nur für Koordinatoren und setzt allgemeine Konfigurationen außer Kraft (sofern vorhanden).
Worker	`filename`, `values`	Enthält Konfigurationsdateien nur für Worker und setzt allgemeine Konfigurationen außer Kraft (sofern vorhanden).
`miscfiles`	`filename`, `content`	Enthält verschiedene Konfigurationsdateien, die benutzerseitig für den gesamten Cluster bereitgestellt werden.
catalogs	`filename`, entweder Inhalt oder Werte	Enthält Katalogdateien für den gesamten Cluster.

Dies wird im folgenden Beispiel veranschaulicht:

Außerkraftsetzen des Standardwerts von „node.environment“ für den Cluster (wird in der Trino-Benutzeroberfläche angezeigt)
Außerkraftsetzen der Standardwerte von „config.properties“ für Koordinator und Worker
Hinzufügen einer JSON-Beispieldatei für Ressourcengruppen und Konfigurieren des Koordinators zur Verwendung dieser Datei

"serviceConfigsProfiles": [
    {
        "serviceName": "trino",
        "configs": [
            {
                "component": "common",
                "files": [
                    {
                        "fileName": "node.properties",
                        "values": {
                            "node.environment": "preview"
                        }
                    },
                    {
                        "fileName": "config.properties",
                        "values": {
                            "join-distribution-type": "AUTOMATIC",
                            "query.max-execution-time": "5d",
                            "shutdown.grace-period": "5m"
                        }
                    }
                ]                
            },
            {
                "component": "coordinator",
                "files": [
                    {
                        "fileName": "resource-groups.properties",
                        "values": {
                            "resource-groups.configuration-manager": "file",
                            "resource-groups.config-file": "${MISC:resource-groups}"
                        }                                            
                    }
                ]
            },
            {
                "component": "miscfiles",
                "files": [
                    {
                        "fileName": "resource-groups",
                        "path": "/customDir/resource-groups.json",
                        "content": "{\"rootGroups\":[{\"name\":\"global\",\"softMemoryLimit\":\"80%\",\"hardConcurrencyLimit\":100,\"maxQueued\":1000,\"schedulingPolicy\":\"weighted\",\"jmxExport\":true,\"subGroups\":[{\"name\":\"data_definition\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":5,\"maxQueued\":100,\"schedulingWeight\":1},{\"name\":\"adhoc\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":50,\"maxQueued\":1,\"schedulingWeight\":10,\"subGroups\":[{\"name\":\"other\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":2,\"maxQueued\":1,\"schedulingWeight\":10,\"schedulingPolicy\":\"weighted_fair\",\"subGroups\":[{\"name\":\"${USER}\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":1,\"maxQueued\":100}]}]}]},{\"name\":\"admin\",\"softMemoryLimit\":\"100%\",\"hardConcurrencyLimit\":50,\"maxQueued\":100,\"schedulingPolicy\":\"query_priority\",\"jmxExport\":true}],\"selectors\":[{\"group\":\"global.adhoc.other.${USER}\"}],\"cpuQuotaPeriod\":\"1h\"}"
                    }
                ]
            }
        ]
    }

Stellen Sie die aktualisierte ARM-Vorlage bereit, um die Änderungen in Ihrem Cluster widerzuspiegeln. Erfahren Sie, wie Sie eine ARM-Vorlage bereitstellen.

Teilen über