Trinó konfigurációkezelése
Fontos
Ez a szolgáltatás jelenleg előzetes kiadásban elérhető. A Microsoft Azure Előzetes verzió kiegészítő használati feltételei további jogi feltételeket tartalmaznak, amelyek a bétaverzióban, előzetes verzióban vagy egyébként még nem általánosan elérhető Azure-funkciókra vonatkoznak. Erről az adott előzetes verzióról az Azure HDInsight az AKS előzetes verziójában tájékozódhat. Ha kérdése vagy funkciójavaslata van, küldjön egy kérést az AskHDInsightban a részletekkel együtt, és kövessen minket további frissítésekért az Azure HDInsight-közösségről.
A HDInsighttal rendelkező Trino-fürt az AKS-en a nyílt forráskódú Trinó legtöbb alapértelmezett konfigurációjával rendelkezik. Ez a cikk bemutatja, hogyan frissítheti a konfigurációs fájlokat, és hogyan adhat hozzá saját kiegészítő konfigurációs fájlokat a fürthöz.
A konfigurációk kétféleképpen vehetők fel/frissíthetők:
Feljegyzés
A HDInsighttal rendelkező Trino az AKS-en bizonyos konfigurációkat kényszerít ki, és megtiltja bizonyos fájlok és/vagy tulajdonságok módosítását. Ez a konfiguráción keresztüli megfelelő biztonság/kapcsolat biztosítása érdekében történik. A tiltott fájlok/tulajdonságok például a következőket tartalmazzák, de nem korlátozódnak a következőkre:
- jvm.config fájl a halomméret beállításainak kivételével.
- Node.properties: node.id, node.data-dir, log.path stb.
Config.properties: http-server.authentication.*, http-server.https.* etc.
Az Azure Portal használata
Az Azure Portalon három standard Trinó-konfigurációt módosíthat:
- log.properties
- config.properties
- node.properties
A konfigurációk módosításához kövesse az alábbi lépéseket:
Jelentkezzen be az Azure portálra.
Az Azure Portal keresősávjában írja be a "HDInsight az AKS-fürtön" kifejezést, és válassza az "Azure HDInsight az AKS-fürtökön" lehetőséget a legördülő listából.
Válassza ki a fürt nevét a listalapon.
Lépjen a "Configuration Management" (Konfigurációkezelés) panelre.
Adjon hozzá újat, vagy frissítse a módosítani kívánt konfigurációk meglévő kulcsértékpárjait. Például: config.properties –> Egyéni konfigurációk –> kattintson a "Hozzáadás" gombra az új konfigurációs beállítás hozzáadásához, majd kattintson az OK gombra.
A konfigurációk mentéséhez kattintson a "Mentés" gombra.
ARM-sablon használata
Előfeltételek
- Egy operatív Trino-fürt HDInsighttal az AKS-en.
- Hozzon létre ARM-sablont a fürthöz.
- Tekintse át a teljes fürt ARM-sablonmintáját .
- Az ARM-sablonok készítésének és üzembe helyezésének ismerete.
Fürtkezelés
Az összes Trino-konfiguráció a következő helyen serviceConfigsProfiles.serviceName[“trino”]properties.clusterProfileadható meg: .
Az alábbi példa a következőkre coordinator/worker/miscfilesösszpontosít: Katalógusok esetén lásd : Katalógusok hozzáadása meglévő fürthöz:
"serviceConfigsProfiles": [
{
"serviceName": "trino",
"configs": [
{
"component": "catalogs",
"files": [<file-spec>,…]
},
{
"component": "coordinator",
"files": [<file-spec>,…]
},
{
"component": "worker",
"files": [<file-spec>,…]
},
{
"component": " miscfiles",
"files": [<file-spec>,…]
},
]
}
]
Számos összetevő szabályozza a különböző konfigurációs szempontokat:
| Összetevő neve | Kötelező/engedélyezett tulajdonságok minden fájlspecifikációhoz | Leírás |
|---|---|---|
| közös | filename, values |
Konfigurációs fájlokat tartalmaz a koordinátor és a feldolgozó számára is. |
| Koordinátor | filename, values |
Csak a koordinátor konfigurációs fájljait tartalmazza, ha vannak felülbírálások. |
| Munkavállaló | filename, values |
Csak a feldolgozók konfigurációs fájljait tartalmazza, a felülbírálások gyakoriak, ha vannak. |
miscfiles |
filename, content |
A teljes fürthöz a felhasználó által biztosított különböző konfigurációs fájlokat tartalmazza. |
| Katalógusok | filename, tartalom vagy értékek |
A teljes fürt katalógusfájljait tartalmazza. |
Az alábbi példa a következőket mutatja be:
- A fürt alapértelmezett node.environment-környezetének felülbírálása (a Trino felhasználói felületén jelenik meg).
- A koordinátor és a feldolgozó alapértelmezett config.properties értékeinek felülbírálása.
- Adjon hozzá json-mintaerőforrás-csoportokat, és konfigurálja a koordinátort a használatára.
"serviceConfigsProfiles": [
{
"serviceName": "trino",
"configs": [
{
"component": "common",
"files": [
{
"fileName": "node.properties",
"values": {
"node.environment": "preview"
}
},
{
"fileName": "config.properties",
"values": {
"join-distribution-type": "AUTOMATIC",
"query.max-execution-time": "5d",
"shutdown.grace-period": "5m"
}
}
]
},
{
"component": "coordinator",
"files": [
{
"fileName": "resource-groups.properties",
"values": {
"resource-groups.configuration-manager": "file",
"resource-groups.config-file": "${MISC:resource-groups}"
}
}
]
},
{
"component": "miscfiles",
"files": [
{
"fileName": "resource-groups",
"path": "/customDir/resource-groups.json",
"content": "{\"rootGroups\":[{\"name\":\"global\",\"softMemoryLimit\":\"80%\",\"hardConcurrencyLimit\":100,\"maxQueued\":1000,\"schedulingPolicy\":\"weighted\",\"jmxExport\":true,\"subGroups\":[{\"name\":\"data_definition\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":5,\"maxQueued\":100,\"schedulingWeight\":1},{\"name\":\"adhoc\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":50,\"maxQueued\":1,\"schedulingWeight\":10,\"subGroups\":[{\"name\":\"other\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":2,\"maxQueued\":1,\"schedulingWeight\":10,\"schedulingPolicy\":\"weighted_fair\",\"subGroups\":[{\"name\":\"${USER}\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":1,\"maxQueued\":100}]}]}]},{\"name\":\"admin\",\"softMemoryLimit\":\"100%\",\"hardConcurrencyLimit\":50,\"maxQueued\":100,\"schedulingPolicy\":\"query_priority\",\"jmxExport\":true}],\"selectors\":[{\"group\":\"global.adhoc.other.${USER}\"}],\"cpuQuotaPeriod\":\"1h\"}"
}
]
}
]
}
Telepítse a frissített ARM-sablont a fürt változásainak megfelelően. Megtudhatja, hogyan helyezhet üzembe ARM-sablont.