Konfigurace výpočetních prostředků (starší verze)

Poznámka:

Toto jsou pokyny pro starší uživatelské rozhraní pro vytvoření clusteru, a jsou zahrnuty pouze kvůli historické přesnosti. Všichni zákazníci by měli používat aktualizované uživatelské rozhraní pro vytvoření clusteru.

Tento článek vysvětluje možnosti konfigurace, které jsou k dispozici při vytváření a úpravě Azure Databricks clusterů. Zaměřuje se na vytváření a úpravy clusterů pomocí uživatelského rozhraní. Další metody najdete v rozhraní příkazového řádku Databricks, rozhraní API clusterů a zprostředkovatele Terraformu Databricks.

Nápovědu k rozhodování o tom, jaká kombinace možností konfigurace nejlépe vyhovuje vašim potřebám, najdete v osvědčených postupech konfigurace clusteru.

Zásady clusteru

Zásady clusteru omezují možnost konfigurovat clustery na základě sady pravidel. Pravidla zásad omezují atributy nebo hodnoty atributů, které jsou k dispozici pro vytvoření clusteru. Zásady clusteru mají seznamy ACL, které omezují jejich použití na konkrétní uživatele a skupiny, a tím omezují zásady, které můžete vybrat při vytváření clusteru.

Pokud chcete nakonfigurovat zásady clusteru, vyberte v rozevíracím seznamu Zásady příslušné zásady.

Poznámka:

Pokud v pracovním prostoru nebyly vytvořeny žádné zásady, rozevírací seznam Zásady se nezobrazí.

Pokud máte:

• Oprávnění k vytvoření clusteru, a můžete vybrat Unrestricted politiku a vytvořit plně konfigurovatelné clustery. Neomezené zásady neomezují žádné atributy clusteru ani hodnoty atributů.
• Obě oprávnění k vytvoření clusteru a přístup k zásadám clusteru vám umožňují vybrat neomezené zásady a zásady, ke kterým máte přístup.
• Přístup jenom k zásadám clusteru, můžete vybrat zásady, ke kterým máte přístup.

Režim clusteru

Poznámka:

Tento článek popisuje starší uživatelské rozhraní clusterů. Informace o novém uživatelském rozhraní clusterů (ve verzi Preview) najdete v referenčních informacích ke konfiguraci výpočetních prostředků. To zahrnuje některé změny terminologie pro typy a režimy přístupu ke clusteru. Porovnání nových a starších typů clusterů najdete v tématu Změny uživatelského rozhraní clusterů a režimy přístupu ke clusteru. V uživatelském rozhraní preview:

• Standardní režim shluků se teď označuje jako shluky v režimu sdíleného přístupu bez izolace.
• Vysoká souběžnost s ACL tabulek se nyní označuje jako clustery režimu sdíleného přístupu.

Azure Databricks podporuje tři režimy clusteru: Standard, High Concurrency a Single Node. Výchozí režim clusteru je Standard.

Důležité

• Pokud je váš pracovní prostor přiřazený k metastore Unity Catalogu, clustery s vysokou souběžností nejsou k dispozici. Místo toho použijete režim přístupu k zajištění integrity řízení přístupu a vynucování záruk silné izolace. Viz také režimy Accessu.
• Po vytvoření clusteru nelze změnit režim clusteru. Pokud chcete jiný režim clusteru, musíte vytvořit nový cluster.

Konfigurace clusteru zahrnuje nastavení automatického ukončení , jehož výchozí hodnota závisí na režimu clusteru:

• Clustery Standard a Single Node se ve výchozím nastavení automaticky ukončí po 120 minutách.
• Clustery s vysokou souběžností se ve výchozím nastavení automaticky neukončují .

Standardní clustery

Upozornění

Clustery standardního režimu (někdy označované jako Sdílené clustery bez izolace) můžou sdílet více uživatelů bez izolace mezi uživateli. Pokud použijete režim clusteru s vysokou souběžností bez dalších nastavení zabezpečení, jako jsou seznamy ACL tabulky nebo předávání přihlašovacích údajů, použijí se stejná nastavení jako clustery v režimu Standard. Správci účtu můžou zabránit automatickému vygenerování interních přihlašovacích údajů pro správce pracovního prostoru Databricks v těchto typech clusteru. Pro bezpečnější možnosti Databricks doporučuje alternativy, jako jsou clustery s vysokou souběžností a seznamy řízení přístupu k tabulkám (ACL).

Pro jednotlivé uživatele se doporučuje jenom cluster Úrovně Standard. Clustery úrovně Standard můžou spouštět úlohy vyvinuté v Python, SQL, R a Scala.

Clustery s vysokou souběžností

Cluster s vysokou paralelní kapacitou je řízený cloudový zdroj. Klíčové výhody clusterů s vysokou souběžností jsou, že poskytují jemně odstupňované sdílení pro maximální využití prostředků a minimální latenci dotazů.

Clustery s vysokou souběžností můžou spouštět úlohy vyvinuté v SQL, Python a R. Výkon a zabezpečení clusterů s vysokou souběžností poskytuje spouštění uživatelského kódu v samostatných procesech, což není možné v jazyce Scala.

Kromě toho podporují řízení přístupu k tabulce pouze clustery s vysokou souběžností.

Pokud chcete vytvořit cluster s vysokou souběžností, nastavte režim clusteru na vysokou souběžnost.

Cluster s jediným uzlem

Cluster s jedním uzlem nemá žádné pracovní procesy a spouští úlohy Sparku na uzlu ovladače.

Naproti tomu cluster úrovně Standard vyžaduje kromě uzlu ovladače k provádění úloh Sparku alespoň jeden pracovní uzel Sparku.

Pokud chcete vytvořit cluster s jedním uzlem, nastavte režim clusteru na jeden uzel.

Další informace o práci s clustery s jedním uzlem najdete v tématu Výpočty s jedním uzlem.

Bazény

Pokud chcete zkrátit dobu spuštění clusteru, můžete cluster připojit k předdefinovanému fondu nečinných instancí pro ovladače a pracovní uzly. Cluster se vytvoří pomocí instancí ve fondech. Pokud fond nemá dostatek nečinných prostředků k vytvoření požadovaného ovladače nebo pracovních uzlů, fond se rozšíří přidělením nových instancí od poskytovatele instance. Po ukončení připojeného clusteru se instance, které používá, vrátí do fondů a dají se znovu použít jiným clusterem.

Pokud pro pracovní uzly zvolíte fond, ale ne pro ovladač, uzel ovladače převezme fond z konfigurace pracovního uzlu.

Důležité

Pokud se pokusíte vybrat fond pro uzel ovladače, ale ne pro pracovní uzly, dojde k chybě a cluster se nevytvořil. Tento požadavek brání situaci, kdy musí uzel ovladače čekat na vytvoření pracovních uzlů, nebo kdy naopak pracovní uzly musí čekat na vytvoření uzlu ovladače.

Podívejte se na Referenční příručku ke konfiguraci fondů, kde se dozvíte více o práci s fondy v Azure Databricks.

Databricks Runtime

Runtimy Databricks jsou soubor základních komponent, které běží na clusterech . Všechny moduly runtime Databricks zahrnují Apache Spark a přidávají komponenty a aktualizace, které zlepšují použitelnost, výkon a zabezpečení. Podrobnosti najdete v poznámkách k verzi modulu Databricks Runtime a jejich kompatibilitě.

Azure Databricks nabízí několik typů runtimes a několik verzí těchto typů runtimes v Verze modulu runtime Databricks rozbalovacím seznamu při vytváření nebo úpravě clusteru.

Akcelerace fotonů

Photon je k dispozici pro clustery s Modulem Databricks Runtime 9.1 LTS a novějším.

Pokud chcete povolit akceleraci Photon, zaškrtněte políčko Použít akceleraci foton .

V případě potřeby můžete zadat typ instance v rozevíracím seznamu Typ pracovního procesu a Typ ovladače.

Databricks doporučuje následující typy instancí pro optimální cenu a výkon:

• Standard_E4ds_v4
• Standard_E8ds_v4
• Standard_E16ds_v4

Aktivitu Photon můžete zobrazit v uživatelském rozhraní Sparku. Následující snímek obrazovky ukazuje dag podrobností dotazu. Jsou dvě indikace "Photon" v DAG. Nejprve operátory Photon začínají výrazem „Photon“, například PhotonGroupingAgg. Za druhé, v DAG mají operátory a fáze Photon broskvovou barvu, zatímco ty ostatní jsou modré.

Image Dockeru

U některých verzí Modulu runtime Databricks můžete při vytváření clusteru zadat image Dockeru. Mezi příklady případů použití patří přizpůsobení knihovny, zlaté prostředí kontejneru, které se nemění, a integrace CI/CD Dockeru.

Image Dockeru můžete také použít k vytváření vlastních prostředí hlubokého učení v clusterech se zařízeními GPU.

Pokyny najdete v tématu Databricks Container Services pro vyhrazené výpočetní prostředky a Databricks Container Services na výpočetních prostředcích GPU.

Typ uzlu clusteru

Cluster se skládá z jednoho uzlu ovladače a nuly nebo více pracovních uzlů.

Pro ovladače a pracovní uzly můžete vybrat samostatné typy instancí poskytovatele cloudu, ale ve výchozím nastavení používá uzel ovladače stejný typ instance jako pracovní uzel. Různé rodiny typů instancí odpovídají různým případům použití, jako jsou úlohy náročné na paměť nebo úlohy náročné na výpočetní výkon.

Poznámka:

Pokud vaše požadavky na zabezpečení zahrnují izolaci výpočetních prostředků, vyberte jako typ pracovního procesu Standard_F72s_V2 instanci. Tyto typy instancí představují izolované virtuální počítače, které obsazují celý fyzický hostitel a poskytují potřebnou úroveň izolace k zajištění podpory, například pro pracovní úlohy Ministerstva obrany USA na úrovni dopadu 5 (IL5).

• Řídicí uzel
• Pracovní uzel
• Typy instancí GPU
• Spotové instance

Řídicí uzel

Uzel ovladače udržuje informace o stavu všech poznámkových bloků připojených ke clusteru. Uzel ovladače udržuje také kontext Sparku (SparkContext), interpretuje všechny příkazy spuštěné z poznámkového bloku nebo knihovny v clusteru a spouští hlavní uzel Apache Sparku, který se koordinuje s exekutory Sparku.

Výchozí hodnota typu uzlu ovladače je stejná jako hodnota typu pracovního uzlu. Pokud plánujete velké collect() množství dat z pracovních procesů Sparku, můžete zvolit větší typ uzlu ovladače s větší pamětí a analyzovat je v poznámkovém bloku.

Návod

Vzhledem k tomu, že uzel ovladače udržuje všechny informace o stavu připojených poznámkových bloků, nezapomeňte odpojit nepoužívané poznámkové bloky z uzlu ovladače.

Pracovní uzel

Azure Databricks pracovních uzlů spouští exekutory Sparku a další služby potřebné pro správné fungování clusterů. V případě distribuce zatížení pomocí Sparku se veškeré distribuované zpracování odehrává na pracovních uzlech. Azure Databricks spouští jeden exekutor na pracovní uzel; termíny executor a worker se v kontextu architektury Azure Databricks používají zaměnitelně.

Návod

Ke spuštění úlohy Sparku potřebujete aspoň jeden pracovní uzel. Pokud cluster nemá žádné pracovní procesy, můžete na uzlu ovladače spustit jiné příkazy než příkazy Sparku, ale příkazy Sparku selžou.

Typy instancí GPU

Pro výpočetně náročné úlohy, které vyžadují vysoký výkon, jako jsou úlohy spojené s hloubkovým učením, Azure Databricks podporuje clustery akcelerované pomocí grafických procesorů (GPU). Další informace najdete v tématu Výpočetní výkon s podporou GPU.

Spotové instance

Pokud chcete ušetřit náklady, můžete použít instance spot, označované také jako spotové virtuální počítače Azure zaškrtnutím políčka Spot instance.

První instance bude vždy na vyžádání (uzel ovladače je vždy na vyžádání) a následné instance budou spotové instance. Pokud se spotové instance vyřazují z důvodu nedostupnosti, nasadí se instance na vyžádání, aby se nahradily vyřazené instance.

Velikost clusteru a automatické škálování

Při vytváření clusteru Azure Databricks můžete buď zadat pevný počet pracovních procesů pro cluster, nebo zadat minimální a maximální počet pracovních procesů clusteru.

Když zadáte cluster s pevnou velikostí, Azure Databricks zajistí, že váš cluster bude mít zadaný počet pracovních procesů. Když zadáte rozsah pro počet pracovních procesů, Databricks zvolí odpovídající počet pracovních procesů potřebných ke spuštění vaší úlohy. Označuje se jako automatické škálování.

Díky automatickému škálování Azure Databricks dynamicky relokuje pracovní procesy, aby zohlednily charakteristiky vaší úlohy. Některé části vašeho potrubí mohou být výpočetně náročnější než jiné, a Databricks během těchto fází úlohy automaticky přidává další výpočetní pracovníky (a odebírá je, pokud již nejsou potřeba).

Automatické škálování usnadňuje dosažení vysokého využití clusteru, protože cluster nemusíte zřizovat tak, aby odpovídal úloze. To platí zejména pro úlohy, jejichž požadavky se v průběhu času mění (například zkoumání datové sady v průběhu dne), ale může se také vztahovat na jednorázovou kratší úlohu, jejíž požadavky na zřizování jsou neznámé. Automatické škálování tak nabízí dvě výhody:

• Úlohy můžou běžet rychleji v porovnání s nedostatečně zřízeným clusterem s konstantní velikostí.
• Automatické škálování clusterů může snížit celkové náklady v porovnání se staticky velkým clusterem.

V závislosti na konstantní velikosti clusteru a úlohy nabízí automatické škálování jednu nebo obě tyto výhody současně. Velikost clusteru může být nižší než minimální počet pracovních procesů vybraných při ukončení instancí poskytovatelem cloudu. V takovém případě Azure Databricks opakovaně pokouší opětovně zřizovat instance, aby se zachoval minimální počet pracovníků.

Poznámka:

Automatické škálování není dostupné pro úlohy spark-submit.

Jak se chová automatické škálování

• Vertikálně navyšuje kapacitu z min na maximum v 2 krocích.
• Můžete vertikálně snížit kapacitu i v případě, že cluster není nečinný, když se podíváte na stav shuffle souboru.
• Škáluje se dolů na základě procenta aktuálních uzlů.
• Když jsou clustery úloh nedostatečně využity za posledních 40 sekund, snižuje se kapacita.
• V clusterech pro všechny účely se snižuje kapacita, pokud je cluster nedostatečně využitý za posledních 150 sekund.
• spark.databricks.aggressiveWindowDownS Vlastnost konfigurace Sparku určuje v sekundách, jak často cluster provádí rozhodnutí o snížení kapacity. Zvýšení hodnoty způsobí, že se cluster zmenšuje pomaleji. Maximální hodnota je 600.

Povolení a konfigurace automatického škálování

Pokud chcete povolit automatické změny velikosti clusteru Azure Databricks, zapnete pro cluster automatické škálování a zadáte minimální a maximální počet pracovníků.

1. Povolte automatické škálování.

   • All-Purpose cluster – Na stránce Vytvořit cluster zaškrtněte možnost Povolit automatické škálování v sekci možnosti autopilotu

     

   • Cluster úloh – Na stránce Konfigurovat cluster zaškrtněte políčko Povolit automatické škálování v okně Možnosti Autopilotu :

     

2. Nakonfigurujte min a max workerů.

   Konfigurujte minimální a maximální počet pracovníků

   Po spuštění clusteru se na stránce podrobností clusteru zobrazí počet přidělených pracovníků. Počet přidělených pracovníků můžete porovnat s konfigurací pracovníků a podle potřeby provést úpravy.

Důležité

Pokud používáte fond instancí:

• Ujistěte se, že požadovaná velikost clusteru je menší nebo rovna minimálnímu počtu nečinných instancí ve fondu. Pokud je větší, doba spuštění clusteru bude stejná jako u clusteru, který nepoužívá pool.

• Ujistěte se, že maximální velikost clusteru je menší nebo rovna maximální kapacitě fondu. Pokud je větší, vytváření clusteru selže.

Příklad automatického škálování

Pokud změníte konfiguraci statického clusteru na cluster automatického škálování, Azure Databricks okamžitě změní velikost clusteru v rámci minimální a maximální hranice a spustí automatické škálování. Následující tabulka například ukazuje, co se stane s clustery s určitou počáteční velikostí, pokud změníte konfiguraci clusteru na automatické škálování mezi 5 a 10 uzly.

Počáteční velikost	Velikost po rekonfiguraci
6	6
12	10
3	5

Automatické škálování místního úložiště

Často může být obtížné odhadnout, kolik místa na disku bude konkrétní úloha trvat. Abyste nemuseli odhadnout, kolik gigabajtů spravovaného disku se má připojit ke clusteru při vytváření, Azure Databricks automaticky povolí automatické škálování místního úložiště na všech clusterech Azure Databricks.

S automatickým škálováním místního úložiště Azure Databricks monitoruje množství volného místa na disku dostupném v pracovních prostorech Spark vašeho clusteru. Pokud pracovní proces začne na disku běžet příliš málo, Databricks automaticky připojí nový spravovaný disk k pracovnímu procesu před vyčerpáním místa na disku. Disky jsou připojené až k limitu 5 TB celkového místa na disku na virtuální počítač (včetně počátečního místního úložiště virtuálního počítače).

Spravované disky připojené k virtuálnímu počítači jsou odpojeny pouze v případech, kdy se virtuální počítač vrátí do Azure. To znamená, že spravované disky se nikdy neodpojily od virtuálního počítače, pokud je součástí spuštěného clusteru. Pokud chcete snížit kapacitu využití spravovaných disků, Azure Databricks doporučuje použít tuto funkci v clusteru nakonfigurovaném s velikostí Cluster a automatickým škálováním nebo Automatické ukončení.

Šifrování místního disku

Důležité

Tato funkce je ve verzi Public Preview.

Některé typy instancí, které používáte ke spouštění clusterů, můžou mít místně připojené disky. Azure Databricks může na těchto místně připojených discích ukládat shuffle data nebo dočasná data. Pokud chcete zajistit, aby všechna data v klidu byla šifrovaná pro všechny typy úložišť, včetně dočasně uložených přeskupených dat na místních discích clusteru, můžete povolit šifrování místního disku.

Důležité

Vaše úlohy můžou běžet pomaleji kvůli dopadu čtení a zápisu šifrovaných dat na a z místních svazků.

Pokud je povolené šifrování místního disku, Azure Databricks generuje místně šifrovací klíč, který je jedinečný pro každý uzel clusteru a slouží k šifrování všech dat uložených na místních discích. Rozsah klíče je místní pro každý uzel clusteru a je zničen společně se samotným uzlem clusteru. Během své životnosti se klíč nachází v paměti pro šifrování a dešifrování a je uložen zašifrovaný na disku.

Pokud chcete povolit šifrování místního disku, musíte použít rozhraní API clusterů. Během vytváření nebo úprav clusteru nastavte:

{
  "enable_local_disk_encryption": true
}

Příklady, jak volat tato rozhraní API, najdete v Clusters API.

Tady je příklad volání vytvoření clusteru, které umožňuje šifrování místního disku:

{
  "cluster_name": "my-cluster",
  "spark_version": "7.3.x-scala2.12",
  "node_type_id": "Standard_D3_v2",
  "enable_local_disk_encryption": true,
  "spark_conf": {
    "spark.speculation": true
  },
  "num_workers": 25
}

Režim zabezpečení

Pokud je váš pracovní prostor přiřazený k metastore katalogu Unity , použijete režim zabezpečení místo režimu clusteru s vysokou souběžností , abyste zajistili integritu řízení přístupu a vynucovali záruky silné izolace. V katalogu Unity není režim clusteru s vysokou souběžností k dispozici.

V části Upřesnit možnosti vyberte z následujících režimů zabezpečení clusteru:

• Žádné: Žádná izolace. Nevynucuje řízení přístupu k místní tabulce pracovního prostoru ani předávání přihlašovacích údajů. Nelze získat přístup k datům katalogu Unity.
• Jeden uživatel: Může ho používat jenom jeden uživatel (ve výchozím nastavení uživatel, který cluster vytvořil). Ostatní uživatelé se nemůžou připojit ke clusteru. Při přístupu k zobrazení z clusteru s režimem zabezpečení jednoho uživatele se zobrazení spustí s oprávněními uživatele. Clustery s jedním uživatelem podporují úlohy pomocí Python, Scala a R. Inicializační skripty, instalace knihovny a připojení DBFS se podporují v clusterech s jedním uživatelem. Automatizované úlohy by měly používat clustery s jedním uživatelem.
• Izolace uživatelů: Může být sdíleno více uživateli. Podporují se jenom úlohy SQL. Instalace knihoven, inicializační skripty a připojení DBFS jsou zakázány, aby se mezi uživateli clusteru vynucuje striktní izolace.
• Pouze ACL tabulky (starší verze): Zajišťuje řízení přístupu k tabulkám v rámci pracovního prostoru, ale nelze použít pro přístup k datům katalogu Unity.
• Pouze předávání (starší verze): Vynucuje předávání přihlašovacích údajů v rámci místního pracovního prostoru, ale nemá přístup k datům katalogu Unity.

Jedinými režimy zabezpečení podporovanými úlohami katalogu Unity jsou Jednotlivý uživatel a Izolace uživatelů.

Další informace najdete v tématu Režimy accessu.

Konfigurace Sparku

Pokud chcete ladit úlohy Sparku, můžete v konfiguraci clusteru zadat vlastní vlastnosti konfigurace Sparku .

1. Na stránce konfigurace clusteru klikněte na přepínač Upřesnit možnosti .

2. Klikněte na kartu Spark .

   V konfiguraci Sparku zadejte vlastnosti konfigurace jako jeden pár klíč-hodnota na řádek.

Když nakonfigurujete cluster pomocírozhraní API clusteru , nastavte vlastnosti Sparku v poli v Vytvořit nové rozhraní API clusteru nebo Aktualizovat rozhraní API konfigurace clusteru.

Databricks nedoporučuje používat globální inicializační skripty.

Pokud chcete nastavit vlastnosti Sparku pro všechny clustery, vytvořte globální inicializační skript:

dbutils.fs.put("dbfs:/databricks/init/set_spark_params.sh","""
  |#!/bin/bash
  |
  |cat << 'EOF' > /databricks/driver/conf/00-custom-spark-driver-defaults.conf
  |[driver] {
  |  "spark.sql.sources.partitionOverwriteMode" = "DYNAMIC"
  |}
  |EOF
  """.stripMargin, true)

Načtení vlastnosti konfigurace Sparku z tajného kódu

Databricks doporučuje ukládat citlivé informace, jako jsou hesla, v tajném kódu místo prostého textu. Pokud chcete odkazovat na tajný klíč v konfiguraci Sparku, použijte následující syntaxi:

spark.<property-name> {{secrets/<scope-name>/<secret-name>}}

Pokud například chcete nastavit vlastnost konfigurace Sparku s názvem password na hodnotu tajného kódu uloženého v secrets/acme_app/password:

spark.password {{secrets/acme-app/password}}

Další informace najdete v tématu Správa tajemství.

Proměnné prostředí

Můžete nakonfigurovat vlastní proměnné prostředí, ke kterým máte přístup z inicializačních skriptů spuštěných v clusteru. Databricks také poskytuje předdefinované proměnné prostředí , které můžete použít v inicializačních skriptech. Tyto předdefinované proměnné prostředí nelze přepsat.

1. Na stránce konfigurace clusteru klikněte na přepínač Upřesnit možnosti .

2. Klikněte na kartu Spark .

3. Nastavte proměnné prostředí v poli Proměnné prostředí .

   

Proměnné prostředí můžete také nastavit pomocí spark_env_vars pole v rozhraní API pro vytvoření nového clusteru nebo aktualizovat rozhraní API konfigurace clusteru.

Značky clusteru

Značky clusteru umožňují snadno monitorovat náklady na cloudové prostředky používané různými skupinami ve vaší organizaci. Značky můžete zadat jako páry klíč-hodnota při vytváření clusteru a Azure Databricks tyto značky aplikuje na cloudové prostředky, jako jsou virtuální počítače a diskové svazky, a také na zprávy o využití DBU.

U clusterů, které jsou spuštěny z fondů, se vlastní značky clusteru použijí pouze na sestavy využití DBU a nepřenášejí se do cloudových prostředků.

Podrobné informace o tom, jak typy značek fondu a clusteru spolupracují, najdete v tématu Použití značek k atributu a sledování využití.

Pro usnadnění Azure Databricks přiřazuje pro každý cluster čtyři výchozí značky: Vendor, Creator, ClusterName a ClusterId.

Kromě toho v clusterech úloh Azure Databricks používá dvě výchozí značky: RunName a JobId.

U prostředků používaných službou Databricks SQL Azure Databricks také použije výchozí značku SqlWarehouseId.

Upozornění

Nepřiřazujte vlastní značku s klíčem Name ke clusteru. Každý cluster má značku Name, jejíž hodnota je nastavena Azure Databricks. Pokud změníte hodnotu přidruženou ke klíči Name, Azure Databricks již nebude moci sledovat cluster. V důsledku toho se cluster nemusí po nečinnosti ukončit a bude nadále vyžadovat náklady na využití.

Vlastní značky můžete přidat při vytváření klastru. Jak nakonfigurovat štítky clusteru:

1. Na stránce konfigurace clusteru klikněte na přepínač Upřesnit možnosti .

2. V dolní části stránky klikněte na kartu Značky .

   

3. Přidejte dvojici klíč-hodnota pro každý vlastní tag. Můžete přidat až 43 vlastních značek.

Přístup SSH ke clusterům

Z bezpečnostních důvodů je port SSH ve výchozím nastavení zavřený Azure Databricks. Pokud chcete povolit přístup SSH ke svým clusterům Spark, obraťte se na podporu Azure Databricks.

Poznámka:

SSH je možné povolit jenom v případě, že je váš pracovní prostor nasazený ve vaší vlastní Azure virtuální síti.

Dodávka protokolu clusteru

Při vytváření clusteru můžete zadat umístění pro doručování protokolů uzlu ovladače Sparku, pracovních uzlů a událostí. Protokoly se do vybraného cíle doručují každých pět minut. Po ukončení clusteru Azure Databricks zaručuje doručení všech protokolů vygenerovaných až do ukončení clusteru.

Cíl protokolů závisí na ID clusteru. Pokud je cíl dbfs:/cluster-log-delivery zadán, protokoly clusteru 0630-191345-leap375 se doručí do dbfs:/cluster-log-delivery/0630-191345-leap375.

Chcete-li nastavit umístění pro doručování protokolu:

1. Na stránce konfigurace clusteru klikněte na přepínač Upřesnit možnosti .

2. Klikněte na záložku Protokolování.

   

3. Vyberte typ cíle.

4. Zadejte cestu k protokolu clusteru.

Poznámka:

Tato funkce je také k dispozici v rozhraní REST API. Podívejte se na rozhraní API clusterů.

Inicializační skripty

Inicializační skript uzlu clusteru je shell skript, který běží při startu každého uzlu clusteru před spuštěním Spark driveru nebo worker JVM. Inicializační skripty můžete použít k instalaci balíčků a knihoven, které nejsou součástí modulu runtime Databricks, úpravě cesty ke třídě systému JVM, nastavení vlastností systému a proměnných prostředí používaných prostředím JVM nebo úpravě parametrů konfigurace Sparku mimo jiné úlohy konfigurace.

Inicializační skripty můžete připojit ke clusteru rozbalením části Upřesnit možnosti a kliknutím na kartu Inicializační skripty .

Podrobné pokyny najdete v tématu Co jsou inicializační skripty?