Compute

  • Článek

Výpočetní prostředky Azure Databricks odkazují na výběr výpočetních prostředků dostupných v pracovním prostoru Azure Databricks. Uživatelé potřebují přístup ke výpočetním prostředkům pro spouštění úloh přípravy dat, datových věd a analýz dat, jako jsou produkční kanály ETL, analýzy streamování, ad hoc analýzy a strojové učení.

Uživatelé se můžou buď připojit k existujícím výpočetním prostředkům, nebo vytvořit nový výpočetní objekt, pokud mají správná oprávnění.

Výpočetní prostředky, ke kterým máte přístup, můžete zobrazit pomocí oddílu Výpočty pracovního prostoru:

Stránka výpočetních prostředků pro všechny účely v pracovním prostoru Databricks

Typy výpočetních prostředků

Toto jsou typy výpočetních prostředků dostupných v Azure Databricks:

  • Bezserverové výpočetní prostředky pro poznámkové bloky (Public Preview): Škálovatelné výpočetní prostředky na vyžádání používané ke spouštění kódu SQL a Pythonu v poznámkových blocích.

  • Bezserverové výpočetní prostředky pro pracovní postupy (Public Preview): Škálovatelné výpočetní prostředky na vyžádání používané ke spouštění úloh Databricks bez konfigurace a nasazování infrastruktury.

  • Výpočetní prostředky pro celý účel: Zřízené výpočetní prostředky používané k analýze dat v poznámkových blocích. Tento výpočetní výkon můžete vytvořit, ukončit a restartovat pomocí uživatelského rozhraní, rozhraní příkazového řádku nebo rozhraní REST API.

  • Výpočetní výkon úlohy: Zřízené výpočetní prostředky používané ke spouštění automatizovaných úloh. Plánovač úloh Azure Databricks automaticky vytvoří výpočetní výkon úlohy pokaždé, když je úloha nakonfigurovaná tak, aby běžela na nových výpočetních prostředcích. Výpočetní funkce se ukončí po dokončení úlohy. Výpočetní prostředky úlohy nelze restartovat. Viz Použití výpočetních prostředků Azure Databricks s úlohami.

  • Fondy instancí: Výpočty s nečinnými, připravenými instancemi, které se používají ke snížení doby spuštění a automatického škálování. Tento výpočetní objekt můžete vytvořit pomocí uživatelského rozhraní, rozhraní příkazového řádku nebo rozhraní REST API.

  • Bezserverové sklady SQL: Elastické výpočetní prostředky na vyžádání používané ke spouštění příkazů SQL na datových objektech v editoru SQL nebo interaktivních poznámkových blocích. Sklady SQL můžete vytvářet pomocí uživatelského rozhraní, rozhraní příkazového řádku nebo rozhraní REST API.

  • Klasické sklady SQL: Slouží ke spouštění příkazů SQL na datových objektech v editoru SQL nebo interaktivních poznámkových blocích. Sklady SQL můžete vytvářet pomocí uživatelského rozhraní, rozhraní příkazového řádku nebo rozhraní REST API.

Články v této části popisují, jak pracovat s výpočetními prostředky pomocí uživatelského rozhraní Azure Databricks. Další metody najdete v tématu Použití příkazového řádku a referenčních informací k rozhraní REST API služby Databricks.

Databricks Runtime

Databricks Runtime je sada základních komponent, které běží na výpočetních prostředcích. Databricks Runtime je konfigurovatelné nastavení pro všechny účely výpočetních úloh, ale automaticky vybrané ve službě SQL Warehouse.

Každá verze databricks Runtime zahrnuje aktualizace, které zlepšují použitelnost, výkon a zabezpečení analýz velkých objemů dat. Databricks Runtime ve vašem výpočetním prostředí přidává mnoho funkcí, mezi které patří:

  • Delta Lake, vrstva úložiště nové generace postavená na Apache Sparku, která poskytuje transakce ACID, optimalizovaná rozložení a indexy a vylepšení prováděcího modulu pro vytváření datových kanálů. Podívejte se, co je Delta Lake?
  • Nainstalované knihovny Java, Scala, Python a R.
  • Ubuntu a jeho doprovodné systémové knihovny.
  • Knihovny GPU pro clustery s podporou GPU
  • Služby Azure Databricks, které se integrují s dalšími komponentami platformy, jako jsou poznámkové bloky, úlohy a správa clusteru.

Informace o obsahu jednotlivých verzí modulu runtime najdete v poznámkách k verzi.

Správa verzí modulu runtime

Verze Databricks Runtime se pravidelně vydávají:

  • Dlouhodobé verze podpory představují kvalifikátor LTS (například 3.5 LTS). Pro každou hlavní verzi deklarujeme verzi funkce "kanonické", pro kterou poskytujeme tři celé roky podpory. Další informace najdete v tématu Životní cyklus podpory modulu runtime Databricks.
  • Hlavní verze jsou reprezentovány přírůstkem na číslo verze, které předchází desetinné bodě (například skok z 3.5 na 4.0). Vydávají se, když dojde k významným změnám, z nichž některé nemusí být zpětně kompatibilní.
  • Verze funkcí jsou reprezentovány přírůstkem na číslo verze, které následuje za desetinnou čárkou (například skok z 3.4 na 3.5). Každá hlavní verze obsahuje několik verzí funkcí. Verze funkcí jsou vždy zpětně kompatibilní s předchozími verzemi v rámci hlavní verze.