Compute

Výpočetní prostředky Azure Databricks odkazují na výběr výpočetních prostředků, které můžete zřídit v pracovním prostoru Azure Databricks. Výpočetní prostředky Azure Databricks zahrnují výpočetní prostředky pro všechny účely a úlohy (označované také jako clustery), fondy instancí, bezserverové služby SQL Warehouse a klasické sql warehouse.

Potřebujete výpočetní prostředky ke spouštění úloh přípravy dat, datových věd a analýz dat, jako jsou produkční kanály ETL, analýzy streamování, ad hoc analýzy a strojové učení. Výpočetní prostředky pracovního prostoru můžete vytvářet a spravovat pomocí oddílu Výpočty pracovního prostoru:

All-purpose compute page in Databricks workspace

Toto jsou typy výpočetních prostředků dostupných v Azure Databricks:

  • Výpočetní prostředky pro všechny účely: Slouží k analýze dat společně pomocí interaktivního poznámkového bloku. Tento výpočetní výkon můžete vytvořit, ukončit a restartovat pomocí uživatelského rozhraní, rozhraní příkazového řádku nebo rozhraní REST API.

  • Výpočty úloh: Slouží ke spouštění rychlých a robustních automatizovaných úloh. Plánovač úloh Azure Databricks vytvoří výpočetní úlohu při spuštění úlohy na novém výpočetním prostředí. Výpočetní funkce se ukončí po dokončení úlohy. Výpočetní prostředky úlohy nelze restartovat. Viz Použití výpočetních prostředků Azure Databricks s úlohami.

  • Fondy instancí: Výpočty s nečinnými, připravenými instancemi, které se používají ke snížení doby spuštění a automatického škálování. Tento výpočetní objekt můžete vytvořit pomocí uživatelského rozhraní, rozhraní příkazového řádku nebo rozhraní REST API.

  • Bezserverové sklady SQL: Elastické výpočetní prostředky na vyžádání používané ke spouštění příkazů SQL na datových objektech v editoru SQL nebo interaktivních poznámkových blocích. Sklady SQL můžete vytvářet pomocí uživatelského rozhraní, rozhraní příkazového řádku nebo rozhraní REST API.

  • Klasické sklady SQL: Zřízené výpočetní prostředky používané ke spouštění příkazů SQL na datových objektech v editoru SQL nebo interaktivních poznámkových blocích. Sklady SQL můžete vytvářet pomocí uživatelského rozhraní, rozhraní příkazového řádku nebo rozhraní REST API.

Články v této části popisují, jak pracovat s výpočetními prostředky pomocí uživatelského rozhraní Azure Databricks. Další metody najdete v tématu Použití příkazového řádku a referenčních informací k rozhraní REST API služby Databricks.

Databricks Runtime

Databricks Runtime je sada základních komponent, které běží na výpočetních prostředcích. Každá verze databricks Runtime zahrnuje aktualizace, které zlepšují použitelnost, výkon a zabezpečení analýz velkých objemů dat. Databricks Runtime ve vašem výpočetním prostředí přidává mnoho funkcí, mezi které patří:

  • Delta Lake, vrstva úložiště nové generace postavená na Apache Sparku, která poskytuje transakce ACID, optimalizovaná rozložení a indexy a vylepšení prováděcího modulu pro vytváření datových kanálů. Podívejte se, co je Delta Lake?
  • Nainstalované knihovny Java, Scala, Python a R.
  • Ubuntu a jeho doprovodné systémové knihovny.
  • Knihovny GPU pro clustery s podporou GPU
  • Služby Azure Databricks, které se integrují s dalšími komponentami platformy, jako jsou poznámkové bloky, úlohy a správa clusteru.

Informace o obsahu jednotlivých verzí modulu runtime najdete v poznámkách k verzi.

Správa verzí modulu runtime

Verze Databricks Runtime se pravidelně vydávají:

  • Dlouhodobé verze podpory představují kvalifikátor LTS (například 3.5 LTS). Pro každou hlavní verzi deklarujeme verzi funkce "kanonické", pro kterou poskytujeme tři celé roky podpory. Další informace najdete v tématu Životní cyklus podpory modulu runtime Databricks.
  • Hlavní verze jsou reprezentovány přírůstkem na číslo verze, které předchází desetinné bodě (například skok z 3.5 na 4.0). Vydávají se, když dojde k významným změnám, z nichž některé nemusí být zpětně kompatibilní.
  • Verze funkcí jsou reprezentovány přírůstkem na číslo verze, které následuje za desetinnou čárkou (například skok z 3.4 na 3.5). Každá hlavní verze obsahuje několik verzí funkcí. Verze funkcí jsou vždy zpětně kompatibilní s předchozími verzemi v rámci hlavní verze.