Nastavení správy prostředí pro práci s daty v Microsoft Fabric

Platí pro:✅ Datové inženýrství a datové vědy ve Fabricu

Při vytváření pracovního prostoru v Microsoft Fabric se automaticky vytvoří fond starter, který je přidružený k danému pracovnímu prostoru. Díky zjednodušenému nastavení v Microsoft Fabric není nutné zvolit velikost uzlu nebo počítače, protože tyto možnosti jsou zpracovávány na pozadí. Tato konfigurace poskytuje rychlejší (5 až 10sekundové) prostředí spuštění relace Apache Sparku pro uživatele, aby mohli začít a spouštět úlohy Apache Sparku v mnoha běžných scénářích, aniž byste se museli starat o nastavení výpočetních prostředků. V případě pokročilých scénářů s konkrétními požadavky na výpočetní prostředky můžou uživatelé vytvořit vlastní fond Apache Sparku a nastavit velikost uzlů na základě jejich požadavků na výkon.

Pokud chcete provést změny nastavení Apache Sparku v pracovním prostoru, měli byste mít pro tento pracovní prostor roli správce. Další informace najdete v tématu Role v pracovních prostorech.

Správa nastavení Sparku pro fond přidružený k vašemu pracovnímu prostoru:

1. Přejděte do nastavení pracovního prostoru a vyberte možnost Datové inženýrství/Věda pro rozbalení nabídky:

   

2. V nabídce vlevo se zobrazí možnost Spark Compute :

   

   Poznámka:

   Pokud změníte výchozí fond ze Starter Pool na vlastní fond Sparku, může trvat delší dobu spuštění relace (přibližně 3 minuty).

Fond

Výchozí fond pro pracoviště

Můžete použít automaticky vytvořený počáteční fond nebo vytvořit vlastní fondy pro pracovní prostor.

• Startovací pool: Předem hydratované živé pooly se automaticky vytvářejí pro vaše rychlejší používání. Tyto clustery mají střední velikost. Startovní fond je nastavený na výchozí konfiguraci na základě zakoupené SKU kapacity Fabric. Správci můžou přizpůsobit maximální počet uzlů a exekutorů na základě požadavků na škálování úloh Sparku. Další informace naleznete v tématu Konfigurace úvodních fondů

• Vlastní fond Spark: Můžete nastavit velikost uzlů, automatické škálování a dynamické přidělování spouštěčů na základě požadavků vaší úlohy Spark. Pokud chcete vytvořit vlastní fond Spark, správce kapacity by měl povolit možnost Přizpůsobené fondy pracovního prostoru v Spark Compute části nastavení Správce kapacity.

Poznámka:

Řízení kapacity pro přizpůsobené fondy pracovních prostorů je ve výchozím nastavení povolené. Další informace najdete v tématu Konfigurace a správa nastavení datového inženýrství a datových věd pro kapacity služby Fabric.

Správci můžou vytvářet vlastní fondy Sparku na základě svých požadavků na výpočetní prostředky výběrem možnosti Nový fond .

Apache Spark pro Microsoft Fabric podporuje clustery s jedním uzlem, což umožňuje uživatelům vybrat minimální konfiguraci uzlu 1 v takovém případě, že ovladač a exekutor běží v jednom uzlu. Tyto clustery s jedním uzlem nabízejí obnovitelnou vysokou dostupnost během selhání uzlů a lepší spolehlivost úloh pro úlohy s menšími požadavky na výpočetní prostředky. Můžete také povolit nebo zakázat možnost automatického škálování pro vlastní fondy Sparku. Pokud je povoleno automatické škálování, fond získá nové uzly v rámci maximálního limitu uzlu určeného uživatelem a vyřadí je po spuštění úlohy, aby byl výkon lepší.

Můžete také vybrat možnost dynamicky přidělit optimální počet exekutorů do fondu automaticky v rámci maximálního stanoveného limitu na základě objemu dat pro vyšší výkonnost.

Zjistěte více o výpočetních prostředcích Apache Spark pro Fabric.

• Přizpůsobení konfigurace výpočetních prostředků pro položky: Jako správce pracovního prostoru můžete uživatelům povolit úpravu výpočetních konfigurací (vlastnosti na úrovni relace, které zahrnují Driver/Executor Core, Driver/Executor Memory) pro jednotlivé položky, jako jsou poznámkové bloky, definice úloh Sparku pomocí prostředí.

Pokud správce pracovního prostoru toto nastavení vypne, použije se výchozí fond a jeho konfigurace výpočetních prostředků pro všechna prostředí v pracovním prostoru.

Prostředí

Prostředí poskytuje flexibilní konfigurace pro spouštění úloh Sparku (poznámkové bloky, definice úloh Sparku). V prostředí můžete nakonfigurovat vlastnosti výpočetních prostředků, vybrat jiný modul runtime, nastavit závislosti balíčků knihoven na základě vašich požadavků na úlohy.

Na kartě prostředí máte možnost nastavit výchozí prostředí. Můžete zvolit, jakou verzi Sparku chcete pro pracovní prostor použít.

Jako správce pracovního prostoru Fabric můžete vybrat prostředí jako výchozí prostředí pracovního prostoru.

Nový můžete vytvořit také v rozevíracím seznamu Prostředí .

Pokud zakážete možnost mít výchozí prostředí, máte možnost vybrat verzi Fabric runtime z dostupných verzí modulu runtime uvedených v rozevíracím seznamu.

Přečtěte si další informace o runtimách Apache Sparku.

Úlohy

Nastavení úloh umožňuje správcům řídit logiku přijímání úloh pro všechny úlohy Sparku v daném pracovním prostoru.

Ve výchozím nastavení jsou u všech pracovních prostorů povolené optimistické přidělování úloh. Přečtěte si další informace o zadání úlohy pro Spark v Microsoft Fabric.

Můžete povolit rezervaci maximálního počtu jader pro aktivní úlohy Spark k vypnutí přístupu založeného na optimistickém přístupu a rezervovat maximální počet jader pro úlohy Spark.

Můžete také nastavit časový limit relace Sparku, abyste přizpůsobili vypršení platnosti relace pro všechny interaktivní relace poznámkového bloku.

Poznámka:

Výchozí vypršení platnosti relace je pro interaktivní relace Sparku nastavené na 20 minut.

Vysoká souběžnost

Režim vysoké souběžnosti umožňuje uživatelům sdílet stejné Spark relace v rámci Apache Spark pro úlohy datového inženýrství a datové vědy. Položka, jako je poznámkový blok, používá ke spuštění relaci Sparku a když je tato možnost povolená, umožňuje uživatelům sdílet jednu relaci Sparku napříč několika poznámkovými bloky.

Přečtěte si další informace o vysoké souběžnosti v Apache Sparku for Fabric.

Automatické protokolování pro modely a experimenty Machine Learning

Správci teď můžou povolit automatické protokolování pro své modely a experimenty strojového učení. Tato možnost automaticky zaznamenává hodnoty vstupních parametrů, výstupních metrik a výstupních položek modelu strojového učení při trénování. Přečtěte si další informace o automatickémlogování.

Související obsah

• Přečtěte si o Apache Spark Runtimes v Fabric – přehled, správa verzí, podpora více běhových prostředí a aktualizace protokolu Delta Lake.
• Další informace najdete ve veřejné dokumentaci k Apache Sparku.
• Najděte odpovědi na nejčastější dotazy: Nejčastější dotazy k nastavení správy pracovních prostorů Apache Sparku.