Nejčastější dotazy ke službě Azure Synapse Analytics

Azure Synapse zavádí řadu rolí a oborů pro jejich přiřazení, které zjednoduší zabezpečení vašeho pracovního prostoru.

Role Synapse RBAC:

• Synapse Správa istrator
• Správa istrator Synapse SQL
• Správa istrator Synapse Spark
• Přispěvatel Synapse
• Vydavatel artefaktů Synapse
• Uživatel artefaktu Synapse
• Operátor služby Synapse Compute
• Uživatel přihlašovacích údajů Synapse
• Synapse Linked Data Manager
• Uživatel Synapse

Pokud chcete zabezpečit pracovní prostor Synapse, přiřaďte role RBAC těmto oborům RBAC:

• Pracovní prostory
• Fondy úloh Sparku
• Prostředí Integration Runtime
• Propojené služby
• Přihlašovací údaje

Kromě toho s vyhrazenými fondy SQL máte všechny stejné funkce zabezpečení, které znáte a milujete.

Jako výchozí bod funguje Azure Synapse s integrovanou analýzou nákladů a upozorněními na náklady dostupnými na úrovni předplatného Azure.

• Vyhrazené fondy SQL – máte přímý přehled o nákladech a kontrole nákladů, protože vytvoříte a určíte velikosti vyhrazených fondů SQL. Můžete dále řídit, kteří uživatelé můžou vytvářet nebo škálovat vyhrazené fondy SQL pomocí rolí Azure RBAC.

• Bezserverové fondy SQL – máte kontrolní mechanismy pro monitorování a správu nákladů, které vám umožní trávit denní, týdenní a měsíční úroveň. Další informace najdete v tématu Správa nákladů pro bezserverový fond SQL.

• Bezserverové fondy Sparku – můžete omezit, kdo může vytvářet fondy Sparku pomocí rolí Synapse RBAC.

Pracovní prostory Synapse podporují uživatelem definované složky.

Ano, od 10. června 2021 vám teď Synapse Studio umožňuje přidat do jednoho pracovního prostoru Azure Synapse více než jeden pracovní prostor Power BI.

Azure Synapse Analytics v současné době podporuje Azure Synapse Link ze služby Azure Cosmos DB do Synapse Apache Spark a bezserverový fond SQL. Azure Synapse Link pro Apache Spark je obecná dostupnost. Synapse Link pro bezserverový fond SQL je ve verzi Preview. Další informace najdete v tématu Azure Synapse Link pro Azure Cosmos DB.

Azure Synapse Link pro SQL je obecně dostupný pro SQL Server 2022 i Azure SQL Database. Další informace najdete v tématu Co je Azure Synapse Link pro SQL?

Ano. Všechny artefakty, poznámkové bloky, skripty SQL a definice úloh Sparku se budou nacházet v Gitu. Všechny definice fondu budou uloženy v Gitu jako šablony Azure Resource Manageru (ARM). Vyhrazené objekty fondu SQL (schémata, tabulky, zobrazení atd.) se spravují pomocí databázových projektů s podporou CI/CD. Další informace najdete v této příručce CI a CD.

Možnosti a požadavky se mezi těmito dvěma typy fondů liší. Mezi rozdíly patří databázové objekty, možnosti dotazovacího jazyka, zabezpečení, nástroje, přístup k datům a formát dat. Podrobné porovnání fondů SQL a bezserverových fondů naleznete v tématu Porovnání fondů. Osvědčené postupy při použití některého typu fondu najdete v tématu Osvědčené postupy pro vyhrazený fond SQL a osvědčené postupy pro bezserverový fond SQL.

Lakehouse je založen na otevřených datových formátech přímého přístupu, jako je Apache Parquet. Má prvotřídní podporu pro strojové učení a datové vědy. Tabulka Delta je zobrazení dat obsažených v Delta Lake, které podporuje většinu možností poskytovaných rozhraními API pro čtení a zápis datového rámce Apache Spark. Lakehouses můžou pomoct s velkými problémy s datovými sklady, jako jsou zastaralost dat, spolehlivost, celkové náklady na vlastnictví a uzamčení dat. V tabulkách Delta jsou k dispozici optimalizace, jako je automatické komprimace a plány adaptivních dotazů. Podrobného průvodce k Delta Lake najdete v příručce Delta Lake.

Automatické komprimace je jednou ze dvou doplňkových funkcí automatické optimalizace pro tabulky Delta. Po úspěšném zápisu do tabulky může automatické komprimace dále komprimovat soubory pro oddíly, které mají největší počet malých souborů. Výslovný souhlas s automatickým komprimací se doporučuje pro případy použití streamování, kdy je přidání minut latence přijatelné a kdy nemáte v tabulce běžná volání OPTIMIZE. Další informace o automatické optimalizaci a automatickém komprimování najdete v této příručce k automatické optimalizaci.

Každá aktivita v kanálu Synapse se spouští pomocí přihlašovacích údajů zadaných uvnitř propojené služby.

V tuto chvíli to není možné.

Mezi příklady rozdílů patří podpora globálních parametrů, monitorování úloh Sparku pro Tok dat a sdílení prostředí Integration Runtime. Další informace najdete v tomto dokumentu pro Integrace Dat – Synapse vs. ADF.

V tuto chvíli musíte ručně znovu vytvořit kanály Azure Data Factory a související artefakty tak, že exportujete JSON z původního kanálu a naimportujete ho do pracovního prostoru Synapse.

Podívejte se na tuto úvodní příručku.

Pro tento případ použití existují dvě možnosti. Jednou z možností je zachovat kanály v ADF a budete muset zabalit webovou aktivitu. Další informace o této možnosti najdete v tomto průvodci webovými aktivitami. Druhou možností je migrovat kanály do Synapse. Další informace o druhé možnosti najdete v této ukázce kódu migrace.

Apache Spark pro Synapse je Apache Spark s přidanou podporou integrace s dalšími službami (Microsoft Entra ID, AzureML atd.) a dalšími knihovnami (mssparktuils, Hummingbird) a předem vyladěnými konfiguracemi výkonu.

Všechny úlohy, které jsou aktuálně spuštěné v Apache Sparku, se budou spouštět v Apache Sparku pro Azure Synapse beze změny.

Od září 2023 azure Synapse Apache Spark plně podporuje Spark 3.3. Úplný seznam základních komponent a aktuálně podporovaných verzí najdete v tématu Podpora verzí Apache Sparku.

Ano, Azure Synapse Apache Spark poskytuje knihovnu mssparkutils . Úplnou dokumentaci nástroje naleznete v tématu Úvod do nástrojů Microsoft Spark.

Pokud chcete nastavit parametry relace, použijte %%configure magic available. Aby se parametry projevily, vyžaduje se restartování relace.

Pokud chcete nastavit parametry na úrovni clusteru, můžete zadat soubor spark.conf pro fond Spark. Tento fond pak bude respektovat parametry v konfiguračním souboru.

Azure Synapse poskytuje účelově vytvořené moduly pro konkrétní případy použití. Apache Spark pro Synapse je navržený jako služba úloh, nikoli jako model clusteru. Existují dva scénáře, kdy se lidé ptají na model clusteru s více uživateli.

Scénář č. 1: Mnoho uživatelů přistupujících ke clusteru pro poskytování dat pro účely BI

Nejjednodušší způsob, jak tuto úlohu provést, je připravit data pomocí Sparku a pak využít možnosti obsluhy Synapse SQL k tomu, aby mohly k těmto datovým sadám připojit Power BI.

Scénář č. 2: Mít více vývojářů na jednom clusteru, abyste ušetřili peníze.

Pokud chcete tento scénář splnit, měli byste každému vývojáři poskytnout bezserverový fond Spark, který je nastavený tak, aby používal malý počet prostředků Sparku. Vzhledem k tomu, že bezserverové fondy Sparku nic neúčtují, dokud se aktivně nepoužívají, minimalizují náklady, když existuje více vývojářů. Fondy sdílejí metadata (tabulky Sparku), aby spolu mohly snadno pracovat.

Externí balíčky můžete nainstalovat prostřednictvím souboru requirements.txt při vytváření fondu Spark, z pracovního prostoru Synapse nebo z webu Azure Portal. Viz Správa knihoven pro Apache Spark ve službě Azure Synapse Analytics.

MSSparkUtils on Synapse Spark nabízí celou řadu nástrojů pro vylepšení vašeho prostředí a usnadnění integrace s dalšími nástroji a službami. Práce se systémy souborů, získávání proměnných prostředí, řetězení poznámkových bloků a práce s tajnými kódy s minimálními ručními kroky Úplnou dokumentaci najdete v nástroji Microsoft Spark Utilities.

Vyhrazené fondy SQL (dříve SQL DW) jsou platforma datových skladů Azure typu platforma jako služba (PaaS). Můžete dotazovat existující vyhrazené fondy SQL (dříve SQL DW) a také vytvářet nové vyhrazené fondy SQL v pracovním prostoru Azure Synapse. Ne všechny funkce vyhrazeného fondu SQL v pracovních prostorech Azure Synapse platí pro samostatný vyhrazený fond SQL (dříve SQL DW) a naopak. Další informace najdete v tématu Jaký je rozdíl mezi vyhrazenými fondy SQL Azure Synapse (dříve SQL DW) a vyhrazenými fondy SQL v pracovním prostoru Azure Synapse Analytics? Pokud chcete povolit funkce pracovního prostoru Azure Synapse pro existující vyhrazený fond SQL (dříve SQL DW), přečtěte si, jak povolit pracovní prostor pro vyhrazený fond SQL (dříve SQL DW).

Úplný seznam rozdílů ve funkcích T-SQL najdete v Synapse SQL.

Není nutné provést přesun ani migraci. Ve stávajících fondech můžete povolit nové funkce pracovního prostoru. Pokud to uděláte, žádné zásadní změny, místo toho budete moct používat nové funkce, jako jsou Synapse Studio, Spark a bezserverové fondy SQL. Ne všechny funkce vyhrazeného fondu SQL v pracovních prostorech Azure Synapse platí pro vyhrazený fond SQL (dříve SQL DW) a naopak. Pokud chcete povolit funkce pracovního prostoru pro existující vyhrazený fond SQL (dříve SQL DW), přečtěte si, jak povolit pracovní prostor pro vyhrazený fond SQL (dříve SQL DW).

Ve výchozím nastavení se všechny nové vyhrazené fondy SQL nasadí do pracovního prostoru; Pokud ale potřebujete, můžete i nadále vytvořit vyhrazený fond SQL (dříve SQL DW) v samostatném provedení.

Se spravovanou virtuální sítí nebo bez této spravované virtuální sítě se můžete připojit ke svému pracovnímu prostoru z veřejných sítí. Další informace najdete v tématu Připojení v Nastavení. Přístup z veřejných sítí je možné řídit povolením funkce přístupu k veřejné síti nebo bránou firewall pracovního prostoru. Případně se můžete ke svému pracovnímu prostoru připojit pomocí spravovaného privátního koncového bodu a služby Private Link. Pracovní prostory Synapse bez spravované virtuální sítě Azure Synapse Analytics nemají možnost se připojit přes spravované privátní koncové body.

Další kroky

• Začínáme s Azure Synapse Analytics
• Vytvoření pracovního prostoru
• Použití bezserverového fondu SQL
• Známé problémy se službou Azure Synapse Analytics
• Novinky ve službě Azure Synapse Analytics