Novinky v archivu služby Azure Synapse Analytics
Tento článek popisuje aktualizace služby Azure Synapse Analytics za předchozí měsíc. Nejnovější aktualizace azure Synapse Analytics najdete v nejnovějších verzích aktuálního měsíce. Každá aktualizace odkazuje na blog Azure Synapse Analytics a článek, který obsahuje další informace.
Obecně dostupné funkce
Následující tabulka uvádí historii minulých funkcí služby Azure Synapse Analytics, které přešly z verze Preview na obecnou dostupnost (GA).
Month | Funkce | Další informace |
---|---|---|
Červenec 2022 | Apache Spark™ 3.2 pro Synapse Analytics | Apache Spark™ 3.2 pro Synapse Analytics je teď obecně dostupný. Projděte si oficiální poznámky k verzi a pokyny k migraci mezi Sparkem 3.1 a 3.2 a vyhodnoťte potenciální změny vašich aplikací. Další podrobnosti najdete v tématu Podpora verzí Apache Sparku a Modul runtime Azure Synapse pro Apache Spark 3.2. Nejdůležitější informace o tom, co se ve Sparku 3.2 zlepšilo v červenci aktualizace Azure Synapse Analytics 2022 |
Červenec 2022 | Funkce Apache Sparku ve službě Azure Synapse Intelligent Cache | Inteligentní mezipaměť pro Spark automaticky ukládá každé čtení v přiděleném prostoru úložiště mezipaměti, zjišťuje změny souvisejícího souboru a aktualizuje soubory, aby poskytovala nejnovější data. Další informace najdete v tématu povolení nebo zakázání mezipaměti pro fond Apache Spark. |
Červen 2022 | Nástroj mapových dat | Nástroj Mapová data je proces s asistencí, který vám pomůže vytvořit mapování ETL a mapování toků dat ze zdrojových dat do Synapse bez psaní kódu. Další informace o nástroji Mapová data najdete v tématu Mapová data ve službě Azure Synapse Analytics. |
Červen 2022 | Uživatelem definované funkce | Uživatelem definované funkce (UDF) jsou teď obecně dostupné. Další informace najdete v tématu Uživatelem definované funkce v mapování toků dat. |
Květen 2022 | Konektor Azure Synapse Data Explorer pro Power Automate, Logic Apps a Power Apps | Konektor Azure Data Exploreru pro Power Automate umožňuje orchestrovat a plánovat toky, odesílat oznámení a výstrahy jako součást naplánované nebo aktivované úlohy. Další informace najdete v konektoru Azure Data Exploreru pro Microsoft Power Automate a příklady použití konektoru Azure Data Exploreru do Power Automate. |
Duben 2022 | Obnovení mezi předplatnými pro Azure Synapse SQL | S aktualizací modulu PowerShell Az.Sql 3.8 lze rutinu Restore-AzSqlDatabase použít k obnovení vyhrazených fondů SQL mezi předplatnými. Další informace najdete v tématu Blog: Obnovení vyhrazeného fondu SQL (dříve SQL DW) do jiného předplatného. Tato funkce je nyní obecně dostupná pro vyhrazené fondy SQL (dříve SQL DW) a vyhrazené fondy SQL v pracovním prostoru Synapse. Jaký je rozdíl? |
Duben 2022 | Návrhář databáze | Návrhář databází umožňuje uživatelům vizuálně vytvářet databáze v nástroji Synapse Studio bez psaní jednoho řádku kódu. Další informace naleznete v tématu Oznámení obecné dostupnosti Návrháře databáze. Přečtěte si další informace o databázích lake a zjistěte, jak upravit existující databázi lake pomocí návrháře databáze. |
Duben 2022 | Databázové šablony | Nové šablony databáze specifické pro konkrétní odvětví byly zavedeny na blogu o obecné dostupnosti šablon databází Synapse. Přečtěte si další informace o databázových šablonách a vylepšeném prostředí pro zkoumání. |
Duben 2022 | Role RBAC operátora monitorování Synapse | Role RBAC (řízení přístupu na základě role) operátora monitorování Synapse umožňuje uživateli monitorovat spouštění kanálů Synapse a aplikací Spark, aniž by bylo možné spouštět nebo rušit provádění těchto aplikací. Další informace najdete v rolích Synapse RBAC. |
Březen 2022 | Toky | Flowlety pomáhají navrhovat části nové logiky toku dat nebo extrahovat části existujícího toku dat a uložit je jako samostatný artefakt v pracovním prostoru Synapse. Tyto toky pak můžete znovu použít uvnitř jiných toků dat. Další informace najdete v blogovém příspěvku o oznámení GA flowlets a přečtěte si flowlety v mapování toku dat. |
Březen 2022 | Konektory kanálu změn | Změny zachytávání dat (CDC) – transformace zdrojů toků dat pro Azure Cosmos DB, Azure Blob Storage, ADLS Gen1, ADLS Gen2 a CdM (Common Data Model) jsou teď obecně dostupné. Když jednoduše zaškrtnete políčko, můžete službě ADF říct, aby automaticky spravoval kontrolní bod za vás a četl jenom nejnovější řádky, které byly aktualizovány nebo vloženy od posledního spuštění kanálu. Další informace najdete v blogovém příspěvku ga ve verzi Preview konektorů kanálu změn a přečtěte si článekKopírování a transformace dat v Azure Data Lake Storage Gen2 pomocí služby Azure Data Factory nebo Azure Synapse Analytics. |
Březen 2022 | Šifrování na úrovni sloupců pro vyhrazené fondy SQL | Šifrování na úrovni sloupců je nyní obecně dostupné pro použití na nových a stávajících logických serverech Azure SQL s vyhrazenými fondy SQL Azure Synapse a vyhrazenými fondy SQL v pracovních prostorech Azure Synapse. Podpora sql Server Data Tools (SSDT) pro šifrování na úrovni sloupců pro vyhrazené fondy SQL je dostupná od sestavení 17.2 Preview 2 sady Visual Studio 2022. |
Březen 2022 | Konektor CdM (Synapse Spark Common Data Model) | Čtečka a zapisovač formátu CDM umožňuje programu Spark číst a zapisovat entity CDM do složky CDM prostřednictvím datových rámců Sparku. Další informace najdete v tom , jak konektor CDM podporuje čtení, zápis dat, příklady a známé problémy. |
Listopad 2021 | PŘEDPOVĚDĚT | Syntaxe T-SQL PREDICT je nyní obecně dostupná pro vyhrazené fondy SQL. Začněte s průvodcem vyhodnocováním modelů strojového učení pro vyhrazené fondy SQL. |
Říjen 2021 | Role Synapse RBAC | Role řízení přístupu na základě role (RBAC) Synapse jsou teď obecně dostupné. Přečtěte si další informace o rolích Synapse RBAC a řízení přístupu na základě role v Azure Synapse (RBAC) pomocí PowerShellu. |
Komunita
Tato část je archivem příležitostí komunity Azure Synapse Analytics a programu Azure Synapse Influencer od Microsoftu.
Month | Funkce | Další informace |
---|---|---|
Květen 2022 | Program Azure Synapse Influencer | Zaregistrujte se k našemu bezplatnému programu Azure Synapse Influencer a získejte spojení s komunitou uživatelů Synapse-uživatelů, kteří jsou vyhrazeni k tomu, aby ostatním pomohli dosáhnout více s cloudovou analýzou. Zaregistrujte se teď na naši příští relaci Synapse Influencer Ptejte se expertů. Je zdarma se zúčastnit a všichni se mohou zúčastnit a připojit se k diskuzi o tématech souvisejících s Synapse. V kanálu Azure Synapse YouTube můžete sledovat události Ptejte se expertů. |
Březen 2022 | Série videí o Azure Synapse Analytics a MVP Microsoftu na YouTube | Byla zahájena společná aktivita s produktovým týmem Azure Synapse a komunitou MVP Microsoftu, což je nová série videí MVP z YouTube o funkcích Azure Synapse. Další informace najdete v kanálu YouTube pro Azure Synapse Analytics. |
Apache Spark pro Azure Synapse Analytics
Tato část je archiv funkcí a možností Apache Sparku pro Azure Synapse Analytics.
Month | Funkce | Další informace |
---|---|---|
Květen 2022 | Konektor vyhrazeného fondu SQL Azure Synapse pro Apache Spark je teď k dispozici v Pythonu. | Dříve byl vyhrazený fond SQL Azure Synapse Připojení or pro Apache Spark dostupný pouze pomocí scaly. Teď můžete vyhrazený konektor fondu SQL pro Apache Spark použít s Pythonem ve Sparku 3. |
Květen 2022 | Správa konfigurace Azure Synapse Apache Sparku | Pomocí nové funkce konfigurací Apache Sparku můžete vytvořit samostatný artefakt konfigurace Sparku s automatickými návrhy a integrovanými ověřovacími pravidly. Artefakt konfigurace Sparku umožňuje sdílet konfiguraci Sparku v rámci pracovních prostorů Azure Synapse a napříč všemi pracovními prostory. Konfiguraci Sparku můžete také snadno přidružit k fondu Sparku, poznámkovému bloku a definici úlohy Spark pro opakované použití a minimalizovat potřebu kopírování konfigurace Sparku na více místech. |
Duben 2022 | Apache Spark 3.2 pro Synapse Analytics | Apache Spark 3.2 pro Synapse Analytics s dostupností ve verzi Preview Projděte si oficiální poznámky k verzi Sparku 3.2 a pokyny k migraci mezi Sparkem 3.1 a 3.2 a vyhodnoťte potenciální změny vašich aplikací. Další podrobnosti najdete v tématu Podpora verzí Apache Sparku a Modul runtime Azure Synapse pro Apache Spark 3.2. |
Duben 2022 | Parametrizace pro definici úlohy Sparku | Parametry teď můžete dynamicky přiřazovat na základě proměnných, metadat nebo zadávání parametrů specifických pro kanál pro aktivitu definice úlohy Sparku. Další podrobnosti najdete v tématu Transformace dat pomocí definice úlohy Apache Spark. |
Duben 2022 | Snímek poznámkového bloku Apache Sparku | K snímku poznámkového bloku se dostanete, když dojde k selhání spuštění poznámkového bloku kanálu nebo když existuje dlouhotrvající úloha poznámkového bloku. Další informace najdete v tématu Transformace dat spuštěním poznámkového bloku Synapse a úvodem do nástrojů Microsoft Spark. |
Březen 2022 | Konektor CdM (Synapse Spark Common Data Model) | Čtečka a zapisovač formátu CDM umožňuje programu Spark číst a zapisovat entity CDM do složky CDM prostřednictvím datových rámců Sparku. Další informace najdete v tom , jak konektor CDM podporuje čtení, zápis dat, příklady a známé problémy. |
Březen 2022 | Optimalizace výkonu pro konektor vyhrazeného fondu SQL Synapse Sparku | Nová vylepšení vyhrazeného fondu SQL Azure Synapse Připojení or pro Apache Spark snižují přesun a využití COPY INTO dat . Testy výkonnosti ukázaly alespoň přibližně 5x vylepšení oproti předchozí verzi. K využití těchto vylepšení se od uživatele nevyžaduje žádná akce. Další informace najdete v tématu Blog: Synapse Spark Dedicated SQL Pool (DW) Připojení or: Vylepšení výkonu. |
Březen 2022 | Podpora všech možností SaveMode datového rámce Sparku | Vyhrazený fond SQL Azure Synapse Připojení or pro Apache Spark teď podporuje všechny čtyři volby SaveMode datového rámce Sparku: připojení, přepsání, errorIfExists, ignorování. Další informace o nástroji Spark SaveMode najdete v oficiální dokumentaci k Apache Sparku. |
Březen 2022 | Funkce inteligentní mezipaměti Apache Spark ve službě Azure Synapse Analytics | Inteligentní mezipaměť pro Spark automaticky ukládá každé čtení v přiděleném prostoru úložiště mezipaměti, zjišťuje změny souvisejícího souboru a aktualizuje soubory, aby poskytovala nejnovější data. Další informace o této funkci Preview najdete v článku o povolení nebo zakázání mezipaměti pro váš fond Apache Spark nebo se podívejte na blogový příspěvek. |
Integrace dat
Tato část je archiv funkcí a možností integrace dat Azure Synapse Analytics. Naučte se načítat data do Azure Synapse Analytics pomocí služby Azure Data Factory (ADF) nebo kanálu Synapse.
Month | Funkce | Další informace |
---|---|---|
Červen 2022 | Sap CDC Connector Preview | Ve verzi Preview je teď k dispozici nový datový konektor pro NÁSTROJ SAP Change Data Capture (CDC). Další informace najdete v tématu Oznámení verze Public Preview řešení SAP CDC ve službě Azure Data Factory a Azure Synapse Analytics a ŘEŠENÍ SAP CDC ve službě Azure Data Factory. |
Červen 2022 | Možnost přibližné spojení v transformaci spojení | Pomocí přibližné shody s posuvníkem prahového skóre podobnosti byl přidán do transformace spojení v mapování Tok dat. |
Červen 2022 | Obecná dostupnost nástroje mapových dat | S radostí oznamujeme, že nástroj Mapová data je teď obecně dostupný. Nástroj Mapová data je proces s asistencí, který vám pomůže vytvořit mapování ETL a mapování toků dat ze zdrojových dat do Synapse bez psaní kódu. |
Červen 2022 | Opětovné spuštění kanálu s novými parametry | Teď můžete změnit parametry kanálu při opětovném spuštění kanálu ze stránky Monitorování, aniž byste se museli vracet do editoru kanálů. Další informace najdete v tématu Opětovné spuštění kanálů a aktivit. |
Červen 2022 | Obecná dostupnost uživatelem definovaných funkcí | Uživatelem definované funkce (UDF) v mapování toků dat jsou nyní obecně dostupné (GA). |
Květen 2022 | Export monitorování kanálu jako sdíleného svazku clusteru | Možnost exportu monitorování kanálu do sdíleného svazku clusteru a dalších vylepšení monitorování byla zavedena v ADF. |
Květen 2022 | Automatické načítání přírůstkových zdrojových dat z PostgreSQL a MySQL | Automatické přírůstkové načítání dat přírůstkového zdroje z PostgreSQL a MySQL do Synapse SQL a Azure Database je teď nativně dostupné v ADF. |
Květen 2022 | Zpracování chyb transformace assert | Zpracování chyb bylo nyní přidáno do jímek po transformaci assert v mapování toku dat. Teď můžete zvolit, jestli se mají řádky, které selhaly, vysílat do vybrané jímky nebo do samostatného souboru. |
Květen 2022 | Úpravy projekce mapování toků dat | V mapování toků dat teď můžete aktualizovat názvy sloupců a typy sloupců zdrojové projekce. |
Duben 2022 | Konektor Dataverse pro Tok dat Synapse | Dataverse je nyní konektorem zdroje a jímky pro Tok dat Synapse. Data můžete kopírovat a transformovat z Dynamics 365 (Microsoft Dataverse) nebo Dynamics CRM pomocí Azure Data Factory nebo Azure Synapse Analytics. |
Duben 2022 | Vypršení časového limitu odezvy webové aktivity Synapse Pipelines s konfigurovatelným časovým limitem | Pomocí vlastnosti httpRequestTimeout časového limitu odpovědi můžete definovat časový limit požadavku HTTP až 10 minut. Webové aktivity fungují mimořádně dobře s rozhraními API, která se řídí vzorem asynchronní odpovědi na požadavky, navrhovaným přístupem pro vytváření škálovatelných webových rozhraní API a služeb. |
Březen 2022 | Konektor sFTP pro toky dat Synapse | Nativní konektor sftp v tocích dat Synapse je podporovaný ke čtení a zápisu dat z SFTP pomocí rozhraní toků dat s nízkými kódy ve službě Synapse. Další informace najdete v tématu Kopírování a transformace dat na serveru SFTP pomocí služby Azure Data Factory nebo Azure Synapse Analytics. |
Březen 2022 | Vylepšení toku dat ve verzi Preview | Zkontrolujte funkce přidané do náhledu dat a vylepšení ladění v mapování Tok dat. |
Březen 2022 | Aktivita skriptu kanálu | Teď můžete transformovat data pomocí aktivity Skript k vyvolání příkazů SQL, které provádějí DDL i DML. |
Prosinec 2021 | Vlastní oddíly pro Synapse Link pro Azure Cosmos DB | Vylepšete dobu provádění dotazů Sparku tím, že vytvoříte vlastní oddíly na základě polí, která se často používají v dotazech. Další informace najdete v tématu Vlastní dělení ve službě Azure Synapse Link pro Azure Cosmos DB (Preview) |
Databázové šablony a návrhář databáze
Tato část je archiv funkcí a možností databázových šablon a návrháře databází.
Month | Funkce | Další informace |
---|---|---|
Duben 2022 | Návrhář databáze | Návrhář databází umožňuje uživatelům vizuálně vytvářet databáze v nástroji Synapse Studio bez psaní jednoho řádku kódu. Další informace naleznete v tématu Oznámení obecné dostupnosti Návrháře databáze. Přečtěte si další informace o databázích lake a zjistěte, jak upravit existující databázi lake pomocí návrháře databáze. |
Duben 2022 | Databázové šablony | Nové šablony databáze specifické pro konkrétní odvětví byly zavedeny na blogu o obecné dostupnosti šablon databází Synapse. Přečtěte si další informace o databázových šablonách a vylepšeném prostředí pro zkoumání. |
Duben 2022 | Klonování databáze Lake | V nástroji Synapse Studio teď můžete naklonovat databázi pomocí nabídky akcí dostupné v databázi lake. Další informace najdete v tématu Postupy: Klonování databáze lake. |
Duben 2022 | Určení hierarchií vlastních složek pomocí zástupných znaků | Databáze Lake se nacházejí nad daty, která jsou v jezeře, a tato data můžou být vnořených složkách, které se nevejdou do čistých vzorů oddílů. Teď můžete pomocí zástupných znaků určit vlastní hierarchie složek. Další informace najdete v tématu Postupy: Úprava datové vločky. |
2022. leden | Nové databázové šablony | Přečtěte si další informace o nových šablonách pro automobilový průmysl, Genomics, Manufacturing a Pharmaceuticals a začněte pracovat s databázovými šablonami v galerii Synapse Studio. |
Prostředí vývojáře
Tato část je archivem kvality života a vylepšení funkcí pro vývojáře ve službě Azure Synapse Analytics.
Month | Funkce | Další informace |
---|---|---|
Květen 2022 | Aktualizace sestavy analyzátoru Azure Synapse Analyzer | Seznamte se s novými funkcemi v sestavě Synapse Analyzer verze 2.0. |
Duben 2022 | Sestava služby Azure Synapse Analyzer | Sestava analyzátoru Azure Synapse Analyzer vám pomůže identifikovat běžné problémy, které můžou být ve vaší databázi, které můžou vést k problémům s výkonem. |
Duben 2022 | Odkaz na nepublikované poznámkové bloky | Při použití aplikace %run notebooks teď můžete povolit nepublikovaný odkaz na poznámkový blok, který vám umožní odkazovat na nepublikované poznámkové bloky. Po povolení se spuštěním poznámkového bloku načte aktuální obsah ve webové mezipaměti poznámkového bloku, což znamená, že změny v editoru poznámkových bloků se dají okamžitě odkazovat jinými poznámkovými bloky, aniž by bylo nutné publikovat (živý režim) nebo potvrdit (režim Git). |
Březen 2022 | Kód buněk s výjimkou zobrazení standardního výstupu | V poznámkových blocích Synapse se teď zobrazují standardní výstupní zprávy i zprávy o výjimkách, když příkaz kódu selže pro jazyky Python a Scala. Příklady najdete v poznámkových blocích Synapse: Buňky kódu s výjimkou zobrazení standardního výstupu. |
Březen 2022 | Částečný výstup je k dispozici pro spouštění buněk kódu poznámkového bloku. | Teď v poznámkových blocích Synapse uvidíte všechno, co píšete (například s println příkazy), když se buňka spustí, a nemusíte čekat, až skončí. Příklady najdete v poznámkových blocích Synapse: Pro spouštění buněk kódu poznámkového bloku je k dispozici částečný výstup. |
Březen 2022 | Dynamické řízení konfigurace relace Sparku pomocí parametrů kanálu | V poznámkových blocích Synapse teď můžete pomocí parametrů kanálu nakonfigurovat relaci s poznámkovým blokem %%configure magic. Příklady najdete v poznámkových blocích Synapse: Dynamické řízení konfigurace relace Sparku pomocí parametrů kanálu. |
Březen 2022 | Opakované použití a správa relací poznámkového bloku | Teď je v poznámkových blocích Synapse snadné opakovaně používat aktivní relaci, aniž byste museli spustit novou relaci a vidět a spravovat aktivní relace v seznamu aktivních relací . Pokud chcete zobrazit relace, vyberte v poznámkovém bloku tři tečky a vyberte Spravovat relace. Příklady najdete v poznámkových blocích Synapse: Opakované použití a správa relací poznámkových bloků. |
Březen 2022 | Podpora protokolování Pythonu | V poznámkových blocích Synapse se teď kromě protokolů ovladačů zachytí všechno napsané prostřednictvím modulu protokolování Pythonu. Příklady najdete v poznámkových blocích Synapse: Podpora protokolování Pythonu. |
Machine Learning
Tato část je archiv funkcí a vylepšení modelů strojového učení ve službě Azure Synapse Analytics.
Month | Funkce | Další informace |
---|---|---|
Červen 2022 | Trénování distribuované hluboké neurální sítě (Preview) | Modul runtime Azure Synapse zahrnuje také podpůrné knihovny, jako jsou Petastorm a Horovod, které se běžně používají pro distribuované trénování. Tato funkce je aktuálně dostupná ve verzi Preview. Modul runtime Azure Synapse Analytics pro Apache Spark 3.1 a 3.2 teď zahrnuje také podporu nejběžnějších knihoven hlubokého učení, jako jsou TensorFlow a PyTorch. Další informace o tom, jak tyto knihovny využít ve fondech akcelerovaných GPU služby Azure Synapse Analytics, najdete v kurzech hlubokého učení. |
Listopad 2021 | PŘEDPOVĚDĚT | Syntaxe T-SQL PREDICT je nyní obecně dostupná pro vyhrazené fondy SQL. Začněte s průvodcem vyhodnocováním modelů strojového učení pro vyhrazené fondy SQL. |
Ukázky a pokyny
Tato část obsahuje archiv doprovodných materiálů a ukázkových projektových prostředků pro Azure Synapse Analytics.
Month | Funkce | Další informace |
---|---|---|
Červen 2022 | Azure Orbitální analýza s využitím Synapse Analytics | Teď nabízíme ukázkové řešení analýzy Azure Orbital, které ukazuje komplexní implementaci extrakce, načítání, transformace a analýzy prostorových dat pomocí geoprostorových knihoven a modelů AI s Azure Synapse Analytics. Ukázkové řešení také ukazuje, jak integrovat modely služeb Azure AI specifické pro geoprostor, modely AI od partnerů a modely přineste si vlastní data. |
Červen 2022 | Průvodce migrací pro Oracle | K dispozici je nový průvodce migrací vytvořený microsoftem pro Oracle do Azure Synapse Analytics. Návrh a výkon pro migrace Oracle |
Červen 2022 | Úspěch Azure Synapse podle návrhu | Playbook Testování konceptu azure Synapse poskytuje průvodce oborem, návrhem, spuštěním a vyhodnocením konceptu pro úlohy SQL nebo Spark. |
Červen 2022 | Průvodce migrací pro Teradata | K dispozici je nový průvodce migrací vytvořený microsoftem pro Teradata do Azure Synapse Analytics. Návrh a výkon pro migrace Teradata |
Červen 2022 | Průvodce migrací pro IBM Netezza | K dispozici je nový průvodce migrací vytvořený microsoftem pro IBM Netezza do Azure Synapse Analytics. Návrh a výkon pro migrace IBM Netezza |
Zabezpečení
Tato část je archiv funkcí zabezpečení a nastavení ve službě Azure Synapse Analytics.
Month | Funkce | Další informace |
---|---|---|
Duben 2022 | Role RBAC operátora monitorování Synapse | Role Řízení přístupu na základě role (RBAC) operátora monitorování Synapse umožňuje uživateli monitorovat spouštění kanálů Synapse a aplikací Spark, aniž by bylo možné spouštět nebo rušit provádění těchto aplikací. Další informace najdete v rolích Synapse RBAC. |
Březen 2022 | Vynucení minimální verze protokolu TLS | Nyní můžete zvýšit nebo snížit minimální verzi protokolu TLS pro vyhrazené fondy SQL v pracovních prostorech Synapse. Další informace najdete v tématu Nastavení připojení Azure SQL. Spravované rozhraní SQL API pracovního prostoru lze použít ke změně minimálního nastavení protokolu TLS. |
Březen 2022 | Azure Synapse Analytics teď podporuje pouze ověřování Azure Active Directory (Azure AD). | Ověřování Azure Active Directory teď můžete použít k centrální správě přístupu ke všem prostředkům Azure Synapse, včetně fondů SQL. Místní ověřování můžete zakázat při vytváření nebo po vytvoření pracovního prostoru prostřednictvím webu Azure Portal. |
Prosinec 2021 | Spravované identity přiřazené uživatelem | Teď můžete použít spravované identity přiřazené uživatelem v propojených službách k ověřování v kanálech Synapse a tocích dat. Další informace najdete v tématu Přihlašovací údaje ve službě Azure Data Factory a Azure Synapse. |
Prosinec 2021 | Procházení složek ADLS Gen2 v pracovním prostoru Azure Synapse Analytics | Teď můžete procházet a zabezpečit kontejner nebo složku Azure Data Lake Storage Gen2 (ADLS Gen2) v pracovním prostoru Služby Azure Synapse Analytics připojením ke konkrétnímu kontejneru nebo složce ve službě Synapse Studio. |
Prosinec 2021 | Vynucený protokol TLS 2.1 pro nové pracovní prostory Synapse | Od prosince 2021 se pro nové pracovní prostory Synapse implementoval požadavek na protokol TLS 1.2 . |
Azure Synapse Data Explorer
Azure Data Explorer (ADX) je rychlá a vysoce škálovatelná služba pro zkoumání dat pro protokoly a telemetrická data. Nabízí příjem dat ze služby Event Hubs, IoT Hubs, objektů blob zapsaných do kontejnerů objektů blob a úloh Azure Stream Analytics. Tato část je archiv funkcí a možností Průzkumníka dat Azure Synapse a dotazovací jazyk Kusto (KQL). Přečtěte si další informace o tom, jaký je rozdíl mezi Průzkumníkem dat Azure Synapse a Azure Data Explorerem? (Preview)
Month | Funkce | Další informace |
---|---|---|
Červen 2022 | Nová domovská stránka Web Exploreru | Nová domovská stránka Webového průzkumníka Azure Synapse usnadňuje zahájení práce s Webovým Průzkumníkem Synapse. |
Červen 2022 | Ukázková galerie Web Exploreru | Galerie ukázek Web Exploreru poskytuje kompletní ukázky toho, jak zákazníci využívají oblíbené případy použití Synapse Data Exploreru, jako jsou protokoly dat, data metrik, data IoT a příklady základních velkých objemů dat. |
Červen 2022 | Možnosti procházení řídicích panelů Web Exploreru | Podrobné analýzy teď můžete použít jako parametry na řídicích panelech Webového Průzkumníka Synapse. |
Červen 2022 | Nastavení časového pásma pro Web Explorer | Nastavení časového pásma webového Průzkumníka se teď vztahuje na výsledky dotazu i na řídicí panel. Změnou časového pásma se řídicí panely automaticky aktualizují a zobrazí data s vybraným časovým pásmem. |
Květen 2022 | Živý dotaz Synapse Data Exploreru v Excelu | Pomocí nové funkce Otevřít v Excelu webové prostředí Průzkumník dat teď můžete poskytnout přístup k živým výsledkům dotazu sdílením propojeného excelového sešitu s kolegy a členy týmu. Živý dotaz můžete otevřít v excelovém sešitu a aktualizovat ho přímo z Excelu, abyste získali nejaktuálnější výsledky dotazů. Pokud chcete vytvořit excelový sešit připojený k Průzkumníku dat Synapse, začněte spuštěním dotazu ve webovém prostředí. |
Květen 2022 | Použití spravovaných identit pro externí tabulky SQL Serveru | Díky podpoře spravované identity je teď definice tabulky Synapse Data Exploreru jednodušší a bezpečnější. Spravované identity teď můžete používat místo zadávání přihlašovacích údajů. Další informace o externích tabulkách najdete v tématu Vytvoření a změna externích tabulek SQL Serveru. |
Květen 2022 | Konektor Azure Synapse Data Explorer pro Microsoft Power Automate, Logic Apps a Power Apps | Nové konektory Azure Data Exploreru pro Power Automate jsou obecně dostupné (GA). Další informace najdete v konektoru Azure Data Exploreru pro Microsoft Power Automate, aplikaci Microsoft Logic App a Azure Data Exploreru a možnost vytvořit aplikaci Power Apps pro dotazování dat v Azure Data Exploreru. |
Květen 2022 | Dynamické směrování událostí z centra událostí do více databází | Nyní podporujeme směrování dat událostí z Azure Event Hubu, Azure IoT Hubu nebo Azure Event Gridu do více databází hostovaných v jednom clusteru ADX. Další informace o dynamickém směrování najdete v Ingestu z centra událostí. |
Květen 2022 | Konfigurace databáze pomocí vloženého skriptu KQL v rámci šablony nasazení JSON ARM | Spuštění skriptu dotazovací jazyk Kusto (KQL) pro konfiguraci databáze se teď dá provést pomocí vloženého skriptu poskytnutého jako parametr šablony ARM JSON. |
Azure Synapse Link
Azure Synapse Link je automatizovaný systém pro replikaci dat z SQL Serveru nebo Azure SQL Database, Azure Cosmos DB nebo Dataverse do Azure Synapse Analytics. Tato část je archiv novinek o funkci Azure Synapse Link.
Month | Funkce | Další informace |
---|---|---|
Květen 2022 | Azure Synapse Link pro SQL Preview | Azure Synapse Link pro SQL je ve verzi Preview pro SQL Server 2022 i Azure SQL Database. Funkce Azure Synapse Link poskytuje replikaci dat téměř v reálném čase z provozních úložišť založených na SQL do Azure Synapse Analytics bez kódu. Poskytněte BI sestavy provozních dat téměř v reálném čase s minimálním dopadem na provozní úložiště. Oznámili jsme azure Synapse Link pro SQL Preview. Další informace najdete v blogu : Azure Synapse Link pro SQL Deep Dive. |
Synapse SQL
Tato část je archiv vylepšení a funkcí ve fondech SQL ve službě Azure Synapse Analytics.
Month | Funkce | Další informace |
---|---|---|
Červen 2022 | Zvýšení limitu velikosti sady výsledků | Maximální velikost sad výsledků dotazů v bezserverových fondech SQL se zvýšila z 200 GB na 400 GB. |
Květen 2022 | Automatický výpočet délky sloupců znaků pro bezserverové fondy SQL | Už není nutné definovat délky sloupců znaků pro bezserverové fondy SQL v datovém jezeře. Můžete získat optimální výkon dotazů bez nutnosti definovat schéma, protože bezserverový fond SQL bude používat automaticky vypočítané průměrné délky sloupců a odhad kardinality. |
Duben 2022 | Obnovení mezi předplatnými pro azure Synapse SQL GA | S aktualizací modulu PowerShell Az.Sql 3.8 lze rutinu Restore-AzSqlDatabase použít k obnovení vyhrazených fondů SQL mezi předplatnými. Další informace najdete v tématu Obnovení vyhrazeného fondu SQL do jiného předplatného. Tato funkce je nyní obecně dostupná pro vyhrazené fondy SQL (dříve SQL DW) a vyhrazené fondy SQL v pracovním prostoru Synapse. Jaký je rozdíl? |
Duben 2022 | Obnovení fondu SQL z vyřazeného serveru nebo pracovního prostoru | Pomocí rutin PowerShell Restore v Az.Sql a Az.Synapse modulech teď můžete provést obnovení z odstraněného serveru nebo pracovního prostoru bez vytvoření lístku podpory. Další informace najdete v tématu Obnovení vyhrazeného fondu SQL z odstraněného pracovního prostoru Azure Synapse nebo obnovení samostatného vyhrazeného fondu SQL (dříve SQL DW) z odstraněného serveru v závislosti na vašem scénáři. |
Březen 2022 | Šifrování na úrovni sloupců pro vyhrazené fondy SQL | Šifrování na úrovni sloupců je nyní obecně dostupné pro použití na nových a stávajících logických serverech Azure SQL s vyhrazenými fondy SQL Azure Synapse a vyhrazenými fondy SQL v pracovních prostorech Azure Synapse. Podpora sql Server Data Tools (SSDT) pro šifrování na úrovni sloupců pro vyhrazené fondy SQL je dostupná od sestavení 17.2 Preview 2 sady Visual Studio 2022. |
Březen 2022 | Paralelní spouštění pro CETAS | Lepší výkon pro CREATE TABLE AS SELECT (CETAS) a následné příkazy SELECT teď umožňují použití plánů paralelního provádění. Příklady najdete v tématu Lepší výkon pro CETAS a následné selecty. |
Předchozí měsíční aktualizace ve službě Azure Synapse Analytics
Následuje předchozí formát měsíčních aktualizací zpráv pro Synapse Analytics.
Aktualizace z června 2022
OBECNÉ
Azure Orbital Analytics se službou Synapse Analytics – Teď nabízíme ukázkové řešení analýzy Azure Orbital, které ukazuje ucelenou implementaci extrakce, načítání, transformace a analýzy prostorových dat pomocí geoprostorových knihoven a modelů AI s Azure Synapse Analytics. Ukázkové řešení také ukazuje, jak integrovat modely služeb Azure AI specifické pro geoprostor, modely AI od partnerů a modely přineste si vlastní data.
Úspěch Azure Synapse podle návrhu – Úspěch projektu není náhodou a vyžaduje pečlivé plánování a provádění. Playbooky Synapse Analytics úspěšné podle návrhu jsou nyní k dispozici. Playbook Testování konceptu azure Synapse poskytuje průvodce oborem, návrhem, spuštěním a vyhodnocením konceptu pro úlohy SQL nebo Spark. Tyto příručky obsahují osvědčené postupy z nejnáročnějších a složitých implementací řešení zahrnujících Azure Synapse. Další informace o playbooku Testování konceptu v Azure Synapse najdete v článku Success by Design.
SQL
Zvýšení limitu velikosti sady výsledků – Víme, že se obrátíte na Azure Synapse Analytics, abyste mohli pracovat s velkými objemy dat. S ohledem na to byla maximální velikost sad výsledků dotazů ve fondech SQL bez serveru zvýšena z 200 GB na 400 GB. Tento limit se sdílí mezi souběžnými dotazy. Další informace o tomto zvýšení limitu velikosti a dalších omezeních najdete v samoobslužné nápovědě pro bezserverový fond SQL.
Průzkumník dat Synapse
Nová domovská stránka Webového průzkumníka Web Exploreru – nová domovská stránka Synapse Web Exploreru usnadňuje zahájení práce s Webovým Průzkumníkem Synapse. Domovská stránka Webového průzkumníka teď obsahuje následující části:
- Začínáme – Ukázková galerie nabízí ukázkové dotazy a řídicí panely pro oblíbené případy použití Průzkumníka dat Synapse.
- Doporučené – oblíbené výukové moduly navržené tak, aby vám pomohly zvládnout Synapse Web Explorer a KQL.
- Dokumentace – Základní a pokročilá dokumentace k Synapse Web Exploreru
Ukázková galerie Web Exploreru – Skvělý způsob, jak se o produktu dozvědět, je zjistit, jak ho používají jiní uživatelé. Galerie ukázek Web Exploreru poskytuje kompletní ukázky toho, jak zákazníci využívají oblíbené případy použití Synapse Data Exploreru, jako jsou protokoly dat, data metrik, data IoT a příklady základních velkých objemů dat. Každá ukázka zahrnuje datovou sadu, dobře zdokumentované dotazy a ukázkový řídicí panel. Další informace o ukázkové galerii najdete v Azure Data Exploreru za 60 minut pomocí nové galerie ukázek.
Možnosti procházení řídicích panelů Webového Průzkumníka web exploreru – Teď můžete do řídicích panelů Synapse Web Exploreru přidat možnosti procházení podrobností. Nové funkce přechodu k podrobnostem umožňují snadno přecházet mezi stránkami řídicího panelu a zpět. To je možné pomocí kontextového filtru pro připojení řídicích panelů. Definováním těchto kontextových podrobností můžete provádět úpravou interakcí vizuálu vybrané dlaždice na řídicím panelu. Další informace o možnostech přechodu k podrobnostem najdete v tématu Použití podrobných analýz jako parametrů řídicího panelu.
Nastavení časového pásma pro Web Explorer – Schopnost zobrazovat data v různých časových pásmech je velmi výkonná. Teď se můžete rozhodnout zobrazit data v čase UTC, v místním časovém pásmu nebo v časovém pásmu monitorovaného zařízení nebo počítače. Nastavení časového pásma webového Průzkumníka se teď vztahuje na výsledky dotazu i na řídicí panel. Změnou časového pásma se řídicí panely automaticky aktualizují a zobrazí data s vybraným časovým pásmem. Další informace o nastavení časového pásma najdete v tématu Změna data a času na konkrétní časové pásmo.
Integrace dat
Do transformace spojení v mapových Tok dat byla přidána možnost Přibližné spojení v transformací spojení – Přibližná shoda s posuvným skóre podobnosti. Vnitřní a vnější spojení můžete vytvořit u datových hodnot, které jsou podobné, nikoli přesné shody. Dříve byste museli použít přesnou shodu. Hodnota posuvného měřítka je od 60 % do 100 %, což usnadňuje úpravu prahové hodnoty podobnosti shody. Další informace o přibližných spojeních najdete v tématu Transformace spojení v mapování toku dat.
Mapová data [Obecně dostupná] – s radostí oznamujeme, že nástroj Mapová data je nyní obecně dostupný. Nástroj Mapová data je proces s asistencí, který vám pomůže vytvořit mapování ETL a mapování toků dat ze zdrojových dat do Synapse bez psaní kódu. Další informace o mapovýchdatech
Znovu spustit kanál s novými parametry – Teď můžete změnit parametry kanálu při opětovném spuštění kanálu ze stránky Monitorování, aniž byste se museli vracet do editoru kanálů. Po spuštění kanálu s novými parametry můžete snadno monitorovat nové spuštění proti starým, aniž byste museli přepínat mezi stránkami. Další informace o opětovném spuštění kanálů s novými parametry najdete v tématu Opětovné spuštění kanálů a aktivit.
Uživatelem definované funkce [Obecně dostupné] – S radostí oznamujeme, že uživatelem definované funkce (UDF) jsou nyní obecně dostupné. Pomocí uživatelem definovaných funkcí můžete vytvářet přizpůsobené výrazy, které se dají opakovaně používat napříč několika mapováními toků dat. Už nemusíte několikrát používat stejnou manipulaci s řetězci, matematické výpočty nebo jinou složitou logiku. Uživatelem definované funkce budou seskupené v knihovnách, aby vývojářům pomohly seskupit běžné sady funkcí. Další informace o uživatelem definovaných funkcích najdete v tématu Uživatelem definované funkce v mapování toků dat.
Strojové učení
Distribuované trénování hluboké neurální sítě pomocí Horovodu a Petastormu [Public Preview] – Pro zjednodušení procesu vytváření a správy fondů akcelerovaných GPU se Azure Synapse stará o předinstalování knihoven nízké úrovně a nastavení všech složitých síťových požadavků mezi výpočetními uzly. Tato integrace umožňuje uživatelům začít s akcelerovanými fondy GPU během několika minut.
Azure Synapse Analytics teď poskytuje integrovanou podporu infrastruktury hlubokého učení. Modul runtime Azure Synapse Analytics pro Apache Spark 3.1 a 3.2 teď zahrnuje podporu nejběžnějších knihoven hlubokého učení, jako jsou TensorFlow a PyTorch. Modul runtime Azure Synapse zahrnuje také podpůrné knihovny, jako jsou Petastorm a Horovod, které se běžně používají pro distribuované trénování. Tato funkce je aktuálně dostupná ve verzi Public Preview.
Další informace o tom, jak tyto knihovny využít ve fondech akcelerovaných GPU služby Azure Synapse Analytics, najdete v kurzech hlubokého učení.
Aktualizace z května 2022
V azure Synapse Analytics jsou tento měsíc nové následující aktualizace.
OBECNÉ
Připojte se k novému programu Azure Synapse Influencer!Připojte se ke komunitě vlivových faktorů Azure Synapse, kteří vzájemně pomáhají dosahovat lepších výsledků pomocí cloudových analýz! Program Azure Synapse Influencer rozpozná uživatele a poradce azure Synapse Analytics, kteří aktivně podporují komunitu sdílením obsahu, oznámení a zpráv o produktech synapse prostřednictvím sociálních médií.
SQL
Průvodce migrací datového skladu pro vyhrazené fondy SQL ve službě Azure Synapse Analytics – s výhodami, které nabízí migrace do cloudu, uslyšíme, že často hledáte kroky, procesy nebo pokyny pro rychlé a snadné migrace z existujících prostředí datového skladu. Právě jsme vydali sadu průvodců migrací do datového skladu, abychom usnadnili přechod na vyhrazené fondy SQL ve službě Azure Synapse Analytics.
Automatický výpočet délky sloupce znaků – už není nutné definovat délky sloupců znaků. Bezserverové fondy SQL umožňují dotazovat se na soubory v datovém jezeře bez znalosti schématu předem. Osvědčeným postupem bylo určit délky sloupců znaků pro dosažení optimálního výkonu. Už ne! Díky této nové funkci můžete získat optimální výkon dotazů, aniž byste museli definovat schéma. Bezserverový fond SQL vypočítá průměrnou délku sloupce pro každý odvozený sloupec nebo sloupec znaků definovaný jako větší než 100 bajtů. Schéma zůstane stejné, zatímco bezserverový fond SQL bude používat počítané průměrné délky sloupců interně. V případě, že nebyla dříve vytvořená statistika, automaticky vypočítá odhad kardinality.
Apache Spark pro Synapse
Vyhrazený fond SQL Azure Synapse Připojení or pro Apache Spark je nyní k dispozici v Pythonu – dříve byl konektor vyhrazeného fondu SQL Azure Synapse dostupný pouze pomocí scaly. Teď ho můžete použít s Pythonem ve Sparku 3. Jediným rozdílem mezi implementacemi Scala a Pythonu je volitelný popisovač zpětného volání Scala, který umožňuje přijímat metriky po zápisu.
Python ve Sparku 3 teď podporuje následující:
- Čtení s využitím ověřování Azure Active Directory (AD) nebo základního ověřování
- Zápis do interní tabulky pomocí ověřování Azure AD nebo základního ověřování
- Zápis do externí tabulky pomocí ověřování Azure AD nebo základního ověřování
Další informace o konektoru v Pythonu najdete v tématu Vyhrazený fond SQL Azure Synapse Připojení or pro Apache Spark.
Správa konfigurace Azure Synapse Apache Sparku – Správa konfigurace Apache Sparku je vždy náročná úloha, protože Spark má stovky vlastností. Je také náročné znát optimální hodnotu pro konfigurace Sparku. Pomocí nové funkce správy konfigurace Sparku můžete vytvořit samostatný artefakt konfigurace Sparku s automatickými návrhy a integrovanými ověřovacími pravidly. Artefakt konfigurace Sparku umožňuje sdílet konfiguraci Sparku v rámci pracovních prostorů Azure Synapse a napříč všemi pracovními prostory. Konfiguraci Sparku můžete také snadno přidružit k fondu Sparku, poznámkovému bloku a definici úlohy Spark pro opakované použití a minimalizovat potřebu kopírování konfigurace Sparku na více místech. Další informace o nové funkci správy konfigurace Sparku najdete v tématu Správa konfigurace Apache Sparku.
Průzkumník dat Synapse
Živé dotazy v Průzkumníku dat Synapse v Excelu – Nové webové prostředí Průzkumníka dat otevřené v Excelu teď můžete poskytnout přístup k živým výsledkům dotazu sdílením propojeného excelového sešitu s kolegy a členy týmu. Živý dotaz můžete otevřít v excelovém sešitu a aktualizovat ho přímo z Excelu, abyste získali nejaktuálnější výsledky dotazů. Další informace o živém dotazu Excelu najdete v tématu Otevřít živý dotaz v Excelu.
Použití spravovaných identit pro externí tabulky SQL Serveru – Jednou z klíčových výhod Azure Synapse je možnost spojit integraci dat, skladování podnikových dat a analýzu velkých objemů dat. Díky podpoře spravované identity je teď definice tabulky Synapse Data Exploreru jednodušší a bezpečnější. Spravované identity teď můžete používat místo zadávání přihlašovacích údajů.
Externí tabulka SQL je entita schématu, která odkazuje na data uložená mimo databázi Průzkumníka dat Synapse. Pomocí příkazu Vytvořit a změnit externí tabulky SQL Serveru je možné snadno přidat externí tabulky SQL do schématu databáze Průzkumníka dat Synapse.
Další informace o spravovaných identitách najdete v přehledu spravovaných identit.
Další informace o externích tabulkách najdete v tématu Vytvoření a změna externích tabulek SQL Serveru.
Nový modul KQL Learn (2 z 3) je aktivní! - Výkon dotazovací jazyk Kusto (KQL) je jeho jednoduchost dotazování strukturovaných, částečně strukturovaných a nestrukturovaných dat. Abychom vám usnadnili učení KQL, vydáváme moduly Learn. Dříve jsme vydali napsat první dotaz s dotazovací jazyk Kusto. Nový tento měsíc je získání přehledů z vašich dat pomocí dotazovací jazyk Kusto.
KQL je dotazovací jazyk používaný k dotazování velkých objemů dat v Průzkumníku dat Synapse. KQL má rychle rostoucí komunitu uživatelů se stovkami tisíc vývojářů, datových inženýrů, datových analytiků a studentů.
Podívejte se na nejnovější modul KQL Learn a podívejte se, jak snadné je stát se hlavním serverem KQL.
Další informace o KQL najdete v přehledu dotazovací jazyk Kusto (KQL).
Konektor Azure Synapse Data Explorer pro Microsoft Power Automate, Logic Apps a Power Apps [Obecně dostupný] – Konektor Azure Data Exploreru pro Power Automate umožňuje orchestrovat a plánovat toky, odesílat oznámení a upozornění jako součást naplánované nebo aktivované úlohy. Další informace najdete v konektoru Azure Data Exploreru pro Microsoft Power Automate a příklady použití konektoru Azure Data Exploreru do Power Automate.
Dynamické směrování událostí z centra událostí do více databází – Směrování událostí z centra událostí, ioT Hubu nebo Event Gridu je aktivita běžně prováděná uživateli Azure Data Exploreru (ADX). Dříve bylo možné směrovat události pouze do jedné databáze na definované připojení. Pokud chcete události směrovat do více databází, museli jste vytvořit několik připojení clusteru ADX.
Pro zjednodušení prostředí teď podporujeme směrování dat událostí do více databází hostovaných v jednom clusteru ADX. Další informace o dynamickém směrování najdete v Ingestu z centra událostí.
Nakonfigurujte databázi pomocí vloženého skriptu KQL jako součást šablony nasazení JSON ARM – Dříve Azure Data Explorer podporoval spuštění skriptu dotazovací jazyk Kusto (KQL) pro konfiguraci databáze během nasazování šablony Azure Resource Manageru (ARM). Teď to můžete provést pomocí vloženého skriptu poskytnutého jako parametr šablony JSON ARM. Další informace o použití vloženého skriptu KQL najdete v tématu Konfigurace databáze pomocí dotazovací jazyk Kusto skriptu.
Integrace dat
Export monitorování kanálu jako sdíleného svazku clusteru – možnost exportu monitorování kanálů do sdíleného svazku clusteru byla přidána po přijetí mnoha žádostí komunity o tuto funkci. Jednoduše vyfiltrujte obrazovku spuštění kanálu na požadovaná data a vyberte Exportovat do souboru CSV*. Další informace o exportu monitorování kanálů a dalších vylepšení monitorování najdete v tématu Vylepšení monitorování služby Azure Data Factory.
Přírůstkové načítání dat pro Synapse a Azure Database for PostgreSQL a MySQL – V řešení integrace dat je široce používaný scénář přírůstkového načítání dat po počátečním úplném načtení dat. Automatické načítání přírůstkových zdrojových dat je teď nativně dostupné pro Synapse SQL a Azure Database for PostgreSQL a MySQL. Uživatelé můžou povolit přírůstkové extrakce a kanál bude číst jenom vložené nebo aktualizované řádky. Další informace o přírůstkovém načítání dat najdete v článku Přírůstkové kopírování dat ze zdrojového úložiště dat do cílového úložiště dat.
Uživatelem definované funkce pro mapování Tok dat [Public Preview] – Uslyšíme, že můžete několikrát najít stejnou manipulaci s řetězci, matematické výpočty nebo jinou složitou logiku. Teď můžete pomocí nové funkce definované uživatelem vytvořit přizpůsobené výrazy, které je možné znovu použít napříč několika mapováními toků dat. Uživatelem definované funkce budou seskupené v knihovnách, aby vývojářům pomohly seskupit běžné sady funkcí. Po vytvoření knihovny toku dat můžete přidat do uživatelem definovaných funkcí. Můžete dokonce přidat více argumentů, aby byla vaše funkce opakovaně použitelná. Další informace o uživatelem definovaných funkcích najdete v tématu Uživatelem definované funkce v mapování toků dat.
Zpracování chyb assert – Zpracování chyb bylo nyní přidáno do jímek po transformaci assert. Transformace assert umožňují vytvářet vlastní pravidla pro kvalitu dat a ověření dat. Teď můžete zvolit, jestli se mají řádky, které selhaly, vysílat do vybrané jímky nebo do samostatného souboru. Další informace o zpracování chyb najdete v tématu Assert transformace dat v mapování toku dat.
Úpravy projekcí mapování toků dat – byly provedeny nové aktualizace uživatelského rozhraní pro úpravy zdrojové projekce v mapování toků dat. Teď můžete aktualizovat názvy sloupců a typy sloupců zdrojové projekce. Další informace o úpravách projekce zdroje najdete v tématu Transformace zdroje v mapování toku dat.
Azure Synapse Link
Azure Synapse Link pro SQL Server – Na microsoft buildu 2022 jsme oznámili dostupnost Služby Synapse Link pro SQL ve verzi Public Preview pro SQL, a to pro SQL Server 2022 i Azure SQL Database. Přehledy o kvalitě řízené daty jsou důležité pro společnosti, aby zůstaly konkurenceschopné. Rychlost, jak tyto přehledy dosáhnout, může mít všechny rozdíly. Nákladná a časově náročná povaha tradičních kanálů ETL a ELT už nestačí. V této verzi teď můžete využít výhod replikace dat založených na SQL a bez kódu téměř v reálném čase z vašich provozních úložišť založených na SQL do Azure Synapse Analytics. To usnadňuje spouštění sestav BI na provozních datech téměř v reálném čase s minimálním dopadem na provozní úložiště. Další informace najdete v článku Oznámení verze Public Preview služby Azure Synapse Link pro SQL a podívejte se na naše video z YouTube.
Aktualizace z dubna 2022
V azure Synapse Analytics jsou tento měsíc nové následující aktualizace.
SQL
Obnovení mezi předplatnými pro Azure Synapse SQL je teď obecně dostupné. Dříve trvalo mnoho nezdokumentovaných kroků k obnovení vyhrazeného fondu SQL do jiného předplatného. Teď se s aktualizací modulu Az.Sql PowerShellu 3.8 dá rutina Restore-AzSqlDatabase použít k obnovení mezi předplatnými. Další informace najdete v tématu Obnovení vyhrazeného fondu SQL (dříve SQL DW) do jiného předplatného.
Fond SQL je teď možné obnovit z vyřazeného serveru nebo pracovního prostoru. Pomocí rutin PowerShell Restore v modulech Az.Sql a Az.Synapse teď můžete provést obnovení z odstraněného serveru nebo pracovního prostoru bez vytvoření lístku podpory. Další informace najdete v závislosti na vašem scénáři v pracovním prostoru Synapse s fondy SQL nebo samostatnými fondy SQL (dříve SQL DW).
Šablony databáze Synapse a návrhář databáze
Na základě oblíbených názorů zákazníků jsme výrazně vylepšili prostředí pro zkoumání při vytváření databáze lake pomocí oborové šablony. Další informace najdete v rychlém startu: Vytvoření nové databáze Lake využívající šablony databáze.
Přidali jsme možnost klonování databáze lake. To umožňuje další příležitosti ke správě nových verzí databází nebo podpory schémat, která se vyvíjejí v samostatných krocích. Databázi můžete rychle naklonovat pomocí nabídky akcí dostupné v databázi lake. Další informace najdete v tématu Postupy: Klonování databáze lake.
Teď můžete pomocí zástupných znaků určit vlastní hierarchie složek. Databáze Lake se nacházejí nad daty, která jsou v jezeře, a tato data můžou být vnořených složkách, které se nevejdou do čistých vzorů oddílů. Dříve se dotazování databází lake vyžadovalo, aby vaše data existovala v jednoduché adresářové struktuře, kterou byste mohli procházet pomocí ikony složky, aniž byste museli ručně zadat adresářovou strukturu nebo používat zástupné znaky. Další informace najdete v tématu Postupy: Úprava datové vločky.
Apache Spark pro Synapse
S radostí oznamujeme dostupnost Apache Sparku™ 3.2 ve službě Synapse Analytics ve verzi Preview. Tato nová verze zahrnuje uživatelsky požadovaná vylepšení a řeší 1 700 a více lístků Jira. Projděte si oficiální poznámky k verzi pro úplný seznam oprav a funkcí a projděte si pokyny pro migraci mezi Sparkem 3.1 a 3.2, abyste mohli vyhodnotit potenciální změny vašich aplikací. Další podrobnosti najdete v tématu Podpora verzí Apache Sparku a Modul runtime Azure Synapse pro Apache Spark 3.2.
Dynamické přiřazování parametrů na základě proměnných, metadat nebo zadávání parametrů specifických pro kanál byl jedním z vašich nejčastějších požadavků na funkce. Teď můžete s uvolněním parametrizace aktivity definice úlohy Sparku udělat právě to. Další podrobnosti najdete v tématu Transformace dat pomocí definice úlohy Apache Spark.
Často dostáváme žádosti zákazníků o přístup ke snímku poznámkového bloku v případě selhání spuštění poznámkového bloku kanálu nebo k dlouhotrvající úloze poznámkového bloku. S vydáním funkce snímku poznámkového bloku Synapse teď můžete zobrazit snímek aktivity poznámkového bloku spuštěný s původním kódem poznámkového bloku, výstupem buňky a vstupními parametry. K snímku odkazovaného poznámkového bloku se dostanete také z výstupu odkazující na buňku poznámkového bloku, pokud odkazujete na jiné poznámkové bloky pomocí nástrojů Sparku. Další informace najdete v tématu Transformace dat spuštěním poznámkového bloku Synapse a úvodem do nástrojů Microsoft Spark.
Zabezpečení
- Role RBAC operátora monitorování Synapse je teď obecně dostupná. Vzhledem k tomu, že obecná dostupnost Synapse, zákazníci požádali o jemně odstupňovanou roli RBAC (řízení přístupu na základě role), která uživateli umožňuje monitorovat spouštění kanálů Synapse a aplikací Spark, aniž by museli spouštět nebo rušit provádění těchto aplikací. Zákazníci teď můžou těmto osobám monitorování přiřadit roli operátora monitorování Synapse. To organizacím umožňuje zůstat v souladu s předpisy a zároveň mít flexibilitu při delegování úkolů jednotlivcům nebo týmům. Další informace najdete v článku Role Synapse RBAC.
Integrace dat
Microsoft přidal dataverse jako konektor zdroje a jímky do Tok dat Synapse, takže teď můžete vytvářet úlohy ETL transformace dat s nízkým kódem v Synapse přímo v prostředí Dataverse. Další podrobnosti o použití tohoto nového konektoru najdete v tématu Mapování vlastností toku dat.
Slyšeli jsme od vás, že 1minutový časový limit pro webovou aktivitu nebyl dostatečně dlouhý, zejména v případech synchronních rozhraní API. Teď s vlastností časového limitu odpovědi httpRequestTimeout můžete definovat časový limit požadavku HTTP až 10 minut. Další informace najdete v článku Vylepšení časového limitu odezvy webové aktivity.
Prostředí vývojáře
- Pokud jste dříve chtěli odkazovat na poznámkový blok v jiném poznámkovém bloku, mohli byste odkazovat jenom na publikovaný nebo potvrzený obsah. Když teď používáte poznámkové bloky %run, můžete povolit nepublikovaný odkaz na poznámkový blok, který vám umožní odkazovat na nepublikované poznámkové bloky. Po povolení se spuštěním poznámkového bloku načte aktuální obsah ve webové mezipaměti poznámkového bloku, což znamená, že změny v editoru poznámkových bloků se dají okamžitě odkazovat jinými poznámkovými bloky, aniž by bylo nutné publikovat (živý režim) nebo potvrdit (režim Git). Další informace najdete v článku Odkaz na nepublikovaný poznámkový blok.
Aktualizace z března 2022
V azure Synapse Analytics jsou tento měsíc nové následující aktualizace.
Prostředí pro vývojáře
Buňky kódu v poznámkových blocích Synapse, které vedou k výjimce, teď budou zobrazovat standardní výstup spolu se zprávou o výjimce. Tato funkce je podporovaná pro jazyky Python a Scala. Další informace najdete v ukázkovém výstupu , když příkaz kódu selže.
Poznámkové bloky Synapse teď podporují částečný výstup při spouštění buněk kódu. Další informace najdete v příkladech v tomto blogovém příspěvku.
Teď můžete dynamicky řídit konfiguraci relace Sparku pro aktivitu poznámkového bloku pomocí parametrů kanálu. Další informace najdete v průzkumníku proměnných poznámkových bloků Synapse.
Relace poznámkového bloku teď můžete opakovaně používat a spravovat, aniž byste museli začít nový. Vybraný poznámkový blok můžete snadno připojit k aktivní relaci v seznamu spuštěného z jiného poznámkového bloku. Relaci můžete odpojit od poznámkového bloku, zastavit ji a monitorovat ji. Další informace najdete v tématu správa aktivních relací poznámkového bloku.
Poznámkové bloky Synapse teď kromě protokolů ovladačů zachytává všechno napsané prostřednictvím modulu protokolování Pythonu. Další informace najdete v podpoře protokolování Pythonu.
SQL
Šifrování na úrovni sloupců pro vyhrazené fondy SQL služby Azure Synapse je teď obecně dostupné. S šifrováním na úrovni sloupce můžete pro každý sloupec použít různé klíče ochrany s jednotlivými klíči, které mají vlastní přístupová oprávnění. Data vynucovaných pomocí CLE se šifrují na disku a zůstanou zašifrovaná v paměti, dokud se k dešifrování nepoužije funkce DECRYPTBYKEY. Další informace najdete v tématu šifrování datového sloupce.
Bezserverové fondy SQL teď podporují lepší výkon pro CETAS (vytvořit externí tabulku jako výběr) a následné dotazy SELECT. Mezi vylepšení výkonu patří plán paralelního spuštění, který vede k rychlejšímu spuštění CETAS a výstupu více souborů. Další informace najdete v tématu CETAS s využitím článku Synapse SQL a blogového příspěvku
Apache Spark pro Synapse
Připojení or pro Synapse Spark Common Data Model (CDM) je teď obecně dostupný. Čtečka a zapisovač formátu CDM umožňuje programu Spark číst a zapisovat entity CDM do složky CDM prostřednictvím datových rámců Sparku. Další informace najdete v tom , jak konektor CDM podporuje čtení, zápis dat, příklady a známé problémy.
Vyhrazený fond SQL Synapse Sparku (DW) Připojení or teď podporuje vylepšený výkon. Nová architektura eliminuje redundantní přesun dat a místo PolyBase používá funkci COPY-INTO. Ověřování můžete provést prostřednictvím základního ověřování SQL nebo se přihlásit k metodě ověřování založené na Azure Active Directory nebo Azure AD. Oproti předchozí verzi má nyní vylepšení ~5x. Další informace najdete v tématu Vyhrazený fond SQL Azure Synapse Připojení or pro Apache Spark.
Vyhrazený fond SQL Synapse Sparku (DW) Připojení or teď podporuje všechny volby SaveMode datového rámce Sparku. Podporuje režimy Append, Overwrite, ErrorIfExists a Ignore. Připojení a přepsání jsou důležité pro správu příjmu dat ve velkém měřítku. Další informace najdete v tématu Podpora operace SaveMode zápisu do datového rámce
Urychlete rychlost spouštění Sparku pomocí nové funkce Inteligentní mezipaměti. Tato funkce je v současné době ve verzi Public Preview. Inteligentní mezipaměť automaticky ukládá každé čtení v přiděleném prostoru úložiště mezipaměti, zjišťuje změny podkladového souboru a aktualizuje soubory, aby poskytovala nejnovější data. Další informace najdete v článku o povolení nebo zakázání mezipaměti fondu Apache Spark nebo v blogovém příspěvku .
Zabezpečení
Azure Synapse Analytics teď podporuje ověřování Azure Active Directory (Azure AD). Ověřování Azure AD můžete zapnout při vytváření pracovního prostoru nebo po vytvoření pracovního prostoru. Další informace najdete v tématu použití ověřování Azure AD se službou Synapse SQL.
Podpora rozhraní API pro zvýšení nebo snížení minimální verze protokolu TLS pro SQL Server managed SQL Server Managed SQL. Další informace najdete v článku o tom, jak aktualizovat minimální nastavení protokolu TLS nebo si přečíst blogové příspěvky , kde najdete další podrobnosti.
Integrace dat
Toky a Připojení ory CDC jsou nyní obecně dostupné. Toky ve službě Synapse Tok dat umožňují opakovaně použitelnou a kompozovatelnou logiku ETL. Další informace najdete v tématu Flowlets in mapping data flow or see the blog post.
Konektor sFTP pro toky dat Synapse Při transformaci dat z nástroje sftp můžete číst a zapisovat data pomocí rozhraní toků dat s nízkými kódy ve službě Synapse. Další informace najdete v tématu Transformace zdroje.
Vylepšení toku dat ve verzi Preview Další informace najdete v tématu Vylepšení náhledu dat a ladění v mapování Tok dat
Aktivita skriptu kanálu Aktivita skriptů umožňuje datovým inženýrům vytvářet výkonné kanály integrace dat, které mohou číst a zapisovat do databází Synapse a dalších typů databází. Další informace najdete v tématu Transformace dat pomocí aktivity Skriptu ve službě Azure Data Factory nebo Synapse Analytics.
Aktualizace z února 2022
V azure Synapse Analytics jsou tento měsíc nové následující aktualizace.
SQL
Bezserverové fondy SQL teď podporují konzistentnější doby provádění dotazů. Zjistěte, jak bezserverové fondy SQL automaticky rozpozná špičky v latenci čtení a podporují konzistentní dobu provádění dotazů.
Funkce
OPENJSON
usnadňuje získání indexů prvků pole. Další informace najdete v tom, jak funkce OPENJSON v bezserverovém fondu SQL umožňuje parsovat vnořené pole a vrátit jeden řádek pro každý prvek pole JSON s indexem každého prvku.
Integrace dat
Aktivita kopírování teď podporuje upsertování dat. Podívejte se, jak můžete nativně načíst data do dočasné tabulky a pak je sloučit do tabulky jímky s upsertem .
Vizuální transformace dat Dynamics ve službě Synapse Tok dat s Přečtěte si další informace o tom, jak používat datovou sadu Dynamics nebo vloženou datovou sadu jako zdrojové typy a typy jímky k transformaci dat ve velkém měřítku.
Připojení ke zdrojům SQL v tocích dat pomocí funkce Always Encrypted. Další informace najdete v tématu bezpečné připojení k databázím SQL z toků dat Synapse pomocí funkce Always Encrypted.
Zachyťte popisy z kontrolních výrazů v Tok dat s. Další informace najdete v tom, jak definovat vlastní dynamické popisné zprávy v transformaci toku dat assert na úrovni řádku nebo sloupce.
Snadno definovat schémata pro pole komplexního typu. Další informace najdete v tom, jak můžete modul nastavit tak, aby automaticky rozpoznal schéma vloženého komplexního pole uvnitř sloupce řetězce.
Aktualizace z ledna 2022
V azure Synapse Analytics jsou tento měsíc nové následující aktualizace.
Apache Spark pro Synapse
V Azure Synapse teď můžete použít čtyři nové databázové šablony. Další informace o šablonách Automotive, Genomics, Manufacturing a Pharmaceuticals najdete v blogovém příspěvkunebo článku o šablonách databází. Tyto šablony jsou aktuálně ve verzi Public Preview a jsou dostupné v galerii Synapse Studio.
Machine Learning
Vylepšení knihovny synapse Machine Učení v0.9.5 (dříve označované jako MMLSpark). Tato verze zjednodušuje vytváření široce škálovatelných kanálů strojového učení pomocí Apache Sparku. Další informace najdete v blogovém příspěvku o nových funkcích v této verzi nebo si přečtěte úplné poznámky k verzi.
Zabezpečení
Přehled zabezpečení Azure Synapse Analytics – dokument white paper, který pokrývá pět vrstev zabezpečení. Mezi vrstvy zabezpečení patří ověřování, řízení přístupu, ochrana dat, zabezpečení sítě a ochrana před hrozbami. Seznamte se s jednotlivými funkcemi zabezpečení podrobně za účelem implementace standardních standardních standardních hodnot zabezpečení a ochraně dat v cloudu.
Pro nově vytvořené pracovní prostory Synapse se teď vyžaduje protokol TLS 1.2. Další informace najdete v článku nebo blogovém příspěvku, jak protokol TLS 1.2 poskytuje rozšířené zabezpečení. Pokusy o přihlášení k nově vytvořenému pracovnímu prostoru Synapse z připojení pomocí verzí PROTOKOLU TLS nižších než 1.2 selžou.
Integrace dat
Ověřovací pravidla kvality dat pomocí transformace Assert – Teď můžete do úloh Synapse ETL snadno přidat kvalitu dat, ověření dat a ověření schématu pomocí transformace Assert v tocích dat Synapse. Další informace najdete v článku o mapování toku dat nebo blogového příspěvku transformace Assert.
Nativní konektor toku dat pro Dynamics – Toky dat Synapse teď můžou číst a zapisovat data přímo do Dynamics prostřednictvím nového konektoru Dynamics toku dat. Přečtěte si další informace o vytváření datových sad v tocích dat pro čtení, transformaci, agregaci, spojení atd. v tomto článku nebo blogovém příspěvku. Pak můžete data zapsat zpět do Dynamics pomocí integrovaného výpočetního prostředí Synapse Spark.
IntelliSense a automatické dokončování přidané do výrazů kanálu – IntelliSense usnadňuje vytváření výrazů a jejich úpravy. Další informace najdete v tématu o kontrole syntaxe výrazů, vyhledání funkcí a přidání kódu do kanálů.
Synapse SQL
Zjišťování schématu COPY pro komplexní příjem dat Další informace najdete v blogovém příspěvkunebo o tom, jak GitHub tuto funkci využil v úvodu k automatickému zjišťování schématu s automatickým vytvářením tabulek pro komplexní datové typy.
Bezserverové fondy SQL teď podporují funkci HASHBYTES. HASHBYTES je funkce T-SQL, která hodnoty hashuje. Naučte se používat hodnoty hash při distribuci dat pomocí tohoto článku nebo blogového příspěvku.
Aktualizace z prosince 2021
V azure Synapse Analytics jsou tento měsíc nové následující aktualizace.
Apache Spark pro Synapse
- Blogvěnovaný zrychlení úloh Sparku s akcelerací NVIDIA GPU
- Blog věnovanýpřipojení vzdáleného úložiště k fondu Synapse Spark
- Nativní čtení a zápis dat v ADLS s blogovýmčlánkem Pandas
- Článek bloguo dynamickém přidělování exekutorů pro Spark
Machine Learning
- Blog o knihovně Synapse Machine Učení
- Začínáme s nejmodernějším předdefinovaným blogovým blogovýmčlánkem o předem vytvořených inteligentních modelech
- Blogový článek věnovaný vytváření zodpovědných systémů AI s knihovnou Synapse ML
- Funkce PREDICT je nyní obecně dostupná pro blogo vyhrazených fondech SYNApse SQL
- Jednoduchý a škálovatelný bodování s využitím PREDICT a MLFlow pro Apache Spark for Synapse blogovýčlánek
- Blog věnovaný řešenímumělé inteligence maloobchodního prodeje
Zabezpečení
- Spravované identity přiřazené uživatelem se teď podporují ve službě Synapse Pipelines ve verzi Preview článku blogu
- Procházení složek ADLS Gen2 v pracovním prostoru Azure Synapse Analytics v článku blogupreview
Integrace dat
- Blog o aktivitě selhání kanálu
- Blog o mapování Tok dat získání nových nativních konektorů
- Další formáty exportu poznámkového bloku: blog HTML, Python a LaTeX
- Tři nové typy grafů v zobrazení poznámkového bloku: krabicový graf, histogram a blog kontingenční tabulky
- Znovu se připojit ke ztracenému blogu relace poznámkového bloku
Integrace
- Blog o Azure Synapse Linku pro Dataverse
- Vlastní oddíly pro Azure Synapse Link pro Službu Cosmos DB ve verzi Preview
- Nástroj pro mapování dat (Public Preview), blogový článek o prostředí ETL s asistencí bez kódu
- Rychlé opakované použití blogového článku o clusteru Spark
- Blog věnovanýtransformaci externích volání
- Blogovýčlánek Flowlets (Public Preview)
Aktualizace z listopadu 2021
V azure Synapse Analytics jsou tento měsíc nové následující aktualizace.
Průzkumník dat Synapse
- Průzkumník dat Synapse je nyní k dispozici v blogovémčlánku verze Preview
Práce s databázemi a datovými jezery
- Představujeme databáze Lake (dříve označované jako databáze Sparku) blogovýčlánek
- Návrhář databáze Lake je teď k dispozici v blogovémčlánku verze Preview
- Blog o šablonách databází a návrháři databází
SQL
- Podpora Delta Lake pro bezserverový SQL je obecně dostupný blogovýčlánek
- Dotazování více cest k souborům pomocí OPENROWSET v bezserverovém článku bloguSQL
- Bezserverové dotazy SQL teď můžou vrátit až 200 GB článku bloguo výsledcích.
- Zpracování neplatných řádků pomocí OPENROWSET v bezserverovém článku bloguSQL
Apache Spark pro Synapse
- Blogvěnovaný zrychlení úloh Sparku s akcelerací NVIDIA GPU
- Blog věnovanýpřipojení vzdáleného úložiště k fondu Synapse Spark
- Nativní čtení a zápis dat v ADLS s blogovýmčlánkem Pandas
- Článek bloguo dynamickém přidělování exekutorů pro Spark
Machine Learning
- Blog o knihovně Synapse Machine Učení
- Začínáme s nejmodernějším předdefinovaným blogovým blogovýmčlánkem o předem vytvořených inteligentních modelech
- Blogový článek věnovaný vytváření zodpovědných systémů AI s knihovnou Synapse ML
- Funkce PREDICT je nyní obecně dostupná pro blogo vyhrazených fondech SYNApse SQL
- Jednoduchý a škálovatelný bodování s využitím PREDICT a MLFlow pro Apache Spark for Synapse blogovýčlánek
- Blog věnovaný řešenímumělé inteligence maloobchodního prodeje
Zabezpečení
- Spravované identity přiřazené uživatelem se teď podporují ve službě Synapse Pipelines ve verzi Preview článku blogu
- Procházení složek ADLS Gen2 v pracovním prostoru Azure Synapse Analytics v článku blogupreview
Integrace dat
- Blog o aktivitě selhání kanálu
- Blog o mapování Tok dat získání nových nativních konektorů
Azure Synapse Link
- Blog o Azure Synapse Linku pro Dataverse
- Vlastní oddíly pro Azure Synapse Link pro Službu Cosmos DB ve verzi Preview
Aktualizace říjen 2021
V azure Synapse Analytics jsou tento měsíc nové následující aktualizace.
OBECNÉ
- Článek bloguo správě nákladů s předprodejní plány Azure Synapse
- Blog o přesunu pracovního prostoru Azure Synapse napříč oblastmi Azure
Apache Spark pro Synapse
Zabezpečení
- Všechny role Synapse RBAC jsou teď obecně dostupné pro použití v článku blogu o produkčním prostředí.
- Použití spravovaných identit přiřazených uživatelem pro blogový článek sdvojitým šifrováním
- Článek bloguo Správa istrátory Synapse mají zvýšený přístup k vyhrazeným fondům SQL
Řízení
- Pracovní prostory Synapse teď můžou automaticky odesílat data rodokmenu do článku bloguMicrosoft Purview
Integrace
- Použití Stringify v tocích dat k snadné transformaci složitých datových typů na blogový článek s řetězci
- Řízení hodnoty TTL (Time to Live) relace Sparku v blogovémčlánku o tocích dat
CI/CD a Git
- Článek bloguo nasazení pracovních prostorů Synapse pomocí GitHub Actions
- Další kontrola nad vytvářením větví Gitu v blogovémčlánku o Synapse Studiu
Prostředí pro vývojáře
- Vylepšené úpravy Markdownu v blogovém článku o poznámkovýchblocích Synapse ve verzi Preview
- Datové rámce Pandas se automaticky vykreslují jako pěkně formátované tabulky HTML blogovýčlánek
- Použití widgetů IPython v blogovémčlánku o Poznámkových blocích Synapse
- Kontext modulu runtime Mssparkutils je nyní k dispozici pro blogo Pythonu a Scala.