Zabezpečení, přístup a operace pro migrace Netezza

Tento článek je třetí částí sedmidílné série, která obsahuje pokyny k migraci z Netezza do Azure Synapse Analytics. Tento článek se zaměřuje na osvědčené postupy pro operace přístupu k zabezpečení.

Bezpečnostní aspekty

Tento článek popisuje metody připojení pro stávající starší prostředí Netezza a způsob jejich migrace do Azure Synapse Analytics s minimálním rizikem a dopadem na uživatele.

Tento článek předpokládá, že existuje požadavek na migraci existujících metod připojení a uživatele, role nebo struktury oprávnění, jak je. Pokud ne, vytvořte a spravujte nový režim zabezpečení pomocí webu Azure Portal.

Další informace o možnostech zabezpečení Azure Synapse najdete v dokumentu White Paper o zabezpečení.

Připojení a ověřování

Návod

Ověřování v Netezza i Azure Synapse může být "v databázi" nebo prostřednictvím externích metod.

Možnosti autorizace Netezza

Systém IBM Netezza nabízí uživatelům databáze Netezza několik metod ověřování:

  • Místní ověřování: Správci Netezza definují uživatele databáze a jejich hesla pomocí CREATE USER příkazu nebo prostřednictvím rozhraní pro správu Netezza. V místním ověřování můžete pomocí systému Netezza spravovat databázové účty a hesla a přidávat a odebírat uživatele databáze ze systému. Tato metoda je výchozí metodou ověřování.

  • Ověřování LDAP: Ověřování uživatelů databáze pomocí názvového serveru LDAP a správa hesel, aktivací databázových účtů a deaktivací. Systém Netezza používá modul PAM (Pluggable Authentication Module) k ověřování uživatelů na názvovém serveru LDAP. Služba Microsoft Active Directory odpovídá protokolu LDAP, takže může být považována za server LDAP pro účely ověřování PROTOKOLU LDAP.

  • Ověřování protokolem Kerberos: K ověřování uživatelů databáze a správě hesel, aktivací databázových účtů a deaktivací použijte distribuční server Kerberos.

Ověřování je nastavení pro celý systém. Uživatelé musí být buď místně ověřeni, nebo ověřeni pomocí protokolu LDAP nebo kerberos metody. Pokud zvolíte ověřování LDAP nebo Kerberos, vytvořte uživatele s místním ověřováním pro jednotlivé uživatele. Protokol LDAP a Kerberos se nedají používat současně k ověřování uživatelů. Hostitel Netezza podporuje ověřování protokolu LDAP nebo Kerberos pouze pro přihlášení uživatelů databáze, ne pro přihlášení operačního systému na hostiteli.

Možnosti autorizace Azure Synapse

Azure Synapse podporuje dvě základní možnosti připojení a autorizace:

  • Ověřování SQL: Ověřování SQL probíhá prostřednictvím připojení k databázi, které obsahuje identifikátor databáze, ID uživatele a heslo plus další volitelné parametry. Toto je funkčně ekvivalentní místním připojením Netezza.

  • Ověřování Microsoft Entra: Pomocí ověřování Microsoft Entra můžete centrálně spravovat identity uživatelů databáze a dalších služby Microsoft v jednom centrálním umístění. Centrální správa ID poskytuje jediné místo pro správu uživatelů Azure Synapse a zjednodušuje správu oprávnění. Microsoft Entra ID může také podporovat připojení ke službám LDAP a Kerberos– například Microsoft Entra ID lze použít k připojení k existujícím adresářům LDAP, pokud zůstanou po migraci databáze.

Uživatelé, role a oprávnění

Přehled

Návod

Plánování vysoké úrovně je nezbytné pro úspěšný projekt migrace.

Netezza i Azure Synapse implementují řízení přístupu k databázi prostřednictvím kombinace uživatelů, rolí (skupin v Netezza) a oprávnění. Standardní sql CREATE USER a CREATE ROLE/GROUP příkazy slouží k definování uživatelů a rolí a GRANT příkazů REVOKE k přiřazování nebo odebírání oprávnění k těmto uživatelům nebo rolím.

Návod

Doporučuje se automatizace procesů migrace ke snížení doby trvání a minimalizaci chyb.

Koncepčně jsou obě databáze podobné a může být možné automatizovat migraci stávajících ID uživatelů, skupin a oprávnění do určité míry. Tato data můžete migrovat extrahováním stávajících starších informací o uživatelích a skupinách z tabulek systémového katalogu Netezza a generováním odpovídajících ekvivalentních CREATE USER příkazů a příkazů, které se mají spustit v Azure Synapse, aby se znovu vytvořila stejná hierarchie uživatelů a CREATE ROLE rolí.

Po extrakci dat pomocí tabulek systémového katalogu Netezza vygenerujte ekvivalentní GRANT příkazy pro přiřazení oprávnění (kde existuje ekvivalentní). Následující diagram ukazuje, jak použít existující metadata k vygenerování potřebného SQL.

Graf znázorňující, jak automatizovat migraci oprávnění z existujícího systému

Další podrobnosti najdete v následujících částech.

Uživatelé a role

Návod

Migrace datového skladu vyžaduje více než jen tabulky, zobrazení a příkazy SQL.

Informace o aktuálních uživatelích a skupinách v systému Netezza se uchovávají v zobrazeních _v_users katalogu systému a _v_groupusers. Pomocí nástroje nzsql nebo nástrojů, jako jsou Netezza Performance, NzAdmin, nebo skripty nástroje Netezza Utility pro vypsání uživatelských oprávnění. Pomocí příkazů dpu a dpgu v nzsql můžete například zobrazit uživatele nebo skupiny s jejich oprávněními.

Použijte nebo upravte pomocné skripty nz_get_users a nz_get_user_groups k načtení stejných informací v požadovaném formátu.

Dotazujte se přímo na zobrazení systémového katalogu (pokud má SELECT uživatel přístup k těmto zobrazením) pro získání aktuálních seznamů uživatelů a rolí definovaných v systému. Podívejte se na příklady pro výpis uživatelů, skupin nebo uživatelů a jejich přidružených skupin:

-- List of users
SELECT USERNAME FROM _V_USER;

--List of groups
SELECT DISTINCT(GROUPNAME) FROM _V_USERGROUPS;

--List of users and their associated groups
SELECT USERNAME, GROUPNAME FROM _V_GROUPUSERS;

Upravte příklad SELECT příkazu tak, aby vytvořil sadu výsledků, která je řadou CREATE USER a CREATE GROUP příkazů zahrnutím příslušného textu jako literálu v rámci příkazu SELECT.

Neexistuje způsob, jak načíst existující hesla, takže je potřeba implementovat schéma pro přidělování nových počátečních hesel v Azure Synapse.

Dovolení

Návod

Pro základní databázové operace, jako je DML a DDL, existují ekvivalentní oprávnění Azure Synapse.

V systému Netezza obsahuje systémová tabulka _t_usrobj_priv přístupová práva pro uživatele a role. Dotazujte tyto tabulky (pokud má SELECT uživatel k těmto tabulkám přístup), abyste získali aktuální seznamy přístupových práv definovaných v systému.

V Netezza jsou jednotlivá oprávnění reprezentována jako jednotlivé bity v rámci oprávnění pole nebo g_privileges. Příklad příkazu SQL v oprávněních skupiny uživatelů

Nejjednodušší způsob, jak získat skript DDL, který obsahuje GRANT příkazy pro replikaci aktuálních oprávnění pro uživatele a skupiny, je použít příslušné skripty nástroje Netezza:

--List of group privileges
nz_ddl_grant_group -usrobj dbname > output_file_dbname;

--List of user privileges
nz_ddl_grant_user -usrobj dbname > output_file_dbname;

Výstupní soubor lze upravit tak, aby vytvořil skript, který je řadou GRANT příkazů pro Azure Synapse.

Netezza podporuje dvě třídy přístupových práv, Admin a Object. Seznam přístupových práv Netezza a jejich ekvivalent v Azure Synapse najdete v následujících tabulkách.

Oprávnění správce Popis Ekvivalent Služby Azure Synapse
Backup Umožňuje uživateli vytvářet zálohy. Uživatel může spouštět zálohy. Uživatel může spustit příkaz nzbackup. 1
[Vytvořit] Agregát Umožňuje uživateli vytvářet uživatelem definované agregace (UDA). Oprávnění k provozu s existujícími UDA se řídí oprávněními objektu. VYTVOŘIT FUNKCI 3
[Vytvořit] Databáze Umožňuje uživateli vytvářet databáze. Oprávnění k provozu s existujícími databázemi je řízeno oprávněními objektu. VYTVOŘIT DATABÁZI
[Vytvořit] Externí tabulku Umožňuje uživateli vytvářet externí tabulky. Oprávnění k provozu s existujícími tabulkami je řízeno oprávněními objektu. CREATE TABLE
Vytvořit funkci Umožňuje uživateli vytvářet uživatelem definované funkce (UDF). Oprávnění k provozu s existujícími uživatelsky definovanými funkcemi je řízeno oprávněním pro objekty. VYTVOŘIT FUNKCI
[Vytvořit] Skupina Umožňuje uživateli vytvářet skupiny. Oprávnění k provozování stávajících skupin je řízeno oprávněními objektu. VYTVOŘTE ROLI
[Vytvořit] Index Pouze pro použití systému. Uživatelé nemůžou vytvářet indexy. Vytvořit index
[Vytvořit] Knihovna Umožňuje uživateli vytvářet sdílené knihovny. Oprávnění k provozu s existujícími sdílenými knihovnami je řízeno oprávněními objektu. 1
[Vytvořit] Materializované zobrazení Umožňuje uživateli vytvářet materializovaná zobrazení. VYTVOŘIT ZOBRAZENÍ
[Vytvořit] Procedura Umožňuje uživateli vytvářet uložené procedury. Oprávnění k provozu s existujícími uloženými procedurami je řízeno oprávněními objektu. VYTVOŘENÍ POSTUPU
[Vytvořit] Schéma Umožňuje uživateli vytvářet schémata. Oprávnění k provozu s existujícími schématy je řízeno oprávněními objektu. VYTVOŘIT SCHÉMA
[Vytvořit] Sekvenci Umožňuje uživateli vytvářet sekvence databáze. 1
[Vytvořit] Synonymum Umožňuje uživateli vytvářet synonyma. VYTVOŘIT SYNONYMUM
[Vytvořit] Tabulka Umožňuje uživateli vytvářet tabulky. Oprávnění k provozu s existujícími tabulkami je řízeno oprávněními objektu. CREATE TABLE
[Vytvořit] dočasnou tabulku Umožňuje uživateli vytvářet dočasné tabulky. Oprávnění k provozu s existujícími tabulkami je řízeno oprávněními objektu. CREATE TABLE
[Vytvořit] Uživatel Umožňuje uživateli vytvářet uživatele. Oprávnění k provozu s existujícími uživateli je řízeno oprávněními objektu. VYTVOŘIT UŽIVATELE
[Vytvořit] Pohled Umožňuje uživateli vytvářet zobrazení. Oprávnění k práci s existujícími zobrazeními je řízeno oprávněními objektu. VYTVOŘIT ZOBRAZENÍ
[Správa hardwaru Umožňuje uživateli provádět následující operace související s hardwarem: zobrazit stav hardwaru, spravovat jednotky SPU, spravovat topologii a zrcadlení a spouštět diagnostické testy. Uživatel může spustit tyto příkazy: nzhw a nzds. 4
[Spravovat zabezpečení Umožňuje uživateli spouštět příkazy a operace, které souvisejí s následujícími pokročilými možnostmi zabezpečení, jako jsou správa a konfigurace databází historie, správa objektů zabezpečení na více úrovních a určení zabezpečení pro uživatele a skupiny, správa úložišť klíčů a klíčů databáze pro digitální podepisování dat auditu. 4
[Spravovat systém Umožňuje uživateli provádět následující operace správy: zahájit/zastavit/pozastavit/obnovit systém, ukončit relace, zobrazit mapu distribuce, systémové statistiky a logy. Uživatel může použít tyto příkazy: nzsystem, nzstate, nzstats a nzsession. 4
Restore Umožňuje uživateli obnovit systém. Uživatel může spustit příkaz nzrestore. 2
Unfence Umožňuje uživateli vytvořit nebo změnit uživatelem definovanou funkci nebo agregaci tak, aby běžela v nefencedovém režimu. 1
Ukončení oprávnění objektu Popis Ekvivalent Služby Azure Synapse
Abort Umožňuje uživateli přerušit relace. Platí pro skupiny a uživatele. ZRUŠIT PŘIPOJENÍ K DATABÁZI
Alter Umožňuje uživateli upravovat atributy objektu. Platí pro všechny objekty. ALTER
Vymazat Umožňuje uživateli odstranit řádky tabulky. Platí jenom pro tabulky. VYMAZAT
Drop Umožňuje uživateli vypustit objekty. Platí pro všechny typy objektů. DROP
Execute Umožňuje uživateli spouštět uživatelem definované funkce, uživatelem definované agregace nebo uložené procedury. VYKONAT
GenStats Umožňuje uživateli generovat statistiky o tabulkách nebo databázích. Uživatel může spustit příkaz GENEROVAT STATISTIKU. 2
Groom Umožňuje uživateli uvolnit místo na disku pro odstraněné nebo zastaralé řádky a změnit uspořádání tabulky pomocí klíčů uspořádání nebo migrovat data pro tabulky s více uloženými verzemi. 2
Insert Umožňuje uživateli vložit řádky do tabulky. Platí jenom pro tabulky. INSERT
Seznam Umožňuje uživateli zobrazit název objektu, a to buď v seznamu, nebo jiným způsobem. Platí pro všechny objekty. LIST
Vyberte Umožňuje uživateli vybrat (nebo dotazovat) řádky v tabulce. Platí pro tabulky a zobrazení. SELECT
Truncate Umožňuje uživateli odstranit všechny řádky z tabulky. Platí jenom pro tabulky. TRUNCATE
Aktualizace Umožňuje uživateli upravit řádky tabulky. Platí jenom pro tabulky. Aktualizace

Poznámky k tabulce:

  1. V Azure Synapse neexistuje žádný přímý ekvivalent této funkce.

  2. Tyto funkce Netezza se v Azure Synapse zpracovávají automaticky.

  3. Funkce Azure Synapse CREATE FUNCTION zahrnuje agregační funkce Netezza.

  4. Tyto funkce se spravují automaticky systémem nebo prostřednictvím webu Azure Portal ve službě Azure Synapse. Podívejte se na další část o provozních aspektech.

Přečtěte si o oprávněních zabezpečení služby Azure Synapse Analytics.

Důležité informace o provozu

Návod

Provozní úlohy jsou nezbytné k tomu, aby všechny datové sklady fungovaly efektivně.

Tato část popisuje, jak implementovat typické provozní úlohy Netezza v Azure Synapse s minimálním rizikem a dopadem na uživatele.

Stejně jako u všech produktů datového skladu existují v produkčním prostředí průběžné úlohy správy, které jsou nezbytné k efektivnímu provozu systému a k poskytování dat pro monitorování a auditování. Využití prostředků a plánování kapacity pro budoucí růst také spadá do této kategorie, stejně jako zálohování a obnovení dat.

Úlohy správy Netezza obvykle spadají do dvou kategorií:

  • Správa systému, která spravuje hardware, nastavení konfigurace, stav systému, přístup, místo na disku, využití, upgrady a další úlohy.

  • Správa databáze, která spravuje uživatelské databáze a jejich obsah, načítání dat, zálohování dat, obnovení dat a řízení přístupu k datům a oprávněním.

IBM Netezza nabízí několik způsobů nebo rozhraní, které můžete použít k provádění různých úloh správy systému a databází:

  • Příkazy Netezza (nz* příkazy) jsou nainstalovány v /nz/kit/bin adresáři na hostiteli Netezza. U mnoha nz* příkazů musíte být schopni se přihlásit k systému Netezza, abyste k těmto příkazům měli přístup a mohli je spustit. Ve většině případů se uživatelé přihlašují jako výchozí nz uživatelský účet, ale v systému můžete vytvářet další uživatelské účty Linuxu. Některé příkazy vyžadují, abyste zadali uživatelský účet databáze, heslo a databázi, abyste měli oprávnění k provedení úlohy.

  • Klientské sady rozhraní příkazového řádku Netezza obsahují podmnožinu příkazů nz*, které lze spustit z klientských systémů Windows a UNIX. Klientské příkazy můžou také vyžadovat, abyste zadali uživatelský účet databáze, heslo a databázi, abyste zajistili, že máte oprávnění správce databáze a objektu k provedení úlohy.

  • Příkazy SQL podporují úlohy správy a dotazy v rámci relace databáze SQL. Příkazy SQL můžete spustit z interpretu příkazu Netezza nzsql nebo prostřednictvím rozhraní SQL API, jako jsou ODBC, JDBC a Zprostředkovatel OLE DB. Abyste mohli spouštět příkazy SQL s odpovídajícími oprávněními pro dotazy a úlohy, které provádíte, musíte mít uživatelský účet databáze.

  • Nástroj NzAdmin je rozhraní Netezza, které běží na klientských pracovních stanicích Systému Windows pro správu systémů Netezza.

I když jsou koncepčně úlohy správy a provozu pro různé datové sklady podobné, jednotlivé implementace se mohou lišit. Obecně platí, že moderní cloudové produkty, jako je Azure Synapse, obvykle zahrnují automatizovanější a "spravovaný systém" přístup (na rozdíl od "ručního" přístupu ve starších datových skladech, jako je Netezza).

Následující části porovnávají možnosti Netezza a Azure Synapse pro různé provozní úlohy.

Úkoly úklidu

Návod

Úklidové úkony v produkčním skladu přispívají k efektivnímu fungování a optimalizují využití prostředků, jako jsou skladovací kapacity.

Ve většině starších prostředích datového skladu jsou běžné úlohy "úklidu" časově náročné. Uvolněte místo na disku odebráním starých verzí aktualizovaných nebo odstraněných řádků nebo změna uspořádání dat, souborů protokolů nebo bloků indexu pro efektivitu (GROOM a VACUUM v Netezza). Shromažďování statistik je také potenciálně časově náročný úkol, který je vyžadován po hromadném příjmu dat, aby optimalizátoru dotazů poskytl aktuální data, na nichž budou založeny plány provádění dotazů.

Netezza doporučuje shromažďovat statistiky následujícím způsobem:

  • Shromážděte statistiky o nevyplněných tabulkách a nastavte histogram intervalu používaný při interním zpracování. Tento počáteční sběr zrychluje následný sběr statistik. Po přidání dat nezapomeňte znovu sesbírat statistiky.

  • Shromážděte statistiky fází prototypu pro nově naplněné tabulky.

  • Shromážděte statistiky produkční fáze po významném procentu změny tabulky nebo oddílu (přibližně 10% řádků). Při velkých objemech neunikátních hodnot, jako jsou data nebo časová razítka, může být výhodné znovu shromáždit na 7 %.

  • Shromážděte statistiky produkčního období po vytvoření uživatelů a aplikování zátěže reálných dotazů na databázi (po dobu až tří měsíců dotazování).

  • Shromážděte statistiky během prvních několika týdnů po upgradu nebo migraci během období nízkého využití procesoru.

Databáze Netezza obsahuje mnoho tabulek protokolů ve slovníku dat, které shromažďují data, a to buď automaticky, nebo po povolení určitých funkcí. Protože data protokolu se v průběhu času zvyšují, odstraňte starší informace, aby se zabránilo vyčerpání trvalého místa. K dispozici jsou možnosti automatizace údržby těchto protokolů.

Návod

Automatizace a monitorování úloh úklidu v Azure

Azure Synapse nabízí možnost automatického vytváření statistik, aby je bylo možné podle potřeby použít. Defragmentaci indexů a datových bloků proveďte ručně, podle plánu nebo automaticky. Využití nativních integrovaných funkcí Azure může snížit úsilí potřebné ve cvičení migrace.

Monitorování a auditování

Návod

Portál výkonu Netezza je doporučenou metodou monitorování a protokolování pro systémy Netezza.

Netezza poskytuje portál výkonu Netezza pro monitorování různých aspektů jednoho nebo více systémů Netezza, včetně aktivit, výkonu, řízení front a využití prostředků. Portál výkonu Netezza je interaktivní grafické uživatelské rozhraní, které uživatelům umožňuje přejít k podrobnostem na nízké úrovni pro libovolný graf.

Návod

Azure Portal poskytuje uživatelské rozhraní pro správu úloh monitorování a auditování pro všechna data a procesy Azure.

Podobně Azure Synapse poskytuje bohaté prostředí pro monitorování na webu Azure Portal, které poskytuje přehled o úlohách datového skladu. Azure Portal je doporučeným nástrojem při monitorování datového skladu, protože poskytuje konfigurovatelná období uchovávání, upozornění, doporučení a přizpůsobitelné grafy a řídicí panely pro metriky a protokoly.

Portál také umožňuje integraci s dalšími monitorovacími službami Azure, jako jsou Operations Management Suite (OMS) a Azure Monitor (protokoly), aby poskytovala ucelené prostředí monitorování nejen pro datový sklad, ale také celou analytickou platformu Azure pro integrované prostředí monitorování.

Návod

Metriky nízké úrovně a celého systému se automaticky protokolují ve službě Azure Synapse.

Statistiky využití prostředků pro Azure Synapse se automaticky protokolují v rámci systému. Metriky pro každý dotaz zahrnují statistiky využití procesoru, paměti, mezipaměti, vstupně-výstupních operací a dočasného pracovního prostoru a také informace o připojení, jako jsou neúspěšné pokusy o připojení.

Azure Synapse poskytuje sadu Dynamická spravovací zobrazení (DMV). Tato zobrazení jsou užitečná při aktivním řešení potíží a identifikaci kritických bodů výkonu ve vaší úloze.

Další informace najdete v tématu Možnosti operací a správy Azure Synapse.

Vysoká dostupnost (HA) a zotavení po havárii (DR)

Zařízení Netezza jsou redundantní, odolné proti chybám a v systému Netezza existují různé možnosti, které umožňují vysokou dostupnost a zotavení po havárii.

Přidání služeb replikace IBM Netezza pro zotavení po havárii zlepšuje odolnost proti chybám rozšířením redundance napříč místními a širokými sítěmi.

Ibm Netezza Replication Services chrání před ztrátou dat synchronizací dat v primárním systému (primárním uzlu) s daty na jednom nebo více cílových uzlech (podřízených uzlech). Tyto uzly tvoří replikační sadu.

High-Availability Linux (označovaný také jako Linux-HA) poskytuje funkce převzetí služeb při selhání z primárního nebo aktivního hostitele Netezza do sekundárního nebo pohotovostního hostitele Netezza. Hlavní démon pro správu clusteru v řešení Linux-HA se nazývá Heartbeat. Heartbeat sleduje hostitele a spravuje komunikaci a kontrolu stavu služeb.

Každá služba je prostředek.

Netezza seskupuje služby specifické pro Netezza do skupiny prostředků nps. Když Heartbeat zjistí problémy, které znamenají selhání hostitelského systému nebo ztrátu služby pro uživatele Netezza, může zahájit přepnutí na záložního hostitele.

Distribuovaný replikovaný blokový disk (DRBD) je ovladač blokového zařízení, který zrcadlí obsah blokových zařízení (pevné disky, oddíly a logické svazky) mezi hostiteli. Netezza používá replikaci DRBD pouze na oddílech /nz a /export/home . Při zápisu nových dat do oddílu /nz a oddílu /export/home na primárním hostiteli software DRBD automaticky provede stejné změny v oddílu /nz a /export/home pohotovostního hostitele.

Návod

Azure Synapse vytváří snímky automaticky, aby se zajistily rychlé doby obnovení.

Azure Synapse využívá snímky databáze k zajištění vysoké dostupnosti skladu. Snímek datového skladu vytvoří bod obnovení, který lze použít k obnovení nebo zkopírování datového skladu do předchozího stavu. Vzhledem k tomu, že Azure Synapse je distribuovaný systém, snímek datového skladu se skládá z mnoha souborů, které jsou ve službě Azure Storage. Snímky zachycují přírůstkové změny dat uložených v datovém skladu.

Návod

Pomocí uživatelem definovaných snímků definujte bod obnovení před aktualizacemi klíče.

Návod

Microsoft Azure poskytuje automatické zálohování do samostatného geografického umístění, které umožňuje disaster recovery (zotavení po havárii).

Azure Synapse automaticky po celý den vytváří snímky a vytváří body obnovení, které jsou k dispozici po dobu sedmi dnů. Tuto dobu uchovávání nemůžete změnit. Azure Synapse podporuje osmihodinový cíl bodu obnovy (RPO). Datový sklad je možné obnovit v primární oblasti z libovolného snímku pořízeného za posledních 7 dnů.

Uživatelsky definované body obnovení jsou také podporovány, což umožňuje manuální spouštění snímků k vytvoření bodů obnovení datového skladu před a po velkých úpravách. Tato funkce zajišťuje, že body obnovení jsou logicky konzistentní, což poskytuje dodatečnou ochranu dat pro požadovaný cíl RPO kratší než 8 hodin v případě jakýchkoli přerušení úloh nebo chyb uživatelů.

Stejně jako snímky popsané výše provádí Azure Synapse také standardní geografickou zálohu jednou denně do spárovaného datového centra. RPO pro geografické obnovení je 24 hodin. Geografickou zálohu můžete obnovit na server v jakékoli jiné oblasti, kde je podporována služba Azure Synapse. Geografická záloha zajišťuje obnovení datového skladu v případě, že body obnovení v primární oblasti nejsou dostupné.

Správa úloh

Návod

V produkčním datovém skladu jsou obvykle smíšené úlohy s různými charakteristikami využití prostředků spuštěnými souběžně.

Netezza zahrnuje různé funkce pro správu úloh:

Technika Popis
Pravidla plánovače Pravidla plánovače ovlivňují plánování plánů. Každé pravidlo plánovače určuje podmínku nebo sadu podmínek. Pokaždé, když plánovač obdrží plán, vyhodnotí všechna pravidla úprav plánovače a provede příslušné akce. Pokaždé, když plánovač vybere plán pro spuštění, vyhodnotí všechna omezení pravidel plánovače. Plán se provede jenom v případě, že by to nepřekročilo limit, který je stanoven omezením daným plánovacím pravidlem. Jinak musí plán počkat. Díky tomu můžete klasifikovat plány a manipulovat s nimi způsobem, který ovlivňuje ostatní techniky WLM (SQB, GRA a PQE).
Zaručené přidělení prostředků (GRA) Můžete přiřadit minimální podíl a maximální procento celkových systémových prostředků entit, které se nazývají skupiny prostředků. Plánovač zajišťuje, aby každá skupina prostředků přijímala systémové prostředky v poměru k minimálnímu podílu. Skupina prostředků obdrží větší podíl prostředků, pokud jsou jiné skupiny prostředků nečinné, ale nikdy neobdrží více, než je nakonfigurované maximální procento. Každý plán je přidružený ke skupině prostředků a nastavení této skupiny prostředků určuje, jaká část dostupných systémových prostředků se má zpřístupnit ke zpracování plánu.
Krátké předpojatosti dotazů (SQB) Prostředky (tj. plánování slotů, paměti a preferenčních front) jsou vyhrazené pro krátké dotazy. Krátký dotaz je dotaz, pro který je odhad nákladů menší než zadaná maximální hodnota (výchozí hodnota je dvě sekundy). SQB můžou krátké dotazy běžet i v případě, že systém zpracovává jiné, delší dotazy.
Provádění dotazů s určením priority (PQE) Na základě nastavení, která nakonfigurujete, systém každému dotazu přiřadí prioritu ( kritickou, vysokou, normální nebo nízkou). Priorita závisí na faktorech, jako je uživatel, skupina nebo relace přidružená k dotazu. Systém pak může prioritu použít jako základ pro přidělování prostředků.

Azure Synapse automaticky protokoluje statistiky využití prostředků. Metriky zahrnují statistiky využití procesoru, paměti, mezipaměti, vstupně-výstupních operací a dočasného pracovního prostoru pro každý dotaz. Azure Synapse také protokoluje informace o připojení, jako jsou neúspěšné pokusy o připojení.

Návod

Metriky nízké úrovně a celého systému se automaticky protokolují v rámci Azure.

V Azure Synapse jsou třídy prostředků předem určené limity prostředků, které řídí výpočetní prostředky a souběžnost spouštění dotazů. Třídy prostředků vám můžou pomoct se správou úloh nastavením limitů počtu dotazů, které běží souběžně, a výpočetních prostředků přiřazených jednotlivým dotazům. Existuje kompromis mezi pamětí a souběžností.

Azure Synapse podporuje tyto základní koncepty správy úloh:

  • Klasifikace úloh: K nastavení úrovní důležitosti můžete skupině úloh přiřadit požadavek.

  • Důležitost úloh: Můžete ovlivnit pořadí, ve kterém požadavek získá přístup k prostředkům. Ve výchozím nastavení se dotazy z fronty uvolňují na principu „první dovnitř, první ven“, jakmile jsou dostupné prostředky. Důležitost úloh umožňuje dotazům s vyšší prioritou přijímat prostředky okamžitě bez ohledu na frontu.

  • Izolace úloh: Můžete rezervovat prostředky pro skupinu úloh, přiřadit maximální a minimální využití pro různé prostředky, omezit prostředky, které může skupina požadavků spotřebovávat, a nastavit hodnotu časového limitu pro automatické ukončení runaway dotazů.

Spouštění smíšených úloh může představovat problémy s prostředky v zaneprázdněných systémech. Úspěšné schéma správy úloh efektivně spravuje prostředky, zajišťuje vysoce efektivní využití prostředků a maximalizuje návratnost investic (ROI). Klasifikace úloh, důležitost úloh a izolace úloh poskytuje větší kontrolu nad tím, jak zatížení využívá systémové prostředky.

Průvodce správou úloh popisuje techniky analýzy úlohy, správu a monitorování důležitosti úloh](.). /.. /sql-data-warehouse/sql-data-warehouse-how-to-manage-and-monitor-workload-importance.md) a postup převodu třídy prostředků na skupinu úloh. Pomocí portálu Azure a T-SQL dotazů na DMV monitorujte zátěž, aby se zajistilo efektivní využití příslušných prostředků. Azure Synapse poskytuje sadu zobrazení dynamické správy (DMV) pro monitorování všech aspektů správy úloh. Tato zobrazení jsou užitečná při aktivním řešení potíží a identifikaci kritických bodů výkonu ve vaší úloze.

Tyto informace se dají použít také k plánování kapacity a určení prostředků potřebných pro další uživatele nebo úlohy aplikace. To také platí pro plánování škálování nahoru/dolů výpočetních prostředků pro nákladově efektivní podporu pulsujících úloh, jako jsou úlohy s dočasnými intenzivními nárůsty aktivity obklopené obdobím zřídka se vyskytující aktivity.

Další informace o správě úloh v Azure Synapse najdete v tématu Správa úloh pomocí tříd prostředků.

Škálování výpočetních prostředků

Návod

Hlavní výhodou Azure je možnost nezávisle vertikálně navýšit a snížit kapacitu výpočetních prostředků na vyžádání, aby zvládla nákladově efektivní zpracování úloh ve špičce.

Architektura Azure Synapse odděluje úložiště a výpočetní prostředky, což umožňuje nezávislé škálování. V důsledku toho je možné výpočetní prostředky škálovat tak, aby splňovaly požadavky na výkon nezávisle na úložišti dat. Můžete také pozastavit výpočetní prostředky a obnovit jejich chod. Přirozenou výhodou této architektury je, že fakturace výpočetních prostředků a úložiště je oddělená. Pokud se datový sklad nepoužívá, můžete ušetřit náklady na výpočetní prostředky pozastavením výpočetních prostředků.

Výpočetní prostředky lze navýšit nebo snížit úpravou nastavení jednotek pro datový sklad. Načítání a výkon dotazů se bude při přidávání dalších jednotek datového skladu zvyšovat lineárně.

Přidání dalších výpočetních uzlů zvyšuje výpočetní výkon a schopnost využívat více paralelního zpracování. S rostoucím počtem výpočetních uzlů se počet distribucí na výpočetní uzel snižuje a poskytuje větší výpočetní výkon a paralelní zpracování dotazů. Podobně snížení počtu jednotek datového skladu snižuje počet výpočetních uzlů, což snižuje výpočetní prostředky pro dotazy.

Další kroky

Další informace o vizualizaci a vytváření sestav najdete v dalším článku této série: Vizualizace a vytváření sestav pro migrace Netezza.

  • Last updated on