Azure Data Lake Storage klíčových aspektů

  • Článek

Seznamte se s klíčovými aspekty úložiště pro vaše úložiště Azure Data Lake.

Správa životního cyklu

Azure Storage nabízí různé úrovně přístupu, které umožňují ukládat data objektů blob co nejhospodárnějším způsobem. Dostupné úrovně přístupu:

  • Horké: Optimalizováno pro ukládání dat, ke kterým se často přistupuje.
  • Cool: Optimalizováno pro ukládání dat, ke kterým se přistupuje zřídka. Data se ukládají po dobu nejméně 30 dnů.
  • Studená úroveň: Optimalizováno pro ukládání dat, která se často používají nebo se nemění. Data se ukládají po dobu nejméně 90 dnů. Úroveň Zřídkavý přístup má v porovnání se studenou úrovní nižší náklady na úložiště a vyšší náklady na přístup.
  • Archiv: Optimalizováno pro ukládání zřídka používaných dat. Data se ukládají po dobu nejméně 180 dnů s flexibilními požadavky na latenci v řádu hodin.

Při používání úrovní přístupu vezměte v úvahu následující informace:

  • Na úrovni účtu je možné nastavit pouze horkou a studenou úroveň přístupu. Archivní úroveň přístupu není k dispozici na úrovni účtu.

  • Horká, studená a archivní úroveň je možné nastavit na úrovni objektu blob během nahrávání nebo po nahrání.

  • Data na studené úrovni mají mírně nižší dostupnost, ale nabízejí stejnou vysokou odolnost, latenci načítání a propustnost jako data horké vrstvy. U dat ve studené úrovni může být mírně nižší dostupnost a vyšší náklady na přístup přijatelné kompromisy za nižší celkové náklady na úložiště v porovnání s horkou úrovní.

  • Archivní úložiště ukládá data offline a nabízí nejnižší náklady na úložiště. Zároveň ale přináší nejvyšší náklady na dosazování dat a přístup.

Další informace najdete v tématu Horká, Studená a Archivní úroveň přístupu k datům objektů blob.

Upozornění

V případě analýzy v cloudovém měřítku doporučujeme implementovat správu životního cyklu pomocí vlastní mikroslužby a pečlivě zvážit dopad přesunu dat zjistitelných uživateli do studeného úložiště.

Pro dobře známé úlohy byste měli přesouvat jenom části datového jezera na studenou úroveň.

Připojení k datovým jezerům

Každé z vašich datových jezer by mělo používat privátní koncové body vložené do virtuální sítě vaší datové cílové zóny. Pokud chcete poskytnout přístup napříč cílovými zónami, propojte cílové zóny dat prostřednictvím partnerského vztahu virtuálních sítí. Toto připojení poskytuje optimální řešení jak z hlediska nákladů, tak z hlediska řízení přístupu.

Další informace najdete v tématech Privátní koncové body a Cílová zóna správy dat do cílové zóny dat.

Důležité

K datům z cílové zóny dat je možné přistupovat z jiné cílové zóny dat přes partnerský vztah virtuální sítě mezi zónami. K tomu slouží privátní koncové body přidružené ke každému účtu Data Lake. Doporučujeme vypnout veškerý veřejný přístup k jezerům a používat privátní koncové body. Provozní tým platformy by měl řídit síťové připojení napříč vašimi cílovými zónami dat.

Obnovitelné odstranění pro kontejnery

Obnovitelné odstranění kontejnerů chrání vaše data před náhodným nebo škodlivým odstraněním. Pokud pro svůj účet úložiště povolíte obnovitelné odstranění kontejnerů, budou se odstraněné kontejnery a jejich obsah uchovávat ve službě Azure Storage po vámi zvolenou dobu. Během doby uchovávání dat můžete obnovit dříve odstraněné kontejnery. Obnovením kontejneru se také obnoví všechny objekty blob, které byly v daném kontejneru při jeho odstranění.

Pokud chcete dosáhnout komplexní ochrany dat objektů blob, povolte následující funkce ochrany dat:

Upozornění

Odstranění účtu úložiště nejde vrátit zpět. Obnovitelné odstranění kontejnerů nechrání před odstraněním účtu úložiště, ale jenom před odstraněním kontejnerů v rámci účtu. Pokud chcete účet úložiště chránit před odstraněním, nakonfigurujte zámek prostředku účtu úložiště. Další informace o zamykání prostředků Azure Resource Manager najdete v tématu Zamknutí prostředků, aby se zabránilo neočekávaným změnám.

Monitorování

V cílové zóně dat by se veškeré monitorování mělo odesílat k analýze do vašeho předplatného správy na podnikové úrovni .

Další informace o monitorování dat, která Azure Storage používá, najdete v tématu Monitorování prostředků Azure pomocí služby Azure Monitor. Další informace o protokolech a metrikách, které Azure Storage vytváří, najdete v tématu Monitorování Azure Blob Storage.

Položky protokolu se vytvářejí jenom v případě, že se požadavky provádějí na koncový bod služby. Protokolované typy ověřených požadavků:

  • Úspěšné požadavky
  • Neúspěšné požadavky, včetně vypršení časového limitu, omezování, chyb sítě, selhání autorizace a dalších chyb
  • Požadavky, které používají sdílený přístupový podpis (SAS) nebo OAuth, včetně neúspěšných a úspěšných požadavků
  • Požadavky na analytická data, jako jsou klasická data protokolů v kontejneru $logs a data metrik třídy v $metric tabulkách

Požadavky provedené samotnou službou úložiště, jako je vytvoření nebo odstranění protokolu, se neprotokolují. Typy zaprotokolovaných anonymních požadavků jsou:

  • Úspěšné požadavky
  • Chyby serveru
  • Chyby vypršení časového limitu u klientů i serveru
  • Neúspěšné požadavky HTTP GET s kódem chyby 304 (Not Modified)

Všechny ostatní neúspěšné anonymní požadavky se neprotokolují.

Důležité

Nastavte výchozí zásady monitorování tak, aby auditovat úložiště a odesílat protokoly do předplatného správy na podnikové úrovni.

Další kroky