Klasifikace dat

Tato stránka popisuje, jak pomocí klasifikace dat Databricks v Katalogu Unity automaticky klasifikovat a označit citlivá data v katalogu.

Katalogy dat můžou mít obrovské množství dat, která často obsahují známá a neznámá citlivá data. Pro datové týmy je důležité pochopit, jaký druh citlivých dat v každé tabulce existuje, aby mohli řídit i demokratizovat přístup k datům.

K vyřešení tohoto problému používá Služba Databricks Data Classification agenta AI k automatické klasifikaci a označování tabulek v katalogu. Díky tomu můžete objevovat citlivá data a aplikovat na výsledky kontrolní mechanismy správy pomocí nástrojů, jako je řízení přístupu založené na atributech v katalogu Unity. Seznam podporovaných značek najdete v tématu Podporované značky klasifikace.

Pomocí této funkce můžete:

• Klasifikovat data: Stroj používá agentní AI systém k automatické klasifikaci a označování všech tabulek v Unity Catalogu.
• Optimalizace nákladů prostřednictvím inteligentního prohledávání: Systém inteligentně určuje, kdy se mají skenovat data pomocí katalogu Unity a modulu data intelligence. To znamená, že kontrola je přírůstková a optimalizovaná, aby se zajistila klasifikace všech nových dat bez ruční konfigurace.
• Kontrola a ochrana citlivých dat: Zobrazení výsledků vám pomůže při prohlížení výsledků klasifikace a ochraně citlivých dat označováním a vytvářením zásad řízení přístupu pro každou třídu.

Důležité

Klasifikace dat Databricks používá k ukládání výsledků klasifikace výchozí úložiště . Za úložiště se vám neúčtuje.

Databricks Data Classification používá pro klasifikaci velký jazykový model (LLM).

Požadavky

• Váš pracovní prostor musí mít k dispozici bezserverové výpočetní prostředky (ve výchozím nastavení jsou povolené v pracovních prostorech s katalogem Unity).
• Pokud chcete povolit klasifikaci dat, musíte katalog vlastnit nebo k němu mít USE CATALOGMANAGE oprávnění.
• Pokud chcete povolit automatické označování pro katalog, musíte mít USE CATALOG u katalogu, APPLY TAG u katalogu a ASSIGN u aplikované značky.
• Pokud chcete zobrazit výsledky klasifikace v uživatelském rozhraní, musíte mít USE CATALOG nebo MANAGE (SELECT + USE SCHEMA) v katalogu. Pokud chcete zobrazit ukázkové hodnoty spojené s detekcemi, musíte mít SELECT v systémové tabulce Výsledků.

Poznámka:

Ve výchozím nastavení mají oprávnění MANAGE a ASSIGN k systémem řízeným štítkům klasifikace dat pouze správci účtu. Správci účtů můžou udělit oprávnění MANAGE a ASSIGN pro jednotlivé spravované značky jiným uživatelům, instančním objektům nebo skupinám. Viz Správa oprávnění ke spravovaným značkám.

Použití klasifikace dat

Klasifikaci dat můžete povolit pro více katalogů najednou ze stránky výsledků nebo nakonfigurovat jednotlivé katalogy s podrobnějším řízením na úrovni schématu.

Povolení více katalogů

1. Na stránce Výsledků klasifikace dat klikněte na Konfigurovat.
2. Vyberte katalogy, které chcete povolit, nebo vyberte všechny dostupné katalogy v pracovním prostoru.
3. Klikněte na Povolit.

Povolení všech dostupných katalogů nepovoluje automaticky budoucí katalogy. Pokud chcete klasifikovat nový katalog, vraťte se do dialogového okna Konfigurovat a povolte ho.

Umožnit jeden katalog s výběrem schématu

Výběr konkrétních schémat v katalogu:

1. Přejděte do katalogu a klikněte na kartu Podrobnosti .

   

2. Vedle klasifikace dat klikněte na tlačítko Povolit .

3. Zobrazí se dialogové okno Klasifikace dat . Ve výchozím nastavení jsou zahrnuta všechna schémata. Pokud chcete zahrnout pouze některá schémata, vyberte je v rozevírací nabídce Schémata . Můžete také vybrat zásadu využití.

   

4. Klikněte na Uložit.

Tím se vytvoří úloha na pozadí, která postupně prohledá všechny tabulky v katalogu nebo vybraných schématech.

Modul klasifikace spoléhá na inteligentní kontrolu, která určuje, kdy se má prohledávat tabulka. Nové tabulky a sloupce v katalogu se obvykle prohledávají do 24 hodin od vytvoření.

Zobrazení výsledků klasifikace

Pokud chcete zobrazit výsledky klasifikace, klikněte na Zobrazit výsledky vedle nastavení Klasifikace dat .

Tím se otevře uživatelské rozhraní klasifikace dat pro katalog. K zobrazení výsledků klasifikace se vyžaduje bezserverový SQL Warehouse.

Agregované výsledky ve všech klasifikovaných katalogech v metastoru můžete zobrazit také pomocí selektoru katalogu v levém horním rohu. V rozevírací nabídce zvolte Všechny katalogy .

Pro každý typ klasifikace se v tabulce zobrazí:

• Zjištěné sloupce: Počet sloupců, ve kterých byla zjištěna klasifikace.
• Automatické označování: Stav označování pro danou klasifikaci – Aktivní nebo Neaktivní. V zobrazení metastoru stav Částečně aktivní indikuje, že označování je povolené v některých, ale ne ve všech katalogech.
• User Access (posledních 7d): Počet jedinečných uživatelů, kteří přistupovali k nemaskovaným vs. maskovaným datům této klasifikace za posledních 7 dnů. Tato možnost slouží k vyhodnocení expozice citlivých dat v rámci vaší organizace.

Kontrola detekcí

Chcete-li zkontrolovat výsledky pro konkrétní typ klasifikace, klikněte na tlačítko Zkontrolovat ve sloupci úplně vpravo. Zobrazí se panel se dvěma kartami:

• Zjištěné sloupce: Zobrazí sloupce, ve kterých byla zjištěna značka klasifikace s vysokou jistotou seřazenou podle nejnovější detekce. Zahrnuje také graf detekce v průběhu času a seznam zjištěných sloupců s ukázkovými hodnotami. Kliknutím na libovolný pruh v grafu zobrazíte konkrétní detekce pro dané datum. Ukázkové hodnoty se zobrazí jenom v případě, že máte požadovaná oprávnění k zobrazení výsledků klasifikace.
• Přístup uživatele: Zobrazí seznam všech uživatelů, kteří přistupovali ke sloupcům s touto značkou klasifikace, a zobrazuje jejich e-mail a uživatelské jméno spolu s tím, jestli mají maskovaný nebo odmaskovaný přístup. Zobrazí se také všechny zásady řízení přístupu na základě atributů (ABAC) přiřazené k této značce klasifikace. Při prohlížení výsledků pro jeden katalog můžete vytvořit novou zásadu ABAC přímo z panelu.

Pokud jsou nějaké zjištěné sloupce nesprávné, můžete kliknout na ikonu Vyloučit napravo od položky. Viz Vyloučení detekcí.

Povolení automatického označování

Pokud identifikované sloupce odpovídají vašim očekáváním, můžete pro značku klasifikace povolit automatické označování. Pokud je povolené automatické označování, označí se všechny existující a budoucí detekce této klasifikace.

Automatické označování můžete nakonfigurovat na dvou úrovních:

• Úroveň metastoru: Povolí nebo zakáže všechny katalogy najednou. Musíte být správcem metastoru a mít ASSIGN u použité značky.
• Úroveň katalogu: Povolí nebo zakáže pouze aktuální katalog. Nastavení na úrovni katalogu má přednost před nastavením na úrovni metastoru. Musíte mít USE CATALOG a APPLY TAG v katalogu a ASSIGN na použité značce.

Na úrovni katalogu má automatické označování tři stavy:

• Výchozí (zděděno): Katalog dědí nastavení značkování z úrovně metastore.
• Aktivní: Označování je pro tento katalog explicitně povolené bez ohledu na nastavení na úrovni metastoru.
• Neaktivní: Označování je pro tento katalog explicitně zakázáno bez ohledu na nastavení na úrovni metastoru.

Když označování zakážete, nebudou použity žádné budoucí značky, ale stávající značky se neodeberou.

Poznámka:

Když povolíte automatické označování, tagy nejsou doplněny zpětně okamžitě. Vyplní se při dalším skenování, které by se mělo projevit do 24 hodin. Následné klasifikace budou označeny okamžitě.

Vyloučení detekcí

Důležité

Vyloučení detekce a jejich použití ke zlepšení budoucí přesnosti klasifikace jsou v beta verzi.

Na panelu revizí můžete vyloučit detekce jednotlivých sloupců. Vyloučení detekce:

• Odebere z daného sloupce všechny existující klasifikační značky.
• Zabrání budoucím skenům v opětovném použití značky u daného sloupce.
• Poskytuje zpětnou vazbu, která zlepšuje přesnost výsledků budoucí klasifikace.

Pokud chcete detekci vyloučit, klikněte na ikonu Vyloučit pro odpovídající sloupec na panelu revizí. Pokud chcete detekci znovu zahrnout, klikněte znovu na ikonu.

Systémová tabulka výsledků

Klasifikace dat vytvoří systémovou tabulku s názvem system.data_classification.results pro ukládání výsledků, které jsou ve výchozím nastavení přístupné pouze správci účtu. Tuto tabulku může sdílet správce účtu. Tabulka je přístupná jenom v případech, kdy používáte výpočetní prostředky bez serveru. Podrobnosti o této tabulce najdete v tématu Referenční informace o systémové tabulce klasifikace dat.

Důležité

Tabulka system.data_classification.results výsledků obsahuje všechny výsledky klasifikace v celém metastoru a obsahuje ukázkové hodnoty z tabulek v každém katalogu. Tuto tabulku byste měli sdílet pouze s uživateli, kteří mají oprávnění k zobrazení výsledků klasifikace v rámci metastoru, včetně ukázkových hodnot.

Uživatelé s SELECT přístupem k této tabulce můžou také zobrazit ukázkové hodnoty spojené s detekcemi na stránce výsledků klasifikace dat.

Nastavení ovládacích prvků zásad správného řízení na základě výsledků klasifikace dat

Maskování citlivých dat pomocí zásad ABAC

Databricks doporučuje používat řízení přístupu na základě atributů v katalogu Unity k vytváření ovládacích prvků zásad správného řízení na základě výsledků klasifikace dat.

Pokud chcete vytvořit zásadu ze stránky výsledků klasifikace dat, klikněte na Zkontrolovat značku klasifikace, otevřete kartu Přístup uživatele a klikněte na Nová zásada. Formulář zásad je předvyplněný k zakrytí sloupců se značkou klasifikace, která je právě kontrolována. Pokud chcete data maskovat, zadejte libovolnou funkci maskování zaregistrovanou v katalogu Unity a klikněte na Uložit.

Můžete také vytvořit zásadu, která pokrývá více značek klasifikace, změnou Když sloupec na sloupec splňuje podmínku a přiřadit více značek.

Pokud například chcete vytvořit zásadu s názvem Důvěrné, která maskuje jakékoli jméno, e-mail nebo telefonní číslo, nastavte podmínku splnění tak, aby odpovídala has_tag("class.name") OR has_tag("class.email_address") OR has_tag("class.phone_number").

Identifikace a vymazání podle GDPR

Tento ukázkový poznámkový blok ukazuje, jak můžete pomocí klasifikace dat pomoct se zjišťováním a odstraněním dat v případě dodržování předpisů GDPR.

Zjišťování a odstraňování GDPR pomocí poznámkového bloku klasifikace dat

Pořiďte si notebook

Zpracování nesprávných značek

Pokud je klasifikace nesprávná, vylučte detekci z panelu revizí. Vyloučení detekce odebere značku, zabrání jejímu opětovnému použití a zlepší přesnost budoucích kontrol. Viz Vyloučení detekcí.

Chyby skenování

Pokud během kontroly dojde k nějakým chybám, zobrazí se v pravém horním rohu tabulky výsledků tlačítko Chyby .

Kliknutím na tlačítko zobrazíte tabulky, které selhaly při kontrole a přidružených chybových zprávách.

Ve výchozím nastavení se chyby, ke kterým došlo u jednotlivých tabulek, přeskočí a zopakují se následující den.

Zobrazit si výdaje na klasifikaci dat

Pokud chcete zjistit, jak se klasifikace dat účtuje, podívejte se na stránku s cenami. Výdaje související s klasifikací dat můžete zobrazit spuštěním dotazu nebo zobrazením řídicího panelu využití.

Poznámka:

Počáteční skenování je nákladnější než následné skenování ve stejném katalogu, jelikož tato skenování jsou přírůstková a mají obvykle nižší náklady.

Zobrazení využití ze systémové tabulky system.billing.usage

Náklady na klasifikaci dat můžete zjistit z system.billing.usage. Pole created_by a catalog_id lze je volitelně použít k rozdělení nákladů:

• created_by: Zahrňte, abyste viděli náklady na uživatele, který spustil využití.
• catalog_id: Zahrnout a zobrazit náklady podle katalogu. ID katalogu se zobrazí v system.data_classification.results tabulce.

Příklad dotazu za posledních 30 dnů:

SELECT
   usage_date,
   identity_metadata.created_by,
   usage_metadata.catalog_id,
   SUM(usage_quantity) AS dbus
FROM
   system.billing.usage
WHERE
   usage_date >= DATE_SUB(CURRENT_DATE(), 30)
  AND billing_origin_product = 'DATA_CLASSIFICATION'
GROUP BY
   usage_date,
   created_by,
   catalog_id
ORDER BY
   usage_date DESC,
   created_by;

Pokud chcete vypočítat celkové náklady na dolar, spojte se s system.billing.list_prices. Následující příklad dotazu používá pojmenovaný parametr :add_on_rate jako násobitel ceníkové ceny. Nastavte na 1, abyste použili ceníkovou cenu přímo, nebo na hodnotu menší než 1, aby se odrazila vyjednaná sleva (například 0.9 pro slevu 10 %).

Příklad dotazu na celkové náklady na dolar za posledních 30 dnů:

SELECT
  u.usage_date,
  SUM(u.usage_quantity * lp.pricing.effective_list.default) * :add_on_rate
    AS `Data Classification Dollar Cost`
FROM system.billing.usage AS u
JOIN system.billing.list_prices AS lp
  ON lp.sku_name = u.sku_name
WHERE
  u.billing_origin_product = 'DATA_CLASSIFICATION'
  AND u.usage_end_time >= lp.price_start_time
  AND (lp.price_end_time IS NULL OR u.usage_end_time < lp.price_end_time)
  AND u.usage_date >= DATE_ADD(CURRENT_DATE(), -30)
GROUP BY
  u.usage_date
ORDER BY
  u.usage_date DESC;

Zobrazit využití z řídicího panelu využití

Pokud už máte ve svém pracovním prostoru nakonfigurovaný řídicí panel využití, můžete ho použít k filtrování využití tak, že vyberete zdroj fakturace Project označenou jako Klasifikace dat. Pokud nemáte nakonfigurovaný řídicí panel využití, můžete ho importovat a použít stejné filtrování. Podrobnosti najdete na řídicích panelech využití.

Podporované značky klasifikace

Úplný seznam podporovaných značek uspořádaných podle globálních značek, regionálních značek a rozhraní dodržování předpisů (PII, GDPR, HIPAA, DPDPA) najdete v tématu Podporované značky klasifikace.

Omezení

• Zobrazení a metrická zobrazení nejsou podporována. Pokud je zobrazení založené na existujících tabulkách, databricks doporučuje klasifikovat podkladové tabulky, aby zjistili, jestli obsahují citlivá data.