Klíče spravované zákazníkem pro katalog Unity

Klíče spravované zákazníkem (CMK) pro Katalog Unity umožňují chránit data spravovaná službou Azure Databricks pomocí vlastních šifrovacích klíčů. Šifrování můžete nakonfigurovat na úrovni katalogu pomocí samostatného klíče pro každý katalog na základě požadavků na citlivost dat nebo dodržování předpisů.

Informace o CMK pro spravované služby a úložiště pracovních prostorů najdete v tématu Klíče spravované zákazníkem pro šifrování.

Co je CMK for Unity Catalog?

CMK for Unity Catalog umožňuje chránit data v katalogech Unity založených na výchozím úložišti pomocí vlastních šifrovacích klíčů ze služby Azure Key Vault.

Azure Databricks ve výchozím nastavení šifruje všechna neaktivní uložená data pomocí spravovaných klíčů. Pro podrobné řízení umožňuje CMK nakonfigurovat samostatný klíč spravovaný zákazníkem pro konkrétní katalogy. Pokud chcete odepřít přístup k datům, odvoláte klíč ve službě Azure Key Vault.

Výhody CMK pro katalog Unity

  • Podrobné řízení šifrování: Spravujte šifrování na úrovni katalogu, což umožňuje různým katalogům používat různé šifrovací klíče na základě požadavků na citlivost dat nebo dodržování předpisů.
  • Ochrana s více klíči: CMK zabezpečuje vaše data proti přístupu ve vrstvě úložiště. K datům je možné přistupovat pouze v autorizovaných pracovních prostorech na základě jemně odstupňovaných zásad katalogu Unity.
  • Dodržování předpisů a audit: Splnění zákonných požadavků na šifrovací klíče řízené zákazníkem a udržování tras auditu přístupu a použití klíčů.
  • Odvolání klíče: Odvolání přístupu ke klíči CMK ve službě Azure Key Vault za účelem zachování úplného vlastnictví vašich dat
  • Centralizovaná správa klíčů: Spravujte všechny šifrovací klíče prostřednictvím služby Azure Key Vault v souladu s vašimi stávajícími postupy zabezpečení.

Jak CMK pro Katalog Unity funguje

CMK pro katalog Unity v Azure používá klíče služby Azure Key Vault a nastavení šifrování na úrovni katalogu k vynucení šifrování řízeného zákazníkem. Následující komponenty jsou centrální pro CMK pro Katalog Unity v Azure:

  • Klíče služby Azure Key Vault: V Azure Key Vaultu vytváříte a spravujete šifrovací klíče. Tyto klíče jsou součástí hierarchie šifrování s více klíči, kterou Azure Databricks používá k ochraně dat v katalogech Unity.
  • Přímý odkaz na klíč: Na klíč služby Key Vault odkazujete přímo v katalogu pomocí identifikátoru URI klíče a ID tenanta. Není vyžadován žádný objekt konfigurace CMK na úrovni účtu.
  • ID tenanta Azure: Pokud chcete službě Azure Databricks povolit přístup ke klíči služby Key Vault, musíte zadat ID tenanta Azure.
  • Šifrování na úrovni katalogu: Šifrování konfigurujete přímo v jednotlivých katalogech pomocí Průzkumníka katalogu nebo rozhraní API katalogu Unity. Když vytváříte nebo aktualizujete katalog pomocí nastavení CMK, Azure Databricks šifruje všechna data zapsaná do katalogu pomocí klíče spravovaného zákazníkem. To platí jenom pro katalogy, které jsou ve výchozím nastavení zálohované úložištěm.
  • Dynamické vynucování: Když se data zapíšou do katalogu chráněného CMK, Azure Databricks k šifrování dat použije klíč z Key Vault. Když se data čtou, Azure Databricks požádá o dešifrování ze služby Azure Key Vault. Pokud odvoláte přístup Azure Databricks k klíči, dešifrování selže a data budou nepřístupná.

Omezení

  • Tuto funkci můžete nakonfigurovat pouze pomocí rozhraní REST API. Podpora Terraformu není dostupná.
  • Tato funkce se vztahuje pouze na katalogy zálohované výchozím úložištěm. Nevztahuje se na katalogy s externími umístěními úložiště.

Předpoklady

Než nakonfigurujete CMK pro Unity Catalog v Azure, ověřte, že máte následující:

  • Klíč služby Azure Key Vault: Ve službě Azure Key Vault musíte mít existující klíč. Pokud potřebujete, postupujte podle úvodní příručky pro Azure Key Vault a vytvořte klíč. Zkopírujte identifikátor URI klíče, který má formát: https://<vault-name>.vault.azure.net/keys/<key-name>/<key-version>.
  • ID tenanta Azure: Potřebujete ID tenanta Azure, které najdete na webu Azure Portal.
  • Oprávnění Unity Catalog: Aby bylo možné vytvořit nebo aktualizovat katalogy pomocí CMK, musíte mít oprávnění CREATE CATALOG a USE CATALOG v Unity Catalog.

Konfigurace CMK pro katalog Unity

Pomocí těchto kroků nakonfigurujte klíče spravované zákazníkem pro katalogy Unity v Azure.

Krok 1: Vytvoření nového katalogu pomocí CMK

Požadovaná oprávnění:CREATE CATALOG v katalogu Unity

Pokud chcete vytvořit nový katalog s ochranou CMK, použijte rozhraní API katalogu Unity:

curl -X POST \
  -H "Authorization: Bearer <api_token>" \
  -H "Content-Type: application/json" \
  https://<workspace_url>/api/2.1/unity-catalog/catalogs \
  -d '{
    "name": "<catalog_name>",
    "comment": "Catalog with customer-managed encryption",
    "storage_mode": "DEFAULT_STORAGE",
    "encryption_settings": {
      "azure_key_vault_key_id": "https://<vault-name>.vault.azure.net/keys/<key-name>/<key-version>",
      "azure_encryption_settings": {
        "azure_tenant_id": "<tenant-id>"
      }
    }
  }'

Nahraďte následující hodnoty:

  • <workspace_url>: Adresa URL pracovního prostoru Azure Databricks
  • <api_token>: Váš osobní přístupový token Azure Databricks
  • <catalog_name>: Název nového katalogu (například finance_data nebo customer_pii)
  • <vault-name>: Název služby Azure Key Vault
  • <key-name>: Název vašeho klíče ve službě Azure Key Vault
  • <key-version>: Konkrétní verze klíče
  • <tenant-id>: ID tenanta Azure

Krok 2: Aktualizace existujícího katalogu pomocí CMK

Požadovaná oprávnění:MANAGE v katalogu nebo vlastnictví katalogu

Přidání nebo změna ochrany CMK v existujícím katalogu, který používá výchozí úložiště:

  1. V Průzkumníku katalogu klikněte na název katalogu.
  2. Klikněte na kartu Podrobnosti .
  3. V části Upřesnit klikněte na Nastavení šifrování.
  4. V dialogovém okně vyberte klíč spravovaný zákazníkem.
  5. Klikněte na Uložit.

Klíč přidružený k katalogu můžete kdykoli změnit opakováním těchto kroků. Po povolení v katalogu není možné klíč CMK deaktivovat.

Důležité

Když do existujícího katalogu přidáte CMK, Azure Databricks šifruje pouze nová data zapsaná do katalogu pomocí klíče spravovaného zákazníkem. Klíče spravované službou Azure Databricks nadále šifrují stávající data. Pokud chcete šifrovat všechna data pomocí klíče spravovaného zákazníkem, musíte stávající data přepsat.

Ověření konfigurace CMK

Pokud chcete ověřit, že je katalog nakonfigurovaný pomocí CMK, získejte podrobnosti o katalogu pomocí rozhraní API katalogu Unity:

curl -X GET \
  -H "Authorization: Bearer <api_token>" \
  -H "Content-Type: application/json" \
  "https://<workspace_url>/api/2.1/unity-catalog/catalogs/<catalog_name>"

Odpověď obsahuje encryption_settings pole pro katalogy nakonfigurované pomocí CMK:

{
  "name": "<catalog_name>",
  "storage_mode": "DEFAULT_STORAGE",
  "encryption_settings": {
    "customer_managed_key_id": "<cmk-id>"
  }
}

Odvolání přístupu k šifrovaným datům

Pokud chcete zakázat přístup k datům šifrovaným pomocí klíče spravovaného zákazníkem, zakažte klíč ve službě Azure Key Vault:

  1. Na webu Azure Portal přejděte do služby Key Vault.
  2. Vyhledejte klíč a zakažte ho.

Jakmile klíč zakážete, Azure Databricks už nebude moct dešifrovat data v katalogech pomocí tohoto klíče. Všechny pokusy o čtení dat z těchto katalogů selžou s chybou dešifrování.

Mezi zakázáním klíče a odepřeným přístupem k datům může dojít ke zpoždění.

Pokud chcete obnovit přístup, znovu povolte klíč ve službě Azure Key Vault.

  • Last updated on