Vytvoření přihlašovacích údajů úložiště pro připojení k Azure Data Lake Storage Gen2

Článek
07/01/2024

Tento článek popisuje, jak vytvořit přihlašovací údaje úložiště v katalogu Unity pro připojení k Azure Data Lake Storage Gen2.

Ke správě přístupu k podkladovému cloudovému úložišti, které obsahuje tabulky a svazky, používá Katalog Unity následující typy objektů:

Přihlašovací údaje úložiště zapouzdřují dlouhodobé přihlašovací údaje cloudu, které poskytují přístup ke cloudovému úložišti.
Externí umístění obsahují odkaz na přihlašovací údaje úložiště a cestu cloudového úložiště.

Další informace najdete v tématu Připojení ke cloudovému úložišti objektů pomocí katalogu Unity.

Unity Catalog podporuje dvě možnosti cloudového úložiště pro Azure Databricks: kontejnery Azure Data Lake Storage Gen2 a kontejnery Cloudflare R2. Cloudflare R2 je určen především pro případy použití rozdílového sdílení, ve kterých se chcete vyhnout poplatkům za výchozí přenos dat. Azure Data Lake Storage Gen2 je vhodný pro většinu ostatních případů použití. Tento článek se zaměřuje na vytváření přihlašovacích údajů úložiště pro kontejnery Azure Data Lake Storage Gen2. Informace o Cloudflare R2 najdete v tématu Vytvoření přihlašovacích údajů úložiště pro připojení ke Cloudflare R2.

Pokud chcete vytvořit přihlašovací údaje úložiště pro přístup ke kontejneru Azure Data Lake Storage Gen2, vytvoříte přístupový konektor Azure Databricks, který odkazuje na spravovanou identitu Azure a přiřadí jí oprávnění ke kontejneru úložiště. Potom na tento přístupový konektor odkazujete v definici přihlašovacích údajů úložiště.

Požadavky

V Azure Databricks:

Pracovní prostor Azure Databricks povolený pro katalog Unity
CREATE STORAGE CREDENTIAL oprávnění k metastoru katalogu Unity připojenému k pracovnímu prostoru. Správci účtů a správci metastoru mají ve výchozím nastavení toto oprávnění.

Poznámka:

Instanční objekty musí mít roli správce účtu, aby bylo možné vytvořit přihlašovací údaje úložiště, které používají spravovanou identitu. Instančnímu objektu nemůžete delegovat CREATE STORAGE CREDENTIAL . To platí pro instanční objekty Azure Databricks i instanční objekty Microsoft Entra ID (dříve Azure Active Directory).

Ve vašem tenantovi Azure:

Kontejner úložiště Azure Data Lake Storage Gen2 ve stejné oblasti jako pracovní prostor, ze kterého chcete získat přístup k datům.

Účet úložiště Azure Data Lake Storage Gen2 musí mít hierarchický obor názvů.
Přispěvatel nebo vlastník skupiny prostředků Azure
Vlastník nebo uživatel s rolí Azure RBAC správce uživatelských přístupů v účtu úložiště.

Vytvoření přihlašovacích údajů úložiště pomocí spravované identity

Jako identitu, která autorizuje přístup k kontejneru úložiště, můžete použít spravovanou identitu Azure nebo instanční objekt. Spravované identity se důrazně doporučují. Mají výhodu, že katalogu Unity umožňují přístup k účtům úložiště chráněným pravidly sítě, což není možné pomocí instančních objektů, a odeberou potřebu správy a obměny tajných kódů. Pokud chcete použít instanční objekt, přečtěte si téma Vytvoření spravovaného úložiště Katalogu Unity pomocí instančního objektu (starší verze).

Na webu Azure Portal vytvořte přístupový konektor Azure Databricks a přiřaďte ho oprávnění ke kontejneru úložiště, ke kterému chcete získat přístup, pomocí pokynů v tématu Konfigurace spravované identity pro katalog Unity.

Přístupový konektor Azure Databricks je prostředek Azure, který umožňuje připojit spravované identity k účtu Azure Databricks. Abyste mohli přidat přihlašovací údaje úložiště, musíte mít roli Přispěvatel nebo vyšší u prostředku přístupového konektoru v Azure.

Poznamenejte si ID prostředku přístupového konektoru.
Přihlaste se k pracovnímu prostoru Azure Databricks s podporou katalogu Unity jako uživatel s CREATE STORAGE CREDENTIAL oprávněním.

Mezi role správce metastoru i správce účtu patří toto oprávnění. Pokud jste přihlášeni jako instanční objekt (bez ohledu na to, jestli se jedná o ID Microsoft Entra nebo nativní instanční objekt Azure Databricks), musíte mít roli správce účtu, abyste vytvořili přihlašovací údaje úložiště, které používají spravovanou identitu.
Klikněte na Katalog.
V horní části podokna Katalog klikněte na ikonu Přidat a v nabídce vyberte Přidat přihlašovací údaje úložiště.

Tato možnost se nezobrazí, pokud nemáte CREATE STORAGE CREDENTIAL oprávnění.

Případně na stránce Rychlý přístup klikněte na tlačítko Externí data>, přejděte na kartu Přihlašovací údaje úložiště a vyberte Vytvořit přihlašovací údaje.
Vyberte typ přihlašovacích údajů spravované identity Azure.

Zadejte název přihlašovacích údajů a zadejte ID prostředku přístupového konektoru ve formátu:

/subscriptions/<subscription-id>/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name>

(Volitelné) Pokud jste vytvořili přístupový konektor pomocí spravované identity přiřazené uživatelem, zadejte ID prostředku spravované identity do pole ID spravované identity přiřazené uživatelem ve formátu:
```
/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>
```
(Volitelné) Pokud chcete, aby uživatelé měli přístup jen pro čtení k externím umístěním, která používají tyto přihlašovací údaje úložiště, vyberte Jen pro čtení. Další informace najdete v tématu Označení přihlašovacích údajů úložiště jako jen pro čtení.
Klikněte na Uložit.
(Volitelné) Svázání přihlašovacích údajů úložiště s konkrétními pracovními prostory

Ve výchozím nastavení může každý privilegovaný uživatel používat přihlašovací údaje k úložišti v jakémkoli pracovním prostoru připojeném k metastoru. Pokud chcete povolit přístup jenom z konkrétních pracovních prostorů, přejděte na kartu Pracovní prostory a přiřaďte pracovní prostory. Viz (Volitelné) Přiřazení přihlašovacích údajů úložiště konkrétním pracovním prostorům.
Vytvořte externí umístění , které odkazuje na toto přihlašovací údaje úložiště.

(Volitelné) Přiřazení přihlašovacích údajů úložiště ke konkrétním pracovním prostorům

Důležité

Tato funkce je ve verzi Public Preview.

Ve výchozím nastavení je přihlašovací údaje úložiště přístupné ze všech pracovních prostorů v metastoru. To znamená, že pokud má uživatel udělené oprávnění (například CREATE EXTERNAL LOCATION) k tomuto přihlašovacímu údaji úložiště, může toto oprávnění uplatnit z libovolného pracovního prostoru připojeného k metastoru. Pokud k izolaci přístupu k datům uživatelů používáte pracovní prostory, můžete chtít povolit přístup k přihlašovacím údajům úložiště jenom z konkrétních pracovních prostorů. Tato funkce se označuje jako vazba pracovního prostoru nebo izolace přihlašovacích údajů úložiště.

Typickým případem použití pro vazbu přihlašovacích údajů úložiště s konkrétními pracovními prostory je scénář, ve kterém správce cloudu nakonfiguruje přihlašovací údaje úložiště pomocí přihlašovacích údajů produkčního cloudového účtu a chcete zajistit, aby uživatelé Azure Databricks použili tyto přihlašovací údaje k vytvoření externích umístění pouze v produkčním pracovním prostoru.

Další informace o vazbě pracovního prostoru najdete v tématu (Volitelné) Přiřazení externího umístění konkrétním pracovním prostorům a omezení přístupu ke konkrétním pracovním prostorům katalogu.

Poznámka:

Vazby pracovního prostoru se odkazují při cvičení oprávnění k přihlašovacím údajům úložiště. Pokud například uživatel vytvoří externí umístění pomocí přihlašovacích údajů úložiště, vazba pracovního prostoru na přihlašovacích údajích úložiště se zkontroluje pouze při vytvoření externího umístění. Po vytvoření externího umístění bude fungovat nezávisle na vazbách pracovního prostoru nakonfigurovaných na přihlašovacích údajích úložiště.

Vytvoření vazby přihlašovacích údajů úložiště k jednomu nebo více pracovním prostorům

Pokud chcete přiřadit přihlašovací údaje úložiště konkrétním pracovním prostorům, můžete použít Průzkumníka katalogu nebo Rozhraní příkazového řádku Databricks.

Požadovaná oprávnění: Správce metastoru nebo vlastník přihlašovacích údajů úložiště.

Poznámka:

Správci metastoru můžou zobrazit všechny přihlašovací údaje úložiště v metastoru pomocí Průzkumníka katalogu – a vlastníci přihlašovacích údajů úložiště můžou zobrazit všechny přihlašovací údaje úložiště, které vlastní v metastoru – bez ohledu na to, jestli jsou přihlašovací údaje úložiště přiřazené k aktuálnímu pracovnímu prostoru. Přihlašovací údaje úložiště, které nejsou přiřazené k pracovnímu prostoru, se zobrazují šedě.

Průzkumník katalogu

Přihlaste se k pracovnímu prostoru, který je propojený s metastorem.
Na bočním panelu klikněte na Katalog.
V horní části podokna Katalog klikněte na ikonu ozubeného kola a vyberte Přihlašovací údaje úložiště.

Případně na stránce Rychlý přístup klikněte na tlačítko Externí data >a přejděte na kartu Přihlašovací údaje úložiště.
Vyberte přihlašovací údaje úložiště a přejděte na kartu Pracovní prostory .
Na kartě Pracovní prostory zrušte zaškrtnutí políčka Všechny pracovní prostory mají přístup.

Pokud už přihlašovací údaje úložiště jsou svázané s jedním nebo více pracovními prostory, toto políčko už není zaškrtnuté.
Klikněte na Přiřadit k pracovním prostorům a zadejte nebo vyhledejte pracovní prostory, které chcete přiřadit.

Pokud chcete přístup odvolat, přejděte na kartu Pracovní prostory , vyberte pracovní prostor a klikněte na Tlačítko Odvolat. Pokud chcete povolit přístup ze všech pracovních prostorů, zaškrtněte políčko Všechny pracovní prostory mají přístup .

Rozhraní příkazového řádku

Existují dvě skupiny příkazů Rozhraní příkazového řádku Databricks a dva kroky potřebné k přiřazení přihlašovacích údajů úložiště k pracovnímu prostoru.

V následujících příkladech nahraďte <profile-name> názvem konfiguračního profilu ověřování Azure Databricks. Kromě názvu instance pracovního prostoru a ID pracovního prostoru, ve kterém jste vygenerovali osobní přístupový token, by měl obsahovat hodnotu tokenu pat. Viz ověřování tokenů pat azure Databricks.

storage-credentials Pomocí příkazu skupiny update příkazů nastavte přihlašovací údaje isolation mode úložiště naISOLATED:
```
databricks storage-credentials update <my-storage-credential> \
--isolation-mode ISOLATED \
--profile <profile-name>
```
Výchozí hodnota isolation-mode je OPEN pro všechny pracovní prostory připojené k metastoru.
workspace-bindings Pomocí příkazu skupiny update-bindings příkazů přiřaďte pracovní prostory přihlašovacím údajům úložiště:
```
databricks workspace-bindings update-bindings storage-credential <my-storage-credential> \
--json '{
  "add": [{"workspace_id": <workspace-id>}...],
  "remove": [{"workspace_id": <workspace-id>}...]
}' --profile <profile-name>
```
"add" Pomocí vlastností "remove" můžete přidávat nebo odebírat vazby pracovního prostoru.

Poznámka:

Pro přihlašovací údaje úložiště není dostupná vazba jen pro čtení (BINDING_TYPE_READ_ONLY). Proto není důvod nastavit binding_type pro vazbu přihlašovacích údajů úložiště.

Pokud chcete zobrazit seznam všech přiřazení pracovního prostoru pro přihlašovací údaje úložiště, použijte workspace-bindings příkaz skupiny get-bindings příkazů:

databricks workspace-bindings get-bindings storage-credential <my-storage-credential> \
--profile <profile-name>

Zrušení vazby přihlašovacích údajů úložiště z pracovního prostoru

Pokyny k odvolání přístupu k přihlašovacím údajům úložiště pomocí Průzkumníka katalogu nebo skupiny příkazů rozhraní příkazového workspace-bindings řádku jsou zahrnuty v části Vytvoření vazby přihlašovacích údajů úložiště k jednomu nebo více pracovním prostorům.

Další kroky

Můžete zobrazit, aktualizovat, odstranit a udělit ostatním uživatelům oprávnění k používání přihlašovacích údajů úložiště. Viz Správa přihlašovacích údajů úložiště.

Externí umístění můžete definovat pomocí přihlašovacích údajů úložiště. Viz Vytvoření přihlašovacích údajů úložiště pro připojení k Azure Data Lake Storage Gen2.

Sdílet prostřednictvím