Spouštění federovaných dotazů na Snowflake (přístupový token OAuth)

Tato stránka popisuje, jak nastavit federaci Lakehouse pro spouštění federovaných dotazů na data Snowflake, která nespravuje Azure Databricks. Další informace o federaci Lakehouse najdete v tématu Co je Federace Lakehouse?

Pokud se chcete připojit k databázi Snowflake pomocí federace Lakehouse, musíte v metastore katalogu Azure Databricks Unity vytvořit následující:

• Připojení k databázi Snowflake.
• Cizí katalog , který zrcadlí databázi Snowflake v katalogu Unity Catalog, abyste mohli použít syntaxi dotazů Unity Catalog a nástroje řízení dat ke správě přístupu uživatelů Azure Databricks k databázi.

Tato stránka popisuje, jak spouštět federované dotazy na data Snowflake pomocí přístupového tokenu OAuth. Další metody ověřování najdete na následujících stránkách:

• Vestavěný OAuth od Snowflake
• OAuth s ID Microsoft Entra
• OAuth s Okta
• Privátní klíč PEM
• Základní ověřování (uživatelské jméno/heslo)

Ve Snowflake můžete spouštět federované dotazy pomocí federace dotazů nebo federace katalogu.

V federaci dotazů JDBC odešle dotaz katalogu Unity do externí databáze. To je ideální pro vytváření sestav na vyžádání nebo testování konceptu ve vašich kanálech ETL.

V federování katalogu se dotaz katalogu Unity spouští přímo v úložišti souborů. Tento přístup je užitečný pro přírůstkovou migraci bez přizpůsobení kódu nebo jako dlouhodobější hybridní model pro organizace, které musí udržovat některá data ve Snowflake společně s daty registrovanými v katalogu Unity. Viz Povolení federace katalogu Snowflake.

Než začnete

Požadavky na pracovní prostor:

• Pracovní prostor aktivován pro katalog Unity.

Požadavky na výpočetní prostředky:

• Síťové připojení z vašeho výpočetního prostředku k cílovým databázovým systémům. Podívejte se na doporučení pro síťování pro Lakehouse Federation.
• Výpočetní prostředky Azure Databricks musí používat Databricks Runtime 13.3 LTS nebo novější a Standard nebo dedikovaný režim přístupu.
• Sql Warehouse musí být pro nebo bezserverové a musí používat verzi 2023.40 nebo vyšší.

Požadovaná oprávnění:

• Pokud chcete vytvořit připojení, musíte být správcem metastoru nebo uživatelem s oprávněním CREATE CONNECTION k metastoru katalogu Unity připojenému k pracovnímu prostoru.
• Chcete-li vytvořit cizí katalog, musíte mít oprávnění CREATE CATALOG k metastoru a být buď vlastníkem připojení, nebo mít oprávnění CREATE FOREIGN CATALOG pro připojení.

Další požadavky na oprávnění jsou uvedeny v následující části založené na úlohách.

Vyžádání přístupového tokenu OAuth

Postupujte Postupy: Generování a používání tokenu OAuth pomocí Snowflake OAuth pro vlastní klienty ve znalostní bázi Snowflake Knowledge Base.

Vytvoření připojení

Připojení určuje cestu a přihlašovací údaje pro přístup k externímu databázovému systému. K vytvoření připojení můžete použít Průzkumníka katalogu nebo příkaz CREATE CONNECTION SQL v poznámkovém bloku Azure Databricks nebo editoru dotazů SQL Databricks.

Poznámka:

K vytvoření připojení můžete použít také rozhraní REST API Databricks nebo rozhraní příkazového řádku Databricks. Viz POST /api/2.1/unity-catalog/connections a příkazy Unity Catalog .

Požadovaná oprávnění : správce metastoru nebo uživatel s oprávněním CREATE CONNECTION.

1. V pracovním prostoru Azure Databricks klikněte na Katalog.

2. V horní části podokna Katalog klikněte na ikonu Přidat a v nabídce vyberte Vytvořit připojení .

   Případně na stránce Rychlý přístup klikněte na tlačítko Externí umístění externích dat>, přejděte na kartu Připojení a klikněte na Vytvořit připojení.

3. Na stránce základy připojení průvodce Nastavení připojení zadejte uživatelsky přívětivý název připojení.

4. Jako typ připojení vyberte Snowflake.

5. Pro typ ověřování vyberte OAuth Access Token z rozevírací nabídky.

6. (Volitelné) Přidejte komentář.

7. Klikněte na tlačítko Další.

8. Na stránce Ověřování zadejte následující podrobnosti o ověřování a připojení.

   • Hostitel: Například snowflake-demo.east-us-2.azure.snowflakecomputing.com.
   • Port: Výchozí hodnota je 443.
   • Uživatel: Použijte své osobní uživatelské jméno Snowflake.
   • Přístupový token: Přístupový token z požadavku na přístupový token OAuth.
   • (Volitelné) Vyprší v sekundách: Doba vypršení platnosti (v sekundách) pro přístupový token z požadavku na přístupový token OAuth (expires_in).

9. Klikněte na tlačítko Další.

10. Na stránce Podrobnosti o připojení zadejte název vašeho skladu Snowflake.

11. Pokud chcete pro připojení ke Snowflake použít proxy server, zaškrtněte políčko Použít proxy server a vyplňte požadované podrobnosti.

12. Klikněte na Vytvořit připojení.

13. Na stránce základy katalogu zadejte název cizího katalogu.

14. Jako databázi zadejte název databáze ve Snowflake. Cizí katalog zrcadlí databázi v externím datovém systému, abyste mohli dotazovat a spravovat přístup k datům v této databázi pomocí Azure Databricks a Unity Catalog.

15. (Volitelné) Kliknutím na test připojení potvrďte, že funguje.

16. Klikněte na Vytvořit katalog.

17. Na stránce Access vyberte pracovní prostory, ve kterých mají uživatelé přístup k vytvořenému katalogu. Můžete vybrat Všechny pracovní prostory mají přístup, nebo klepněte na Přiřadit k pracovním prostorům, vyberte pracovní prostory a potom klikněte na Přiřadit.

18. Změňte vlastníka , který bude moci spravovat přístup ke všem objektům v katalogu. Začněte do textového pole zadávat název entity a potom ve vrácených výsledcích klikněte na tuto entitu.

19. Udělte oprávnění na katalog. Klikněte na Odsouhlasit:

    1. Uveďte uživatele Principals, kteří budou mít přístup k objektům v katalogu. Začněte do textového pole zadávat název entity a potom ve vrácených výsledcích klikněte na tuto entitu.
    2. Vyberte přednastavení oprávnění, které se mají každému subjektu udělit. Všichni uživatelé účtu mají ve výchozím nastavení udělené BROWSE.
       • V rozevírací nabídce vyberte Data Reader a poskytněte read oprávnění k objektům v katalogu.
       • V rozevírací nabídce vyberte Datový editor a udělte oprávnění read a modify k objektům v katalogu.
       • Ručně vyberte oprávnění, která chcete udělit.
    3. Klikněte na Povolit.

20. Klikněte na tlačítko Další.

21. Na stránce Metadata zadejte páry klíč-hodnota tagů. Další informace najdete v tématu Použití značek na zabezpečitelné objekty v Katalogu Unity.

22. (Volitelné) Přidejte komentář.

23. Klikněte na Uložit.

Identifikátory rozlišující malá a velká písmena v databázích

Pole database cizího katalogu mapuje identifikátor databáze Snowflake. Pokud identifikátor databáze Snowflake nerozlišuje velká a malá písmena, zachová se formátování, které používáte v cizím katalogu <database-name>. Pokud je však identifikátor databáze Snowflake citlivý na velikost písmen, musíte cizí katalog <database-name> uzavřít do dvojitých uvozovek, aby se zachovala správná velikost písmen.

Například:

• database je převeden na DATABASE

• "database" je převeden na database

• "database""" je převeden na database"

  Pro únik dvojité uvozovky použijte jinou dvojitou uvozovku.

• "database"" způsobí chybu, protože dvojitá uvozovka není správně escapována.

Další informace najdete v tématu Požadavky na identifikátor v dokumentaci Snowflake.

Podporovaná snižování

Podporují se následující pushdowny:

• Filtry
• Projekce
• Omezení
• Připojuje
• Agregace (Průměr, Corr, CovPopulation, CovSample, Počet, Maximum, Minimum, StddevPop, StddevSamp, Součet, VariancePop, VarianceSamp)
• Funkce (řetězcové funkce, matematické funkce, data, časová a časová razítka a další různé funkce, jako jsou Alias, Cast, SortOrder)
• Funkce Systému Windows (DenseRank, Rank, RowNumber)
• Řazení

Mapování datových typů

Při čtení ze Snowflake do Spark se datové typy mapují takto:

Typ sněhové vločky	Typ Spark
desetinný, číslo, numerický	TypDesetinnéhoČísla
bigint (velké číslo), byteint (základní bajt), int (celé číslo), integer (celé číslo), smallint (malé celé číslo), tinyint (malé číslo)	IntegerType
float, float4, float8 (typy dat)	Datový typ float
dvojité číslo, dvojitá přesnost, reálné číslo	DoubleType
char, znak, řetězec, text, čas, varchar	Typ řetězce
binární	BinárníTyp
Boolean	Booleovský typ
datum	Typ datumu
datetime, timestamp, timestamp_ltz, timestamp_ntz, timestamp_tz	Typ časového razítka

Omezení

• Koncový bod Snowflake OAuth musí být přístupný z IP adres řídicí roviny Databricks. Viz Odchozí IP adresy z řídicí roviny Azure Databricks. Snowflake podporuje konfiguraci zásad sítě na úrovni integrace zabezpečení, což umožňuje samostatné síťové zásady, které umožňují přímé připojení z řídicí roviny Databricks ke koncovému bodu OAuth pro autorizaci.
• Použít Proxy, Proxy hostitel, Proxy port a možnosti konfigurace role Snowflake nejsou podporované. Jako součást rozsahu OAuth určete roli Snowflake.

Dodatečné zdroje

Projděte si následující články v dokumentaci snowflake:

• konfigurace Snowflake OAuth pro vlastní klienty
• Referenční informace k SQL: VYTVOŘENÍ INTEGRAČNÍ BEZPEČNOSTNÍ FUNKCE (Snowflake OAuth)