Spouštění federovaných dotazů na Microsoft SQL Serveru

Tato stránka popisuje, jak nastavit federaci Lakehouse tak, aby spouštěla federované dotazy na data SQL Serveru, která nespravuje Azure Databricks. Další informace o federaci Lakehouse najdete v tématu Co je Federace Lakehouse?

Pokud chcete připojit svou databázi SQL Server pomocí Lakehouse Federation, musíte vytvořit následující v metastore katalogu Azure Databricks Unity (u pracovních prostorů vytvořených po 9. listopadu 2023 je metastore katalogu Unity již automaticky zřízen):

  • Připojení k vaší databázi SQL Serveru.
  • cizí katalog, který zrcadlí databázi SQL Serveru v katalogu Unity, takže můžete použít syntaxi dotazů a nástroje pro správu dat z katalogu Unity ke správě uživatelského přístupu k databázi v Azure Databricks.

Lakehouse Federation podporuje SQL Server, Azure SQL Database a Azure SQL Managed Instance.

Než začnete

Požadavky na pracovní prostor:

  • Pracovní prostor aktivován pro katalog Unity. Pracovní prostory vytvořené po 9. listopadu 2023 jsou pro Unity Catalog automaticky povolené, včetně automatického provisioningu metastoru. Metastore nemusíte vytvářet ručně, pokud váš pracovní prostor pochází z doby před automatickým povolením a nebyl povolen pro Unity Catalog. Viz Automatická aktivace katalogu Unity.

Požadavky na výpočetní prostředky:

  • Síťové připojení z vašeho výpočetního prostředku k cílovým databázovým systémům. Viz doporučení ohledně sítí pro Lakehouse Federation.
  • Výpočetní prostředky Azure Databricks musí používat Databricks Runtime 13.3 LTS nebo novější a Standard nebo dedikovaný režim přístupu.
  • Sql Warehouse musí být pro nebo bezserverové a musí používat verzi 2023.40 nebo vyšší.

Požadovaná oprávnění:

  • Pokud chcete vytvořit připojení, musíte být správcem metastoru nebo uživatelem s oprávněním CREATE CONNECTION k metastoru katalogu Unity připojenému k pracovnímu prostoru. V pracovních prostorech, které byly automaticky povoleny pro Katalog Unity, mají správci pracovišť CREATE CONNECTION ve výchozím nastavení oprávnění.
  • Chcete-li vytvořit cizí katalog, musíte mít oprávnění CREATE CATALOG k metastoru a být buď vlastníkem připojení, nebo mít oprávnění CREATE FOREIGN CATALOG pro připojení. V pracovních prostorech, které byly automaticky povoleny pro Katalog Unity, mají správci pracovišť CREATE CATALOG ve výchozím nastavení oprávnění.

Další požadavky na oprávnění jsou uvedeny v následující části založené na úlohách.

Vytvoření připojení

Připojení určuje cestu a přihlašovací údaje pro přístup k externímu databázovému systému. K vytvoření připojení můžete použít Průzkumníka katalogu nebo příkaz CREATE CONNECTION SQL v poznámkovém bloku Azure Databricks nebo editoru dotazů SQL Databricks.

Note

K vytvoření připojení můžete použít také rozhraní REST API Databricks nebo rozhraní příkazového řádku Databricks. Viz POST /api/2.1/unity-catalog/connections a Unity Catalog příkazy.

Požadovaná oprávnění: Správce metastoru nebo uživatel s oprávněním CREATE CONNECTION .

Průzkumník katalogu

  1. V pracovním prostoru Azure Databricks klikněte na ikonu Data.Katalog.

  2. V horní části podokna Katalog klikněte na ikonu Přidat nebo plusPřidat a v nabídce vyberte Vytvořit připojení .

  3. Na stránce Základy připojení v průvodci Nastavení připojení zadejte uživatelsky přívětivý název připojení.

  4. Vyberte typ připojení SQL Serveru.

  5. Vyberte typ ověřováníOAuth, OAuth Stroj ke Stroji nebo uživatelské jméno a heslo (základní ověřování).

  6. (Volitelné) Přidejte komentář.

  7. Klikněte na tlačítko Další.

  8. Na stránce Ověřování zadejte následující vlastnosti připojení pro vaši instanci SQL Serveru. Vlastnosti specifické pro metodu ověřování, kterou jste vybrali, jsou před Auth type v závorkách.

    • Hostitel: Server SQL.
    • (Základní ověřování) Port
    • (Základní ověřování) trustServerCertificate: Výchozí hodnota falseje . Když je nastavená hodnota true, transportní vrstva používá protokol SSL k šifrování kanálu a obchází řetěz certifikátů k ověření důvěryhodnosti. Ponechte tuto možnost nastavenou na výchozí, pokud nemáte konkrétní potřebu obejít ověření důvěryhodnosti.
    • (Základní ověřování) Uživatel
    • (Základní ověřování) Heslo
    • (OAuth) Zadejte podrobnosti o připojení, které jste shromáždili v části Konfigurace ID Microsoft Entra pro federaci SQL Serveru.

  9. Klikněte na Vytvořit připojení.

  10. (Základní ověřování) Na stránce Podrobnosti o připojení zadejte následující:

    • důvěřovat certifikátu serveru: Ve výchozím nastavení je tato možnost zrušena. Při výběru používá transportní vrstva SSL k šifrování kanálu a obchází řetězec certifikátů k ověření důvěry. Ponechte tuto možnost nastavenou na výchozí, pokud nemáte konkrétní potřebu obejít ověření důvěryhodnosti.
    • záměr aplikace: Typ úlohy aplikace při připojování k serveru.

  11. Klikněte na tlačítko Další.

  12. Na stránce základy katalogu zadejte název cizího katalogu. Cizí katalog zrcadlí databázi v externím datovém systému, abyste mohli dotazovat a spravovat přístup k datům v této databázi pomocí Azure Databricks a Unity Catalog.

  13. Klikněte na Vytvořit katalog.

  14. Na stránce Access vyberte pracovní prostory, ve kterých mají uživatelé přístup k vytvořenému katalogu. Můžete vybrat Všechny pracovní prostory mají přístup, nebo klepněte na Přiřadit k pracovním prostorům, vyberte pracovní prostory a potom klikněte na Přiřadit.

  15. Změňte vlastníka, který bude schopen spravovat přístup ke všem objektům v katalogu. Začněte do textového pole zadávat hlavní entitu a potom ve vrácených výsledcích klikněte na hlavní entitu.

  16. Udělte privilegia na katalogu. Klikněte na Odsouhlasit:

    1. Zadejte Principály, kteří budou mít přístup k objektům v katalogu. Začněte do textového pole zadávat hlavní entitu a potom ve vrácených výsledcích klikněte na hlavní entitu.
    2. Vyberte přednastavení práv , která mají být udělena každému objektu zabezpečení. Všichni uživatelé účtu mají ve výchozím nastavení udělené BROWSE.
      • V rozevírací nabídce vyberte Čtečka dat a udělte read oprávnění k objektům v katalogu.
      • V rozevírací nabídce vyberte Datový editor a udělte read a modify oprávnění k objektům v katalogu.
      • Ručně vyberte oprávnění, která chcete udělit.
    3. Klikněte na Povolit.

  17. Klikněte na tlačítko Další.

  18. Na stránce Metadata zadejte páry klíč-hodnota štítků. Další informace najdete v tématu Použití značek pro zabezpečitelné objekty v katalogu Unity.

  19. (Volitelné) Přidejte komentář.

  20. Klikněte na Uložit.

Note

(OAuth) Koncový bod OAuth Azure Entra ID musí být přístupný z IP adres kontrolní roviny služby Azure Databricks. Viz oblasti Azure Databricks.

SQL

V poznámkovém bloku nebo editoru dotazů SQL Databricks spusťte následující příkaz.

CREATE CONNECTION <connection-name> TYPE sqlserver
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

Doporučujeme používat Azure Databricks tajemství místo řetězců prostého textu pro citlivé údaje, jako jsou přihlašovací údaje. Například:

CREATE CONNECTION <connection-name> TYPE sqlserver
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

Informace o nastavení tajných kódů najdete v tématu Správa tajných kódů.

Vytvoření zahraničního katalogu

Note

Pokud k vytvoření připojení ke zdroji dat použijete uživatelské rozhraní, zahrne se vytvoření cizího katalogu a tento krok můžete přeskočit.

Cizí katalog zrcadlí databázi v externím datovém systému, abyste mohli dotazovat a spravovat přístup k datům v této databázi pomocí Azure Databricks a Unity Catalog. Chcete-li vytvořit cizí katalog, použijete připojení ke zdroji dat, který již byl definován.

K vytvoření cizího katalogu můžete použít Průzkumníka katalogu nebo příkaz CREATE FOREIGN CATALOG SQL v poznámkovém bloku Azure Databricks nebo v editoru dotazů SQL. K vytvoření katalogu můžete použít také rozhraní REST API Databricks nebo rozhraní příkazového řádku Databricks. Viz POST /api/2.1/unity-catalog/catalogs a příkazy Unity Catalog.

Požadovaná oprávnění:CREATE CATALOG oprávnění k metastoru a vlastnictví připojení nebo CREATE FOREIGN CATALOG oprávnění k připojení.

Průzkumník katalogu

  1. V pracovním prostoru Azure Databricks klikněte na ikonu Data. Klikněte na Katalog pro otevření Průzkumníka katalogu.

  2. V horní části podokna katalogu klikněte na ikonu přidat nebo plus Přidat a v nabídce vyberte Přidat katalog.

    Případně na stránce Rychlý přístup klikněte na tlačítko Katalogy a potom klikněte na tlačítko Vytvořit katalog.

  3. Postupujte podle pokynů pro vytváření cizích katalogů v Vytvořit katalogy.

SQL

V poznámkovém bloku nebo editoru dotazů SQL spusťte následující příkaz SQL. Položky v závorkách jsou volitelné. Nahraďte zástupné hodnoty:

  • <catalog-name>: Název katalogu v Azure Databricks.
  • <connection-name>: Objekt připojení , který určuje zdroj dat, cestu a přihlašovací údaje pro přístup.
  • <database-name>: Název databáze, kterou chcete zrcadlit jako katalog v Azure Databricks.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

Podporovaná snižování

Následující tabulka uvádí pushdown operace podporované pro SQL Server spolu s požadovaným výpočetním výkonem pro každou z nich.

Zásobník Podporované výpočetní prostředky
Funkce data, času a časového razítka
(pouze částečné, filtrovací výrazy)		 Podporovány Všechny výpočetní prostředky
Filters Podporovány Všechny výpočetní prostředky
Limit Podporovány Všechny výpočetní prostředky
Matematické funkce
(pouze částečné, filtrovací výrazy)		 Podporovány Všechny výpočetní prostředky
Různé funkce
(například Alias, Cast, SortOrder; částečné, pouze filtrační výrazy)		 Podporovány Všechny výpočetní prostředky
Projections Podporovány Všechny výpočetní prostředky
Řetězcové funkce
(pouze částečné, filtrovací výrazy)		 Podporovány Všechny výpočetní prostředky
Aggregates Podporovány Databricks Runtime 13.3 LTS a novější a SQL Warehouse
Aritmetické operátory
(například +, -, *, %, /; není podporováno, pokud je ANSI zakázáno)		 Podporovány Databricks Runtime 13.3 LTS a novější a SQL Warehouse
Logické operátory
(například =, <, <=, >, >=, <=>)		 Podporovány Databricks Runtime 13.3 LTS a novější a SQL Warehouse
Různé operátory (například ^, |, ~) Podporovány Databricks Runtime 13.3 LTS a novější a SQL Warehouse
Řazení při použití s limitem Podporovány Databricks Runtime 13.3 LTS a novější a SQL Warehouse
Joins Podporované Databricks Runtime 17.2 a novější a SQL Warehouses 2025.30 a vyšší
Funkce Systému Windows Nepodporováno Nepodporováno

Mapování datového typu

Při čtení z SQL Serveru do Sparku se datové typy mapuje takto:

Typ SQL Serveru Typ Spark
bigint (bez znaménka), desetinné, měna, numerická, malá měna DecimalType
smallint, tinyint ShortType
int IntegerType
bigint (pokud je podepsaný) LongType
real FloatType
float DoubleType
char, nchar, uniqueidentifier CharType
nvarchar, varchar VarcharType
textový soubor, xml StringType
binary, geografie, geometrie, image, timestamp, udt, varbinary BinaryType
bit BooleanType
date DateType
datum a čas, datum a čas, malý datum a čas, čas TimestampType/TimestampNTZType

Při čtení z SQL Serveru se SQL Server datetimes mapuje na Spark TimestampType, pokud preferTimestampNTZ = false je nastaven (výchozí). SQL Server datetimes je mapován na TimestampNTZType if preferTimestampNTZ = true.

Dodatečné zdroje

  • Last updated on