Dela via

Köra externa frågor på Microsoft SQL Server

Den här sidan beskriver hur du konfigurerar Lakehouse Federation för att köra federerade frågor på SQL Server-data som inte hanteras av Azure Databricks. Mer information om Lakehouse Federation finns i Vad är Lakehouse Federation?

Om du vill ansluta till DIN SQL Server-databas med Lakehouse Federation måste du skapa följande i metaarkivet i Azure Databricks Unity Catalog:

  • En anslutning till SQL Server-databasen.
  • En sekundär katalog som speglar DIN SQL Server-databas i Unity Catalog så att du kan använda Unity Catalog-frågesyntax och verktyg för datastyrning för att hantera Azure Databricks-användaråtkomst till databasen.

Lakehouse Federation stöder SQL Server, Azure SQL Database och Azure SQL Managed Instance.

Innan du börjar

Krav för arbetsyta:

  • Arbetsytan är aktiverad för Unity Catalog.

Beräkningskrav:

  • Nätverksanslutning från beräkningsresursen till måldatabassystemen. Se Nätverksrekommendationer för Lakehouse Federation.
  • Azure Databricks-beräkning måste använda Databricks Runtime 13.3 LTS eller senare och standard - eller dedikerat åtkomstläge.
  • SQL-lager måste vara pro eller serverlösa och måste använda 2023.40 eller senare.

Behörigheter som krävs:

  • Om du vill skapa en anslutning måste du vara metaarkivadministratör eller användare med CREATE CONNECTION behörighet i Unity Catalog-metaarkivet som är kopplat till arbetsytan.
  • Om du vill skapa en extern katalog måste du ha behörigheten CREATE CATALOG i metaarkivet och antingen vara ägare till anslutningen eller ha CREATE FOREIGN CATALOG behörighet för anslutningen.

Ytterligare behörighetskrav anges i varje aktivitetsbaserat avsnitt som följer.

Skapa en anslutning

En anslutning anger en sökväg och autentiseringsuppgifter för åtkomst till ett externt databassystem. Om du vill skapa en anslutning kan du använda Catalog Explorer eller kommandot CREATE CONNECTION SQL i en Azure Databricks-notebook-fil eller Databricks SQL-frågeredigeraren.

Note

Du kan också använda Databricks REST API eller Databricks CLI för att skapa en anslutning. Se POST /api/2.1/unity-catalog/connections och Unity Catalog-kommandon.

Behörigheter som krävs: Metaarkivadministratör eller användare med behörighet.CREATE CONNECTION

Katalogutforskaren

  1. På din Azure Databricks-arbetsyta klickar du på dataikonen.Katalog.

  2. Längst upp i fönstret Catalog, klicka på ikonen Lägg till eller plusLägg till och välj Lägg till en anslutning från menyn.

    Du kan också klicka på knappen Externa data på sidan Snabbåtkomst, gå till fliken Anslutningar och klicka på Skapa anslutning.

  3. På sidan Anslutningsgrundläggande i Installera anslutningsguiden anger du ett användarvänligt Anslutningsnamn.

  4. Välj en anslutningstyp för SQL Server.

  5. Välj en autentiseringstyp av OAuth, OAuth Machine to Machine eller Användarnamn och lösenord (grundläggande autentisering).

  6. (Valfritt) Lägg till en kommentar.

  7. Klicka på Nästa.

  8. På sidan Authentication anger du följande anslutningsegenskaper för SQL Server-instansen. Egenskaper som är specifika för den autentiseringsmetod som du har valt föregås av Auth type inom parenteser.

    • Värd: Din SQL-server.
    • (Grundläggande autentisering) Hamn
    • (Grundläggande autentisering) trustServerCertificate: Standardvärdet är false. När det är inställt på trueanvänder transportlagret SSL för att kryptera kanalen och kringgår certifikatkedjan för att verifiera förtroendet. Låt den här inställningen vara standard om du inte har ett specifikt behov av att kringgå förtroendevalidering.
    • (Grundläggande autentisering) Användare
    • (Grundläggande autentisering) Lösenord
    • (OAuth) Ange anslutningsinformationen som du samlade in i Konfigurera Microsoft Entra-ID för SQL Server-federation.

  9. Klicka på Skapa anslutning.

  10. (Grundläggande autentisering) På sidan Anslutningsinformation anger du följande:

    • Förtroendeservercertifikat: Detta avmarkeras som standard. När du väljer det här alternativet använder transportlagret SSL för att kryptera kanalen och kringgår certifikatkedjan för att verifiera förtroendet. Låt den här inställningen vara standard om du inte har ett specifikt behov av att kringgå förtroendevalidering.
    • Program avsikt: Programmets arbetsbelastningstyp när du ansluter till en server.

  11. Klicka på Nästa.

  12. På sidan Grundläggande katalog anger du ett namn för den externa katalogen. En extern katalog speglar en databas i ett externt datasystem så att du kan köra frågor mot och hantera åtkomst till data i databasen med hjälp av Azure Databricks och Unity Catalog.

  13. Klicka på Skapa katalog.

  14. På sidan Åtkomst väljer du de arbetsytor där användarna kan komma åt katalogen som du skapade. Du kan välja Alla arbetsytor har åtkomst eller klicka på Tilldela till arbetsytor, välja arbetsytor och sedan klicka på Tilldela.

  15. Ändra ägaren som ska kunna hantera åtkomsten till alla objekt i katalogen. Börja skriva en principal i textrutan och klicka sedan på principeln i de returnerade resultaten.

  16. Bevilja privilegier i katalogen. Klicka på Tillåt:

    1. Ange de huvudnamn som ska ha åtkomst till objekt i katalogen. Börja skriva en principal i textrutan och klicka sedan på principeln i de returnerade resultaten.
    2. Välj förinställningarna för privilegier som ska beviljas varje huvudaktör . Alla kontoanvändare beviljas BROWSE som standard.
      • Välj Dataläsare på den nedrullningsbara menyn för att bevilja read behörigheter för objekt i katalogen.
      • Välj Dataredigeraren på den nedrullningsbara menyn för att bevilja read och modify behörigheter för objekt i katalogen.
      • Välj de behörigheter som ska beviljas manuellt.
    3. Klicka på Tillåt.

  17. Klicka på Nästa.

  18. På sidan metadata anger du taggar för nyckel/värde-par. Mer information finns i Tillämpa taggar på skyddsbara objekt i Unity Catalog.

  19. (Valfritt) Lägg till en kommentar.

  20. Klicka på Spara.

Note

(OAuth) Azure Entra ID OAuth-slutpunkten måste vara tillgänglig från Azure Databricks-kontrollplanets IP-adresser. Se Azure Databricks-regioner.

SQL

Kör följande kommando i en notebook-fil eller Databricks SQL-frågeredigeraren.

CREATE CONNECTION <connection-name> TYPE sqlserver
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

Vi rekommenderar att du använder Azure Databricks-hemligheter i stället för klartextsträngar för känsliga värden som autentiseringsuppgifter. Till exempel:

CREATE CONNECTION <connection-name> TYPE sqlserver
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

Information om hur du konfigurerar hemligheter finns i Hemlighetshantering.

Skapa en utländsk katalog

Note

Om du använder användargränssnittet för att skapa en anslutning till datakällan inkluderas skapande av utländsk katalog och du kan hoppa över det här steget.

En extern katalog speglar en databas i ett externt datasystem så att du kan köra frågor mot och hantera åtkomst till data i databasen med hjälp av Azure Databricks och Unity Catalog. För att skapa en extern katalog använder du en anslutning till en datakälla som redan har definierats.

För att skapa en utländsk katalog kan du använda Catalog Explorer eller SQL-kommandot CREATE FOREIGN CATALOG i en Azure Databricks-notebook eller i SQL-frågeredigeraren. Du kan också använda Databricks REST API eller Databricks CLI för att skapa en katalog. Se POST /api/2.1/unity-catalog/catalogs och Unity Catalog-kommandon.

Behörigheter som krävs:CREATE CATALOG behörighet för metaarkivet och antingen ägarskap för anslutningen eller behörigheten CREATE FOREIGN CATALOG för anslutningen.

Katalogutforskaren

  1. På din Azure Databricks-arbetsyta klickar du på dataikonen.Katalog för att öppna Katalogutforskaren.

  2. Längst upp i fönstret Katalog klickar du på ikonen Lägg till eller pluslägg till och väljer Lägg till en katalog på menyn.

    Du kan också klicka på knappen Kataloger på sidan Snabbåtkomst och sedan på knappen Skapa katalog.

  3. Följ anvisningarna för att skapa utländska kataloger i Skapa kataloger.

SQL

Kör följande SQL-kommando i en notebook- eller SQL-frågeredigerare. Objekt inom hakparenteser är valfria. Ersätt platshållarvärdena:

  • <catalog-name>: Namn på katalogen i Azure Databricks.
  • <connection-name>: Anslutningsobjektet som anger autentiseringsuppgifterna för datakälla, sökväg och åtkomst.
  • <database-name>: Namnet på databasen som du vill spegla som en katalog i Azure Databricks.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

Pushdowns som stöds

Följande pushdowns stöds för all beräkning:

  • Filters
  • Projections
  • Limit
  • Funktioner: partiell, endast för filteruttryck. (Strängfunktioner, matematiska funktioner, data, tidsstämpel och tidsstämpelfunktioner och andra diverse funktioner, till exempel Alias, Cast, SortOrder)

Följande pushdowns stöds på Databricks Runtime 13.3 LTS och senare och på SQL Warehouse-beräkning:

  • Aggregates
  • Följande booleska operatorer: =, <, <=, >, >=, <=>
  • Följande matematiska funktioner (stöds inte om ANSI är inaktiverat): +, -, *, %, /
  • Följande övriga operatorer: ^, |, ~
  • Sortering, när den används med gräns

Följande pushdowns stöds inte:

  • Joins
  • Windows-funktioner

Datatypsmappningar

När du läser från SQL Server till Spark mappar datatyper på följande sätt:

SQL Server-typ Sparktyp
bigint (osignerad), decimal, pengar, numeriska, smallmoney DecimalType
smallint, tinyint ShortType
int IntegerType
bigint (om signerad) LongType
real FloatType
float DoubleType
char, nchar, uniqueidentifier CharType
nvarchar, varchar VarcharType
text, xml StringType
binär, geografi, geometri, bild, tidsstämpel, udt, varbinary BinaryType
bit BooleanType
date DateType
datetime (datumtid), datetime (datumtid), smalldatetime (smådatumtid), time (tid) TimestampType/TimestampNTZType

*När du läser från SQL Server mappas SQL Server datetimes till Spark TimestampType om preferTimestampNTZ = false (standard). SQL Server datetimes mappas till TimestampNTZType om preferTimestampNTZ = true.

  • Last updated on