Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Deze pagina bevat aanbevelingen voor beheerders en hoofdgebruikers die verbindingen tussen Azure Databricks en externe gegevensbronnen en services configureren.
U kunt uw Azure Databricks-account verbinden met gegevensbronnen zoals opslag van cloudobjecten, relationele databasebeheersystemen, streaminggegevensservices en bedrijfsplatformen zoals CRL's. U kunt uw Azure Databricks account ook verbinden met externe services die geen opslag zijn.
Verbindingen met objectopslag configureren
De meeste gegevens die door Azure Databricks workloads worden gebruikt, worden opgeslagen in de opslag van cloudobjecten, zoals Azure Data Lake Storage of AWS S3. U kunt de toegang tot cloudobjectopslag beheren met een van de volgende opties:
Unity Catalog (aanbevolen), die gegevensbeheer biedt voor zowel gestructureerde als ongestructureerde gegevens in cloudobjectopslag. Zie Verbinding maken met cloudobjectopslag met behulp van Unity Catalog.
Oude connectors en verbindingspatronen. Zie Toegang tot cloudobjectopslag configureren voor Azure Databricks met verouderde patronen.
Unity Catalog-verbindingen
Een Unity Catalog-verbinding is een beveiligbaar object waarin het eindpunt en de referenties worden opgeslagen die nodig zijn voor toegang tot een extern systeem. Verbindingen bieden een beheerde manier om verificatie en configuratie voor externe gegevenssystemen te beheren, waaronder federatie, beheerde opname, JDBC en HTTP. Zie Unity Catalog-verbindingen voor een overzicht van alle verbindingstypen en hoe u ertussen kunt kiezen.
Verbindingen met externe gegevenssystemen configureren
Databricks biedt verschillende opties voor het configureren van verbindingen met externe gegevenssystemen. De volgende tabel bevat een algemeen overzicht van deze opties:
| Option | Description |
|---|---|
| Federatieconnectors opvragen | Lakehouse Federation biedt alleen-lezentoegang tot gegevens in bedrijfsgegevenssystemen. Queryfederatie maakt gebruik van beveiligde JDBC-verbindingen om te federeren met externe gegevenssystemen, zoals PostgreSQL en MySQL. Catalogusfederatie verbindt externe catalogi, zoals een Hive Metastore of Snowflake Horizon Catalog, om gegevens rechtstreeks in bestandsopslag op te vragen. |
| Beheerde invoerconnectors | Met Lakeflow Connect kunnen beheerders tegelijkertijd een verbinding en een beheerde opnamepijplijn maken in de gebruikersinterface voor gegevensopname. Zie Beheerde connectors in Lakeflow Connect. Als de gebruikers die pijplijnen maken niet-beheerders zijn of van plan zijn om Databricks-API's, Databricks-SDK's, de Databricks CLI of declaratieve Automation-bundels te gebruiken, moet een beheerder eerst de verbinding maken in Catalog Explorer. Deze interfaces vereisen dat gebruikers een bestaande verbinding opgeven wanneer ze een pijplijn maken. Zie Verbinding maken met beheerde opnamebronnen. |
| Streamingconnectors | Azure Databricks biedt geoptimaliseerde connectors voor veel streaminggegevenssystemen. Voor alle streaminggegevensbronnen moet u referenties genereren die toegang bieden en deze referenties laden in Azure Databricks. Databricks raadt aan referenties op te slaan met behulp van geheimen, omdat u geheimen kunt gebruiken voor alle configuratieopties en in alle toegangsmodi. Alle gegevensconnectors voor streamingbronnen ondersteunen het doorgeven van referenties via opties bij het definiëren van streamingqueries. Zie standardconnectoren in Lakeflow Connect. |
| Integraties van derden | Gebruik hulpprogramma's van derden om verbinding te maken met externe gegevensbronnen en het automatisch opnemen van gegevens naar het lakehouse te automatiseren. Sommige oplossingen omvatten ook omgekeerde ETL en directe toegang tot lakehouse-gegevens van externe systemen. Zie Wat is Databricks Partner Connect? |
| Drivers | Azure Databricks bevat stuurprogramma's voor externe gegevenssystemen in elke Databricks Runtime. U kunt desgewenst stuurprogramma's van derden installeren voor toegang tot gegevens in andere systemen. U moet verbindingen voor elke tabel configureren. Sommige stuurprogramma's bevatten schrijftoegang. Zie Verbinding maken met externe systemen. Voor read-only queryfederatie verdient Lakehouse Federation altijd de voorkeur boven deze stuurprogramma's. |
| JDBC | Maak verbinding met externe databases met behulp van JDBC met een Unity Catalog-verbinding voor beheerde toegang, referentieisolatie en ondersteuning voor cross-compute. Zie JDBC-verbinding. Zie Querydatabases met behulp van JDBC voor verouderde JDBC-configuraties zonder Unity Catalog-governance. Bij read-only queryfederatie heeft Lakehouse Federation altijd de voorkeur. |
Verbindingen met externe services configureren
Unity Catalog bepaalt de toegang tot niet-opslagservices met behulp van een beveiligbaar object dat een servicereferentie wordt genoemd. Een servicereferentie bevat een langetermijncloudreferentie die toegang biedt tot een externe service waarmee gebruikers vanuit Azure Databricks verbinding moeten maken. Zie Verbinding maken met externe cloudservices met behulp van Unity Catalog
Toegang tot gegevensbronnen en externe services beheren en aanvragen
Voor de meeste verbindingsmethoden zijn verhoogde bevoegdheden vereist voor zowel de externe gegevensbron als de service en de Azure Databricks werkruimte. In typische organisaties hebben weinig gebruikers voldoende bevoegdheden in Azure Databricks of in externe gegevens- en opslagproviders om gegevensverbindingen zelf te configureren.
Uw organisatie heeft mogelijk al toegang tot een gegevensbron of service geconfigureerd met behulp van een van de patronen die worden beschreven in de artikelen die zijn gekoppeld vanaf deze pagina. Als uw organisatie een goed gedefinieerd proces heeft voor het aanvragen van toegang tot gegevens en services van derden, raadt Databricks aan dat proces te volgen. Als u niet zeker weet hoe u toegang krijgt tot een gegevensbron, kan deze procedure u helpen:
- Gebruik Catalog Explorer om de tabellen en volumes weer te geven waartoe u toegang hebt. Zie Wat is Catalog Explorer?
- Vraag uw teamleden of managers over de gegevensbronnen waartoe ze toegang hebben.
- De meeste organisaties gebruiken groepen die zijn gesynchroniseerd vanaf hun id-provider (bijvoorbeeld Okta of Microsoft Entra ID) om machtigingen voor werkruimtegebruikers te beheren. Als andere leden van uw team toegang hebben tot gegevensbronnen waartoe u toegang nodig hebt, moet u een werkruimtebeheerder aan de juiste groep toevoegen om toegang te verlenen.
- Als een bepaalde tabel, volume of gegevensbron is geconfigureerd door een collega, moet die persoon u toegang kunnen verlenen tot de gegevens.
Sommige organisaties koppelen machtigingen voor gegevenstoegang aan specifieke rekenclusters en SQL-warehouses. Dit is een verouderd governancemodel, maar als uw organisatie dit gebruikt en u wilt weten welke gegevensbronnen beschikbaar zijn op een specifieke rekenresource, neemt u contact op met de maker van de berekening die wordt vermeld op het tabblad Compute .