Azure Private Link für Azure Data Factory

GILT FÜR: Azure Data Factory Azure Synapse Analytics

Tipp

Testen Sie Data Factory in Microsoft Fabric, eine All-in-One-Analyselösung für Unternehmen. Microsoft Fabric deckt alle Aufgaben ab, von der Datenverschiebung bis hin zu Data Science, Echtzeitanalysen, Business Intelligence und Berichterstellung. Erfahren Sie, wie Sie kostenlos eine neue Testversion starten!

Mithilfe von Azure Private Link können Sie eine Verbindung mit verschiedenen PaaS-Bereitstellungen (Platform as a Service) in Azure über einen privaten Endpunkt herstellen. Ein privater Endpunkt ist eine private IP-Adresse in einem bestimmten virtuellen Netzwerk und Subnetz. Eine Liste der PaaS-Bereitstellungen, die die Private Link-Funktionalität unterstützen, finden Sie in der Dokumentation zu Private Link.

Sichere Kommunikation zwischen dem Kundennetzwerk und Data Factory

Sie können Azure Virtual Network als logische Darstellung Ihres Netzwerks in der Cloud einrichten. Diese Vorgehensweise bietet folgende Vorteile:

  • Sie schützen damit Ihre Azure-Ressourcen vor Angriffen in öffentlichen Netzwerken.
  • Sie ermöglichen eine sichere Kommunikation zwischen den Netzwerken und Data Factory.

Sie können virtuelle Netzwerke auch mit Ihrem lokalen Netzwerk verbinden. Richten Sie eine VPN-Verbindung mit Internetprotokollsicherheit ein, d.h. eine Site-to-Site-Verbindung. Oder richten Sie eine Azure ExpressRoute-Verbindung ein. Dies ist eine private Peering-Verbindung.

Sie können auch eine selbstgehostete Integration Runtime (IR) auf einem lokalen Computer oder einem virtuellen Computer im virtuellen Netzwerk installieren. Dies ermöglicht Folgendes:

  • Ausführen von Kopieraktivitäten zwischen einem Clouddatenspeicher und einem Datenspeicher im privaten Netzwerk
  • Verteilen von Transformationsaktivitäten für Computeressourcen in einem lokalen Netzwerk oder einem virtuellen Azure-Netzwerk

Zwischen Azure Data Factory und dem virtuellen Netzwerk des Kunden sind mehrere Kommunikationskanäle erforderlich, wie in der folgenden Tabelle dargestellt:

Domain Port BESCHREIBUNG
adf.azure.com 443 Das Data Factory-Portal ist erforderlich für Data Factory-Erstellung und -Überwachung.
*.{region}.datafactory.azure.net 443 Erforderlich durch die selbstgehostete IR, um eine Verbindung mit Data Factory herzustellen.
*.servicebus.windows.net 443 Erforderlich für die selbstgehostete IR zur interaktiven Erstellung.
download.microsoft.com 443 Erforderlich für die selbstgehostete IR zum Herunterladen der Aktualisierungen.

Hinweis

Die Deaktivierung des öffentlichen Netzwerkzugriffs gilt nur für die selbstgehostete IR, nicht für die Azure IR und die SQL Server Integration Services IR.

Die Kommunikation mit Data Factory durchläuft Private Link, sodass eine geschützte private Konnektivität zur Verfügung steht.

Diagramm von Private Link für die Data Factory-Architektur

Die Aktivierung von Private Link für die genannten Kommunikationskanäle bietet folgende Funktionen:

  • Unterstützt:

    • Sie können Erstellungs- und Überwachungsvorgänge im Data Factory-Portal in Ihrem virtuellen Netzwerk ausführen, selbst wenn Sie die gesamte ausgehende Kommunikation blockieren. Wenn Sie einen privaten Endpunkt für das Portal erstellen, können andere dennoch über das öffentliche Netzwerk auf das Data Factory-Portal zugreifen.
    • Die Befehlskommunikation zwischen der selbstgehosteten IR und Data Factory kann sicher in einer privaten Netzwerkumgebung durchgeführt werden. Der Datenverkehr zwischen der selbstgehosteten IR und Data Factory wird über Private Link ausgeführt.
  • Derzeit nicht unterstützt:

    • Die interaktive Erstellung, die eine selbstgehostete IR verwendet, wie z. B. Verbindung testen, Ordner- und Tabellenliste durchsuchen, Schema abrufen und Daten in der Vorschau anzeigen, erfolgt über Private Link. Beachten Sie, dass der Datenverkehr über eine private Verbindung läuft, wenn das eigenständige interaktive Authoring aktiviert ist. Weitere Informationen finden Sie unter Eigenständiges interaktives Authoring.

    Hinweis

    Sowohl „IP abrufen“ als auch „Protokoll senden“ werden nicht unterstützt, wenn das eigenständige interaktive Authoring aktiviert ist.

    • Die neue Version der selbstgehosteten IR, die automatisch aus dem Microsoft Download Center heruntergeladen werden kann, wenn Sie automatische Updates aktivieren, wird zurzeit nicht unterstützt.

    Für Funktionen, die derzeit nicht unterstützt werden, müssen Sie die zuvor erwähnte Domäne und den Port im virtuellen Netzwerk oder in Ihrer Unternehmensfirewall konfigurieren.

    Die Verbindung zu Data Factory über einen privaten Endpunkt ist nur für selbstgehostete IR in Data Factory möglich. Dieses Feature wird für Azure Synapse Analytics nicht unterstützt.

Warnung

Wenn Sie Private Link Data Factory aktivieren und gleichzeitig den öffentlichen Zugriff sperren, speichern Sie Ihre Anmeldedaten in Azure Key Vault, um deren Sicherheit zu gewährleisten.

Konfigurieren Sie einen privaten Endpunkt für die Kommunikation zwischen der selbstgehosteten IR und Data Factory

Dieser Abschnitt beschreibt, wie Sie den privaten Endpunkt für die Kommunikation zwischen der selbstgehosteten IR und Data Factory konfigurieren.

Der private Endpunkt wird in Ihrem virtuellen Netzwerk für die Kommunikation zwischen der selbstgehosteten IR und Data Factory erstellt. Befolgen Sie die ausführlichen Schritte unter Einrichten eines Links für einen privaten Endpunkt für Data Factory.

Stellen Sie sicher, dass die DNS-Konfiguration korrekt ist

Befolgen Sie den Anweisungen unter DNS-Änderungen für private Endpunkte, um Ihre DNS-Einstellungen zu überprüfen oder zu konfigurieren.

Fügen Sie FQDNs von Azure Relay und Download Center zur Positivliste Ihrer Firewall hinzu

Wenn Ihre selbstgehostete IR auf der VM in Ihrem virtuellen Netzwerk installiert ist, lassen Sie ausgehenden Datenverkehr für die unten angegebenen FQDNs in der NSG Ihres virtuellen Netzwerks zu.

Wenn Ihre selbstgehostete IR auf dem Computer in Ihrer lokalen Umgebung installiert ist, lassen Sie ausgehenden Datenverkehr für die unten angegebenen FQDNs in der Firewall Ihrer lokalen Umgebung und in der NSG Ihres virtuellen Netzwerks zu.

Domain Port BESCHREIBUNG
*.servicebus.windows.net 443 Erforderlich für die selbstgehostete IR zur interaktiven Erstellung
download.microsoft.com 443 Erforderlich für die selbstgehostete IR zum Herunterladen der Aktualisierungen

Wenn Sie den vorherigen ausgehenden Datenverkehr in der Firewall und NSG nicht zulassen, wird selbst gehostete IR mit einem eingeschränkten Status angezeigt. Sie können sie aber dennoch zum Ausführen von Aktivitäten verwenden. Nur interaktives Authoring und automatisches Aktualisieren funktionieren nicht.

Hinweis

Wenn Data Factory (freigegeben) über eine selbstgehostete IR verfügt und die selbst gehostete IR für andere Datenfabriken (verknüpft) freigegeben wird, müssen Sie nur einen privaten Endpunkt für die freigegebene Data Factory erstellen. Andere verknüpfte Data Factorys können diesen privaten Link für die Kommunikation zwischen selbstgehosteten IR- und Data Factory nutzen.

Hinweis

Zurzeit wird die Einrichtung einer privaten Verbindung zwischen einer selbst gehosteten Integrationslaufzeit und einem Synapse Analytics-Arbeitsbereich nicht unterstützt. Und die selbst gehostete Integrationslaufzeit kann weiterhin mit Synapse kommunizieren, auch wenn der Datenexfiltrationsschutz im Synapse-Arbeitsbereich aktiviert ist.

DNS-Änderungen für private Endpunkte

Wenn Sie einen privaten Endpunkt erstellen, wird der DNS-CNAME-Ressourceneintrag für die Data Factory auf einen Alias in einer Unterdomäne mit dem Präfix privatelink aktualisiert. Standardmäßig erstellen wir außerdem eine private DNS-Zone, die der Unterdomäne privatelink entspricht, mit den DNS-A-Ressourceneinträgen für die privaten Endpunkte.

Wenn Sie die Endpunkt-URL der Data Factory außerhalb des virtuellen Netzwerks mit dem privaten Endpunkt auflösen, wird diese in den öffentlichen Endpunkt von Data Factory aufgelöst. Bei Auflösung aus dem virtuellen Netzwerk, das den privaten Endpunkt hostet, wird die Speicherendpunkt-URL in die IP-Adresse des privaten Endpunkts aufgelöst.

Für das oben gezeigte Beispiel lauten die DNS-Ressourceneinträge für Data Factory „DataFactoryA“, wenn sie von außerhalb des virtuellen Netzwerks, das den privaten Endpunkt hostet, aufgelöst werden:

Name type Wert
DataFactoryA.{region}.datafactory.azure.net CNAME < Öffentlicher Endpunkt für Data Factory >
< Öffentlicher Endpunkt für Data Factory > Ein < Öffentliche IP-Adresse der Data Factory >

Die DNS-Ressourceneinträge für „DataFactoryA“ lauten nach dem Auflösen im virtuellen Netzwerk, das den privaten Endpunkt hostet, wie folgt:

Name type Wert
DataFactoryA.{region}.datafactory.azure.net CNAME DataFactoryA.{region}.privatelink.datafactory.azure.net
DataFactoryA.{region}.privatelink.datafactory.azure.net Ein < IP-Adresse des privaten Endpunkts >

Wenn Sie einen benutzerdefinierten DNS-Server in Ihrem Netzwerk verwenden, müssen Clients in der Lage sein, den FQDN für den Data Factory-Endpunkt in die IP-Adresse des privaten Endpunkts aufzulösen. Sie sollten Ihren DNS-Server so konfigurieren, dass Ihre Private Link-Subdomäne an die private DNS-Zone für das virtuelle Netzwerk delegiert wird. Oder Sie können die A-Datensätze für DataFactoryA konfigurieren. {region}.datafactory.azure.net mit der privaten Endpunkt-IP-Adresse.

Hinweis

Derzeit gibt es nur einen Data Factory-Portalendpunkt, also gibt es auch nur einen privaten Endpunkt für das Portal in einer DNS-Zone. Beim Versuch, einen zweiten oder nachfolgenden privaten Portalendpunkt zu erstellen, wird der zuvor erstellte private DNS-Eintrag für das Portal überschrieben.

In diesem Abschnitt richten Sie einen Link für einen privaten Endpunkt für Data Factory ein.

Sie können wählen, ob Sie Ihre selbstgehostete IR mit Data Factory verbinden möchten, indem Sie während des Erstellungsschritts von Data Factory die Option Öffentlicher Endpunkt oder Privater Endpunkt wählen, wie hier gezeigt:

Screenshot des Blockierens des öffentlichen Zugriffs der selbstgehosteten IR

Sie können die Auswahl nach der Erstellung jederzeit auf der Data Factory-Portalseite im Bereich Netzwerke ändern. Nachdem Sie dort privater Endpunkte aktiviert haben, müssen Sie der Data Factory auch einen privaten Endpunkt hinzufügen.

Für einen privaten Endpunkt sind ein virtuelles Netzwerk und ein Subnetz für die Verknüpfung erforderlich. In diesem Beispiel wird ein virtueller Computer innerhalb des Subnetzes verwendet, um die selbstgehostete IR auszuführen, die sich über den privaten Endpunktlink verbindet.

Erstellen eines virtuellen Netzwerks

Wenn Sie nicht über ein virtuelles Netzwerk verfügen, das mit Ihrem privaten Endpunktlink verwendet werden kann, müssen Sie eines erstellen und ein Subnetz zuweisen.

  1. Melden Sie sich beim Azure-Portal an.

  2. Wählen Sie in der oberen linken Ecke auf dem Bildschirm Ressource erstellen>Netzwerk>Virtuelles Netzwerk aus, oder suchen Sie über das Suchfeld nach Virtuelles Netzwerk.

  3. Geben Sie unter Virtuelles Netzwerk erstellen auf der Registerkarte Grundlagen die folgenden Informationen ein, oder wählen Sie sie aus:

    Einstellung Wert
    Projektdetails
    Subscription Wählen Sie Ihr Azure-Abonnement.
    Resource group Wählen Sie eine Ressourcengruppe für Ihr virtuelles Netzwerk aus.
    Instanzendetails
    Name Geben Sie einen Namen für Ihr virtuelles Netzwerk ein.
    Region Wichtig: Wählen Sie dieselbe Region aus, die auch Ihr privater Endpunkt verwendet.
  4. Wählen Sie die Registerkarte IP-Adressen oder wählen Sie Weiter: IP-Adressen unten auf der Seite.

  5. Geben Sie auf der Registerkarte IP-Adressen die folgenden Informationen ein:

    Einstellung Wert
    IPv4-Adressraum Geben Sie 10.1.0.0/16 ein.
  6. Wählen Sie unter Subnetzname das Wort Standard aus.

  7. Geben Sie unter Subnetz bearbeiten die folgenden Informationen ein:

    Einstellung Wert
    Subnetzname Geben Sie einen Namen für Ihr Subnetz ein.
    Subnetzadressbereich Geben Sie 10.1.0.0/24 ein.
  8. Wählen Sie Speichern aus.

  9. Wählen Sie die Registerkarte Überprüfen + erstellen oder die Schaltfläche Überprüfen + erstellen aus.

  10. Klicken Sie auf Erstellen.

Erstellen Sie einen virtuellen Computer für die selbstgehostete IR

Sie müssen außerdem einen virtuellen Computer erstellen oder eine vorhandene VM zuweisen, um die selbstgehostete IR in dem neuen Teilnetz auszuführen, das in den vorangegangenen Schritten erstellt wurde.

  1. Wählen Sie in der oberen linken Ecke im Portal die Option Ressource erstellen>Compute>Virtueller Computer aus, oder suchen Sie über das Suchfeld nach Virtueller Computer.

  2. Geben Sie unter Virtuellen Computer erstellen auf der Registerkarte Grundlagen die folgenden Werte ein, oder wählen Sie sie aus:

    Einstellung Wert
    Projektdetails
    Subscription Wählen Sie Ihr Azure-Abonnement.
    Resource group Wählen Sie eine Ressourcengruppe aus.
    Instanzendetails
    Name des virtuellen Computers Geben Sie einen Namen für den virtuellen Computer ein.
    Region Wählen Sie die Region, die Sie für Ihr virtuelles Netzwerk verwendet haben.
    Verfügbarkeitsoptionen Wählen Sie die Option Keine Infrastrukturredundanz erforderlich aus.
    Image Wählen Sie Windows Server 2019 Datacenter - Gen1, oder ein anderes Windows-Image, das die selbstgehostete IR unterstützt.
    Azure Spot-Instanz Wählen Sie Nein aus.
    Size Wählen Sie die VM-Größe oder verwenden Sie die Standardeinstellung.
    Administratorkonto
    Username Geben Sie einen Benutzernamen ein.
    Kennwort Geben Sie ein Kennwort ein.
    Kennwort bestätigen Geben Sie das Kennwort erneut ein.
  3. Wählen Sie die Registerkarte Netzwerk, oder wählen Sie Weiter: Datenträger> Weiter: Netzwerke.

  4. Wählen Sie auf der Registerkarte Netzwerk die folgenden Werte aus, oder geben Sie sie ein:

    Einstellung Wert
    Netzwerkschnittstelle
    Virtuelles Netzwerk Wählen Sie das erstellte virtuelle Netzwerk aus.
    Subnet Wählen Sie das erstellte Subnetz aus.
    Öffentliche IP-Adresse Wählen Sie Keine aus.
    NIC-Netzwerksicherheitsgruppe Basic
    Öffentliche Eingangsports Wählen Sie Keine.
  5. Klicken Sie auf Überprüfen + erstellen.

  6. Überprüfen Sie die Einstellungen, und wählen Sie dann die Option Erstellen.

Hinweis

Azure stellt eine ausgehende Standardzugriffs-IP für VMs bereit, denen keine öffentliche IP-Adresse zugewiesen ist oder die sich im Backendpool eines internen grundlegenden Azure-Lastenausgleichs befinden. Der Mechanismus für Standard-IP-Adressen für den ausgehenden Zugriff stellt eine ausgehende IP-Adresse bereit, die nicht konfigurierbar ist.

Die Standard-IP-Adresse für ausgehenden Zugriff ist deaktiviert, wenn eines der folgenden Ereignisse auftritt:

  • Dem virtuellen Computer wird eine öffentliche IP-Adresse zugewiesen.
  • Die VM wird im Backendpool eines Standardlastenausgleichs platziert (mit oder ohne Ausgangsregeln).
  • Dem Subnetz der VM wird eine Azure NAT Gateway-Ressource zugewiesen.

VMs, die Sie mithilfe von VM-Skalierungsgruppen im Orchestrierungsmodus „Flexibel“ erstellen, haben keinen ausgehenden Standardzugriff.

Weitere Informationen zu ausgehenden Verbindungen in Azure finden Sie unter Standardzugriff in ausgehender Richtung in Azure und Verwenden von SNAT (Source Network Address Translation) für ausgehende Verbindungen.

Erstellen eines privaten Endpunkts

Abschließend müssen Sie den privaten Endpunkt in Ihrer Data Factory erstellen.

  1. Wählen Sie auf der Azure-Portalseite für die Data Factory die Option Netzwerke> für private Endpunktverbindungen und dann die Option + Privater Endpunkt.

    Screenshot des Bereichs „Private Endpunktverbindungen“ zum Erstellen eines privaten Endpunkts

  2. Geben Sie auf der Registerkarte Grundlagen unter Privaten Endpunkt erstellen die folgenden Informationen ein, oder wählen Sie sie aus:

    Einstellung Wert
    Projektdetails
    Subscription Wählen Sie Ihr Abonnement aus.
    Resource group Wählen Sie eine Ressourcengruppe aus.
    Instanzendetails
    Name Geben Sie einen Namen für Ihren Endpunkt ein.
    Region Wählen Sie die Region des erstellten virtuellen Netzwerks aus.
  3. Wählen Sie die Registerkarte Ressource oder unten auf dem Bildschirm Weiter: Ressource aus.

  4. Geben Sie in Ressource diese Informationen ein, oder wählen Sie sie aus:

    Einstellung Wert
    Verbindungsmethode Wählen Sie Mit einer Azure-Ressource in meinem Verzeichnis verbinden aus.
    Subscription Wählen Sie Ihr Abonnement aus.
    Ressourcentyp Wählen Sie Microsoft.DataFactory/factories aus.
    Resource Wählen Sie Ihr Data Factory.
    Zielunterressource Wenn Sie den privaten Endpunkt für die Befehlskommunikation zwischen der selbstgehosteten IR und Data Factory verwenden möchten, wählen Sie datafactory als Zielsubressource. Wenn Sie einen privaten Endpunkt für die Erstellung und Überwachung der Data Factory in Ihrem virtuellen Netzwerk nutzen möchten, wählen Sie für Zielunterressource den Eintrag portal aus.
  5. Wählen Sie die Registerkarte Konfiguration oder die Schaltfläche Weiter: Konfiguration am unteren Bildschirmrand aus.

  6. Geben Sie diese Informationen in Konfiguration ein oder wählen Sie sie aus:

    Einstellung Wert
    Netzwerk
    Virtuelles Netzwerk Wählen Sie das erstellte virtuelle Netzwerk aus.
    Subnet Wählen Sie das erstellte Subnetz aus.
    Private DNS-Integration
    Integration in eine private DNS-Zone Übernehmen Sie den Standardwert Ja.
    Subscription Wählen Sie Ihr Abonnement aus.
    Private DNS-Zonen Belassen Sie den Standardwert für beide untergeordnete Zielressourcen: 1. DataFactory: (New) privatelink.datafactory.azure.net. 2. Portal: (New) privatelink.adf.azure.com.
  7. Klicken Sie auf Überprüfen + erstellen.

  8. Klicken Sie auf Erstellen.

Wenn Sie den Zugriff auf Data Factory-Ressourcen in Ihren Abonnements mithilfe einer privaten Verbindung einschränken möchten, befolgen Sie die Schritte unter Erstellen einer privaten Verbindung zum Verwalten von Azure-Ressourcen im Azure-Portal.

Bekanntes Problem

Sie können nicht auf jede PaaS-Ressourcen zugreifen, wenn beide Seiten für eine private Verbindung und einen privaten Endpunkt verfügbar gemacht werden. Dieser Fehler ist eine bekannte Einschränkung privater Verbindungen und privater Endpunkte.

Beispiel: Kunde A verwendet eine private Verbindung, um auf das Portal von Data Factory A im virtuellen Netzwerk A zuzugreifen. Wenn die Data Factory A den öffentlichen Zugriff nicht blockiert, kann Kunde B über das öffentliche Netzwerk auf das Portal von Data Factory A im virtuellen Netzwerk B zugreifen. Wenn Kunde B jedoch einen privaten Endpunkt für Data Factory B im virtuellen Netzwerk B erstellt, kann er nicht mehr über das öffentliche Netzwerk auf Data Factory A im virtuellen Netzwerk B zugreifen.