Verbinden mit Matillion

  • Artikel

Matillion ETL ist ein ETL/ELT-Tool, das speziell für Cloud-Datenbankplattformen einschließlich Azure Databricks erstellt wurde. Matillion ETL verfügt über eine moderne, browserbasierte UI mit leistungsstarken, push-down ETL/ELT-Funktionen.

Sie können Ihre Databricks SQL-Warehouses (ehemals Databricks SQL-Endpunkte) und Azure Databricks-Cluster mit Matillion integrieren.

Herstellen einer Verbindung zu Matillion über Partner Connect

In diesem Abschnitt wird beschrieben, wie Sie Partner Connect verwenden, um den Prozess zum Verbinden eines vorhandenen SQL-Warehouses oder Clusters in Ihrem Azure Databricks-Arbeitsbereich mit Matillion zu vereinfachen.

Anforderungen

Weitere Informationen zur Verwendung von Partner Connect finden Sie unter Anforderungen.

Schritte zum Herstellen einer Verbindung

Führen Sie die Schritte in diesem Abschnitt aus, um eine Verbindung mit Matillion mithilfe von Partner Connect herzustellen.

Tipp

Wenn Sie über ein vorhandenes Matillion-Konto verfügen, empfiehlt Databricks, dass Sie eine manuelle Verbindung mit Matillion herstellen. Der Grund dafür ist, dass die Verbindungserfahrung in Partner Connect für neue Partnerkonten optimiert ist.

  1. Klicken Sie auf der Randleiste auf die Partner Connect buttonPartner Connect.

  2. Klicken Sie auf die Kachel Matillion.

    Das Feld E-Mail enthält die E-Mail-Adresse für Ihr Azure Databricks-Konto. Matillion verwendet diese E-Mail-Adresse, um Sie aufzufordern, entweder ein neues Matillion-Konto zu erstellen oder sich bei Ihrem vorhandenen Matillion-Konto anzumelden.

  3. Klicken Sie auf Connect to Matillion ETL (Mit Matillion ETL verbinden) oder auf Anmelden.

    Eine neue Registerkarte wird in Ihrem Browser geöffnet, die den Matillion-Hub anzeigt.

  4. Führen Sie die Anweisungen auf dem Bildschirm in Matillion aus, um Ihr 14-tägiges Matillion-Testkonto zu erstellen oder sich bei Ihrem vorhandenen Matillion-Konto anzumelden.

    Wichtig

    Wenn ein Fehler angezeigt wird, der besagt, dass eine Person aus Ihrer Organisation bereits ein Konto mit Matillion erstellt hat, wenden Sie sich an einen der Administratoren Ihrer Organisation, und lassen Sie sie dem Matillion-Konto Ihrer Organisation hinzufügen. Nachdem sie Sie hinzugefügt haben, melden Sie sich bei Ihrem vorhandenen Matillion-Konto an.

  5. Führen Sie die Anweisungen auf dem Bildschirm aus, um Ihre Auftragsdetails bereitzustellen, und klicken Sie dann auf Weiter.

  6. Führen Sie die Anweisungen auf dem Bildschirm aus, um eine Organisation zu erstellen, und klicken Sie dann auf Weiter.

  7. Klicken Sie auf die von Ihnen erstellte Organisation, und klicken Sie dann auf die Instanz Matillion ETL hinzufügen.

  8. Klicken Sie auf Weiter in Azure.

    Das Azure-Portal wird geöffnet.

  9. Befolgen Sie die Anweisung zum Starten der Matillion ETL über eine Azure ARM-Vorlage in der Matillion ETL-Dokumentation, und beginnen Sie mit Schritt 6.

  10. Bearbeiten Sie Zuordnung einer Instanz in der Matillion ETL-Dokumentation.

    Matillion ETL wird in Ihrem Browser geöffnet, und das Dialogfeld Projekt erstellen wird angezeigt.

  11. Lesen Sie in der Matillion-Dokumentation die Beschreibung unter Create a Delta Lake on Databricks project (Projekt zum Erstellen eines Delta Lake in Databricks).

    Geben Sie für die Einstellungen im Abschnitt Delta Lake-Verbindung in diesen Anweisungen die folgenden Informationen ein:

    • Geben Sie für die Arbeitsbereichs-ID die Arbeitsbereich-ID Ihrer Azure Databricks pro Arbeitsbereich-URL ein. Fügen Sie nichts nach dem ersten „Punkt" (.) ein. Siehe Arbeitsbereichsnamen, URLs und IDs.
    • Geben Sie unter Benutzername das Wort token ein.
    • Geben Sie als Kennwort den Wert eines persönlichen Zugriffstokens für Azure Databricks ein.

    Um die Arbeitsbereichs-ID abzurufen und ein persönliches Zugriffstoken zu generieren, führe Sie folgende Schritte aus:

    1. Kehren Sie zur Registerkarte „Partner Connect“ in Ihrem Browser zurück.

    2. Beachten Sie die Arbeitsbereich-ID.

    3. Klicken Sie auf Neues Token generieren.

      In Ihrem Browser wird eine neue Registerkarte geöffnet, auf der die Seite Benutzereinstellungen der Azure Databricks-Benutzeroberfläche angezeigt wird.

    4. Klicken Sie auf Neues Token generieren.

    5. Geben Sie optional eine Beschreibung (einen Kommentar) und einen Ablaufzeitraum ein.

    6. Klicken Sie auf Generate (Generieren) .

    7. Kopieren Sie das generierte persönliche Zugriffstoken, und speichern Sie es an einem sicheren Ort.

    8. Kehren Sie in Ihrem Browser zur Matillion-Registerkarte zurück.

    Wählen Sie für die Einstellungen im Abschnitt Delta Lake Defaults in diesen Anweisungen für Cluster den Namen des SQL-Warehouse oder Clusters aus.

  12. Fahren Sie mit Nächste Schritte fort.

Manuelles Verbinden mit Matillion

In diesem Abschnitt wird beschrieben, wie Sie ein vorhandenes SQL-Warehouse oder einen Cluster in Ihrem Azure Databricks-Arbeitsbereich manuell mit Matillion verbinden.

Hinweis

Sie können eine Verbindung mit Matillion herstellen, indem Sie Partner Connect verwenden, um den Verbindungsvorgang zu vereinfachen.

Anforderungen

Bevor Sie die Integration mit Matillion manuell durchführen, müssen Sie über Folgendes verfügen:

Schritte zum Herstellen einer Verbindung

Gehen Sie wie folgt vor, um eine manuelle Verbindung mit Matillion herzustellen:

  1. Rufen Sie den Namen der vorhandenen Computeressource ab, die Sie innerhalb Ihres Arbeitsbereichs verwenden möchten (SQL-Warehouse oder Cluster). Später wählen Sie diesen Namen aus, um die Verbindung zwischen Ihrer Berechnungsressource und Ihrer Matillion ETL-Instanz abzuschließen.

    • Um SQL-Warehouses in Ihrem Arbeitsbereich anzuzeigen, klicken Sie auf der Seitenleiste auf Endpoints IconSQL-Warehouses. Informationen zum Erstellen eines neuen SQL-Warehouse finden Sie unter Erstellen eines SQL-Warehouse.
    • Um die Cluster in Ihrem Arbeitsbereich anzuzeigen, klicken Sie in der Seitenleiste auf compute iconCompute. Informationen zum Erstellen eines Clusters finden Sie unter Computekonfigurationsreferenz.

  2. Lesen Sie in der Matillion-Dokumentation die Beschreibung unter Connect to your Matillion ETL instance und log in to it (Herstellen einer Verbindung mit Ihrer Matillion ETL-Instanz und Anmelden in dieser).

  3. Lesen Sie in der Matillion-Dokumentation die Beschreibung unter Create a Delta Lake on Databricks project (Projekt zum Erstellen eines Delta Lake in Databricks).

    Geben Sie für die Einstellungen im Abschnitt Delta Lake-Verbindung in diesen Anweisungen die folgenden Informationen ein:

    • Geben Sie für die Arbeitsbereichs-ID die Arbeitsbereich-ID Ihrer Azure Databricks pro Arbeitsbereich-URL ein. Fügen Sie nichts nach dem ersten „Punkt" (.) ein. Siehe Arbeitsbereichsnamen, URLs und IDs.
    • Geben Sie unter Benutzername das Wort token ein.
    • Geben Sie für Kennwort das persönliche Azure Databricks-Zugriffstoken oder das Microsoft Entra ID-Token ein.

    Wählen Sie für die Einstellungen im Abschnitt Delta Lake Defaults in diesen Anweisungen für Cluster den Namen des SQL-Warehouse oder Clusters aus.

  4. Fahren Sie mit Nächste Schritte fort.

Nächste Schritte

Erkunden Sie eine oder mehrere der folgenden Ressourcen auf der Matillion-Website: