Freigeben über

Häufig gestellte Fragen zu verwaltetem Connector

Dieser Artikel beantwortet häufig gestellte Fragen zu verwalteten Connectors in Databricks Lakeflow Connect. Connectorspezifische FAQs finden Sie in der Dokumentation für Ihren Connector.

Welche verwalteten Connectors werden von Databricks unterstützt?

Lakeflow Connect bietet verwaltete Connectors für Salesforce, SQL Server, ServiceNow und Google Analytics. Um die Roadmap zu informieren oder frühzeitigen Zugriff auf Private Preview-Connectors zu erhalten, wenden Sie sich an Ihr Kontoteam.

Welche Schnittstellen unterstützen verwaltete Konnektoren?

Alle verwalteten Connectors unterstützen die Pipelineerstellung mithilfe von Databricks-APIs und Databricks-Objektbundles. Die meisten Connectors bieten auch die Erstellung von Pipelines innerhalb der Benutzeroberfläche an.

In der folgenden Tabelle wird zusammengefasst, welche Schnittstellen von jedem Connector unterstützt werden.

Verbinder Benutzeroberflächenbasierte Pipelineerstellung API-basierte Pipelineerstellung Databricks-Ressourcenpakete
Salesforce Ja Ja Ja
Arbeitstag Nein Ja Ja
SQL Server Ja Ja Ja
ServiceNow Ja Ja Ja
GA4 Ja Ja Ja
SharePoint Nein Ja Ja

Wie behandeln verwaltete Connectors die Schemaentwicklung?

Alle verwalteten Connectors verarbeiten automatisch neue und gelöschte Spalten, es sei denn, Sie wählen ausdrücklich aus, welche Spalten Sie aufnehmen möchten.

  • Wenn eine neue Spalte in der Quelle angezeigt wird, nimmt Databricks sie automatisch in die nächsten Ausführung der Pipeline ein. Für jede Zeile in der Spalte, die vor der Schemaänderung angezeigt wurde, lässt Databricks den Wert leer. Sie können die automatische Erfassung von Spalten jedoch deaktivieren, indem Sie bestimmte Spalten auflisten, die über die API aufgenommen werden sollen, oder um zukünftige Spalten in der Benutzeroberfläche zu deaktivieren.
  • Wenn eine Spalte aus der Quelle gelöscht wird, löscht Databricks sie nicht automatisch. Stattdessen verwendet der Verbinder eine Tabelleneigenschaft, um die gelöschte Spalte im Ziel auf "inaktiv" festzulegen. Wenn später eine weitere Spalte mit demselben Namen angezeigt wird, schlägt die Pipeline fehl. In diesem Fall können Sie eine vollständige Aktualisierung der Tabelle auslösen oder die inaktive Spalte manuell ablegen.

Ebenso können Verbinder neue und gelöschte Tabellen verarbeiten. Wenn Sie ein gesamtes Schema importieren, erfasst Databricks automatisch neue Tabellen, es sei denn, Sie deaktivieren diese Funktion. Und wenn eine Tabelle in der Quelle gelöscht wird, setzt der Connector sie im Ziel auf inactive. Wenn Sie ein gesamtes Schema aufnehmen möchten, sollten Sie die Einschränkungen für die Anzahl der Tabellen pro Pipeline für Ihren Connector überprüfen.

Zusätzliche Schemaänderungen sind von der Quelle abhängig. Beispielsweise behandelt der Salesforce-Connector Spaltenumbenennungen als Spaltenlöschungen und Ergänzungen und nimmt die Änderung automatisch vor, wobei das oben beschriebene Verhalten verwendet wird. Der SQL Server-Connector erfordert jedoch eine vollständige Aktualisierung der betroffenen Tabellen, um die Aufnahme fortzusetzen.

In der folgenden Tabelle wird zusammengefasst, welche Schemaänderungen von jedem Connector automatisch behandelt werden können:

Verbinder Neue und gelöschte Spalten Datentypänderungen Spaltenumbenennungen Neue Tabellen
Salesforce Ja Nein Ja - Als neue Spalte (neuer Name) behandelt und als gelöscht markiert (alter Name). Erfordert keine vollständige Aktualisierung. Ja – Falls Sie das gesamte Schema komplett übernehmen.
Arbeitstag Ja Nein Ja - Als neue Spalte (neuer Name) behandelt und als gelöscht markiert (alter Name). Erfordert keine vollständige Aktualisierung. Nicht anwendbar
SQL Server Ja Nein Ja - Spalte wird umbenannt. Erfordert eine vollständige Aktualisierung. Ja – Falls Sie das gesamte Schema komplett übernehmen.
ServiceNow Ja Nein Ja - Als neue Spalte (neuer Name) behandelt und als gelöscht markiert (alter Name). Erfordert keine vollständige Aktualisierung. Ja – Falls Sie das gesamte Schema komplett übernehmen.
GA4 Ja Nein Ja - Als neue Spalte (neuer Name) behandelt und als gelöscht markiert (alter Name). Erfordert keine vollständige Aktualisierung. Ja – Falls Sie das gesamte Schema komplett übernehmen.

Kann ich verwaltete Connectors anpassen?

Sie können die aufgenommenen Objekte, das Ziel, den Zeitplan, berechtigungen, Benachrichtigungen und vieles mehr auswählen. Sie können den Aufnahmevorgang selbst nicht anpassen, da diese Konnektoren vollständig verwaltet werden. Für weitere Anpassungen können Sie Lakeflow Declarative Pipelines oder Structured Streaming verwenden.

Was ist der Unterschied zwischen Managed Connectors, Lakehouse Federation und Delta Sharing?

Lakehouse Federation ermöglicht es Ihnen, externe Datenquellen abzufragen, ohne Ihre Daten zu verschieben. Mit der Delta-Freigabe können Sie Livedaten über Plattformen, Clouds und Regionen hinweg sicher freigeben.

Wenn Sie die Wahl zwischen verwalteten Konnektoren, Lakehouse-Verbund und Delta Sharing haben, sollten Sie Delta Sharing für die folgenden Szenarien auswählen.

  • Einschränken der Datenduplizierung.
  • Abfragen der neuesten möglichen Daten.

Wählen Sie lakehouse Federation für die folgenden Szenarien aus:

  • Ad-hoc-Berichterstellung oder Machbarkeitsstudien für Ihre ETL-Pipelines.

Was ist der Unterschied zwischen verwalteten Connectors und Auto Loader?

Mit verwalteten Connectors können Sie daten aus SaaS-Anwendungen wie Salesforce und Datenbanken wie SQL Server inkrementell aufnehmen. Auto Loader ist ein Cloudobjektspeicherconnector, mit dem Sie Dateien inkrementell aufnehmen können, sobald sie in S3, ADLS und GCS eingehen. Es ist kompatibel mit Structured Streaming und Lakeflow Declarative Pipelines, bietet jedoch keine vollständig verwalteten Aufnahmepipelines.

Können verwaltete Connectors in die Datenquelle zurückschreiben?

Nein. Wenn Sie an dieser Funktionalität interessiert sind, wenden Sie sich an Ihr Kontoteam.

Sind verwaltete Connectors in allen Regionen verfügbar?

Nein. Siehe Verfügbarkeit der Serverless Compute-Funktion.

Kann eine Pipeline in mehrere Zielschemas schreiben?

Dieses Feature wird in der Lakeflow Connect-API für alle verwalteten SaaS-Connectors wie Salesforce, Workday und ServiceNow unterstützt.

Wenn Sie sich dafür entscheiden, diese Funktion zu verwenden, wird Ihre Pipeline nur über die API zugänglich. Sie können sie nicht in der Benutzeroberfläche bearbeiten.

Kann ich den Namen einer Tabelle ändern, die ich aufgenommen habe?

Dieses Feature wird in der Lakeflow Connect-API für alle verwalteten Connectors unterstützt.

Wenn Sie sich dafür entscheiden, diese Funktion zu verwenden, wird Ihre Pipeline nur über die API zugänglich. Sie können api-only-Pipelines nicht in der Benutzeroberfläche bearbeiten.

Fügen Sie für jede Tabelle, die Sie umbenennen möchten, die destination_table Konfiguration mit dem gewünschten Tabellennamen hinzu.

Was geschieht, wenn eine Pipeline noch ausgeführt wird (Update N), wenn das nächste Update ausgeführt werden soll (Update N+1)?

Databricks überspringt das Update N+1 und übernimmt das Update N+2, vorausgesetzt, dass das Update N rechtzeitig abgeschlossen ist.

Was geschieht mit den Zieltabellen, wenn eine Aufnahmepipeline gelöscht wird?

Die Zieltabellen werden gelöscht, wenn die Aufnahmepipeline gelöscht wird.

Wie werden verwaltete Connectors preisverwertet?

Verwaltete Connectors verfügen über ein computebasiertes Preismodell.

SaaS-Quellen wie Salesforce und Workday, die ausschließlich auf serverloser Infrastruktur laufen, verursachen DBU-Gebühren für serverlose Lakeflow Declarative Pipelines.

Bei Datenbankquellen wie SQL Server können Ingestionsgateways je nach Quelle im klassischen Modus oder im serverlosen Modus ausgeführt werden, und Ingestionspipelines laufen serverlos. Daher können Sie sowohl klassische als auch serverlose Lakeflow Declarative Pipelines DBU-Gebühren erhalten.

Details zu den Preisen finden Sie auf der Preisseite für Lakeflow Declarative Pipelines.

Kann ich den Delta Lake-Änderungsdatenfeed für eine Zieltabelle aktivieren?

Dies ist für alle Zieltabellen aktiviert.

Häufig gestellte Fragen zu Connectoren

Für Anschluss-spezifische häufig gestellte Fragen sehen Sie die Dokumentation zu Ihrem Connector.