OneLake-Verknüpfungen

Mit Tastenkombinationen in Microsoft OneLake können Sie Ihre Daten über Domänen, Clouds und Konten hinweg vereinheitlichen, indem Sie OneLake zum einzigen virtuellen Datensee für Ihr gesamtes Unternehmen machen. Fabric-Erfahrungen und Analysemodule können eine Verbindung mit Ihren vorhandenen Datenquellen herstellen, einschließlich Azure, Amazon Web Services (AWS) und OneLake über einen einheitlichen Namespace. OneLake verwaltet alle Berechtigungen und Anmeldeinformationen, sodass Sie nicht jede Fabric Workload separat konfigurieren müssen, um eine Verbindung mit jeder Datenquelle herzustellen. Darüber hinaus können Sie Tastenkombinationen verwenden, um Randkopien von Daten zu vermeiden und die Prozesslatenz im Zusammenhang mit Datenkopien und Staging zu verringern.

Was sind Verknüpfungen?

Verknüpfungen sind Objekte in OneLake, die auf andere Speicherorte verweisen. Der Speicherort kann innerhalb oder außerhalb von OneLake sein. Die Position, auf die eine Verknüpfung verweist, wird als Zielpfad der Verknüpfung bezeichnet. Die Position, an der die Verknüpfung angezeigt wird, wird als Verknüpfungspfad bezeichnet.

Verknüpfungen werden in OneLake als Ordner angezeigt und können von allen Workloads oder Diensten verwendet werden, die Zugriff auf OneLake haben. Verknüpfungen verhalten sich wie symbolische Verknüpfungen. Sie sind ein vom Ziel unabhängiges Objekt. Wenn Sie eine Verknüpfung löschen, bleibt das Ziel davon unberührt. Wenn Sie einen Zielpfad verschieben, umbenennen oder löschen, kann die Verknüpfung unterbrochen werden.

Wo kann ich Verknüpfungen erstellen?

Sie können Verknüpfungen in Lakehouses und Kusto Query Language (KQL)-Datenbanken erstellen.

Sie können das Fabric-Portal verwenden, um Verknüpfungen interaktiv zu erstellen, und Sie können die REST-API verwenden, um Verknüpfungen programmgesteuert zu erstellen.

Lakehouse

Beim Erstellen von Verknüpfungen in einem Lakehouse müssen Sie die Ordnerstruktur des Elements verstehen. Lakehouses haben zwei Ordner auf oberster Ebene: den Ordner "Tabellen " und den Ordner "Dateien ". Der Tabellenordner ist der verwaltete Bereich des Lakehouse für strukturierte Datensätze. Der Dateienordner ist der nicht verwaltete Teil des Lakehouse für unstrukturierte oder halbstrukturierte Daten.

Im Tabellenordner können Sie Verknüpfungen nur auf oberster Ebene erstellen. Verknüpfungen werden in Unterverzeichnissen des Tabellenordners nicht unterstützt. Verknüpfungen im Tabellenabschnitt verweisen in der Regel auf interne Quellen in OneLake oder verknüpfen mit anderen Datenressourcen, die dem Delta-Tabellenformat entsprechen. Wenn das Ziel der Verknüpfung Daten im Delta-Parquet-Format enthält, synchronisiert das Lakehouse automatisch die Metadaten und erkennt den Ordner als Tabelle. Abkürzungen im Tabellenbereich können entweder auf eine einzelne Tabelle oder ein Schema verweisen, bei dem es sich um einen übergeordneten Ordner für mehrere Tabellen handelt.

Hinweis

Das Deltaformat unterstützt keine Tabellen mit Leerzeichen im Namen. Jede Verknüpfung, die ein Leerzeichen im Namen enthält, wird im Lakehouse nicht als Deltatabelle ermittelt.

Im Ordner "Dateien" gibt es keine Einschränkungen, wo Sie Verknüpfungen erstellen können. Sie können Verknüpfungen auf jeder Ebene der Ordnerhierarchie erstellen. Im Ordner „Dateien“ findet keine Tabellenerkennung statt. Tastenkombinationen können hier entweder auf interne OneLake- und externe Speichersysteme mit Daten in jedem Beliebigen Format verweisen.

KQL-Datenbank

Wenn Sie eine Verknüpfung in einer KQL-Datenbank erstellen, wird sie im Ordner Shortcuts (Verknüpfungen) der Datenbank angezeigt. Die KQL-Datenbank behandelt Abkürzungen wie externe Tabellen. Um die Verknüpfung abzufragen, verwenden Sie die Funktion external_table der Kusto-Abfragesprache.

Wo kann ich auf meine Verknüpfungen zugreifen?

Jeder Fabric- oder Nicht-Fabric-Dienst, der auf Daten in OneLake zugreifen kann, kann Abkürzungen nutzen. Verknüpfungen sind für jeden Dienst transparent, der über die OneLake-API auf Daten zugreift. Verknüpfungen werden schlicht wie ein anderer Ordner im Lake angezeigt. Apache Spark, SQL, Echtzeitintelligenz und Analysis Services können Abkürzungen beim Abfragen von Daten nutzen.

Apache Spark

Apache Spark-Notebooks und Apache Spark-Aufträge können Verknüpfungen nutzen, die Sie in OneLake erstellt haben. Verwenden Sie relative Dateipfade, um Daten direkt aus Verknüpfungen zu lesen. Wenn Sie eine Verknüpfung im Abschnitt Tabellen von Lakehouse erstellen und sie im Deltaformat vorliegt, können Sie sie auch als verwaltete Tabelle mithilfe der Apache Spark SQL-Syntax lesen.

df = spark.read.format("delta").load("Tables/MyShortcut")
display(df)

df = spark.sql("SELECT * FROM MyLakehouse.MyShortcut LIMIT 1000")
display(df)

SQL

Sie können Kurzbefehle im Abschnitt Tables (Tabellen) eines Lakehouses über den SQL-Analyseendpunkt des Lakehouses lesen. Sie können über die Modusauswahl des Lakehouse oder über SQL Server Management Studio (SSMS) auf den SQL-Analyseendpunkt zugreifen.

SELECT TOP (100) *
FROM [MyLakehouse].[dbo].[MyShortcut]

Echtzeit-Intelligenz

Abkürzungen in KQL-Datenbanken werden als externe Tabellen erkannt. Um die Verknüpfung abzufragen, verwenden Sie die Funktion external_table der Kusto-Abfragesprache.

external_table('MyShortcut')
| take 100

Analyse-Dienste

Sie können semantische Modelle für Lakehouses, die Verknüpfungen enthalten, im Abschnitt Tables (Tabellen) des Lakehouse erstellen. Wenn das semantische Modell im Direct Lake-Modus ausgeführt wird, kann Analysis Services Daten direkt aus der Verknüpfung lesen.

Nicht-Fabric-Dienste

Anwendungen und Dienste außerhalb von Fabric können auch über die OneLake-API auf Verknüpfungen zugreifen. OneLake unterstützt eine Teilmenge der ADLS Gen2- und Blob Storage-APIs. Weitere Informationen zur OneLake-API finden Sie unter OneLake-Zugriff mit APIs.

https://onelake.dfs.fabric.microsoft.com/MyWorkspace/MyLakhouse/Tables/MyShortcut/MyFile.csv

Typen von Verknüpfungen

OneLake-Abkürzungen unterstützen mehrere Datenquellen in Dateisystemen. Dazu gehören interne OneLake-Speicherorte und externe oder Drittanbieterquellen.

Sie können auch Verknüpfungen zu lokalen oder netzwerkbeschränkten Speicherorten mit der Verwendung des lokalen Fabric-Datengateways (OPDG) erstellen.

Interne OneLake-Verknüpfungen

Mit internen OneLake-Verknüpfungen können Sie in vorhandenen Fabric-Elementen auf Daten verweisen, einschließlich:

• KQL-Datenbanken
• Seehäuser
• Gespiegelte Azure Databricks-Kataloge
• Gespiegelte Datenbanken
• Semantikmodelle
• SQL-Datenbanken
• Lager

Anweisungen zum Erstellen einer internen Verknüpfung finden Sie unter Erstellen einer internen OneLake-Verknüpfung.

Die Verknüpfung kann auf einen Ordnerspeicherort innerhalb desselben Elements, zwischen Elementen innerhalb desselben Arbeitsbereichs oder sogar zwischen Elementen in verschiedenen Arbeitsbereichen verweisen. Wenn Sie eine Verknüpfung zwischen Elementen erstellen, müssen die Elementtypen nicht übereinstimmen. Beispielsweise können Sie in einem Lakehouse eine Verknüpfung erstellen, die auf Daten in einem Data Warehouse verweist.

Wenn ein Benutzer über eine Verknüpfung zu einem anderen OneLake-Speicherort auf Daten zugreift, verwendet OneLake die Identität des aufrufenden Benutzers, um den Zugriff auf die Daten im Zielpfad der Verknüpfung zu autorisieren. Dieser Benutzer muss über Berechtigungen am Zielspeicherort verfügen, um die Daten lesen zu können.

Wichtig

Beim Zugriff auf Verknüpfungen über Power BI-Semantikmodelle mit DirectLake über SQL - oder T-SQL-Engines im Modus "Delegierte Identität" wird die Identität des aufrufenden Benutzers nicht an das Verknüpfungsziel übergeben. Stattdessen wird die Identität des Aufrufenden Elementbesitzers übergeben, wobei der Zugriff auf den aufrufenden Benutzer delegiert wird. Um dies zu beheben, verwenden Sie Power BI-Semantikmodelle im DirectLake-Modus über den OneLake-Modus oder T-SQL im Identitätsmodus des Benutzers.

Externe OneLake-Tastenkombinationen

Detaillierte Anweisungen zum Erstellen eines bestimmten Verknüpfungstyps erhalten Sie, indem Sie einen Artikel aus dieser Liste der unterstützten externen Quellen auswählen.

• Amazon S3-Tastenkombinationen
• Mit Amazon S3 kompatible Tastenkombinationen
• Azure Data Lake Storage (ADLS) Gen 2-Tastenkombinationen
• Azure Blob Storage Shortcuts
• Dataverse-Verknüpfungen
• Google Cloud Storage-Tastenkombinationen
• Iceberg-Verknüpfungen
• OneDrive- und SharePoint-Verknüpfungen

Zwischenspeicherung

Die Zwischenspeicherung von Tastenkombinationen kann die Kosten für den über cloudübergreifenden Datenzugriff verursachten Kosten reduzieren. Wenn Dateien über eine externe Verknüpfung gelesen werden, werden die Dateien in einem Cache für den Fabric-Arbeitsbereich gespeichert. Nachfolgende Leseanforderungen werden nicht vom Remotespeicher-Anbieter, sondern aus dem Cache bereitgestellt. Der Aufbewahrungszeitraum für zwischengespeicherte Dateien kann von 1 bis 28 Tagen festgelegt werden. Jedes Mal, wenn auf die Datei zugegriffen wird, wird der Aufbewahrungszeitraum zurückgesetzt. Wenn die Datei im Remotespeicheranbieter aktueller als die Datei im Cache ist, wird die Anforderung vom Remotespeicheranbieter bereitgestellt, und die aktualisierte Datei wird dann im Cache gespeichert. Wenn für mehr als den ausgewählten Aufbewahrungszeitraum auf eine Datei nicht zugegriffen wurde, wird sie aus dem Cache gelöscht. Einzelne Dateien, die größer als 1 GB sind, werden nicht zwischengespeichert.

Hinweis

Die Verknüpfungszwischenspeicherung wird derzeit für GCS-, S3-, S3-kompatible und lokale Datengatewayverknüpfungen unterstützt.

Um die Zwischenspeicherung für Verknüpfungen zu aktivieren, öffnen Sie bitte den Bereich „Arbeitsbereichseinstellungen“. Wählen Sie die Registerkarte OneLake aus. Setzen Sie die Cacheeinstellung auf Ein, und wählen Sie den Aufbewahrungszeitraumaus.

Der Cache kann auch jederzeit gelöscht werden. Wählen Sie auf derselben Einstellungsseite die Schaltfläche "Cache zurücksetzen" aus. Mit dieser Aktion werden alle Dateien aus dem Verknüpfungscache in diesem Arbeitsbereich entfernt.

Verwendungsweise von Cloudverbindungen durch Verknüpfungen

Die ADLS- und S3-Verknüpfungsautorisierung wird mithilfe von Cloudverbindungen delegiert. Beim Erstellen einer neuen ADLS- oder S3-Verknüpfung erstellen Sie entweder eine neue Verbindung oder wählen eine vorhandene Verbindung für die Datenquelle aus. Das Festlegen einer Verbindung für eine Verknüpfung ist ein Bindungsvorgang. Nur Benutzer mit der Berechtigung für die Verbindung können den Bindungsvorgang ausführen. Wenn Sie nicht über Berechtigungen für die Verbindung verfügen, können Sie keine neuen Verknüpfungen mit dieser Verbindung erstellen.

Sicherheit mit Verknüpfungen

Verknüpfungen erfordern bestimmte Berechtigungen zum Verwalten und Verwenden. Die OneLake-Verknüpfungssicherheit betrachtet die Berechtigungen, die zum Erstellen von Verknüpfungen und zum Zugreifen auf die damit verbundenen Daten erforderlich sind.

Wie handhaben Verknüpfungen Löschungen?

Verknüpfungen führen keine kaskadierenden Löschvorgänge durch. Wenn Sie eine Verknüpfung löschen, löschen Sie nur das Verknüpfungsobjekt. Die Daten am Verknüpfungsziel bleiben unverändert. Wenn Sie jedoch eine Datei oder einen Ordner in einer Verknüpfung löschen und über Berechtigungen im Verknüpfungsziel verfügen, um den Löschvorgang auszuführen, werden die Dateien oder Ordner im Ziel gelöscht.

Betrachten Sie zum Beispiel ein Seehaus mit dem folgenden Pfad darin: MyLakehouse\Files\MyShortcut\Foo\Bar. MyShortcut ist eine Verknüpfung, die auf ein ADLS Gen2-Konto verweist, das die Verzeichnisse Foo\Bar enthält.

Sie können einen Löschvorgang im folgenden Pfad ausführen: MyLakehouse\Files\MyShortcut. In diesem Fall wird die Verknüpfung MyShortcut aus dem Lakehouse gelöscht, aber die Dateien und Verzeichnisse im ADLS Gen2-Konto Foo\Bar bleiben unberührt.

Sie können auch einen Löschvorgang für den folgenden Pfad ausführen MyLakehouse\Files\MyShortcut\Foo\Bar. Wenn Sie in diesem Fall über Schreibberechtigungen im ADLS Gen2-Konto verfügen, wird das Balkenverzeichnis aus dem ADLS Gen2-Konto gelöscht.

Arbeitsbereichsherkunftsansicht

Beim Erstellen von Verknüpfungen zwischen mehreren Fabric-Elementen in einem Arbeitsbereich können Sie die Verknüpfungsbeziehungen über die Arbeitsbereichsherkunftsansicht visualisieren. Wählen Sie in der oberen rechten Ecke des Arbeitsbereichs-Explorers die Schaltfläche Herkunftsansicht () aus.

Hinweis

Der Umfang der Herkunftsansicht ist auf einen einzelnen Arbeitsbereich beschränkt. Verknüpfungen zu Orten außerhalb des ausgewählten Arbeitsbereichs werden nicht angezeigt.

Einschränkungen und Aspekte

• Die maximale Anzahl von Verknüpfungen pro Fabric-Element beträgt 100.000. In diesem Zusammenhang bezieht sich der Begriff „Element“ auf: Apps, Lakehouses, Warehouses, Berichte und vieles mehr.
• Die maximale Anzahl von Verknüpfungen in einem einzelnen OneLake-Pfad beträgt 10.
• Die maximale Anzahl direkter Verknüpfungen mit Verknüpfungslinks beträgt 5.
• OneLake-Verknüpfungsnamen, übergeordnete Pfade und Zielpfade dürfen keine „%“- oder „+“-Zeichen enthalten.
• Verknüpfungen unterstützen keine nicht lateinischen Zeichen.
• Die Herkunft für Verknüpfungen zu Data Warehouses und Semantikmodellen ist derzeit nicht verfügbar.
• Eine Fabric-Verknüpfung wird fast sofort mit der Quelle synchronisiert, die Verteilungszeit kann jedoch aufgrund von Problemen mit der Datenquellenleistung, zwischengespeicherten Ansichten oder Netzwerkkonnektivitätsproblemen variieren.
• Bis zu einer Minute kann es dauern, bis die Tabellen-API neue Verknüpfungen erkennt.

Zugehöriger Inhalt

• Erstellen einer OneLake-Verknüpfung
• Nutzung von OneLake-Verknüpfungen‭ mit REST-APIs