Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Bevor Sie Notebooks oder Jobs zu serverlosem Computing verschieben, überprüfen Sie die unterstützten Sprachen und APIs, die Anforderungen an den Datenzugriff, die Einschränkungen für benutzerdefinierte Funktionen, die Netzwerkregeln und die Caching-Anforderungen.
Sprach- und API-Unterstützung
- R wird nicht unterstützt.
- Es werden nur Spark Connect-APIs unterstützt. Spark-RDD-APIs werden nicht unterstützt.
- Spark Connect, das im serverlosen Computing eingesetzt wird, verschiebt die Analyse und Namensauflösung auf die Ausführungszeit, wodurch sich das Verhalten Ihres Codes ändern kann. Siehe "Vergleichen von Spark Connect" mit Spark Classic.
- ANSI-Modus ist standardmäßig aktiviert. Ungültige Casts, arithmetischer Überlauf und fehlgeformte Eingaben führen zu Laufzeitfehlern, anstatt stillschweigend
NULLzurückzugeben oder ein falsches Ergebnis zurückzugeben. Informationen darüber, wie Operationen zu handhaben sind, die das Verhalten ändern, und über die Beschränkungen beim Opt-out finden Sie im Abschnitt „SQL-Verhaltensunterschiede“ des Migrationsleitfadens. - Die Standard-Sitzungszeitzone ist
Etc/UTC(Koordinierte Universelle Zeit). Um eine andere Zeitzone zu verwenden, setzespark.sql.session.timeZone. Siehe Konfigurieren von Spark-Eigenschaften für serverlose Notizbücher und Aufträge. - Beim Erstellen eines DataFrame aus lokalen Daten mithilfe
spark.createDataFramedürfen die Zeilengrößen 128 MB nicht überschreiten.
Datenzugriff und -speicherung
- Sie müssen Unity Catalog verwenden, um eine Verbindung mit externen Datenquellen herzustellen. Verwenden Sie externe Speicherorte, um auf Cloudspeicher zuzugreifen.
- Der Zugriff auf DBFS ist eingeschränkt. Verwenden Sie stattdessen Unity-Katalog-Volumes oder Arbeitsbereichsdateien.
- Das Arbeitsverzeichnis für Notizbücher und Jobaufgaben ist nicht garantiert, daher können relative Dateipfade und relative Python-Importe fehlschlagen. Verwenden Sie absolute Pfade zur Referenzdatei und importieren Sie gemeinsam genutzten Python-Code als Workspace-Dateien statt als relative Module. Siehe Arbeit mit Python- und R-Modulen.
- Maven-Koordinaten werden nicht unterstützt.
- Globale temporäre Ansichten werden nicht unterstützt. Verwenden Sie temporäre Sitzungsansichten für Ergebnisse, die innerhalb einer Sitzung verwendet werden. Um berechnete Ergebnisse sitzungsübergreifend zu teilen, schreiben Sie diese in eine Tabelle im Unity Catalog.
Benutzerdefinierte Funktionen (User-Defined Functions, UDFs)
- Unity Catalog Python UDFs auf serverlosen Notebooks und Jobs unterstützen ausgehenden Netzwerkzugriff, vorbehaltlich der Workspace-Netzwerkrichtlinien und der UDF-Netzwerkbeschränkungen. Der CREATE FUNCTION Befehl (External) wird nicht unterstützt. Databricks empfiehlt, CREATE FUNCTION (SQL und Python) zum Erstellen unterstützter UDFs zu verwenden.
- PySpark-UDFs auf serverlosem Compute werden in isolierten Sandboxes mit einem standardmäßigen Speicherlimit von 1 GiB (1024 MiB) pro Sandbox ausgeführt. Databricks verwaltet dieses Limit. Benutzer können es nicht konfigurieren.
- Scala UDFs können nicht in höherer Ordnungsfunktionen verwendet werden.
Benutzeroberfläche und Protokollierung
- Die Spark-Benutzeroberfläche ist nicht verfügbar. Verwenden Sie stattdessen das Abfrageprofil, um Informationen zu Ihren Spark-Abfragen anzuzeigen. Siehe Abfrageprofil.
- Spark-Protokolle sind nicht verfügbar. Benutzer haben nur Zugriff auf clientseitige Anwendungsprotokolle.
Netzwerk- und Arbeitsbereichszugriff
- Der Zugriff über Arbeitsbereiche hinweg hängt von den Ausgangsregeln des Ausgangsarbeitsbereichs und den Eingangsregeln des Zielarbeitsbereichs ab. Die Beta für den workspace-übergreifenden Zugriff unterstützt das Konfigurieren zulässiger Arbeitsbereichspaare. Arbeitsbereiche im Kompatibilitätsmodus behalten ihre bestehenden Netzwerkbeschränkungen. Informationen zu Anforderungen und dienstspezifischen Einschränkungen finden Sie unter Cross-workspace-Zugriff.
- Databricks Container Services werden nicht unterstützt.
- Serverlose Rechenleistungen können sich nicht mit Ressourcen verbinden, die nur über IPv6 erreichbar sind. Ressourcen müssen über IPv4 erreichbar sein.
Streaming-Einschränkungen
Serverless Compute für Notebooks und Jobs unterstützt folgende Structured Streaming-Trigger:
-
Trigger.AvailableNow(). Databricks empfiehlt diesen Triggermodus für die serverlose Berechnung. -
Trigger.Once(). Dieser veraltete Modus wird unterstützt, wird jedoch nicht empfohlen.
Die folgenden Trigger werden in serverlosen Notebooks oder Jobs nicht unterstützt:
-
Trigger.Continuous(interval). -
Trigger.ProcessingTime(interval).- Wenn Sie keinen Triggermodus angeben, legt Apache Spark den Trigger standardmäßig auf
Trigger.ProcessingTime("0 seconds"). Sie müssen einen unterstützten Trigger auf serverlosem Rechnen festlegen.
- Wenn Sie keinen Triggermodus angeben, legt Apache Spark den Trigger standardmäßig auf
Wenn Sie versuchen, einen nicht unterstützten Trigger zu verwenden, löst die Abfrage einen Fehler INFINITE_STREAMING_TRIGGER_NOT_SUPPORTEDaus.
Diese Trigger-Einschränkungen gelten nicht für Verarbeitungsmodi von Lakeflow-Pipelines. Für kontinuierliche Streaming-Workloads verwenden Sie eine serverlose Pipeline im kontinuierlichen Modus oder verwenden Sie Trigger.AvailableNow() in einem kontinuierlichen Job.
Echtzeitmodus in Lakeflow-Pipelines unterstützt operative Workloads mit Latenzen von unter einer Sekunde sowie spezifischen Anforderungen an Laufzeit, Quelle, Senke und Operatoren.
Einen Entscheidungsleitfaden, der Streaming-Anwendungsfälle dem richtigen serverlosen Produkt zuordnet, finden Sie unter Streaming auf serverloser Berechnung.
Alle Einschränkungen für das Streaming im Standardzugriffsmodus gelten ebenfalls. Weitere Informationen finden Sie unter Streamingbeschränkungen.
Einschränkungen für Notebooks
- Scala und R werden in Notizbüchern nicht unterstützt.
- JAR-Bibliotheken werden in Notizbüchern nicht unterstützt. Behelfslösungen finden Sie unter Bewährte Methoden für das serverlose Computing. JAR-Aufgaben in Aufträgen werden unterstützt. Siehe JAR-Task für Aufträge.
- Bibliotheken, die in einer Notebook-Sitzung mit
%pipinstalliert werden, müssen in einer neuen Sitzung neu installiert werden. Abhängigkeiten, die im Umgebungsbereich konfiguriert sind, verwenden den Cache der serverlosen Umgebung. Siehe Hinzufügen von Abhängigkeiten zum Notizbuch. - Das Freigeben von TEMP-Tabellen und -Sichten beim Freigeben eines Notebooks unter Benutzern wird nicht unterstützt.
- Autovervollständigung und Variable Explorer für DataFrames in Notebooks werden nicht unterstützt.
- Standardmäßig werden neue Notizbücher im
.ipynbFormat gespeichert. Wenn Ihr Notizbuch im Quellformat gespeichert wird, werden serverlose Metadaten möglicherweise nicht ordnungsgemäß erfasst, und einige Features funktionieren möglicherweise nicht wie erwartet. - Notebook-Tags werden nicht unterstützt. Verwenden Sie serverlose Verwendungsrichtlinien , um die serverlose Verwendung zu markieren.
Arbeitsbeschränkungen
- Aufgabenprotokolle, die auf der Job-Ausführungsseite angezeigt werden, sind nicht per ausgeführter Aufgabe isoliert und enthalten Ausgaben mehrerer Aufgaben. Um Anwendungsprotokolle an ein Volume in Verzeichnissen zu liefern, die nach Task Run organisiert sind, siehe Serverlose Logs an Unity Catalog-Volumes liefern.
- Aufgabenbibliotheken werden für Notebookaufgaben nicht unterstützt. Verwenden Sie Notebook-spezifische Bibliotheken stattdessen. Informationen finden Sie unter Python-Bibliotheken im Notebook-Bereich.
- Serverlose Aufträge verfügen standardmäßig über kein Abfrageausführungstimeout. Sie können ein Ausführungstimeout für Auftragsabfragen mithilfe der
spark.databricks.execution.timeoutEigenschaft festlegen. Weitere Informationen finden Sie unter Konfigurieren von Spark-Eigenschaften für serverlose Notizbücher und Aufträge. - Serverless Compute hat eine maximale Laufzeit von 7 Tagen. Ausführungen, die 7 Tage überschreiten, werden von der Plattform beendet und nicht wiederholt. Um Arbeitslasten länger als 7 Tage auszuführen, teilen Sie sie in kleinere Ausführungen auf oder verwenden Sie Classic Compute.
Compute-spezifische Einschränkungen
Folgende Compute-spezifische Features werden nicht unterstützt:
- Compute-Richtlinien
- Compute-bezogene Initialisierungsskripts. Um Pakete zu installieren oder die Python-Umgebung zu konfigurieren, verwenden Sie stattdessen eine Basisumgebung oder Notebook-Abhängigkeiten. Siehe Konfigurieren der serverlosen Umgebung.
- Berechnungsspezifische Bibliotheken, einschließlich benutzerdefinierter Datenquellen und Spark-Erweiterungen. Verwenden Sie stattdessen notebook-spezifische Bibliotheken.
- Instanzenpools
- Ereignisprotokolle berechnen
- Die meisten Apache Spark-Computekonfigurationen. Eine Liste der unterstützten Konfigurationen finden Sie unter Konfigurieren von Spark-Eigenschaften für serverlose Notizbücher und Aufträge.
- Umgebungsvariablen auf Compute-Ebene. Um Umgebungsvariablen in serverlosen Lakeflow-Jobs-Aufgaben an den Anwendungscode zu übertragen, verwenden Sie die Funktion Job-Level Environment Variables (Beta). Siehe Konfiguration von Umgebungsvariablen für serverlose Jobs. Du kannst auch Widgets verwenden, um Job- und Task-Parameter zu erstellen.
Einschränkungen bei der Zwischenspeicherung
- Metadaten werden in serverlosen Computesitzungen zwischengespeichert. Aus diesem Grund wird der Sitzungskontext beim Wechseln von Katalogen möglicherweise nicht vollständig zurückgesetzt. Um den Sitzungskontext zu löschen, setzen Sie die serverlose Computeressource zurück, oder starten Sie eine neue Sitzung.
-
df.cache(),df.persist()unddf.unpersist()werden in serverlosen Umgebungen ab Version 5 unterstützt, wenn die DataFrame-Zwischenspeicherung auf serverloser Compute Public Preview aktiviert ist. Die Vorschau ist in Arbeitsbereichen mit aktiviertem Compliance-Sicherheitsprofil nicht verfügbar. Siehe Anforderungen zu den Voraussetzungen für die Aktivierung und den Clientanforderungen. - Die folgenden Cache-APIs und SQL-Befehle werden auf serverlosem Compute nicht unterstützt. Die Verwendung dieser APIs oder SQL-Befehle führt zu einer Ausnahme.
- Der Cache des Spark ML-Modells ist auf 1 GB (1073741824 Bytes) pro Sitzung begrenzt, ein einzelnes Modell auf 100 MB. Beide Grenzen sind bei serverloser Berechnung niedriger als bei klassischer Berechnung und können nicht geändert werden. Das Überschreiten des Sitzungslimits löst ML_CACHE_SIZE_OVERFLOW_EXCEPTION aus. Das Überschreiten des Limits pro Modell löst MODEL_SIZE_OVERFLOW_EXCEPTION aus. Um Speicherplatz im Cache freizumachen, lösche die Python-Referenzen auf Modelle, die du nicht mehr nutzt. Modelle, die 15 Minuten ungenutzt bleiben, wechseln auf die lokale Festplatte und zählen weiterhin zum Sitzungslimit.
Hive-Einschränkungen
Hive SerDe-Tabellen werden nicht unterstützt. Darüber hinaus wird der entsprechende LOAD DATA Befehl, der Daten in eine Hive SerDe-Tabelle lädt, nicht unterstützt. Die Verwendung des Befehls hat eine Ausnahme zur Folge.
Hive-Variablen (zum Beispiel
${env:var},${configName},${system:var}, undspark.sql.variable) oder Verweise auf Konfigurationsvariablen über die Syntax${var}werden nicht unterstützt. Die Verwendung von Hive-Variablen hat eine Ausnahme zur Folge.Verwenden Sie stattdessen DECLARE VARIABLE, SET VARIABLE und SQL-Sitzungsvariablenreferenzen sowie Parametermarker ('?', oder ':var'), um den Sitzungszustand zu deklarieren, zu ändern und zu referenzieren. Sie können die IDENTIFIER Klausel auch verwenden, um Objektnamen in vielen Fällen zu parametrisieren.
Unterstützte Datenquellen
Für Data Manipulation Language (DML)-Operationen erlaubt serverloses Computing folgende Datenquellenanbieter. Jeder Anbieter muss auch den angeforderten Vorgang unterstützen. Die Aufnahme in diese Liste bedeutet nicht, dass jede Schreib-, Aktualisierungs- oder Löschoperation unterstützt wird. Zum Beispiel ist die Quelle der Binärdatei schreibgeschützt.
CSVJSONAVRODELTAKAFKAPARQUETORCTEXTUNITY_CATALOGBINARYFILEXMLSIMPLESCANICEBERG
Serverless Compute unterstützt die folgenden Datenquellen für Lesevorgänge:
CSVJSONAVRODELTAKAFKAPARQUETORCTEXTUNITY_CATALOGBINARYFILEXMLSIMPLESCANICEBERGMYSQLPOSTGRESQLSQLSERVERREDSHIFTSNOWFLAKE-
SQLDW(Azure Synapse) DATABRICKSBIGQUERYORACLESALESFORCESALESFORCE_DATA_CLOUDTERADATAWORKDAY_RAASMONGODB