INSERT OVERWRITE DIRECTORY

Gilt für:Haken markiert ja Databricks SQL Haken ja Databricks Runtime

Überschreibt die vorhandenen Daten im Verzeichnis mit den neuen Werten mithilfe eines angegebenen Spark-Dateiformats. Sie geben die eingefügte Zeile über Wertausdrücke oder das Ergebnis einer Abfrage an.

Syntax

INSERT OVERWRITE [ LOCAL ] DIRECTORY [ directory_path ]
    USING file_format [ OPTIONS ( { key [ = ] val } [ , ... ] ) ]
    { VALUES ( { value | NULL } [ , ... ] ) [ , ( ... ) ] | query }

Parameter

  • directory_path

    Das Zielverzeichnis. Sie können sie auch mithilfe OPTIONS von path. angeben. Das Schlüsselwort LOCAL gibt an, dass sich das Verzeichnis im lokalen Dateisystem befindet.

  • file_format

    Das Dateiformat für die Einfügung. Gültige Optionen sind TEXT, CSV, JSON, JDBC, PARQUET, ORC, HIVE, LIBSVM oder ein vollqualifizierter Klassenname einer benutzerdefinierten Implementierung von org.apache.spark.sql.execution.datasources.FileFormat.

  • OPTIONS ( { Key [ = ] val } [ , ... ] )

    Gibt mindestens eine Option für das Schreiben des Dateiformats an. Die gültigen Schlüssel und Werte sind von der file_format ausgewählten Option abhängig. Die optionen, die von den einzelnen Formaten unterstützt werden, finden Sie unter "Datenformatoptionen". Sie können den path Schlüssel auch festlegen, um das Zielverzeichnis anzugeben.

  • VALUES ( { Wert | NULL } [ , ... ] ) [ , ( … ) ]

    Die einzufügenden Werte. Sie können entweder einen explizit angegebenen Wert oder einen NULL-Wert einfügen. Verwenden Sie ein Komma, um jeden Wert in der Klausel zu trennen. Wenn Sie mehrere Zeilen einfügen möchten, geben Sie mehr als eine Gruppe von Werten an.

  • Abfrage

    Eine Abfrage, die die einzufügenden Zeilen erzeugt. Verwenden Sie eines der folgenden Formate:

    • Eine SELECT-Anweisung
    • Eine TABLE-Anweisung
    • Eine FROM-Anweisung

    Die Anweisung schreibt die Zeilen als eine oder mehrere Dateien im Zielverzeichnis. Die Anzahl der Dateien und die Art und Weise, wie die Zeilen verteilt sind, sind nicht angegeben. Eine Klausel ORDER BY in query garantiert keine Zeilenreihenfolge innerhalb einer Datei oder zwischen Dateien, daher sollten Sie sich nicht auf Dateinamen oder Teilenummern verlassen, um die Sortierreihenfolge neu zu erstellen. Wenn Sie die Zeilen in einer bestimmten Reihenfolge benötigen, wenden Sie sie beim Lesen des Verzeichnisses an.ORDER BY Um zum Beispiel die Parquet-Ausgabe in der richtigen Reihenfolge auszulesen, führen Sie Folgendes aus:

    SELECT * FROM parquet.`/Volumes/my_catalog/my_schema/my_volume/` ORDER BY col1;
    

Beispiele

INSERT OVERWRITE DIRECTORY '/Volumes/my_catalog/my_schema/my_volume/'
    USING parquet
    OPTIONS (col1 1, col2 2, col3 'test')
    SELECT * FROM test_table;

INSERT OVERWRITE DIRECTORY
    USING parquet
    OPTIONS ('path' '/Volumes/my_catalog/my_schema/my_volume/', col1 1, col2 2, col3 'test')
    SELECT * FROM test_table;