Katalog

Benutzerorientierte Katalog-API, über die zugegriffen werden kann SparkSession.catalog. Dies ist ein dünner Wrapper um seine Scala-Implementierung org.apache.spark.sql.catalog.Catalog.

Syntax

# Access through SparkSession
spark.catalog

Methodik

Methode	Beschreibung
currentCatalog()	Gibt den aktuellen Standardkatalog in dieser Sitzung zurück.
setCurrentCatalog(catalogName)	Legt den aktuellen Standardkatalog in dieser Sitzung fest.
listCatalogs(pattern)	Gibt eine Liste von Katalogen in dieser Sitzung zurück.
currentDatabase()	Gibt die aktuelle Standarddatenbank in dieser Sitzung zurück.
setCurrentDatabase(dbName)	Legt die aktuelle Standarddatenbank in dieser Sitzung fest.
listDatabases(pattern)	Gibt eine Liste der Datenbanken zurück, die in allen Sitzungen verfügbar sind.
getDatabase(dbName)	Ruft die Datenbank mit dem angegebenen Namen ab. Löst eine AnalysisException aus, wenn die Datenbank nicht gefunden werden kann.
databaseExists(dbName)	Überprüft, ob die Datenbank mit dem angegebenen Namen vorhanden ist.
listTables(dbName, pattern)	Gibt eine Liste von Tabellen und Ansichten in der angegebenen Datenbank zurück. Enthält alle temporären Ansichten.
getTable(tableName)	Ruft die Tabelle oder Ansicht mit dem angegebenen Namen ab. Löst eine AnalysisException aus, wenn keine Tabelle gefunden werden kann.
tableExists(tableName, dbName)	Überprüft, ob die Tabelle oder Ansicht mit dem angegebenen Namen vorhanden ist.
listColumns(tableName, dbName)	Gibt eine Liste von Spalten für die angegebene Tabelle oder Ansicht in der angegebenen Datenbank zurück.
listFunctions(dbName, pattern)	Gibt eine Liste der in der angegebenen Datenbank registrierten Funktionen zurück. Enthält alle temporären Funktionen.
functionExists(functionName, dbName)	Überprüft, ob die Funktion mit dem angegebenen Namen vorhanden ist. Enthält temporäre Funktionen.
getFunction(functionName)	Ruft die Funktion mit dem angegebenen Namen ab. Löst eine AnalysisException aus, wenn die Funktion nicht gefunden werden kann.
createTable(tableName, path, source, schema, description, **options)	Erstellt eine Tabelle basierend auf dem Dataset in einer Datenquelle und gibt den zugeordneten DataFrame zurück.
dropTempView(viewName)	Legt die lokale temporäre Ansicht mit dem angegebenen Namen ab. Hebt außerdem die Zwischenspeicherung der Ansicht auf, wenn sie zwischengespeichert wurde.
dropGlobalTempView(viewName)	Legt die globale temporäre Ansicht mit dem angegebenen Namen ab. Hebt außerdem die Zwischenspeicherung der Ansicht auf, wenn sie zwischengespeichert wurde.
isCached(tableName)	Gibt true zurück, wenn die Tabelle derzeit im Arbeitsspeicher zwischengespeichert ist.
cacheTable(tableName, storageLevel)	Speichert die angegebene Tabelle im Arbeitsspeicher oder mit der angegebenen Speicherebene zwischen. Standardmäßig wird MEMORY_AND_DISK.
uncacheTable(tableName)	Entfernt die angegebene Tabelle aus dem Speichercache.
clearCache()	Entfernt alle zwischengespeicherten Tabellen aus dem Speichercache.
refreshTable(tableName)	Ungültig und aktualisiert alle zwischengespeicherten Daten und Metadaten der angegebenen Tabelle.
recoverPartitions(tableName)	Stellt alle Partitionen der angegebenen Tabelle wieder her und aktualisiert den Katalog. Funktioniert nur mit partitionierten Tabellen.
refreshByPath(path)	Ungültig und aktualisiert alle zwischengespeicherten Daten und Metadaten für alle DataFrames, die den angegebenen Datenquellenpfad enthalten.

Beispiele

spark.catalog.currentDatabase()

'default'

spark.catalog.listDatabases()

[Database(name='default', catalog='spark_catalog', description='default database', ...)]

_ = spark.sql("CREATE TABLE tbl1 (name STRING, age INT) USING parquet")
spark.catalog.tableExists("tbl1")

True

spark.catalog.cacheTable("tbl1")
spark.catalog.isCached("tbl1")

True

spark.catalog.uncacheTable("tbl1")
spark.catalog.isCached("tbl1")

False