Katalog

API katalog yang menghadap pengguna, dapat diakses melalui SparkSession.catalog. Ini adalah pembungkus tipis di sekitar implementasi org.apache.spark.sql.catalog.CatalogScala-nya .

Sintaksis

# Access through SparkSession
spark.catalog

Metode

Metode	Deskripsi
currentCatalog()	Mengembalikan katalog default saat ini dalam sesi ini.
setCurrentCatalog(catalogName)	Menyetel katalog default saat ini dalam sesi ini.
listCatalogs(pattern)	Mengembalikan daftar katalog dalam sesi ini.
currentDatabase()	Mengembalikan database default saat ini dalam sesi ini.
setCurrentDatabase(dbName)	Mengatur database default saat ini dalam sesi ini.
listDatabases(pattern)	Mengembalikan daftar database yang tersedia di semua sesi.
getDatabase(dbName)	Mendapatkan database dengan nama yang ditentukan. Melempar AnalysisException ketika database tidak dapat ditemukan.
databaseExists(dbName)	Memeriksa apakah database dengan nama yang ditentukan ada.
listTables(dbName, pattern)	Mengembalikan daftar tabel dan tampilan dalam database yang ditentukan. Mencakup semua tampilan sementara.
getTable(tableName)	Mendapatkan tabel atau tampilan dengan nama yang ditentukan. Melempar AnalysisException ketika tidak ada tabel yang dapat ditemukan.
tableExists(tableName, dbName)	Memeriksa apakah tabel atau tampilan dengan nama yang ditentukan ada.
listColumns(tableName, dbName)	Mengembalikan daftar kolom untuk tabel atau tampilan yang diberikan dalam database yang ditentukan.
listFunctions(dbName, pattern)	Mengembalikan daftar fungsi yang terdaftar dalam database yang ditentukan. Mencakup semua fungsi sementara.
functionExists(functionName, dbName)	Memeriksa apakah fungsi dengan nama yang ditentukan ada. Termasuk fungsi sementara.
getFunction(functionName)	Mendapatkan fungsi dengan nama yang ditentukan. Melempar AnalysisException ketika fungsi tidak dapat ditemukan.
createTable(tableName, path, source, schema, description, **options)	Membuat tabel berdasarkan himpunan data di sumber data dan mengembalikan DataFrame terkait.
dropTempView(viewName)	Menghilangkan tampilan sementara lokal dengan nama yang diberikan. Juga membatalkan cache tampilan jika di-cache.
dropGlobalTempView(viewName)	Menghilangkan tampilan sementara global dengan nama yang diberikan. Juga membatalkan cache tampilan jika di-cache.
isCached(tableName)	Mengembalikan true jika tabel saat ini di-cache dalam memori.
cacheTable(tableName, storageLevel)	Cache tabel yang ditentukan dalam memori atau dengan tingkat penyimpanan yang diberikan. Default ke MEMORY_AND_DISK.
uncacheTable(tableName)	Menghapus tabel yang ditentukan dari cache dalam memori.
clearCache()	Menghapus semua tabel yang di-cache dari cache dalam memori.
refreshTable(tableName)	Membatalkan dan me-refresh semua data cache dan metadata tabel yang diberikan.
recoverPartitions(tableName)	Memulihkan semua partisi tabel yang diberikan dan memperbarui katalog. Hanya berfungsi dengan tabel yang dipartisi.
refreshByPath(path)	Membatalkan dan me-refresh semua data dan metadata yang di-cache untuk DataFrame apa pun yang berisi jalur sumber data yang diberikan.

Examples

spark.catalog.currentDatabase()

'default'

spark.catalog.listDatabases()

[Database(name='default', catalog='spark_catalog', description='default database', ...)]

_ = spark.sql("CREATE TABLE tbl1 (name STRING, age INT) USING parquet")
spark.catalog.tableExists("tbl1")

True

spark.catalog.cacheTable("tbl1")
spark.catalog.isCached("tbl1")

True

spark.catalog.uncacheTable("tbl1")
spark.catalog.isCached("tbl1")

False