Catalog

API de catálogo voltada para o utilizador, acessível através de SparkSession.catalog. Isto é uma capa fina em torno da sua implementação org.apache.spark.sql.catalog.Catalogno Scala.

Sintaxe

# Access through SparkSession
spark.catalog

Methods

Método	Descrição
currentCatalog()	Devolve o catálogo padrão atual nesta sessão.
setCurrentCatalog(catalogName)	Define o catálogo padrão atual nesta sessão.
listCatalogs(pattern)	Devolve uma lista de catálogos nesta sessão.
currentDatabase()	Devolve a base de dados padrão atual nesta sessão.
setCurrentDatabase(dbName)	Define a base de dados padrão atual nesta sessão.
listDatabases(pattern)	Devolve uma lista de bases de dados disponíveis em todas as sessões.
getDatabase(dbName)	Obtém a base de dados com o nome especificado. Lança uma AnalysisException quando a base de dados não pode ser encontrada.
databaseExists(dbName)	Verifica se existe a base de dados com o nome especificado.
listTables(dbName, pattern)	Devolve uma lista de tabelas e vistas na base de dados especificada. Inclui todas as vistas temporárias.
getTable(tableName)	Obtém a tabela ou vista com o nome especificado. Lança uma AnalysisException quando não se encontra nenhuma tabela.
tableExists(tableName, dbName)	Verifica se a tabela ou vista com o nome especificado existe.
listColumns(tableName, dbName)	Devolve uma lista de colunas para a tabela ou vista dada na base de dados especificada.
listFunctions(dbName, pattern)	Devolve uma lista de funções registadas na base de dados especificada. Inclui todas as funções temporárias.
functionExists(functionName, dbName)	Verifica se a função com o nome especificado existe. Inclui funções temporárias.
getFunction(functionName)	Obtém a função com o nome especificado. Lança uma AnalysisException quando a função não pode ser encontrada.
createTable(tableName, path, source, schema, description, **options)	Cria uma tabela baseada no conjunto de dados numa fonte de dados e devolve o DataFrame associado.
dropTempView(viewName)	Abandona a visão temporária local com o nome próprio. Também desfaz a visualização se esteve em cache.
dropGlobalTempView(viewName)	Elimina a vista global temporária com o nome próprio. Também desfaz a visualização se esteve em cache.
isCached(tableName)	Retorna verdadeiro se a tabela estiver atualmente armazenada em cache em memória.
cacheTable(tableName, storageLevel)	Armazena em cache a tabela especificada em memória ou com o nível de armazenamento indicado. Por defeito, é MEMORY_AND_DISK.
uncacheTable(tableName)	Remove a tabela especificada da cache em memória.
clearCache()	Remove todas as tabelas em cache da cache em memória.
refreshTable(tableName)	Invalida e atualiza todos os dados e metadados em cache da tabela dada.
recoverPartitions(tableName)	Recupera todas as partições da tabela dada e atualiza o catálogo. Só funciona com tabelas particionadas.
refreshByPath(path)	Invalida e atualiza todos os dados e metadados em cache de qualquer DataFrame que contenha o caminho da fonte de dados indicado.

Exemplos

spark.catalog.currentDatabase()

'default'

spark.catalog.listDatabases()

[Database(name='default', catalog='spark_catalog', description='default database', ...)]

_ = spark.sql("CREATE TABLE tbl1 (name STRING, age INT) USING parquet")
spark.catalog.tableExists("tbl1")

True

spark.catalog.cacheTable("tbl1")
spark.catalog.isCached("tbl1")

True

spark.catalog.uncacheTable("tbl1")
spark.catalog.isCached("tbl1")

False