Configurar credenciais de armazenamento Delta

Nota

Para configurar credenciais de armazenamento Delta, consulte Configurar o acesso ao armazenamento de objetos na nuvem para o Azure Databricks. O Databricks não recomenda mais passar credenciais de armazenamento pelas opções do DataFrame, conforme descrito neste artigo.

O Azure Databricks armazena dados para tabelas Delta Lake no armazenamento de objetos na nuvem. Configurar o acesso ao armazenamento de objetos na nuvem requer permissões dentro da conta de nuvem que contém sua conta de armazenamento.

Passe credenciais de armazenamento como opções de DataFrame

O Delta Lake suporta a especificação de credenciais de armazenamento como opções para DataFrameReader e DataFrameWriter. Você pode usar isso se precisar interagir com dados em várias contas de armazenamento regidas por chaves de acesso diferentes.

Nota

Esse recurso está disponível no Databricks Runtime 10.4 LTS e superior.

Por exemplo, você pode passar suas credenciais de armazenamento pelas opções do DataFrame:

Python

df1 = spark.read \
  .option("fs.azure.account.key.<storage-account-name>.dfs.core.windows.net", "<storage-account-access-key-1>") \
  .read("...")
df2 = spark.read \
  .option("fs.azure.account.key.<storage-account-name>.dfs.core.windows.net", "<storage-account-access-key-2>") \
  .read("...")
df1.union(df2).write \
  .mode("overwrite") \
  .option("fs.azure.account.key.<storage-account-name>.dfs.core.windows.net", "<storage-account-access-key-3>") \
  .save("...")

Scala

val df1 = spark.read
  .option("fs.azure.account.key.<storage-account-name>.dfs.core.windows.net", "<storage-account-access-key-1>")
  .read("...")
val df2 = spark.read
  .option("fs.azure.account.key.<storage-account-name>.dfs.core.windows.net", "<storage-account-access-key-2>")
  .read("...")
df1.union(df2).write
  .mode("overwrite")
  .option("fs.azure.account.key.<storage-account-name>.dfs.core.windows.net", "<storage-account-access-key-3>")
  .save("...")