OpenSharing paylaşılan tablolarını Apache Spark DataFrames kullanarak okuma

Bu makalede , OpenSharing kullanılarak paylaşılan verileri sorgulamak için Apache Spark kullanımına yönelik söz dizimi örnekleri sağlanır. deltasharing DataFrame işlemleri için biçim seçeneği olarak anahtar sözcüğünü kullanın.

Paylaşılan verileri sorgulamaya yönelik diğer seçenekler

Aşağıdaki örneklerde olduğu gibi, meta veri deposunda kayıtlı OpenSharing kataloglarında paylaşılan tablo adlarını kullanan sorgular da oluşturabilirsiniz:

SQL

SELECT * FROM shared_table_name

Python

spark.read.table("shared_table_name")

openSharing'i Azure Databricks yapılandırma ve paylaşılan tablo adlarını kullanarak verileri sorgulama hakkında daha fazla bilgi için bkz. Databricks-to-Databricks OpenSharing (alıcılar için) kullanılarak paylaşılan verileri okuma.

Paylaşılan tablolardaki kayıtları artımlı olarak işlemek için Yapılandırılmış Akış'ı kullanabilirsiniz. Yapılandırılmış Akış'ı kullanmak için tablo için geçmiş paylaşımını etkinleştirmeniz gerekir. Bkz. ALTER SHARE. Geçmiş paylaşımı için Databricks Runtime 12.2 LTS veya üzeri gerekir.

Paylaşılan tabloda kaynak Delta tablosunda değişiklik veri akışı etkinleştirildiyse ve paylaşımda geçmiş etkinleştirildiyse, Yapılandırılmış Akış veya toplu işlemlerle OpenSharing paylaşımını okurken değişiklik veri akışını kullanabilirsiniz. Bkz. Azure Databricks'te değişiklik veri akışını kullanma.

OpenSharing format anahtar sözcüğüyle okuma

Anahtar deltasharing sözcüğü, aşağıdaki örnekte gösterildiği gibi Apache Spark DataFrame okuma işlemleri için desteklenir:

df = (spark.read
  .format("deltasharing")
  .load("<profile-path>#<share-name>.<schema-name>.<table-name>")
)

OpenSharing paylaşılan tabloları için değişiklik veri akışını okuma

Geçmiş paylaşılan ve değişiklik veri akışı etkinleştirilmiş tablolar için Apache Spark DataFrames kullanarak değişiklik veri akışı kayıtlarını okuyabilirsiniz. Geçmiş paylaşımı için Databricks Runtime 12.2 LTS veya üzeri gerekir.

df = (spark.read
  .format("deltasharing")
  .option("readChangeFeed", "true")
  .option("startingTimestamp", "2021-04-21 05:45:46")
  .option("endingTimestamp", "2021-05-21 12:00:00")
  .load("<profile-path>#<share-name>.<schema-name>.<table-name>")
)

Structured Streaming kullanarak OpenSharing paylaşılan tablolarını okuma

Geçmişi paylaşılan tablolar için, paylaşılan tabloyu Yapılandırılmış Akış için kaynak olarak kullanabilirsiniz. Geçmiş paylaşımı için Databricks Runtime 12.2 LTS veya üzeri gerekir.

streaming_df = (spark.readStream
  .format("deltasharing")
  .load("<profile-path>#<share-name>.<schema-name>.<table-name>")
)

# If CDF is enabled on the source table
streaming_cdf_df = (spark.readStream
  .format("deltasharing")
  .option("readChangeFeed", "true")
  .option("startingTimestamp", "2021-04-21 05:45:46")
  .load("<profile-path>#<share-name>.<schema-name>.<table-name>")
)