DataSourceRegistration

Veri kaynağı kaydı için sarmalayıcı.

Bu örneğe aracılığıyla spark.dataSourceerişilebilir. ve DataSourceiçinde ada spark.read.format() göre başvurulabilmesi için özel df.write.format() bir alt sınıfı kaydetmek için bunu kullanın.

Sözdizimi

spark.dataSource.register(MyDataSource)

Methods

Yöntem	Açıklama
register(dataSource)	Python kullanıcı tanımlı veri kaynağını kaydeder. dataSource öğesinin DataSourcebir alt sınıfı olmalıdır.

Örnekler

Özel bir veri kaynağını kaydedin ve buradan okuyun:

from pyspark.sql.datasource import DataSource, DataSourceReader

class MyDataSource(DataSource):
    @classmethod
    def name(cls):
        return "my_data_source"

    def schema(self):
        return "id INT, value STRING"

    def reader(self, schema):
        return MyDataSourceReader(schema)

class MyDataSourceReader(DataSourceReader):
    def read(self, partition):
        yield (1, "hello")
        yield (2, "world")

spark.dataSource.register(MyDataSource)
df = spark.read.format("my_data_source").load()
df.show()