OpenDatasetBase Kelas

Buka Kelas Dasar Himpunan Data untuk mewarisi.

Buat himpunan data terbuka.

Warisan

PublicData

OpenDatasetBase

Konstruktor

OpenDatasetBase(cols: List[str] | None = None, enable_telemetry: bool = True, **kwargs)

Parameter

cols

list[str]

nilai default: None

Daftar nama kolom untuk dimuat dari himpunan data, default ke Tidak Ada

enable_telemetry

bool

nilai default: True

Apakah akan mengaktifkan telemetri pada himpunan data ini, default ke True

kwargs

dict

Diperlukan

args untuk filter

Metode

get_file_dataset	Dapatkan himpunan data file untuk himpunan data terbuka.
get_tabular_dataset	Inisialisasi AbstractTabularOpenDataset dengan url blob.
to_pandas_dataframe	Untuk dataframe panda.
to_spark_dataframe	Untuk dataframe spark.

get_file_dataset

Dapatkan himpunan data file untuk himpunan data terbuka.

get_file_dataset(start_date: datetime = None, end_date: datetime = None, enable_telemetry: bool = True, **kwargs) -> FileDataset

Parameter

cls

type

Diperlukan

kelas saat ini

start_date

datetime

Diperlukan

tanggal mulai, default ke None

end_date

datetime

Diperlukan

tanggal akhir, default ke None

enable_telemetry

bool

Diperlukan

mengaktifkan telemetri atau tidak, default ke True

Mengembalikan

himpunan data file

Tipe hasil

FileDataset

get_tabular_dataset

Inisialisasi AbstractTabularOpenDataset dengan url blob.

get_tabular_dataset(start_date: datetime = None, end_date: datetime = None, cols: List[str] = None, enable_telemetry: bool = True, **kwargs) -> TabularDataset

Parameter

cls

type

Diperlukan

ketik nama Himpunan Data Terbuka.

start_date

datetime

Diperlukan

Tanggal mulai untuk meminta secara inklusif.

end_date

datetime

Diperlukan

Tanggal akhir untuk meminta secara inklusif.

cols

list[str]

Diperlukan

Daftar nama kolom untuk diambil. None akan mendapatkan semua kolom.

enable_telemetry

bool

Diperlukan

Apakah akan mengaktifkan telemetri, atau dinonaktifkan hanya untuk UT.

Mengembalikan

TabularDataset

Tipe hasil

TabularDataset

to_pandas_dataframe

Untuk dataframe panda.

to_pandas_dataframe() -> DataFrame

to_spark_dataframe

Untuk dataframe spark.

to_spark_dataframe()

Atribut

cols

Dapatkan daftar nama kolom untuk diambil.

data

Dapatkan data Objek OpenDataset.

id

Dapatkan ID lokasi data yang terbuka.

log_properties

Dapatkan properti log.

registry_id

Dapatkan ID registri dari himpunan data publik ini yang terdaftar di backend.

ID registri ini digunakan untuk mendapatkan metadata terbaru seperti lokasi penyimpanan. Perkirakan semua sub kelas data publik untuk menetapkan _registry_id.

Mengembalikan

Untai (karakter) ID registri.

Tipe hasil

str

time_column_name

Nama kolom waktu.