TabularDataset クラス

Azure Machine Learning で使用する表形式データセットを表します。

TabularDataset は、データ ソースから表形式にデータを読み込む、遅延評価される変更不可の一連の操作を定義します。 TabularDataset に対してデータの配信が要求されるまで、データはソースから読み込まれません。

TabularDataset は、TabularDatasetFactory クラスの from_delimited_files のようなメソッドを使用して作成されます。

詳細については、 データセットの追加 & 登録に関する記事を参照してください。 表形式データセットの使用を開始するには、https://aka.ms/tabulardataset-samplenotebook を参照してください。

TabularDataset オブジェクトを初期化します。

このコンストラクターは、直接呼び出されることは想定されていません。 データセットは、 クラスを使用して TabularDatasetFactory 作成することを目的としています。

継承

AbstractDataset

TabularDataset

コンストラクター

TabularDataset()

注釈

TabularDataset は、TabularDatasetFactory クラスの from_* メソッドを使用して、CSV、TSV、Parquet ファイル、または SQL クエリから作成できます。 TabularDataset に対して、レコードの分割、スキップ、フィルター処理などのサブセット化操作を実行できます。 サブセット化の結果は、常に 1 つ以上の新しい TabularDataset オブジェクトになります。

TabularDataset を pandas データフレームなどの他の形式に変換することもできます。 実際のデータ読み込みは、TabularDataset が別のストレージ メカニズム (Pandas データフレームや CSV ファイルなど) にデータを配信する必要がある場合に発生します。

TabularDataset は、試験的な実行の入力として使用できます。 また、指定した名前を使用してワークスペースに登録し、後で、その名前で取得することもできます。

メソッド

download	Note これは試験的なメソッドであり、いつでも変更される可能性があります。 詳細については、https://aka.ms/azuremlexperimental を参照してください。 データセットによって定義されたファイル ストリームをローカル パスにダウンロードします。
drop_columns	指定した列をデータセットから削除します。 timeseries 列が削除されると、返されるデータセットでも対応する機能が削除されます。
filter	Note これは試験的なメソッドであり、いつでも変更される可能性があります。 詳細については、https://aka.ms/azuremlexperimental を参照してください。 データをフィルター処理して、指定された式に一致するレコードのみを残します。
get_profile	Note これは試験的なメソッドであり、いつでも変更される可能性があります。 詳細については、https://aka.ms/azuremlexperimental を参照してください。 このデータセットまたはワークスペース内の同じデータセットに対して送信された最新のプロファイル実行からデータ プロファイルを取得します。
get_profile_runs	Note これは試験的なメソッドであり、いつでも変更される可能性があります。 詳細については、https://aka.ms/azuremlexperimental を参照してください。 このデータセットまたはワークスペース内の同じデータセットに関連付けられている以前のプロファイル実行を返します。
keep_columns	指定された列を残し、その他すべての列をデータセットから削除します。 timeseries 列が削除されると、返されるデータセットでも対応する機能が削除されます。
mount	Note これは試験的なメソッドであり、いつでも変更される可能性があります。 詳細については、https://aka.ms/azuremlexperimental を参照してください。 データセットによって定義されたファイル ストリームをローカル ファイルとしてマウントするためのコンテキスト マネージャーを作成します。
partition_by	パーティション分割されたデータはコピーされ、ターゲットによって指定されたコピー先に出力されます。 出力されたデータ パスからデータセットをパーティション形式で作成します。名前が指定されている場合はデータセットを登録し、パーティションを含む新しいデータ パスのデータセットを返します ds = Dataset.get_by_name('test') # indexed by country, state, partition_date # #1: call partition_by locally new_ds = ds.partition_by(name="repartitioned_ds", partition_keys=['country'], target=DataPath(datastore, "repartition")) partition_keys = newds.partition_keys # ['country'] # new_ds can be passed to PRS as input dataset
random_split	データセット内のレコードを、指定したおおよその割合でランダムに 2 つの部分に分割します。 最初のデータセットには合計レコード数のおよそ percentage が含まれ、2 番目のデータセットには残りのレコードが含まれます。
skip	データセットの先頭から指定したカウントまでレコードをスキップします。
submit_profile_run	Note これは試験的なメソッドであり、いつでも変更される可能性があります。 詳細については、https://aka.ms/azuremlexperimental を参照してください。 実験実行を送信してデータ プロファイルを計算します。 データ プロファイルは、列の型や欠損値などのデータに関する有用な情報を提供するものであり、入力データを理解し、異常や欠損値を特定するために大いに役立ちます。
take	データセットの先頭から指定したカウントまでレコードのサンプルを取得します。
take_sample	データセット内のレコードのランダム サンプルを、指定したおおよその確率で取得します。
time_after	指定した開始時刻の後のタイム スタンプ列で TabularDataset をフィルター処理します。
time_before	指定した終了時刻より前のタイム スタンプ列で TabularDataset をフィルター処理します。
time_between	指定した開始時刻と終了時刻の間の TabularDataset をフィルター処理します。
time_recent	指定した期間 (量) の最近のデータのみを含むように TabularDataset をフィルター処理します。
to_csv_files	現在のデータセットを、CSV ファイルを含む FileDataset に変換します。 結果のデータセットには、1 つ以上の CSV ファイルが含まれ、それぞれが現在のデータセットのデータのパーティションに対応しています。 これらのファイルは、ダウンロードまたは読み取りが行われるまで、具体化されません。
to_dask_dataframe	Note これは試験的なメソッドであり、いつでも変更される可能性があります。 詳細については、https://aka.ms/azuremlexperimental を参照してください。 データセット内のデータを遅延読み取りできる Dask データフレームを返します。
to_pandas_dataframe	データセットから pandas データフレームにすべてのレコードを読み込みます。
to_parquet_files	現在のデータセットを、Parquet ファイルを含む FileDataset に変換します。 結果のデータセットには、1 つ以上の Parquet ファイルが含まれ、それぞれが現在のデータセットのデータのパーティションに対応しています。 これらのファイルは、ダウンロードまたは読み取りが行われるまで、具体化されません。
to_spark_dataframe	データセットから Spark データフレームにすべてのレコードを読み込みます。
with_timestamp_columns	データセットの timestamp 列を定義します。

download

Note

これは試験的なメソッドであり、いつでも変更される可能性があります。 詳細については、https://aka.ms/azuremlexperimental を参照してください。

データセットによって定義されたファイル ストリームをローカル パスにダウンロードします。

download(stream_column, target_path=None, overwrite=False, ignore_not_found=True)

パラメーター

stream_column

str

必須

ダウンロードする stream 列。

target_path

str

必須

ファイルのダウンロード先であるローカル ディレクトリ。 None の場合、データは一時ディレクトリにダウンロードされます。

overwrite

bool

必須

既存のファイルを上書きするかどうかを示します。 既定値は False です。 overwrite を True に設定した場合は既存のファイルが上書きされ、それ以外の場合は例外が発生します。

ignore_not_found

bool

必須

データセットで指示されたファイルの一部が見つからない場合にダウンロードに失敗するかどうかを示します。 既定値は True です。 ignore_not_found を False に設定した場合、何らかの理由でいずれかのファイルのダウンロードが失敗すると、ダウンロードは失敗します。それ以外の場合、見つからないエラーの警告がログに記録され、他のエラーの種類が検出されない限り、ダウンロードは成功します。

戻り値

ダウンロードされた各ファイルのファイル パスの配列を返します。

の戻り値の型 :

ndarray

drop_columns

指定した列をデータセットから削除します。

timeseries 列が削除されると、返されるデータセットでも対応する機能が削除されます。

drop_columns(columns)

パラメーター

columns

Union[str, list[str]]

必須

削除する列の名前または名前のリスト。

戻り値

指定した列を削除した新しい TabularDataset オブジェクトを返します。

の戻り値の型 :

TabularDataset

filter

Note

これは試験的なメソッドであり、いつでも変更される可能性があります。 詳細については、https://aka.ms/azuremlexperimental を参照してください。

データをフィルター処理して、指定された式に一致するレコードのみを残します。

filter(expression)

パラメーター

expression

any

必須

評価する式。

戻り値

変更されたデータセット (未登録)。

の戻り値の型 :

TabularDataset

注釈

式は、列の名前を使用してデータセットにインデックスを付けることによって開始されます。 さまざまな関数や演算子がサポートされており、論理演算子を使用して組み合わせることができます。 結果として得られる式は、定義されている場所ではなく、データ プルが発生したときに、各レコードに対して遅延評価されます。

   dataset['myColumn'] > dataset['columnToCompareAgainst']
   dataset['myColumn'].starts_with('prefix')

get_profile

Note

これは試験的なメソッドであり、いつでも変更される可能性があります。 詳細については、https://aka.ms/azuremlexperimental を参照してください。

このデータセットまたはワークスペース内の同じデータセットに対して送信された最新のプロファイル実行からデータ プロファイルを取得します。

get_profile(workspace=None)

パラメーター

workspace

Workspace

必須

プロファイル実行が送信されたワークスペース。 既定値は、このデータセットのワークスペースです。 データセットがワークスペースに関連付けられていない場合は必須です。 ワークスペースの詳細については、https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.core.workspace.workspace を参照してください。

戻り値

DatasetProfile 型の最新のプロファイル実行からのプロファイル結果。

の戻り値の型 :

DatasetProfile

get_profile_runs

Note

これは試験的なメソッドであり、いつでも変更される可能性があります。 詳細については、https://aka.ms/azuremlexperimental を参照してください。

このデータセットまたはワークスペース内の同じデータセットに関連付けられている以前のプロファイル実行を返します。

get_profile_runs(workspace=None)

パラメーター

workspace

Workspace

必須

プロファイル実行が送信されたワークスペース。 既定値は、このデータセットのワークスペースです。 データセットがワークスペースに関連付けられていない場合は必須です。 ワークスペースの詳細については、https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.core.workspace.workspace を参照してください。

戻り値

azureml.core.Run 型の反復子オブジェクト。

の戻り値の型 :

iter(Run)

keep_columns

指定された列を残し、その他すべての列をデータセットから削除します。

timeseries 列が削除されると、返されるデータセットでも対応する機能が削除されます。

keep_columns(columns, validate=False)

パラメーター

columns

Union[str, list[str]]

必須

列に保持される名前または名前のリスト。

validate

bool

必須

返されたデータセットからデータを読み込むことができることを検証するかどうかを示すブール値。 既定値は False です。 検証を行うには、現在のコンピューティングからデータ ソースにアクセスできる必要があります。

戻り値

指定した列だけを残した新しい TabularDataset オブジェクトを返します。

の戻り値の型 :

TabularDataset

mount

Note

これは試験的なメソッドであり、いつでも変更される可能性があります。 詳細については、https://aka.ms/azuremlexperimental を参照してください。

データセットによって定義されたファイル ストリームをローカル ファイルとしてマウントするためのコンテキスト マネージャーを作成します。

mount(stream_column, mount_point=None)

パラメーター

stream_column

str

必須

マウントする stream 列。

mount_point

str

必須

ファイルのマウント先であるローカル ディレクトリ。 None の場合、データは一時ディレクトリにマウントされます。これを見つけるには、MountContext.mount_point インスタンス メソッドを呼び出します。

戻り値

マウントのライフサイクルを管理するためのコンテキスト マネージャーを返します。

の戻り値の型 :

<xref:azureml.dataprep.fuse.daemon.MountContext>

partition_by

パーティション分割されたデータはコピーされ、ターゲットによって指定されたコピー先に出力されます。

出力されたデータ パスからデータセットをパーティション形式で作成します。名前が指定されている場合はデータセットを登録し、パーティションを含む新しいデータ パスのデータセットを返します

   ds = Dataset.get_by_name('test') # indexed by country, state, partition_date

   # #1: call partition_by locally
   new_ds = ds.partition_by(name="repartitioned_ds", partition_keys=['country'],
               target=DataPath(datastore, "repartition"))
   partition_keys = newds.partition_keys # ['country']

   # new_ds can be passed to PRS as input dataset

partition_by(partition_keys, target, name=None, show_progress=True, partition_as_file_dataset=False)

パラメーター

partition_keys

list[str]

必須

必須。パーティションのキー

target

DataPath, Datastore または tuple(Datastore, str) object

必須

必須。データフレームの parquet データのアップロード先となるデータストアのパス。 競合を避けるため、ターゲット パスの下に guid フォルダーが生成されます。

name

str

必須

省略可能。登録名。

show_progress

bool

必須

任意。コンソールにアップロードの進行状況を表示するかどうかを示します。 既定値は True です。

partition_as_file_dataset

必須

省略可能。filedataset を返すかどうかを示します。 既定値は False です。

戻り値

保存または登録されたデータセット。

の戻り値の型 :

TabularDataset

random_split

データセット内のレコードを、指定したおおよその割合でランダムに 2 つの部分に分割します。

最初のデータセットには合計レコード数のおよそ percentage が含まれ、2 番目のデータセットには残りのレコードが含まれます。

random_split(percentage, seed=None)

パラメーター

percentage

float

必須

データセットを分割するおおよその割合。 これには、0.0 から 1.0 までの数値を指定する必要があります。

seed

int

必須

乱数ジェネレーターに使用するオプションのシード。

戻り値

分割後の 2 つのデータセットを表す新しい TabularDataset オブジェクトのタプルを返します。

の戻り値の型 :

(TabularDataset, TabularDataset)

skip

データセットの先頭から指定したカウントまでレコードをスキップします。

skip(count)

パラメーター

count

int

必須

スキップするレコード数です。

戻り値

レコードがスキップされたデータセットを表す新しい TabularDataset オブジェクトを返します。

の戻り値の型 :

TabularDataset

submit_profile_run

Note

これは試験的なメソッドであり、いつでも変更される可能性があります。 詳細については、https://aka.ms/azuremlexperimental を参照してください。

実験実行を送信してデータ プロファイルを計算します。

データ プロファイルは、列の型や欠損値などのデータに関する有用な情報を提供するものであり、入力データを理解し、異常や欠損値を特定するために大いに役立ちます。

submit_profile_run(compute_target, experiment, cache_datastore_name=None)

パラメーター

compute_target

Union[str, ComputeTarget]

必須

プロファイル計算の実験を実行する対象のコンピューティング ターゲット。 ローカル コンピューティングを使用するには、'local' を指定します。 コンピューティング先の詳細については、https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.core.computetarget を参照してください。

experiment

Experiment

必須

実験オブジェクト。 実験の詳細については、https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.core.experiment.experimentを参照してください。

cache_datastore_name

str

必須

プロファイル キャッシュを格納するデータストアの名前。None の場合は、既定のデータストアが使用されます

戻り値

DatasetProfileRun クラス型のオブジェクト。

の戻り値の型 :

DatasetProfileRun

take

データセットの先頭から指定したカウントまでレコードのサンプルを取得します。

take(count)

パラメーター

count

int

必須

取得するレコードの数。

戻り値

サンプリングされたデータセットを表す新しい TabularDataset オブジェクトを返します。

の戻り値の型 :

TabularDataset

take_sample

データセット内のレコードのランダム サンプルを、指定したおおよその確率で取得します。

take_sample(probability, seed=None)

パラメーター

probability

float

必須

レコードがサンプルに含まれる確率。

seed

int

必須

乱数ジェネレーターに使用するオプションのシード。

戻り値

サンプリングされたデータセットを表す新しい TabularDataset オブジェクトを返します。

の戻り値の型 :

TabularDataset

time_after

指定した開始時刻の後のタイム スタンプ列で TabularDataset をフィルター処理します。

time_after(start_time, include_boundary=True, validate=True)

パラメーター

start_time

datetime

必須

データのフィルター処理の下限。

include_boundary

bool

必須

境界時刻 (start_time) に関連付けられている行を含めるかどうかを示します。

validate

bool

必須

指定した列がデータセットに存在することを検証するかどうかを示します。 既定値は True です。 検証を行うには、現在のコンピューティングからデータ ソースにアクセスできる必要があります。

戻り値

フィルター処理された新しいデータセットを含む TabularDataset。

の戻り値の型 :

TabularDataset

time_before

指定した終了時刻より前のタイム スタンプ列で TabularDataset をフィルター処理します。

time_before(end_time, include_boundary=True, validate=True)

パラメーター

end_time

datetime

必須

データのフィルター処理の上限。

include_boundary

bool

必須

境界時刻 (end_time) に関連付けられている行を含めるかどうかを示します。

validate

bool

必須

指定した列がデータセットに存在することを検証するかどうかを示します。 既定値は True です。 検証を行うには、現在のコンピューティングからデータ ソースにアクセスできる必要があります。

戻り値

フィルター処理された新しいデータセットを含む TabularDataset。

の戻り値の型 :

TabularDataset

time_between

指定した開始時刻と終了時刻の間の TabularDataset をフィルター処理します。

time_between(start_time, end_time, include_boundary=True, validate=True)

パラメーター

start_time

datetime

必須

データのフィルター処理の下限。

end_time

datetime

必須

データのフィルター処理の上限。

include_boundary

bool

必須

境界時間 (start_end と end_time) に関連付けられている行を含めるかどうかを示します。

validate

bool

必須

指定した列がデータセットに存在することを検証するかどうかを示します。 既定値は True です。 検証を行うには、現在のコンピューティングからデータ ソースにアクセスできる必要があります。

戻り値

フィルター処理された新しいデータセットを含む TabularDataset。

の戻り値の型 :

TabularDataset

time_recent

指定した期間 (量) の最近のデータのみを含むように TabularDataset をフィルター処理します。

time_recent(time_delta, include_boundary=True, validate=True)

パラメーター

time_delta

timedelta

必須

取得する最近のデータの期間 (量)。

include_boundary

bool

必須

境界時刻 (time_delta) に関連付けられている行を含めるかどうかを示します。

validate

bool

必須

指定した列がデータセットに存在することを検証するかどうかを示します。 既定値は True です。 検証を行うには、現在のコンピューティングからデータ ソースにアクセスできる必要があります。

戻り値

フィルター処理された新しいデータセットを含む TabularDataset。

の戻り値の型 :

TabularDataset

to_csv_files

現在のデータセットを、CSV ファイルを含む FileDataset に変換します。

結果のデータセットには、1 つ以上の CSV ファイルが含まれ、それぞれが現在のデータセットのデータのパーティションに対応しています。 これらのファイルは、ダウンロードまたは読み取りが行われるまで、具体化されません。

to_csv_files(separator=',')

パラメーター

separator

str

必須

結果のファイル内の値を区切るために使用する区切り記号。

戻り値

このデータセット内のデータを含む CSV ファイルのセットを持つ新しい FileDataset オブジェクトを返します。

の戻り値の型 :

FileDataset

to_dask_dataframe

Note

これは試験的なメソッドであり、いつでも変更される可能性があります。 詳細については、https://aka.ms/azuremlexperimental を参照してください。

データセット内のデータを遅延読み取りできる Dask データフレームを返します。

to_dask_dataframe(sample_size=10000, dtypes=None, on_error='null', out_of_range_datetime='null')

パラメーター

sample_size

必須

スキーマと型を決定するために読み取るレコードの数。

dtypes

必須

予期される列とその dtype を指定する省略可能な dict。 これが指定されている場合、sample_size は無視されます。

on_error

必須

データセット内のエラー値 (値の解析中にエラーによって生成されたものなど) を処理する方法。 有効な値は、null 値に置き換える 'null' と、例外が発生する 'fail' です。

out_of_range_datetime

必須

Pandas でサポートされている範囲を超えた日時の値を処理する方法。 有効な値は、null 値に置き換える 'null' と、例外が発生する 'fail' です。

戻り値

dask.dataframe.core.DataFrame

to_pandas_dataframe

データセットから pandas データフレームにすべてのレコードを読み込みます。

to_pandas_dataframe(on_error='null', out_of_range_datetime='null')

パラメーター

on_error

必須

データセット内のエラー値 (値の解析中にエラーによって生成されたものなど) を処理する方法。 有効な値は、null 値に置き換える 'null' と、例外が発生する 'fail' です。

out_of_range_datetime

必須

Pandas でサポートされている範囲を超えた日時の値を処理する方法。 有効な値は、null 値に置き換える 'null' と、例外が発生する 'fail' です。

戻り値

pandas データフレームを返します。

の戻り値の型 :

DataFrame

to_parquet_files

現在のデータセットを、Parquet ファイルを含む FileDataset に変換します。

結果のデータセットには、1 つ以上の Parquet ファイルが含まれ、それぞれが現在のデータセットのデータのパーティションに対応しています。 これらのファイルは、ダウンロードまたは読み取りが行われるまで、具体化されません。

to_parquet_files()

戻り値

このデータセット内のデータを含む Parquet ファイルのセットを持つ新しい FileDataset オブジェクトを返します。

の戻り値の型 :

FileDataset

to_spark_dataframe

データセットから Spark データフレームにすべてのレコードを読み込みます。

to_spark_dataframe()

戻り値

Spark データフレームを作成します。

の戻り値の型 :

DataFrame

with_timestamp_columns

データセットの timestamp 列を定義します。

with_timestamp_columns(timestamp=None, partition_timestamp=None, validate=False, **kwargs)

パラメーター

timestamp

str

必須

timestamp (以前の名前は fine_grain_timestamp) としての列の名前 (省略可能)。 既定値は None(clear) です。

partition_timestamp

str

必須

列 partition_timestamp (以前の名前は fine_grain_timestamp) の名前 (省略可能)。 既定値は None(clear) です。

validate

bool

必須

指定した列がデータセットに存在することを検証するかどうかを示します。 既定値は False です。 検証を行うには、現在のコンピューティングからデータ ソースにアクセスできる必要があります。

戻り値

timestamp 列が定義された新しい TabularDataset を返します。

の戻り値の型 :

TabularDataset

注釈

このメソッドは、timestamp として使用される列を定義します。 データセットの timestamp 列を使用すると、データを時系列データとして扱うことができ、追加の機能を有効にできます。 データセットに timestamp (used to be referred as fine_grain_timestamp) と partition_timestamp (used to be referred as coarse grain timestamp) の両方を指定した場合、2 つの列は同じタイムラインを表す必要があります。

属性

timestamp_columns

timestamp 列を返します。

戻り値

データセットに対して定義されている timestamp (以前の名前は fine_grain_timestamp) と partition_timestamp (以前の名前は coarse_grain_timestamp) の列名。

の戻り値の型 :

(str, str)