TabularDataset Klasa
Reprezentuje tabelaryczny zestaw danych do użycia w usłudze Azure Machine Learning.
Tabelaryczny zestaw danych definiuje serię niezmienianych operacji obliczanych w celu załadowania danych ze źródła danych do reprezentacji tabelarycznej. Dane nie są ładowane ze źródła do momentu, gdy zostanie wyświetlony monit o dostarczenie danych.
Tabelaryczny zestaw danych jest tworzony przy użyciu metod takich jak from_delimited_files z TabularDatasetFactory klasy .
Aby uzyskać więcej informacji, zobacz artykuł Dodawanie & rejestrowania zestawów danych. Aby rozpocząć pracę z tabelarycznym zestawem danych, zobacz https://aka.ms/tabulardataset-samplenotebook.
Inicjowanie obiektu TabularDataset.
Ten konstruktor nie powinien być wywoływany bezpośrednio. Zestaw danych ma zostać utworzony przy użyciu TabularDatasetFactory klasy.
- Dziedziczenie
-
TabularDataset
Konstruktor
TabularDataset()Uwagi
Tabelaryczny zestaw danych można utworzyć na podstawie plików CSV, TSV, Parquet lub zapytań SQL przy użyciu from_* metod TabularDatasetFactory klasy . Operacje podsettingu można wykonywać w zestawie danych tabelarycznych, takich jak dzielenie, pomijanie i filtrowanie rekordów.
Wynikiem podstawienia jest zawsze jeden lub więcej nowych obiektów TabularDataset.
Możesz również przekonwertować zestaw tabularDataset na inne formaty, takie jak ramka danych biblioteki pandas. Rzeczywiste ładowanie danych odbywa się, gdy zostanie wyświetlony monit o dostarczenie danych do innego mechanizmu magazynu (np. ramki danych Pandas lub pliku CSV).
Tabelaryczny zestaw danych może służyć jako dane wejściowe przebiegu eksperymentu. Można ją również zarejestrować w obszarze roboczym o określonej nazwie i pobrać ją później.
Metody
| download |
Uwaga Jest to metoda eksperymentalna i może ulec zmianie w dowolnym momencie. Aby uzyskać więcej informacji, zobacz https://aka.ms/azuremlexperimental. Pobierz strumienie plików zdefiniowane przez zestaw danych do ścieżki lokalnej. |
| drop_columns |
Upuść określone kolumny z zestawu danych. Jeśli kolumna timeseries zostanie porzucona, odpowiednie możliwości również zostaną porzucone dla zwróconego zestawu danych. |
| filter |
Uwaga Jest to metoda eksperymentalna i może ulec zmianie w dowolnym momencie. Aby uzyskać więcej informacji, zobacz https://aka.ms/azuremlexperimental. Przefiltruj dane, pozostawiając tylko rekordy zgodne z określonym wyrażeniem. |
| get_profile |
Uwaga Jest to metoda eksperymentalna i może ulec zmianie w dowolnym momencie. Aby uzyskać więcej informacji, zobacz https://aka.ms/azuremlexperimental. Pobierz profil danych z najnowszego przebiegu profilu przesłanego dla tego lub tego samego zestawu danych w obszarze roboczym. |
| get_profile_runs |
Uwaga Jest to metoda eksperymentalna i może ulec zmianie w dowolnym momencie. Aby uzyskać więcej informacji, zobacz https://aka.ms/azuremlexperimental. Zwróć poprzednie uruchomienia profilu skojarzone z tym lub tym samym zestawem danych w obszarze roboczym. |
| keep_columns |
Zachowaj określone kolumny i pomiń wszystkie inne z zestawu danych. Jeśli kolumna timeseries zostanie porzucona, odpowiednie możliwości również zostaną porzucone dla zwróconego zestawu danych. |
| mount |
Uwaga Jest to metoda eksperymentalna i może ulec zmianie w dowolnym momencie. Aby uzyskać więcej informacji, zobacz https://aka.ms/azuremlexperimental. Utwórz menedżera kontekstu do instalowania strumieni plików zdefiniowanych przez zestaw danych jako pliki lokalne. |
| partition_by |
Partycjonowane dane zostaną skopiowane i wyjściowe do miejsca docelowego określonego przez obiekt docelowy. utwórz zestaw danych na podstawie wyjściowej ścieżki danych z formatem partycji, zarejestruj zestaw danych, jeśli podano nazwę, zwróć zestaw danych dla nowej ścieżki danych z partycjami |
| random_split |
Podziel rekordy w zestawie danych na dwie części losowo i w przybliżeniu według określonej wartości procentowej. Pierwszy zestaw danych zawiera około |
| skip |
Pomiń rekordy z góry zestawu danych według określonej liczby. |
| submit_profile_run |
Uwaga Jest to metoda eksperymentalna i może ulec zmianie w dowolnym momencie. Aby uzyskać więcej informacji, zobacz https://aka.ms/azuremlexperimental. Prześlij przebieg eksperymentowania, aby obliczyć profil danych. Profil danych może być bardzo przydatny do zrozumienia danych wejściowych, identyfikowania anomalii i brakujących wartości, udostępniając przydatne informacje o danych, takich jak typ kolumny, brakujące wartości itp. |
| take |
Weź przykładowe rekordy z góry zestawu danych według określonej liczby. |
| take_sample |
Weź losową próbkę rekordów w zestawie danych w przybliżeniu według określonego prawdopodobieństwa. |
| time_after |
Filtruj tabelarycznyZestaw danych z kolumnami sygnatury czasowej po określonym czasie rozpoczęcia. |
| time_before |
Filtruj tabelarycznyZestaw danych z kolumnami sygnatury czasowej przed określonym czasem zakończenia. |
| time_between |
Filtruj tabelarycznyZestaw danych między określonym czasem rozpoczęcia i zakończenia. |
| time_recent |
Filtruj tabelarycznyZestaw danych, aby zawierał tylko określony czas trwania (ilość) ostatnich danych. |
| to_csv_files |
Przekonwertuj bieżący zestaw danych na plikDataset zawierający pliki CSV. Wynikowy zestaw danych będzie zawierać co najmniej jeden plik CSV, z których każdy odpowiada partycji danych z bieżącego zestawu danych. Te pliki nie zostaną zmaterializowane, dopóki nie zostaną pobrane lub odczytane. |
| to_dask_dataframe |
Uwaga Jest to metoda eksperymentalna i może ulec zmianie w dowolnym momencie. Aby uzyskać więcej informacji, zobacz https://aka.ms/azuremlexperimental. Zwróć ramkę danych dask, która może leniwie odczytywać dane w zestawie danych. |
| to_pandas_dataframe |
Załaduj wszystkie rekordy z zestawu danych do ramki danych pandas. |
| to_parquet_files |
Przekonwertuj bieżący zestaw danych na plikDataset zawierający pliki Parquet. Wynikowy zestaw danych będzie zawierać co najmniej jeden plik Parquet, z których każdy odpowiada partycji danych z bieżącego zestawu danych. Te pliki nie zostaną zmaterializowane, dopóki nie zostaną pobrane lub odczytane. |
| to_spark_dataframe |
Załaduj wszystkie rekordy z zestawu danych do ramki danych Platformy Spark. |
| with_timestamp_columns |
Zdefiniuj kolumny znacznika czasu dla zestawu danych. |
download
Uwaga
Jest to metoda eksperymentalna i może ulec zmianie w dowolnym momencie. Aby uzyskać więcej informacji, zobacz https://aka.ms/azuremlexperimental.
Pobierz strumienie plików zdefiniowane przez zestaw danych do ścieżki lokalnej.
download(stream_column, target_path=None, overwrite=False, ignore_not_found=True)Parametry
- target_path
- str
Katalog lokalny do pobrania plików. Jeśli brak, dane zostaną pobrane do katalogu tymczasowego.
- overwrite
- bool
Wskazuje, czy zastąpić istniejące pliki. Wartość domyślna to False. Istniejące pliki zostaną zastąpione, jeśli zastąpienie ma wartość True; w przeciwnym razie zostanie zgłoszony wyjątek.
- ignore_not_found
- bool
Wskazuje, czy pobieranie nie powiodło się, jeśli niektóre pliki wskazywane przez zestaw danych nie zostaną znalezione. Wartość domyślna to True. Pobieranie zakończy się niepowodzeniem, jeśli jakiekolwiek pobieranie pliku zakończy się niepowodzeniem z jakiegokolwiek powodu, jeśli ignore_not_found jest ustawiona na wartość False; w przeciwnym razie waring zostanie zarejestrowany pod kątem błędów, a dowload powiedzie się tak długo, jak żadne inne typy błędów nie zostaną napotkane.
Zwraca
Zwraca tablicę ścieżek plików dla każdego pobranego pliku.
Typ zwracany
drop_columns
Upuść określone kolumny z zestawu danych.
Jeśli kolumna timeseries zostanie porzucona, odpowiednie możliwości również zostaną porzucone dla zwróconego zestawu danych.
drop_columns(columns)Parametry
Zwraca
Zwraca nowy obiekt TabularDataset z porzuconymi określonymi kolumnami.
Typ zwracany
filter
Uwaga
Jest to metoda eksperymentalna i może ulec zmianie w dowolnym momencie. Aby uzyskać więcej informacji, zobacz https://aka.ms/azuremlexperimental.
Przefiltruj dane, pozostawiając tylko rekordy zgodne z określonym wyrażeniem.
filter(expression)Parametry
Zwraca
Zmodyfikowany zestaw danych (wyrejestrowany).
Typ zwracany
Uwagi
Wyrażenia są uruchamiane przez indeksowanie zestawu danych o nazwie kolumny. Obsługują one różne funkcje i operatory i mogą być łączone przy użyciu operatorów logicznych. Wynikowe wyrażenie zostanie z opóźnieniem ocenione dla każdego rekordu, gdy nastąpi ściąganie danych, a nie miejsce, w którym jest definiowane.
dataset['myColumn'] > dataset['columnToCompareAgainst']
dataset['myColumn'].starts_with('prefix')
get_profile
Uwaga
Jest to metoda eksperymentalna i może ulec zmianie w dowolnym momencie. Aby uzyskać więcej informacji, zobacz https://aka.ms/azuremlexperimental.
Pobierz profil danych z najnowszego przebiegu profilu przesłanego dla tego lub tego samego zestawu danych w obszarze roboczym.
get_profile(workspace=None)Parametry
- workspace
- Workspace
Obszar roboczy, w którym został przesłany profil. Domyślnie obszar roboczy tego zestawu danych. Wymagane, jeśli zestaw danych nie jest skojarzony z obszarem roboczym. Aby uzyskać więcej informacji na temat obszarów roboczych, zobacz https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.core.workspace.workspace .
Zwraca
Wynik profilu z najnowszego uruchomienia profilu typu DatasetProfile.
Typ zwracany
get_profile_runs
Uwaga
Jest to metoda eksperymentalna i może ulec zmianie w dowolnym momencie. Aby uzyskać więcej informacji, zobacz https://aka.ms/azuremlexperimental.
Zwróć poprzednie uruchomienia profilu skojarzone z tym lub tym samym zestawem danych w obszarze roboczym.
get_profile_runs(workspace=None)Parametry
- workspace
- Workspace
Obszar roboczy, w którym został przesłany profil. Domyślnie obszar roboczy tego zestawu danych. Wymagane, jeśli zestaw danych nie jest skojarzony z obszarem roboczym. Aby uzyskać więcej informacji na temat obszarów roboczych, zobacz https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.core.workspace.workspace .
Zwraca
obiekt iteratora typu azureml.core.Run.
Typ zwracany
keep_columns
Zachowaj określone kolumny i pomiń wszystkie inne z zestawu danych.
Jeśli kolumna timeseries zostanie porzucona, odpowiednie możliwości również zostaną porzucone dla zwróconego zestawu danych.
keep_columns(columns, validate=False)Parametry
- validate
- bool
Wskazuje, czy dane można załadować z zwróconego zestawu danych. Wartość domyślna to False. Weryfikacja wymaga, aby źródło danych było dostępne z bieżącego środowiska obliczeniowego.
Zwraca
Zwraca nowy obiekt TabularDataset z przechowywanymi tylko określonymi kolumnami.
Typ zwracany
mount
Uwaga
Jest to metoda eksperymentalna i może ulec zmianie w dowolnym momencie. Aby uzyskać więcej informacji, zobacz https://aka.ms/azuremlexperimental.
Utwórz menedżera kontekstu do instalowania strumieni plików zdefiniowanych przez zestaw danych jako pliki lokalne.
mount(stream_column, mount_point=None)Parametry
- mount_point
- str
Katalog lokalny do zainstalowania plików. Jeśli brak, dane zostaną zainstalowane w katalogu tymczasowym, który można znaleźć, wywołując metodę wystąpienia MountContext.mount_point .
Zwraca
Zwraca menedżera kontekstu do zarządzania cyklem życia instalacji.
Typ zwracany
partition_by
Partycjonowane dane zostaną skopiowane i wyjściowe do miejsca docelowego określonego przez obiekt docelowy.
utwórz zestaw danych na podstawie wyjściowej ścieżki danych z formatem partycji, zarejestruj zestaw danych, jeśli podano nazwę, zwróć zestaw danych dla nowej ścieżki danych z partycjami
ds = Dataset.get_by_name('test') # indexed by country, state, partition_date
# #1: call partition_by locally
new_ds = ds.partition_by(name="repartitioned_ds", partition_keys=['country'],
target=DataPath(datastore, "repartition"))
partition_keys = newds.partition_keys # ['country']
# new_ds can be passed to PRS as input dataset
partition_by(partition_keys, target, name=None, show_progress=True, partition_as_file_dataset=False)Parametry
Wymagana ścieżka magazynu danych, do której zostaną przekazane dane parquet ramki danych. Folder guid zostanie wygenerowany w ramach ścieżki docelowej, aby uniknąć konfliktu.
- show_progress
- bool
Opcjonalnie wskazuje, czy ma być wyświetlany postęp przekazywania w konsoli programu . Wartości domyślne mają wartość True.
- partition_as_file_dataset
Opcjonalnie wskazuje, czy zwraca zestaw danych plików, czy nie. Wartością domyślną jest fałsz.
Zwraca
Zapisany lub zarejestrowany zestaw danych.
Typ zwracany
random_split
Podziel rekordy w zestawie danych na dwie części losowo i w przybliżeniu według określonej wartości procentowej.
Pierwszy zestaw danych zawiera około percentage wszystkich rekordów i drugi zestaw danych pozostałych rekordów.
random_split(percentage, seed=None)Parametry
- percentage
- float
Przybliżona wartość procentowa dzielenia zestawu danych według. Musi to być liczba z zakresu od 0.0 do 1.0.
Zwraca
Zwraca krotkę nowych obiektów TabularDataset reprezentujących dwa zestawy danych po podziale.
Typ zwracany
skip
Pomiń rekordy z góry zestawu danych według określonej liczby.
skip(count)Parametry
Zwraca
Zwraca nowy obiekt TabularDataset reprezentujący zestaw danych z pominiętymi rekordami.
Typ zwracany
submit_profile_run
Uwaga
Jest to metoda eksperymentalna i może ulec zmianie w dowolnym momencie. Aby uzyskać więcej informacji, zobacz https://aka.ms/azuremlexperimental.
Prześlij przebieg eksperymentowania, aby obliczyć profil danych.
Profil danych może być bardzo przydatny do zrozumienia danych wejściowych, identyfikowania anomalii i brakujących wartości, udostępniając przydatne informacje o danych, takich jak typ kolumny, brakujące wartości itp.
submit_profile_run(compute_target, experiment, cache_datastore_name=None)Parametry
- compute_target
- Union[str, ComputeTarget]
Obiekt docelowy obliczeniowy do uruchomienia eksperymentu obliczania profilu. Określ wartość "local", aby używać zasobów obliczeniowych lokalnych. Aby uzyskać więcej informacji na temat obiektów docelowych obliczeniowych, zobacz https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.core.computetarget .
- experiment
- Experiment
Obiekt eksperymentu. Aby uzyskać więcej informacji na temat eksperymentów, zobacz https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.core.experiment.experiment .
- cache_datastore_name
- str
nazwa magazynu danych do przechowywania pamięci podręcznej profilu, jeśli brak, zostanie użyty domyślny magazyn danych
Zwraca
Obiekt typu DatasetProfileRun, klasa.
Typ zwracany
take
Weź przykładowe rekordy z góry zestawu danych według określonej liczby.
take(count)Parametry
Zwraca
Zwraca nowy obiekt TabularDataset reprezentujący przykładowy zestaw danych.
Typ zwracany
take_sample
Weź losową próbkę rekordów w zestawie danych w przybliżeniu według określonego prawdopodobieństwa.
take_sample(probability, seed=None)Parametry
Zwraca
Zwraca nowy obiekt TabularDataset reprezentujący przykładowy zestaw danych.
Typ zwracany
time_after
Filtruj tabelarycznyZestaw danych z kolumnami sygnatury czasowej po określonym czasie rozpoczęcia.
time_after(start_time, include_boundary=True, validate=True)Parametry
- include_boundary
- bool
Określ, czy wiersz skojarzony z czasem granicy (start_time) powinien zostać uwzględniony.
- validate
- bool
Wskazuje, czy należy sprawdzić, czy określone kolumny istnieją w zestawie danych. Wartość domyślna to True. Walidacja wymaga, aby źródło danych było dostępne z bieżącego środowiska obliczeniowego.
Zwraca
Tabelaryczny zestaw danych z nowym filtrowanym zestawem danych.
Typ zwracany
time_before
Filtruj tabelarycznyZestaw danych z kolumnami sygnatury czasowej przed określonym czasem zakończenia.
time_before(end_time, include_boundary=True, validate=True)Parametry
- include_boundary
- bool
Określ, czy wiersz skojarzony z czasem granicy (end_time) powinien zostać uwzględniony.
- validate
- bool
Wskazuje, czy należy sprawdzić, czy określone kolumny istnieją w zestawie danych. Wartość domyślna to True. Walidacja wymaga, aby źródło danych było dostępne z bieżącego środowiska obliczeniowego.
Zwraca
Tabelaryczny zestaw danych z nowym filtrowanym zestawem danych.
Typ zwracany
time_between
Filtruj tabelarycznyZestaw danych między określonym czasem rozpoczęcia i zakończenia.
time_between(start_time, end_time, include_boundary=True, validate=True)Parametry
- include_boundary
- bool
Określ, czy wiersz skojarzony z czasem granicy (start_end i end_time) powinien być uwzględniony.
- validate
- bool
Wskazuje, czy należy sprawdzić, czy określone kolumny istnieją w zestawie danych. Wartość domyślna to True. Walidacja wymaga, aby źródło danych było dostępne z bieżącego środowiska obliczeniowego.
Zwraca
Tabelaryczny zestaw danych z nowym filtrowanym zestawem danych.
Typ zwracany
time_recent
Filtruj tabelarycznyZestaw danych, aby zawierał tylko określony czas trwania (ilość) ostatnich danych.
time_recent(time_delta, include_boundary=True, validate=True)Parametry
- include_boundary
- bool
Określ, czy wiersz skojarzony z czasem granicy (time_delta) powinien zostać uwzględniony.
- validate
- bool
Wskazuje, czy należy sprawdzić, czy określone kolumny istnieją w zestawie danych. Wartość domyślna to True. Walidacja wymaga, aby źródło danych było dostępne z bieżącego środowiska obliczeniowego.
Zwraca
Tabelaryczny zestaw danych z nowym filtrowanym zestawem danych.
Typ zwracany
to_csv_files
Przekonwertuj bieżący zestaw danych na plikDataset zawierający pliki CSV.
Wynikowy zestaw danych będzie zawierać co najmniej jeden plik CSV, z których każdy odpowiada partycji danych z bieżącego zestawu danych. Te pliki nie zostaną zmaterializowane, dopóki nie zostaną pobrane lub odczytane.
to_csv_files(separator=',')Parametry
Zwraca
Zwraca nowy obiekt FileDataset z zestawem plików CSV zawierającym dane w tym zestawie danych.
Typ zwracany
to_dask_dataframe
Uwaga
Jest to metoda eksperymentalna i może ulec zmianie w dowolnym momencie. Aby uzyskać więcej informacji, zobacz https://aka.ms/azuremlexperimental.
Zwróć ramkę danych dask, która może leniwie odczytywać dane w zestawie danych.
to_dask_dataframe(sample_size=10000, dtypes=None, on_error='null', out_of_range_datetime='null')Parametry
- sample_size
Liczba rekordów do odczytania w celu określenia schematu i typów.
- dtypes
Opcjonalny dykt określający oczekiwane kolumny i ich typy. sample_size jest ignorowany, jeśli jest to podane.
- on_error
Jak obsłużyć wszystkie wartości błędów w zestawie danych, takie jak te wygenerowane przez błąd podczas analizowania wartości. Prawidłowe wartości to "null", które zastępują je wartością null; i "fail", co spowoduje wyjątek.
- out_of_range_datetime
Jak obsługiwać wartości daty i godziny spoza zakresu obsługiwanego przez bibliotekę Pandas. Prawidłowe wartości to "null", które zastępują je wartością null; i "fail", co spowoduje wyjątek.
Zwraca
dask.dataframe.core.DataFrame
to_pandas_dataframe
Załaduj wszystkie rekordy z zestawu danych do ramki danych pandas.
to_pandas_dataframe(on_error='null', out_of_range_datetime='null')Parametry
- on_error
Jak obsłużyć wszystkie wartości błędów w zestawie danych, takie jak te wygenerowane przez błąd podczas analizowania wartości. Prawidłowe wartości to "null", które zastępują je wartością null; i "fail", co spowoduje wyjątek.
- out_of_range_datetime
Jak obsługiwać wartości daty i godziny spoza zakresu obsługiwanego przez bibliotekę Pandas. Prawidłowe wartości to "null", które zastępują je wartością null; i "fail", co spowoduje wyjątek.
Zwraca
Zwraca ramkę danych biblioteki pandas.
Typ zwracany
to_parquet_files
Przekonwertuj bieżący zestaw danych na plikDataset zawierający pliki Parquet.
Wynikowy zestaw danych będzie zawierać co najmniej jeden plik Parquet, z których każdy odpowiada partycji danych z bieżącego zestawu danych. Te pliki nie zostaną zmaterializowane, dopóki nie zostaną pobrane lub odczytane.
to_parquet_files()Zwraca
Zwraca nowy obiekt FileDataset z zestawem plików Parquet zawierających dane w tym zestawie danych.
Typ zwracany
to_spark_dataframe
Załaduj wszystkie rekordy z zestawu danych do ramki danych Platformy Spark.
to_spark_dataframe()Zwraca
Zwraca ramkę danych platformy Spark.
Typ zwracany
with_timestamp_columns
Zdefiniuj kolumny znacznika czasu dla zestawu danych.
with_timestamp_columns(timestamp=None, partition_timestamp=None, validate=False, **kwargs)Parametry
- timestamp
- str
Nazwa kolumny jako sygnatura czasowa (używana jako fine_grain_timestamp) (opcjonalnie). Wartość domyślna to None(clear).
- partition_timestamp
- str
Nazwa kolumny partition_timestamp (używana jako sygnatura czasowa ziarna grubego) (opcjonalnie). Wartość domyślna to None(clear).
- validate
- bool
Wskazuje, czy należy sprawdzić, czy określone kolumny istnieją w zestawie danych. Wartość domyślna to False. Walidacja wymaga, aby źródło danych było dostępne z bieżącego środowiska obliczeniowego.
Zwraca
Zwraca nowy zestaw danych tabelarycznych ze zdefiniowanymi kolumnami sygnatury czasowej.
Typ zwracany
Uwagi
Metoda definiuje kolumny do użycia jako znaczniki czasu. Kolumny sygnatury czasowej w zestawie danych umożliwiają traktowanie danych jako danych szeregów czasowych i włączanie dodatkowych możliwości. Gdy zestaw danych ma określony i timestamp (used to be referred as fine_grain_timestamp)partition_timestamp (used to be referred as coarse grain timestamp) określony, dwie kolumny powinny reprezentować tę samą oś czasu.
Atrybuty
timestamp_columns
Opinia
Dostępne już wkrótce: W 2024 r. będziemy stopniowo wycofywać zgłoszenia z serwisu GitHub jako mechanizm przesyłania opinii na temat zawartości i zastępować go nowym systemem opinii. Aby uzyskać więcej informacji, sprawdź: https://aka.ms/ContentUserFeedback.
Prześlij i wyświetl opinię dla