Dataset Classe

Referência

Representa um recurso para explorar, transformar e gerenciar dados no Azure Machine Learning.

Um Conjunto de dados é uma referência aos dados em um Datastore ou por trás de URLs da Web pública.

Para métodos preteridos nessa classe, verifique a classe AbstractDataset para ver as APIs aprimoradas.

Há suporte para os seguintes tipos de Conjuntos de dados:

TabularDataset representa dados em um formato tabular criado pela análise do arquivo fornecido ou da lista de arquivos.
FileDataset faz referência a um ou vários arquivos em repositórios de armazenamento ou de URLs públicas.

Para começar a usar conjuntos de dados, consulte o artigo Adicionar & registrar conjuntos de dados ou ver os notebooks https://aka.ms/tabulardataset-samplenotebook e https://aka.ms/filedataset-samplenotebook.

Inicialize o objeto Dataset.

Para obter um Conjunto de dados que já foi registrado no workspace, use o método get.

Herança: builtins.object

Dataset

Construtor

Dataset(definition, workspace=None, name=None, id=None)

Parâmetros

definition: <xref:azureml.data.DatasetDefinition>

Obrigatório

A definição de Conjunto de dados.

workspace: Workspace

Obrigatório

O workspace no qual o Conjunto de dados existe.

name: str

Obrigatório

O nome do conjunto de dados.

id: str

Obrigatório

O identificador exclusivo do Conjunto de dados.

Comentários

A classe do Conjunto de dados expõe dois atributos de classe de conveniência (File e Tabular) que você pode usar para criar um Conjunto de dados sem trabalhar com os métodos de fábrica correspondentes. Por exemplo, para criar um conjunto de dados usando estes atributos:

Dataset.Tabular.from_delimited_files()
Dataset.File.from_files()

Você também pode criar um novo TabularDataset ou FileDataset chamando diretamente os métodos de fábrica correspondentes da classe definida em TabularDatasetFactory e FileDatasetFactory.

O exemplo a seguir mostra como criar um TabularDataset apontando para um único caminho em um armazenamento de dados.


   from azureml.core import Dataset
   dataset = Dataset.Tabular.from_delimited_files(path = [(datastore, 'train-dataset/tabular/iris.csv')])

   # preview the first 3 rows of the dataset
   dataset.take(3).to_pandas_dataframe()

O exemplo completo está disponível em https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/work-with-data/datasets-tutorial/train-with-datasets/train-with-datasets.ipynb

Variáveis

azureml.core.Dataset.File

Um atributo de classe que fornece acesso aos métodos FileDatasetFactory para criar novos objetos FileDataset. Uso: Dataset.File.from_files().

azureml.core.Dataset.Tabular

Um atributo de classe que fornece acesso aos métodos TabularDatasetFactory para criar novos objetos TabularDataset. Uso: Dataset.Tabular.from_delimited_files().

Métodos

archive	Arquivar um conjunto de dados ativo ou preterido. Observação Este método foi preterido e não terá mais suporte. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
auto_read_files	Analisa os arquivos no caminho especificado e retorna um novo Conjunto de dados. Observação Este método foi preterido e não terá mais suporte. É recomendável usar os métodos Dataset.Tabular.from_* para ler os arquivos. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
compare_profiles	Comparar o perfil do Conjunto de dados atual com outro perfil de conjunto de dados. Mostra as diferenças nas estatísticas resumidas entre dois conjuntos de dados. O parâmetro 'rhs_dataset' significa "do lado direito", indicando o segundo conjunto de dados. O primeiro conjunto de dados (o objeto de conjunto de dados atual) é considerado o "do lado esquerdo". Observação Este método foi preterido e não terá mais suporte. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
create_snapshot	Criar um instantâneo do Conjunto de dados registrado. Observação Este método foi preterido e não terá mais suporte. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
delete_snapshot	Excluir um instantâneo do Conjunto de dados pelo nome. Observação Este método foi preterido e não terá mais suporte. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
deprecate	Preterir um conjunto de dados ativo em um workspace por outro conjunto de dados. Observação Este método foi preterido e não terá mais suporte. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
diff	Comparar o Conjunto de dados atual com rhs_dataset. Observação Este método foi preterido e não terá mais suporte. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
from_binary_files	Criar um Conjunto de dados na memória, não registrado, de arquivos binários. Observação Este método foi preterido e não terá mais suporte. É recomendável usar Dataset.File.from_files como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
from_delimited_files	Criar um Conjunto de dados na memória, não registrado, de arquivos delimitados. Observação Este método foi preterido e não terá mais suporte. É recomendável usar Dataset.Tabular.from_delimited_files como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation. `# Create a dataset from delimited files with header option as ALL_FILES_HAVE_SAME_HEADERS dataset = Dataset.Tabular.from_delimited_files(path=(datastore, 'data/crime-spring.csv'), header='ALL_FILES_HAVE_SAME_HEADERS') df = dataset.to_pandas_dataframe()`
from_excel_files	Criar um Conjunto de dados na memória, não registrado, de arquivos do Excel. Observação Este método foi preterido e não terá mais suporte. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
from_json_files	Criar um Conjunto de dados na memória, não registrado, de arquivos JSON. Observação Este método foi preterido e não terá mais suporte. É recomendável usar Dataset.Tabular.from_json_lines_files como alternativa para ler o arquivo de linhas JSON. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
from_pandas_dataframe	Criar um Conjunto de dados na memória, não registrado, de um dataframe do Pandas. Observação Este método foi preterido e não terá mais suporte. É recomendável Dataset.Tabular.register_pandas_dataframe como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
from_parquet_files	Criar um Conjunto de dados na memória, não registrado, de arquivos parquet. Observação Este método foi preterido e não terá mais suporte. É recomendável usar Dataset.Tabular.from_parquet_files como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
from_sql_query	Criar um Conjunto de dados na memória, não registrado, de uma consulta SQL. Observação Este método foi preterido e não terá mais suporte. É recomendável usar Dataset.Tabular.from_sql_query como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
generate_profile	Gerar novo perfil para o Conjunto de dados. Observação Este método foi preterido e não terá mais suporte. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
get	Obter um Conjunto de dados que já existe no workspace especificando seu nome ou sua ID. Observação Este método foi preterido e não terá mais suporte. É recomendável usar get_by_name e get_by_id como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
get_all	Obter todos os conjuntos de dados registrados no workspace.
get_all_snapshots	Obter todos os instantâneos do Conjunto de dados. Observação Este método foi preterido e não terá mais suporte. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
get_by_id	Obter um Conjunto de dados que está salvo no workspace.
get_by_name	Obter um Conjunto de dados registrado do workspace pelo nome de registro.
get_definition	Obter uma definição específica do Conjunto de dados. Observação Este método foi preterido e não terá mais suporte. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
get_definitions	Obter todas as definições do Conjunto de dados. Observação Este método foi preterido e não terá mais suporte. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
get_profile	Obter estatísticas resumidas sobre o Conjunto de dados computado anteriormente. Observação Este método foi preterido e não terá mais suporte. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
get_snapshot	Obter um instantâneo do Conjunto de dados pelo nome. Observação Este método foi preterido e não terá mais suporte. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
head	Efetua pull do número especificado de registros desse Conjunto de dados e os retorna como um DataFrame. Observação Este método foi preterido e não terá mais suporte. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
list	Listar todos os Conjuntos de dados no workspace, incluindo aqueles com a propriedade `is_visible` igual a False. Observação Este método foi preterido e não terá mais suporte. Use get_all como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
reactivate	Reativar um conjunto de dados arquivado ou preterido. Observação Este método foi preterido e não terá mais suporte. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
register	Registrar o Conjunto de dados no workspace, disponibilizando-o para outros usuários do workspace. Observação Este método foi preterido e não terá mais suporte. Use register como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
sample	Gerar uma nova amostra do Conjunto de dados de origem usando a estratégia de amostragem e os parâmetros fornecidos. Observação Este método foi preterido e não terá mais suporte. Crie um TabularDataset chamando os métodos estáticos em Dataset.Tabular e use o método take_sample lá. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
to_pandas_dataframe	Criar um dataframe do Pandas executando o pipeline de transformação definido por esta definição do Conjunto de dados. Observação Este método foi preterido e não terá mais suporte. Crie um TabularDataset chamando os métodos estáticos em Dataset.Tabular e use o método to_pandas_dataframe lá. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
to_spark_dataframe	Criar um Dataframe do Spark que possa executar o pipeline de transformação definido por essa definição do Conjunto de dados. Observação Este método foi preterido e não terá mais suporte. Crie um TabularDataset chamando os métodos estáticos em Dataset.Tabular e use o método to_spark_dataframe lá. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
update	Atualizar os atributos mutáveis do Conjunto de dados no workspace e retornar o Conjunto de dados atualizado do workspace. Observação Este método foi preterido e não terá mais suporte. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.
update_definition	Atualizar a definição do Conjunto de dados. Observação Este método foi preterido e não terá mais suporte. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

auto_read_files

Analisa os arquivos no caminho especificado e retorna um novo Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

É recomendável usar os métodos Dataset.Tabular.from_* para ler os arquivos. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

static auto_read_files(path, include_path=False, partition_format=None)

Parâmetros

path: DataReference ou str

Obrigatório

Um caminho de dados em um armazenamento de dados registrado, um caminho local ou uma URL HTTP (CSV/TSV).

include_path: bool

Obrigatório

Se deve ser incluída uma coluna contendo o caminho do arquivo do qual os dados foram lidos. Útil ao ler vários arquivos, quando é necessário saber de qual arquivo um registro específico foi originado. Também é útil quando há informações no caminho ou nome do arquivo que você deseja ter em uma coluna.

partition_format: str

Obrigatório

Especifique o formato da partição no caminho e crie colunas de cadeia de caracteres com o formato '{x}' e a coluna de datetime com o formato '{x:yyyy/MM/dd/HH/mm/ss}', em que 'yyyy', 'MM', 'dd', 'HH', 'mm' e 'ss' são usados para extrair o ano, o mês, o dia, a hora, o minuto e o segundo para o tipo datetime. O formato deve começar na posição da primeira chave de partição até o final do caminho do arquivo. Por exemplo, dado um caminho de arquivo'../Accounts/2019/01/01/data.csv', em que os dados são particionados pelo nome do departamento e pela hora, podemos definir '/{Department}/{PartitionDate:yyyy/MM/dd}/data.csv' para criar as colunas 'Department' do tipo de cadeia de caracteres e 'PartitionDate' do tipo datetime.

Retornos

Objeto de Conjunto de dados.

Tipo de retorno

Dataset

Comentários

Use esse método para ter formatos de arquivo e delimitadores detectados automaticamente.

Após criar um Conjunto de dados, use get_profile para listar os tipos de coluna detectados e as estatísticas de resumo para cada coluna.

O Conjunto de dados retornado não está registrado no workspace.

compare_profiles

Comparar o perfil do Conjunto de dados atual com outro perfil de conjunto de dados.

Mostra as diferenças nas estatísticas resumidas entre dois conjuntos de dados. O parâmetro 'rhs_dataset' significa "do lado direito", indicando o segundo conjunto de dados. O primeiro conjunto de dados (o objeto de conjunto de dados atual) é considerado o "do lado esquerdo".

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

compare_profiles(rhs_dataset, profile_arguments={}, include_columns=None, exclude_columns=None, histogram_compare_method=HistogramCompareMethod.WASSERSTEIN)

Parâmetros

rhs_dataset: Dataset

Obrigatório

Um segundo Conjunto de dados, também chamado de Conjunto de dados "do lado direito" para comparação.

profile_arguments: dict

Obrigatório

Argumentos para recuperar o perfil específico.

include_columns: list[str]

Obrigatório

Lista de nomes de coluna a serem incluídos na comparação.

exclude_columns: list[str]

Obrigatório

Lista de nomes de coluna a serem excluídos da comparação.

histogram_compare_method: HistogramCompareMethod

Obrigatório

Enumeração que descreve o método de comparação, por exemplo: Wasserstein ou Energy

Retornos

Diferença entre os dois perfis de conjunto de dados.

Tipo de retorno

<xref:azureml.dataprep.api.engineapi.typedefinitions.DataProfileDifference>

Comentários

Destina-se somente a Conjuntos de dados registrados. Gera uma exceção caso o perfil atual do Conjunto de dados não exista. Para Conjuntos de dados não registrados, use o método profile.compare.

create_snapshot

Criar um instantâneo do Conjunto de dados registrado.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

create_snapshot(snapshot_name, compute_target=None, create_data_snapshot=False, target_datastore=None)

Parâmetros

snapshot_name: str

Obrigatório

O nome do instantâneo. Os nomes de instantâneos devem ser exclusivos em um Conjunto de dados.

compute_target: Union[ComputeTarget, str]

Obrigatório

Destino de computação opcional para criar o perfil de instantâneo. Se omitido, a computação local será usada.

create_data_snapshot: bool

Obrigatório

Se for True, uma cópia materializada dos dados será criada.

target_datastore: Union[AbstractAzureStorageDatastore, str]

Obrigatório

Armazenamento de dados de destino para salvar o instantâneo. Se omitido, o instantâneo será criado no armazenamento padrão do workspace.

Retornos

Objeto de instantâneo do conjunto de dados.

Tipo de retorno

DatasetSnapshot

Comentários

Os instantâneos capturam estatísticas resumidas pontuais dos dados subjacentes e uma cópia opcional dos próprios dados. Para saber mais sobre como criar instantâneos, acesse https://aka.ms/azureml/howto/createsnapshots.

delete_snapshot

Excluir um instantâneo do Conjunto de dados pelo nome.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

delete_snapshot(snapshot_name)

Parâmetros

snapshot_name: str

Obrigatório

O nome do instantâneo.

Retornos

Nenhum.

Tipo de retorno

None

Comentários

Use para liberar o armazenamento consumido pelos dados salvos em instantâneos que deixaram de ser necessários.

deprecate

Preterir um conjunto de dados ativo em um workspace por outro conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

deprecate(deprecate_by_dataset_id)

Parâmetros

deprecate_by_dataset_id: str

Obrigatório

A ID do Conjunto de dados que é o substituto pretendido deste Conjunto de dados.

Retornos

Nenhum.

Tipo de retorno

None

Comentários

Conjuntos de dados preteridos registrarão avisos quando forem consumidos. Quando um conjunto de dados é preterido, todas as suas definições também são.

Conjuntos de dados preteridos ainda podem ser consumidos. Para bloquear completamente o consumo de um Conjunto de dados, arquive-o.

Se foi preterido por acidente, reativar o ativará.

diff

Comparar o Conjunto de dados atual com rhs_dataset.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

diff(rhs_dataset, compute_target=None, columns=None)

Parâmetros

rhs_dataset: Dataset

Obrigatório

Outro Conjunto de dados, também chamado de Conjunto de dados do lado direito para comparação

compute_target: Union[ComputeTarget, str]

Obrigatório

Destino de computação para executar a comparação. Se omitido, a computação local será usada.

columns: list[str]

Obrigatório

Lista de nomes de coluna a serem incluídos na comparação.

Retornos

Objeto de execução da ação do conjunto de dados.

Tipo de retorno

DatasetActionRun

from_binary_files

Criar um Conjunto de dados na memória, não registrado, de arquivos binários.

Observação

Este método foi preterido e não terá mais suporte.

É recomendável usar Dataset.File.from_files como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

static from_binary_files(path)

Parâmetros

path: DataReference ou str

Obrigatório

Um caminho de dados em um armazenamento de dados registrado ou um caminho local.

Retornos

O objeto de Conjunto de dados.

Tipo de retorno

Dataset

Comentários

Use esse método para ler arquivos como fluxos de dados binários. Retorna um objeto de fluxo de arquivos por arquivo lido. Use esse método quando estiver lendo imagens, vídeos, áudio ou outros dados binários.

get_profile e create_snapshot não funcionarão conforme o esperado para um Conjunto de dados criado por esse método.

O Conjunto de dados retornado não está registrado no workspace.

from_delimited_files

Criar um Conjunto de dados na memória, não registrado, de arquivos delimitados.

Observação

Este método foi preterido e não terá mais suporte.

É recomendável usar Dataset.Tabular.from_delimited_files como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.


   # Create a dataset from delimited files with header option as ALL_FILES_HAVE_SAME_HEADERS
   dataset = Dataset.Tabular.from_delimited_files(path=(datastore, 'data/crime-spring.csv'),
       header='ALL_FILES_HAVE_SAME_HEADERS')

   df = dataset.to_pandas_dataframe()

static from_delimited_files(path, separator=',', header=PromoteHeadersBehavior.ALL_FILES_HAVE_SAME_HEADERS, encoding=FileEncoding.UTF8, quoting=False, infer_column_types=True, skip_rows=0, skip_mode=SkipLinesBehavior.NO_ROWS, comment=None, include_path=False, archive_options=None, partition_format=None)

Parâmetros

path: DataReference ou str

Obrigatório

Um caminho de dados em um armazenamento de dados registrado, um caminho local ou uma URL HTTP.

separator: str

Obrigatório

O separador usado para dividir colunas.

header: PromoteHeadersBehavior

Obrigatório

Controla como cabeçalhos de coluna são promovidos durante a leitura de arquivos.

encoding: FileEncoding

Obrigatório

A codificação dos arquivos sendo lidos.

quoting: bool

Obrigatório

Especificar como lidar com caracteres de linha nova entre aspas. O padrão (False) é interpretar caracteres de nova linha como iniciando novas linhas, estando eles entre aspas ou não. Se definido como True, caracteres de nova linha entre aspas não resultarão em novas linhas e a velocidade de leitura do arquivo ficará mais lenta.

infer_column_types: bool

Obrigatório

Indica se os tipos de dados de coluna são inferidos.

skip_rows: int

Obrigatório

Quantas linhas ignorar nos arquivos sendo lidos.

skip_mode: SkipLinesBehavior

Obrigatório

Controla como as linhas são ignoradas durante a leitura dos arquivos.

comment: str

Obrigatório

Caractere usado para indicar linhas de comentário nos arquivos sendo lidos. Linhas que começam com essa cadeia de caracteres serão ignoradas.

include_path: bool

Obrigatório

Se deve ser incluída uma coluna contendo o caminho do arquivo do qual os dados foram lidos. É útil quando você está lendo vários arquivos e quer saber de qual arquivo um registro específico foi originado, ou para manter informações úteis no caminho do arquivo.

archive_options: <xref:azureml.dataprep.ArchiveOptions>

Obrigatório

Opções para arquivo morto, incluindo o tipo de arquivo morto e o padrão glob de entrada. Há suporte apenas para ZIP como tipo de arquivo no momento. Por exemplo, especificando


   archive_options = ArchiveOptions(archive_type = ArchiveType.ZIP, entry_glob = '*10-20.csv')

lê todos os arquivos com nome terminado em "10-20.csv" no ZIP.

partition_format: str

Obrigatório

Retornos

Objeto de Conjunto de dados.

Tipo de retorno

Dataset

Comentários

Use esse método para ler arquivos de texto delimitados quando quiser controlar as opções usadas.

Após criar um Conjunto de dados, use get_profile para listar os tipos de coluna detectados e as estatísticas de resumo para cada coluna.

O Conjunto de dados retornado não está registrado no workspace.

from_excel_files

Criar um Conjunto de dados na memória, não registrado, de arquivos do Excel.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

static from_excel_files(path, sheet_name=None, use_column_headers=False, skip_rows=0, include_path=False, infer_column_types=True, partition_format=None)

Parâmetros

path: DataReference ou str

Obrigatório

Um caminho de dados em um armazenamento de dados registrado ou um caminho local.

sheet_name: str

Obrigatório

O nome da planilha do Excel a ser carregada. Por padrão, lemos a primeira planilha de cada arquivo do Excel.

use_column_headers: bool

Obrigatório

Controla se a primeira linha deve ser usada como cabeçalhos de coluna.

skip_rows: int

Obrigatório

Quantas linhas ignorar nos arquivos sendo lidos.

include_path: bool

Obrigatório

infer_column_types: bool

Obrigatório

Se true, os tipos de dados de coluna serão inferidos.

partition_format: str

Obrigatório

Especifique o formato da partição no caminho e crie colunas de cadeia de caracteres com o formato '{x}' e a coluna de datetime com o formato '{x:yyyy/MM/dd/HH/mm/ss}', em que 'yyyy', 'MM', 'dd', 'HH', 'mm' e 'ss' são usados para extrair o ano, o mês, o dia, a hora, o minuto e o segundo para o tipo datetime. O formato deve começar na posição da primeira chave de partição até o final do caminho do arquivo. Por exemplo, dado um caminho de arquivo '../Accounts/2019/01/01/data.xlsx', em que os dados são particionados pelo nome do departamento e pela hora, podemos definir '/{Department}/{PartitionDate:yyyy/MM/dd}/data.xlsx' para criar as colunas 'Department' do tipo de cadeia de caracteres e 'PartitionDate' do tipo datetime.

Retornos

Objeto de Conjunto de dados.

Tipo de retorno

Dataset

Comentários

Use este método para ler arquivos do Excel no formato .xlsx. Os dados podem ser lidos de uma planilha em cada arquivo do Excel. Após criar um Conjunto de dados, use get_profile para listar os tipos de coluna detectados e as estatísticas de resumo para cada coluna. O Conjunto de dados retornado não está registrado no workspace.

from_json_files

Criar um Conjunto de dados na memória, não registrado, de arquivos JSON.

Observação

Este método foi preterido e não terá mais suporte.

É recomendável usar Dataset.Tabular.from_json_lines_files como alternativa para ler o arquivo de linhas JSON. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

static from_json_files(path, encoding=FileEncoding.UTF8, flatten_nested_arrays=False, include_path=False, partition_format=None)

Parâmetros

path: DataReference ou str

Obrigatório

O caminho para arquivos ou pastas que você deseja carregar e analisar. Pode ser um caminho local ou uma URL de Blob do Azure. Há suporte para o recurso de curinga. Por exemplo, você pode usar path = "./data*" para ler todos os arquivos cujos nomes começam com "data".

encoding: FileEncoding

Obrigatório

A codificação dos arquivos sendo lidos.

flatten_nested_arrays: bool

Obrigatório

Propriedade que controla a manipulação de matrizes aninhadas pelo programa. Se você opta por nivelar matrizes JSON aninhadas, isso pode resultar em um número muito maior de linhas.

include_path: bool

Obrigatório

Se deve ser incluída uma coluna contendo o caminho do qual os dados foram lidos. É útil quando você está lendo vários arquivos e pode desejar saber de qual arquivo um registro específico foi originado, ou para manter informações úteis no caminho do arquivo.

partition_format: str

Obrigatório

Especifique o formato da partição no caminho e crie colunas de cadeia de caracteres com o formato '{x}' e a coluna de datetime com o formato '{x:yyyy/MM/dd/HH/mm/ss}', em que 'yyyy', 'MM', 'dd', 'HH', 'mm' e 'ss' são usados para extrair o ano, o mês, o dia, a hora, o minuto e o segundo para o tipo datetime. O formato deve começar na posição da primeira chave de partição até o final do caminho do arquivo. Por exemplo, dado um caminho de arquivo '../Accounts/2019/01/01/data.json', em que os dados são particionados pelo nome do departamento e pela hora, podemos definir '/{Department}/{PartitionDate:yyyy/MM/dd}/data.json' para criar as colunas 'Department' do tipo de cadeia de caracteres e 'PartitionDate' do tipo datetime.

Retornos

O objeto DataSet local.

Tipo de retorno

Dataset

from_pandas_dataframe

Criar um Conjunto de dados na memória, não registrado, de um dataframe do Pandas.

Observação

Este método foi preterido e não terá mais suporte.

É recomendável Dataset.Tabular.register_pandas_dataframe como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

static from_pandas_dataframe(dataframe, path=None, in_memory=False)

Parâmetros

dataframe: DataFrame

Obrigatório

O DataFrame do Pandas.

path: Union[DataReference, str]

Obrigatório

Um caminho de dados no armazenamento de dados registrado ou no caminho da pasta local.

in_memory: bool

Obrigatório

Se o Dataframe deve ser lido da memória em vez de persistir no disco.

Retornos

Um objeto de Conjunto de dados.

Tipo de retorno

Dataset

Comentários

Use este método para converter um dataframe do Pandas em um objeto de Conjunto de dados. Um Conjunto de dados criado por esse método não pode ser registrado, pois os dados são da memória.

Se in_memory for False, o DataFrame do Pandas será convertido em um arquivo CSV localmente. Se pat for do tipo DataReference, o quadro do Pandas será carregado no armazenamento de dados e o Conjunto de dados será baseado no DataReference. Se "path" for uma pasta local, o Conjunto de dados será criado fora do arquivo local, que não pode ser excluído.

Gera uma exceção quando a DataReference atual não é um caminho de pasta.

from_parquet_files

Criar um Conjunto de dados na memória, não registrado, de arquivos parquet.

Observação

Este método foi preterido e não terá mais suporte.

É recomendável usar Dataset.Tabular.from_parquet_files como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

static from_parquet_files(path, include_path=False, partition_format=None)

Parâmetros

path: DataReference ou str

Obrigatório

Um caminho de dados em um armazenamento de dados registrado ou um caminho local.

include_path: bool

Obrigatório

partition_format: str

Obrigatório

Especifique o formato da partição no caminho e crie colunas de cadeia de caracteres com o formato '{x}' e a coluna de datetime com o formato '{x:yyyy/MM/dd/HH/mm/ss}', em que 'yyyy', 'MM', 'dd', 'HH', 'mm' e 'ss' são usados para extrair o ano, o mês, o dia, a hora, o minuto e o segundo para o tipo datetime. O formato deve começar na posição da primeira chave de partição até o final do caminho do arquivo. Por exemplo, dado um caminho de arquivo '../Accounts/2019/01/01/data.parquet', em que os dados são particionados pelo nome do departamento e pela hora, podemos definir '/{Department}/{PartitionDate:yyyy/MM/dd}/data.parquet' para criar as colunas 'Department' do tipo de cadeia de caracteres e 'PartitionDate' do tipo datetime.

Retornos

Objeto de Conjunto de dados.

Tipo de retorno

Dataset

Comentários

Use esse método para ler arquivos Parquet.

Após criar um Conjunto de dados, use get_profile para listar os tipos de coluna detectados e as estatísticas de resumo para cada coluna.

O Conjunto de dados retornado não está registrado no workspace.

from_sql_query

Criar um Conjunto de dados na memória, não registrado, de uma consulta SQL.

Observação

Este método foi preterido e não terá mais suporte.

É recomendável usar Dataset.Tabular.from_sql_query como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

static from_sql_query(data_source, query)

Parâmetros

data_source: AzureSqlDatabaseDatastore

Obrigatório

Os detalhes do armazenamento de dados do SQL do Azure.

query: str

Obrigatório

A consulta a ser executada para ler os dados.

Retornos

O objeto DataSet local.

Tipo de retorno

Dataset

generate_profile

Gerar novo perfil para o Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

generate_profile(compute_target=None, workspace=None, arguments=None)

Parâmetros

compute_target: Union[ComputeTarget, str]

Obrigatório

Um destino de computação opcional para criar o perfil de instantâneo. Se omitido, a computação local será usada.

workspace: Workspace

Obrigatório

Workspace, necessário para Conjuntos de dados transitórios (não registrados).

arguments: dict[str, object]

Obrigatório

Argumentos de perfil. São argumentos válidos:

'include_stype_counts' do tipo bool. Verifique se os valores se parecem com alguns tipos semânticos conhecidos, como endereço de email, endereço IP (V4/V6), número de telefone dos EUA, código postal dos EUA, latitude/longitude. Habilitar isso afeta o desempenho.
'number_of_histogram_bins' do tipo int. Representa o número de compartimentos de histograma a serem usados para dados numéricos. O valor padrão é 10.

Retornos

Objeto de execução da ação do conjunto de dados.

Tipo de retorno

DatasetActionRun

Comentários

Chamada síncrona, será bloqueada até que seja concluída. Chame get_result para obter o resultado da ação.

get

Obter um Conjunto de dados que já existe no workspace especificando seu nome ou sua ID.

Observação

Este método foi preterido e não terá mais suporte.

É recomendável usar get_by_name e get_by_id como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

static get(workspace, name=None, id=None)

Parâmetros

workspace: Workspace

Obrigatório

O workspace do AzureML existente no qual o Conjunto de dados foi criado.

name: str

Obrigatório

O nome do Conjunto de dados a ser recuperado.

id: str

Obrigatório

Um identificador exclusivo do Conjunto de dados no workspace.

Retornos

O Conjunto de dados com o nome ou a ID especificada.

Tipo de retorno

Dataset

Comentários

Você pode fornecer name ou id. Uma exceção será gerada se:

name e id forem especificados, mas não forem correspondentes.
o Conjunto de dados com o name ou id especificado não puder ser encontrado no workspace.

get_all

Obter todos os conjuntos de dados registrados no workspace.

get_all()

Parâmetros

workspace: Workspace

Obrigatório

O workspace do AzureML existente no qual os Conjuntos de dados foram registrados.

Retornos

Um dicionário de objetos TabularDataset e FileDataset com as chaves definidas segundo seu nome de registro.

Tipo de retorno

dict[str, Union[TabularDataset, FileDataset]]

get_all_snapshots

Obter todos os instantâneos do Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

get_all_snapshots()

Retornos

Lista de instantâneos do Conjunto de dados.

Tipo de retorno

list[DatasetSnapshot]

get_by_id

Obter um Conjunto de dados que está salvo no workspace.

get_by_id(id, **kwargs)

Parâmetros

workspace: Workspace

Obrigatório

O workspace do AzureML existente no qual o Conjunto de dados foi salvo.

id: str

Obrigatório

A ID do conjunto de dados.

Retornos

O objeto de conjunto de dados. Se o conjunto de registros estiver registrado, seu nome de registro e a versão também serão retornados.

Tipo de retorno

Union[TabularDataset, FileDataset]

get_by_name

Obter um Conjunto de dados registrado do workspace pelo nome de registro.

get_by_name(name, version='latest', **kwargs)

Parâmetros

workspace: Workspace

Obrigatório

O workspace do AzureML existente no qual o Conjunto de dados foi registrado.

name: str

Obrigatório

O nome de registro.

version: int

Obrigatório

A versão do registro. O padrão é 'latest'.

Retornos

O objeto de conjunto de dados registrado.

Tipo de retorno

Union[TabularDataset, FileDataset]

get_definition

Obter uma definição específica do Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

get_definition(version_id=None)

Parâmetros

version_id: str

Obrigatório

A ID da versão da definição do Conjunto de dados

Retornos

A definição de Conjunto de dados.

Tipo de retorno

DatasetDefinition

Comentários

Se version_id for fornecido, o Azure Machine Learning tentará obter a definição correspondente a essa versão. Se a versão não existir, uma exceção será gerada. Se version_id for omitido, a versão mais recente será recuperada.

get_definitions

Obter todas as definições do Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

get_definitions()

Retornos

Um dicionário de definições do Conjunto de dados.

Tipo de retorno

dict[str, DatasetDefinition]

Comentários

Para Conjuntos de dados não registrados, há apenas uma definição.

get_profile

Obter estatísticas resumidas sobre o Conjunto de dados computado anteriormente.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

get_profile(arguments=None, generate_if_not_exist=True, workspace=None, compute_target=None)

Parâmetros

arguments: dict[str, object]

Obrigatório

Argumentos de perfil.

generate_if_not_exist: bool

Obrigatório

Indica se um perfil deve ser gerado caso ele não exista.

workspace: Workspace

Obrigatório

Workspace, necessário para Conjuntos de dados transitórios (não registrados).

compute_target: Union[ComputeTarget, str]

Obrigatório

Um destino de computação para executar a ação de perfil.

Retornos

DataProfile do Conjunto de dados.

Tipo de retorno

<xref:azureml.dataprep.DataProfile>

Comentários

Para um Conjunto de dados registrado em um workspace do Azure Machine Learning, esse método recuperará um perfil existente criado anteriormente chamando get_profile se ele ainda for válido. Os perfis são invalidados quando dados alterados são detectados no Conjunto de dados ou os argumentos para get_profile são diferentes daqueles usados quando o perfil foi gerado. Se o perfil não estiver presente ou for invalidado, generate_if_not_exist determinará se um novo perfil será gerado.

Para um Conjunto de dados que não está registrado com um workspace do Azure Machine Learning, esse método sempre executa generate_profile e retorna o resultado.

get_snapshot

Obter um instantâneo do Conjunto de dados pelo nome.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

get_snapshot(snapshot_name)

Parâmetros

snapshot_name: str

Obrigatório

O nome do instantâneo.

Retornos

Objeto de instantâneo do conjunto de dados.

Tipo de retorno

DatasetSnapshot

head

Efetua pull do número especificado de registros desse Conjunto de dados e os retorna como um DataFrame.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

head(count)

Parâmetros

count: int

Obrigatório

O número de registros dos quais efetuar pull.

Retornos

Um DataFrame do Pandas.

Tipo de retorno

DataFrame

list

Listar todos os Conjuntos de dados no workspace, incluindo aqueles com a propriedade is_visible igual a False.

Observação

Este método foi preterido e não terá mais suporte.

Use get_all como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

static list(workspace)

Parâmetros

workspace: Workspace

Obrigatório

O workspace para o qual você deseja recuperar a lista de Conjuntos de dados.

Retornos

Uma lista de objetos do Conjunto de dados.

Tipo de retorno

list[Dataset]

reactivate

Reativar um conjunto de dados arquivado ou preterido.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

reactivate()

Retornos

Nenhum.

Tipo de retorno

None

register

Registrar o Conjunto de dados no workspace, disponibilizando-o para outros usuários do workspace.

Observação

Este método foi preterido e não terá mais suporte.

Use register como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

register(workspace, name, description=None, tags=None, visible=True, exist_ok=False, update_if_exist=False)

Parâmetros

workspace: Workspace

Obrigatório

O workspace do AzureML no qual o Conjunto de dados deve ser registrado.

name: str

Obrigatório

O nome do Conjunto de dados no workspace.

description: str

Obrigatório

Uma descrição do Conjunto de dados.

tags: dict[str, str]

Obrigatório

Marcas para associar ao Conjunto de dados.

visible: bool

Obrigatório

Indica se o Conjunto de dados está visível na interface do usuário. Se False, o Conjunto de dados ficará oculto na interface do usuário e disponível por meio do SDK.

exist_ok: bool

Obrigatório

Se True, o método retornará o Conjunto de dados se ele já existir no workspace determinado, caso contrário, ocorrerá um erro.

update_if_exist: bool

Obrigatório

Se exist_ok for True e update_if_exist for True, esse método atualizará a definição e retornará o Conjunto de dados atualizado.

Retornos

Um objeto do Conjunto de dados registrado no workspace.

Tipo de retorno

Dataset

sample

Gerar uma nova amostra do Conjunto de dados de origem usando a estratégia de amostragem e os parâmetros fornecidos.

Observação

Este método foi preterido e não terá mais suporte.

Crie um TabularDataset chamando os métodos estáticos em Dataset.Tabular e use o método take_sample lá. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

sample(sample_strategy, arguments)

Parâmetros

sample_strategy: str

Obrigatório

Estratégia de amostra a ser usada. Os valores aceitos são "top_n", "simple_random" ou "stratified".

arguments: dict[str, object]

Obrigatório

Um dicionário com chaves do "Argumento opcional" na lista mostrada acima e valores da coluna "Tipo". Somente argumentos do método de amostragem correspondente podem ser usados. Por exemplo, para um tipo de amostra "simple_random", você só pode especificar um dicionário com as chaves "probability" e "seed".

Retornos

Objeto do Conjunto de dados como uma amostra do conjunto de dados original.

Tipo de retorno

Dataset

Comentários

As amostras são geradas pela execução do pipeline de transformação definido por esse Conjunto de dados e, em seguida, pela aplicação da estratégia de amostragem e dos parâmetros aos dados de saída. Cada método de amostragem dá suporte aos seguintes argumentos opcionais:

top_n
- Argumentos opcionais
  - n, type integer. Selecionar as N primeiras linhas como sua amostra.
simple_random
- Argumentos opcionais
  - probability, type float. Amostragem aleatória simples em que cada linha tem a mesma probabilidade de ser selecionada. A probabilidade deve ser um número entre 0 e 1.
  - seed, type float. Usado pelo gerador de número aleatório. Use para repetibilidade.
stratified
- Argumentos opcionais
  - columns, type list[str]. Lista de colunas de camadas nos dados.
  - seed, type float. Usado pelo gerador de número aleatório. Use para repetibilidade.
  - fractions, type dict[tuple, float]. Tupla: os valores de coluna que definem uma camada devem estar na mesma ordem que os nomes das colunas. Float: peso anexado a uma camada durante a amostragem.

Os snippets de código a seguir são padrões de design de exemplo para diferentes métodos de amostragem.


   # sample_strategy "top_n"
   top_n_sample_dataset = dataset.sample('top_n', {'n': 5})

   # sample_strategy "simple_random"
   simple_random_sample_dataset = dataset.sample('simple_random', {'probability': 0.3, 'seed': 10.2})

   # sample_strategy "stratified"
   fractions = {}
   fractions[('THEFT',)] = 0.5
   fractions[('DECEPTIVE PRACTICE',)] = 0.2

   # take 50% of records with "Primary Type" as THEFT and 20% of records with "Primary Type" as
   # DECEPTIVE PRACTICE into sample Dataset
   sample_dataset = dataset.sample('stratified', {'columns': ['Primary Type'], 'fractions': fractions})

to_pandas_dataframe

Criar um dataframe do Pandas executando o pipeline de transformação definido por esta definição do Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Crie um TabularDataset chamando os métodos estáticos em Dataset.Tabular e use o método to_pandas_dataframe lá. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

to_pandas_dataframe()

Retornos

Um DataFrame do Pandas.

Tipo de retorno

DataFrame

Comentários

Retornar um DataFrame do Pandas totalmente materializado na memória.

to_spark_dataframe

Criar um Dataframe do Spark que possa executar o pipeline de transformação definido por essa definição do Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Crie um TabularDataset chamando os métodos estáticos em Dataset.Tabular e use o método to_spark_dataframe lá. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

to_spark_dataframe()

Retornos

Um DataFrame do Spark.

Tipo de retorno

DataFrame

Comentários

O Dataframe do Spark retornado é apenas um plano de execução e não contém nenhum dado, já que os Dataframes do Spark são avaliados lentamente.

update

Atualizar os atributos mutáveis do Conjunto de dados no workspace e retornar o Conjunto de dados atualizado do workspace.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

update(name=None, description=None, tags=None, visible=None)

Parâmetros

name: str

Obrigatório

O nome do Conjunto de dados no workspace.

description: str

Obrigatório

Uma descrição dos dados.

tags: dict[str, str]

Obrigatório

Marcas às quais associar o Conjunto de dados.

visible: bool

Obrigatório

Indica se o Conjunto de dados está visível na interface do usuário.

Retornos

Um objeto do Conjunto de dados atualizado no workspace.

Tipo de retorno

Dataset

update_definition

Atualizar a definição do Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

update_definition(definition, definition_update_message)

Parâmetros

definition: DatasetDefinition

Obrigatório

A nova definição desse Conjunto de dados.

definition_update_message: str

Obrigatório

A mensagem de atualização da definição.

Retornos

Um objeto do Conjunto de dados atualizado no workspace.

Tipo de retorno

Dataset

Comentários

Para consumir o Conjunto de dados atualizado, use o objeto retornado por esse método.

Atributos

definition

Retornar a definição atual do Conjunto de conjuntos.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

Retornos

A definição de Conjunto de dados.

Tipo de retorno

DatasetDefinition

Comentários

Uma definição de Conjunto de dados é uma série de etapas que especificam como ler e transformar dados.

Um Conjunto de dados registrado em um workspace do AzureML pode ter várias definições, cada uma criada chamando update_definition. Cada definição tem um identificador exclusivo. Ter várias definições permite que você faça alterações em Conjuntos de dados existentes sem interromper modelos e pipelines que dependem da definição mais antiga.

Para Conjuntos de dados não registrados, há apenas uma definição.

definition_version

Retornar a versão da definição atual do Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

Retornos

A versão da definição de Conjunto de dados.

Tipo de retorno

str

Comentários

Uma definição de Conjunto de dados é uma série de etapas que especificam como ler e transformar dados.

Um Conjunto de dados registrado em um workspace do AzureML pode ter várias definições, cada uma criada chamando update_definition. Cada definição tem um identificador exclusivo. A definição atual é a que foi criada mais recentemente, cuja ID é retornada por isso.

Para Conjuntos de dados não registrados, há apenas uma definição.

description

Retornar a descrição do Conjunto de dados.

Retornos

A descrição do Conjunto de dados.

Tipo de retorno

str

Comentários

Especificar uma descrição dos dados no Conjunto de dados permite que os usuários do workspace entendam o que os dados representam e como usá-los.

id

Se o Conjunto de dados foi registrado em um workspace, retornar a ID do Conjunto de dados. Caso contrário, retornar Nenhum.

Retornos

A ID do Conjunto de dados.

Tipo de retorno

str

is_visible

Controlar a visibilidade de um Conjunto de dados registrado na interface do usuário do workspace do Azure ML.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

Retornos

A visibilidade do Conjunto de dados.

Tipo de retorno

bool

Comentários

Valores retornados:

True: o Conjunto de dados está visível na interface do usuário do workspace. Padrão.
False: o Conjunto de dados está oculto na interface do usuário do workspace.

Não tem efeito sobre Conjuntos de dados não registrados.

name

Retornar o nome do Conjunto de dados.

Retornos

O nome do Conjunto de dados.

Tipo de retorno

str

state

Retornar o estado do Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

Retornos

O estado do Conjunto de dados.

Tipo de retorno

str

Comentários

O significado e o efeito dos estados são os seguintes:

Ativo. Definições ativas são exatamente o que parecem, todas as ações podem ser executadas em definições ativas.
Preterido. Uma definição preterida pode ser usada, mas resultará no registro de um aviso nos logs sempre que os dados subjacentes forem acessados.
Arquivado. Não é possível usar uma definição arquivada para executar nenhuma ação. Para executar ações em uma definição arquivada, ela precisa ser reativada.

workspace

Se o Conjunto de dados foi registrado em um workspace, retornar o workspace. Caso contrário, retornar Nenhum.

Retornos

O workspace.

Tipo de retorno

Workspace

Tabular

Fábrica para criação FileDataset

alias de TabularDatasetFactory