Compartilhar via


Dataset Classe

Representa um recurso para explorar, transformar e gerenciar dados no Azure Machine Learning.

Um Conjunto de dados é uma referência aos dados em um Datastore ou por trás de URLs da Web pública.

Para métodos preteridos nessa classe, verifique a classe AbstractDataset para ver as APIs aprimoradas.

Há suporte para os seguintes tipos de Conjuntos de dados:

  • TabularDataset representa dados em um formato tabular criado pela análise do arquivo fornecido ou da lista de arquivos.

  • FileDataset faz referência a um ou vários arquivos em repositórios de armazenamento ou de URLs públicas.

Para começar a usar conjuntos de dados, consulte o artigo Adicionar & registrar conjuntos de dados ou ver os notebooks https://aka.ms/tabulardataset-samplenotebook e https://aka.ms/filedataset-samplenotebook.

Inicialize o objeto Dataset.

Para obter um Conjunto de dados que já foi registrado no workspace, use o método get.

Herança
builtins.object
Dataset

Construtor

Dataset(definition, workspace=None, name=None, id=None)

Parâmetros

Nome Description
definition
Obrigatório
<xref:azureml.data.DatasetDefinition>

A definição de Conjunto de dados.

workspace
Obrigatório

O workspace no qual o Conjunto de dados existe.

name
Obrigatório
str

O nome do conjunto de dados.

id
Obrigatório
str

O identificador exclusivo do Conjunto de dados.

Comentários

A classe do Conjunto de dados expõe dois atributos de classe de conveniência (File e Tabular) que você pode usar para criar um Conjunto de dados sem trabalhar com os métodos de fábrica correspondentes. Por exemplo, para criar um conjunto de dados usando estes atributos:

  • Dataset.Tabular.from_delimited_files()

  • Dataset.File.from_files()

Você também pode criar um novo TabularDataset ou FileDataset chamando diretamente os métodos de fábrica correspondentes da classe definida em TabularDatasetFactory e FileDatasetFactory.

O exemplo a seguir mostra como criar um TabularDataset apontando para um único caminho em um armazenamento de dados.


   from azureml.core import Dataset
   dataset = Dataset.Tabular.from_delimited_files(path = [(datastore, 'train-dataset/tabular/iris.csv')])

   # preview the first 3 rows of the dataset
   dataset.take(3).to_pandas_dataframe()

O exemplo completo está disponível em https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/work-with-data/datasets-tutorial/train-with-datasets/train-with-datasets.ipynb

Variáveis

Nome Description
azureml.core.Dataset.File

Um atributo de classe que fornece acesso aos métodos FileDatasetFactory para criar novos objetos FileDataset. Uso: Dataset.File.from_files().

azureml.core.Dataset.Tabular

Um atributo de classe que fornece acesso aos métodos TabularDatasetFactory para criar novos objetos TabularDataset. Uso: Dataset.Tabular.from_delimited_files().

Métodos

archive

Arquivar um conjunto de dados ativo ou preterido.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

auto_read_files

Analisa os arquivos no caminho especificado e retorna um novo Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

É recomendável usar os métodos Dataset.Tabular.from_* para ler os arquivos. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

compare_profiles

Comparar o perfil do Conjunto de dados atual com outro perfil de conjunto de dados.

Mostra as diferenças nas estatísticas resumidas entre dois conjuntos de dados. O parâmetro 'rhs_dataset' significa "do lado direito", indicando o segundo conjunto de dados. O primeiro conjunto de dados (o objeto de conjunto de dados atual) é considerado o "do lado esquerdo".

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

create_snapshot

Criar um instantâneo do Conjunto de dados registrado.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

delete_snapshot

Excluir um instantâneo do Conjunto de dados pelo nome.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

deprecate

Preterir um conjunto de dados ativo em um workspace por outro conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

diff

Comparar o Conjunto de dados atual com rhs_dataset.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

from_binary_files

Criar um Conjunto de dados na memória, não registrado, de arquivos binários.

Observação

Este método foi preterido e não terá mais suporte.

É recomendável usar Dataset.File.from_files como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

from_delimited_files

Criar um Conjunto de dados na memória, não registrado, de arquivos delimitados.

Observação

Este método foi preterido e não terá mais suporte.

É recomendável usar Dataset.Tabular.from_delimited_files como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.


   # Create a dataset from delimited files with header option as ALL_FILES_HAVE_SAME_HEADERS
   dataset = Dataset.Tabular.from_delimited_files(path=(datastore, 'data/crime-spring.csv'),
       header='ALL_FILES_HAVE_SAME_HEADERS')

   df = dataset.to_pandas_dataframe()
from_excel_files

Criar um Conjunto de dados na memória, não registrado, de arquivos do Excel.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

from_json_files

Criar um Conjunto de dados na memória, não registrado, de arquivos JSON.

Observação

Este método foi preterido e não terá mais suporte.

É recomendável usar Dataset.Tabular.from_json_lines_files como alternativa para ler o arquivo de linhas JSON. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

from_pandas_dataframe

Criar um Conjunto de dados na memória, não registrado, de um dataframe do Pandas.

Observação

Este método foi preterido e não terá mais suporte.

É recomendável Dataset.Tabular.register_pandas_dataframe como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

from_parquet_files

Criar um Conjunto de dados na memória, não registrado, de arquivos parquet.

Observação

Este método foi preterido e não terá mais suporte.

É recomendável usar Dataset.Tabular.from_parquet_files como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

from_sql_query

Criar um Conjunto de dados na memória, não registrado, de uma consulta SQL.

Observação

Este método foi preterido e não terá mais suporte.

É recomendável usar Dataset.Tabular.from_sql_query como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

generate_profile

Gerar novo perfil para o Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

get

Obter um Conjunto de dados que já existe no workspace especificando seu nome ou sua ID.

Observação

Este método foi preterido e não terá mais suporte.

É recomendável usar get_by_name e get_by_id como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

get_all

Obter todos os conjuntos de dados registrados no workspace.

get_all_snapshots

Obter todos os instantâneos do Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

get_by_id

Obter um Conjunto de dados que está salvo no workspace.

get_by_name

Obter um Conjunto de dados registrado do workspace pelo nome de registro.

get_definition

Obter uma definição específica do Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

get_definitions

Obter todas as definições do Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

get_profile

Obter estatísticas resumidas sobre o Conjunto de dados computado anteriormente.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

get_snapshot

Obter um instantâneo do Conjunto de dados pelo nome.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

head

Efetua pull do número especificado de registros desse Conjunto de dados e os retorna como um DataFrame.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

list

Listar todos os Conjuntos de dados no workspace, incluindo aqueles com a propriedade is_visible igual a False.

Observação

Este método foi preterido e não terá mais suporte.

Use get_all como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

reactivate

Reativar um conjunto de dados arquivado ou preterido.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

register

Registrar o Conjunto de dados no workspace, disponibilizando-o para outros usuários do workspace.

Observação

Este método foi preterido e não terá mais suporte.

Use register como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

sample

Gerar uma nova amostra do Conjunto de dados de origem usando a estratégia de amostragem e os parâmetros fornecidos.

Observação

Este método foi preterido e não terá mais suporte.

Crie um TabularDataset chamando os métodos estáticos em Dataset.Tabular e use o método take_sample lá. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

to_pandas_dataframe

Criar um dataframe do Pandas executando o pipeline de transformação definido por esta definição do Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Crie um TabularDataset chamando os métodos estáticos em Dataset.Tabular e use o método to_pandas_dataframe lá. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

to_spark_dataframe

Criar um Dataframe do Spark que possa executar o pipeline de transformação definido por essa definição do Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Crie um TabularDataset chamando os métodos estáticos em Dataset.Tabular e use o método to_spark_dataframe lá. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

update

Atualizar os atributos mutáveis do Conjunto de dados no workspace e retornar o Conjunto de dados atualizado do workspace.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

update_definition

Atualizar a definição do Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

archive

Arquivar um conjunto de dados ativo ou preterido.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

archive()

Retornos

Tipo Description

Nenhum.

Comentários

Após o arquivamento, qualquer tentativa de consumir o Conjunto de dados resultará em um erro. Se foi arquivado por acidente, reativar o ativará.

auto_read_files

Analisa os arquivos no caminho especificado e retorna um novo Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

É recomendável usar os métodos Dataset.Tabular.from_* para ler os arquivos. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

static auto_read_files(path, include_path=False, partition_format=None)

Parâmetros

Nome Description
path
Obrigatório

Um caminho de dados em um armazenamento de dados registrado, um caminho local ou uma URL HTTP (CSV/TSV).

include_path
Obrigatório

Se deve ser incluída uma coluna contendo o caminho do arquivo do qual os dados foram lidos. Útil ao ler vários arquivos, quando é necessário saber de qual arquivo um registro específico foi originado. Também é útil quando há informações no caminho ou nome do arquivo que você deseja ter em uma coluna.

partition_format
Obrigatório
str

Especifique o formato da partição no caminho e crie colunas de cadeia de caracteres com o formato '{x}' e a coluna de datetime com o formato '{x:yyyy/MM/dd/HH/mm/ss}', em que 'yyyy', 'MM', 'dd', 'HH', 'mm' e 'ss' são usados para extrair o ano, o mês, o dia, a hora, o minuto e o segundo para o tipo datetime. O formato deve começar na posição da primeira chave de partição até o final do caminho do arquivo. Por exemplo, dado um caminho de arquivo'../Accounts/2019/01/01/data.csv', em que os dados são particionados pelo nome do departamento e pela hora, podemos definir '/{Department}/{PartitionDate:yyyy/MM/dd}/data.csv' para criar as colunas 'Department' do tipo de cadeia de caracteres e 'PartitionDate' do tipo datetime.

Retornos

Tipo Description

Objeto de Conjunto de dados.

Comentários

Use esse método para ter formatos de arquivo e delimitadores detectados automaticamente.

Após criar um Conjunto de dados, use get_profile para listar os tipos de coluna detectados e as estatísticas de resumo para cada coluna.

O Conjunto de dados retornado não está registrado no workspace.

compare_profiles

Comparar o perfil do Conjunto de dados atual com outro perfil de conjunto de dados.

Mostra as diferenças nas estatísticas resumidas entre dois conjuntos de dados. O parâmetro 'rhs_dataset' significa "do lado direito", indicando o segundo conjunto de dados. O primeiro conjunto de dados (o objeto de conjunto de dados atual) é considerado o "do lado esquerdo".

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

compare_profiles(rhs_dataset, profile_arguments={}, include_columns=None, exclude_columns=None, histogram_compare_method=HistogramCompareMethod.WASSERSTEIN)

Parâmetros

Nome Description
rhs_dataset
Obrigatório

Um segundo Conjunto de dados, também chamado de Conjunto de dados "do lado direito" para comparação.

profile_arguments
Obrigatório

Argumentos para recuperar o perfil específico.

include_columns
Obrigatório

Lista de nomes de coluna a serem incluídos na comparação.

exclude_columns
Obrigatório

Lista de nomes de coluna a serem excluídos da comparação.

histogram_compare_method
Obrigatório

Enumeração que descreve o método de comparação, por exemplo: Wasserstein ou Energy

Retornos

Tipo Description
<xref:azureml.dataprep.api.engineapi.typedefinitions.DataProfileDifference>

Diferença entre os dois perfis de conjunto de dados.

Comentários

Destina-se somente a Conjuntos de dados registrados. Gera uma exceção caso o perfil atual do Conjunto de dados não exista. Para Conjuntos de dados não registrados, use o método profile.compare.

create_snapshot

Criar um instantâneo do Conjunto de dados registrado.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

create_snapshot(snapshot_name, compute_target=None, create_data_snapshot=False, target_datastore=None)

Parâmetros

Nome Description
snapshot_name
Obrigatório
str

O nome do instantâneo. Os nomes de instantâneos devem ser exclusivos em um Conjunto de dados.

compute_target
Obrigatório

Destino de computação opcional para criar o perfil de instantâneo. Se omitido, a computação local será usada.

create_data_snapshot
Obrigatório

Se for True, uma cópia materializada dos dados será criada.

target_datastore
Obrigatório

Armazenamento de dados de destino para salvar o instantâneo. Se omitido, o instantâneo será criado no armazenamento padrão do workspace.

Retornos

Tipo Description

Objeto de instantâneo do conjunto de dados.

Comentários

Os instantâneos capturam estatísticas resumidas pontuais dos dados subjacentes e uma cópia opcional dos próprios dados. Para saber mais sobre como criar instantâneos, acesse https://aka.ms/azureml/howto/createsnapshots.

delete_snapshot

Excluir um instantâneo do Conjunto de dados pelo nome.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

delete_snapshot(snapshot_name)

Parâmetros

Nome Description
snapshot_name
Obrigatório
str

O nome do instantâneo.

Retornos

Tipo Description

Nenhum.

Comentários

Use para liberar o armazenamento consumido pelos dados salvos em instantâneos que deixaram de ser necessários.

deprecate

Preterir um conjunto de dados ativo em um workspace por outro conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

deprecate(deprecate_by_dataset_id)

Parâmetros

Nome Description
deprecate_by_dataset_id
Obrigatório
str

A ID do Conjunto de dados que é o substituto pretendido deste Conjunto de dados.

Retornos

Tipo Description

Nenhum.

Comentários

Conjuntos de dados preteridos registrarão avisos quando forem consumidos. Quando um conjunto de dados é preterido, todas as suas definições também são.

Conjuntos de dados preteridos ainda podem ser consumidos. Para bloquear completamente o consumo de um Conjunto de dados, arquive-o.

Se foi preterido por acidente, reativar o ativará.

diff

Comparar o Conjunto de dados atual com rhs_dataset.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

diff(rhs_dataset, compute_target=None, columns=None)

Parâmetros

Nome Description
rhs_dataset
Obrigatório

Outro Conjunto de dados, também chamado de Conjunto de dados do lado direito para comparação

compute_target
Obrigatório

Destino de computação para executar a comparação. Se omitido, a computação local será usada.

columns
Obrigatório

Lista de nomes de coluna a serem incluídos na comparação.

Retornos

Tipo Description

Objeto de execução da ação do conjunto de dados.

from_binary_files

Criar um Conjunto de dados na memória, não registrado, de arquivos binários.

Observação

Este método foi preterido e não terá mais suporte.

É recomendável usar Dataset.File.from_files como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

static from_binary_files(path)

Parâmetros

Nome Description
path
Obrigatório

Um caminho de dados em um armazenamento de dados registrado ou um caminho local.

Retornos

Tipo Description

O objeto de Conjunto de dados.

Comentários

Use esse método para ler arquivos como fluxos de dados binários. Retorna um objeto de fluxo de arquivos por arquivo lido. Use esse método quando estiver lendo imagens, vídeos, áudio ou outros dados binários.

get_profile e create_snapshot não funcionarão conforme o esperado para um Conjunto de dados criado por esse método.

O Conjunto de dados retornado não está registrado no workspace.

from_delimited_files

Criar um Conjunto de dados na memória, não registrado, de arquivos delimitados.

Observação

Este método foi preterido e não terá mais suporte.

É recomendável usar Dataset.Tabular.from_delimited_files como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.


   # Create a dataset from delimited files with header option as ALL_FILES_HAVE_SAME_HEADERS
   dataset = Dataset.Tabular.from_delimited_files(path=(datastore, 'data/crime-spring.csv'),
       header='ALL_FILES_HAVE_SAME_HEADERS')

   df = dataset.to_pandas_dataframe()
static from_delimited_files(path, separator=',', header=PromoteHeadersBehavior.ALL_FILES_HAVE_SAME_HEADERS, encoding=FileEncoding.UTF8, quoting=False, infer_column_types=True, skip_rows=0, skip_mode=SkipLinesBehavior.NO_ROWS, comment=None, include_path=False, archive_options=None, partition_format=None)

Parâmetros

Nome Description
path
Obrigatório

Um caminho de dados em um armazenamento de dados registrado, um caminho local ou uma URL HTTP.

separator
Obrigatório
str

O separador usado para dividir colunas.

header
Obrigatório

Controla como cabeçalhos de coluna são promovidos durante a leitura de arquivos.

encoding
Obrigatório

A codificação dos arquivos sendo lidos.

quoting
Obrigatório

Especificar como lidar com caracteres de linha nova entre aspas. O padrão (False) é interpretar caracteres de nova linha como iniciando novas linhas, estando eles entre aspas ou não. Se definido como True, caracteres de nova linha entre aspas não resultarão em novas linhas e a velocidade de leitura do arquivo ficará mais lenta.

infer_column_types
Obrigatório

Indica se os tipos de dados de coluna são inferidos.

skip_rows
Obrigatório
int

Quantas linhas ignorar nos arquivos sendo lidos.

skip_mode
Obrigatório

Controla como as linhas são ignoradas durante a leitura dos arquivos.

comment
Obrigatório
str

Caractere usado para indicar linhas de comentário nos arquivos sendo lidos. Linhas que começam com essa cadeia de caracteres serão ignoradas.

include_path
Obrigatório

Se deve ser incluída uma coluna contendo o caminho do arquivo do qual os dados foram lidos. É útil quando você está lendo vários arquivos e quer saber de qual arquivo um registro específico foi originado, ou para manter informações úteis no caminho do arquivo.

archive_options
Obrigatório
<xref:azureml.dataprep.ArchiveOptions>

Opções para arquivo morto, incluindo o tipo de arquivo morto e o padrão glob de entrada. Há suporte apenas para ZIP como tipo de arquivo no momento. Por exemplo, especificando


   archive_options = ArchiveOptions(archive_type = ArchiveType.ZIP, entry_glob = '*10-20.csv')

lê todos os arquivos com nome terminado em "10-20.csv" no ZIP.

partition_format
Obrigatório
str

Especifique o formato da partição no caminho e crie colunas de cadeia de caracteres com o formato '{x}' e a coluna de datetime com o formato '{x:yyyy/MM/dd/HH/mm/ss}', em que 'yyyy', 'MM', 'dd', 'HH', 'mm' e 'ss' são usados para extrair o ano, o mês, o dia, a hora, o minuto e o segundo para o tipo datetime. O formato deve começar na posição da primeira chave de partição até o final do caminho do arquivo. Por exemplo, dado um caminho de arquivo'../Accounts/2019/01/01/data.csv', em que os dados são particionados pelo nome do departamento e pela hora, podemos definir '/{Department}/{PartitionDate:yyyy/MM/dd}/data.csv' para criar as colunas 'Department' do tipo de cadeia de caracteres e 'PartitionDate' do tipo datetime.

Retornos

Tipo Description

Objeto de Conjunto de dados.

Comentários

Use esse método para ler arquivos de texto delimitados quando quiser controlar as opções usadas.

Após criar um Conjunto de dados, use get_profile para listar os tipos de coluna detectados e as estatísticas de resumo para cada coluna.

O Conjunto de dados retornado não está registrado no workspace.

from_excel_files

Criar um Conjunto de dados na memória, não registrado, de arquivos do Excel.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

static from_excel_files(path, sheet_name=None, use_column_headers=False, skip_rows=0, include_path=False, infer_column_types=True, partition_format=None)

Parâmetros

Nome Description
path
Obrigatório

Um caminho de dados em um armazenamento de dados registrado ou um caminho local.

sheet_name
Obrigatório
str

O nome da planilha do Excel a ser carregada. Por padrão, lemos a primeira planilha de cada arquivo do Excel.

use_column_headers
Obrigatório

Controla se a primeira linha deve ser usada como cabeçalhos de coluna.

skip_rows
Obrigatório
int

Quantas linhas ignorar nos arquivos sendo lidos.

include_path
Obrigatório

Se deve ser incluída uma coluna contendo o caminho do arquivo do qual os dados foram lidos. É útil quando você está lendo vários arquivos e quer saber de qual arquivo um registro específico foi originado, ou para manter informações úteis no caminho do arquivo.

infer_column_types
Obrigatório

Se true, os tipos de dados de coluna serão inferidos.

partition_format
Obrigatório
str

Especifique o formato da partição no caminho e crie colunas de cadeia de caracteres com o formato '{x}' e a coluna de datetime com o formato '{x:yyyy/MM/dd/HH/mm/ss}', em que 'yyyy', 'MM', 'dd', 'HH', 'mm' e 'ss' são usados para extrair o ano, o mês, o dia, a hora, o minuto e o segundo para o tipo datetime. O formato deve começar na posição da primeira chave de partição até o final do caminho do arquivo. Por exemplo, dado um caminho de arquivo '../Accounts/2019/01/01/data.xlsx', em que os dados são particionados pelo nome do departamento e pela hora, podemos definir '/{Department}/{PartitionDate:yyyy/MM/dd}/data.xlsx' para criar as colunas 'Department' do tipo de cadeia de caracteres e 'PartitionDate' do tipo datetime.

Retornos

Tipo Description

Objeto de Conjunto de dados.

Comentários

Use este método para ler arquivos do Excel no formato .xlsx. Os dados podem ser lidos de uma planilha em cada arquivo do Excel. Após criar um Conjunto de dados, use get_profile para listar os tipos de coluna detectados e as estatísticas de resumo para cada coluna. O Conjunto de dados retornado não está registrado no workspace.

from_json_files

Criar um Conjunto de dados na memória, não registrado, de arquivos JSON.

Observação

Este método foi preterido e não terá mais suporte.

É recomendável usar Dataset.Tabular.from_json_lines_files como alternativa para ler o arquivo de linhas JSON. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

static from_json_files(path, encoding=FileEncoding.UTF8, flatten_nested_arrays=False, include_path=False, partition_format=None)

Parâmetros

Nome Description
path
Obrigatório

O caminho para arquivos ou pastas que você deseja carregar e analisar. Pode ser um caminho local ou uma URL de Blob do Azure. Há suporte para o recurso de curinga. Por exemplo, você pode usar path = "./data*" para ler todos os arquivos cujos nomes começam com "data".

encoding
Obrigatório

A codificação dos arquivos sendo lidos.

flatten_nested_arrays
Obrigatório

Propriedade que controla a manipulação de matrizes aninhadas pelo programa. Se você opta por nivelar matrizes JSON aninhadas, isso pode resultar em um número muito maior de linhas.

include_path
Obrigatório

Se deve ser incluída uma coluna contendo o caminho do qual os dados foram lidos. É útil quando você está lendo vários arquivos e pode desejar saber de qual arquivo um registro específico foi originado, ou para manter informações úteis no caminho do arquivo.

partition_format
Obrigatório
str

Especifique o formato da partição no caminho e crie colunas de cadeia de caracteres com o formato '{x}' e a coluna de datetime com o formato '{x:yyyy/MM/dd/HH/mm/ss}', em que 'yyyy', 'MM', 'dd', 'HH', 'mm' e 'ss' são usados para extrair o ano, o mês, o dia, a hora, o minuto e o segundo para o tipo datetime. O formato deve começar na posição da primeira chave de partição até o final do caminho do arquivo. Por exemplo, dado um caminho de arquivo '../Accounts/2019/01/01/data.json', em que os dados são particionados pelo nome do departamento e pela hora, podemos definir '/{Department}/{PartitionDate:yyyy/MM/dd}/data.json' para criar as colunas 'Department' do tipo de cadeia de caracteres e 'PartitionDate' do tipo datetime.

Retornos

Tipo Description

O objeto DataSet local.

from_pandas_dataframe

Criar um Conjunto de dados na memória, não registrado, de um dataframe do Pandas.

Observação

Este método foi preterido e não terá mais suporte.

É recomendável Dataset.Tabular.register_pandas_dataframe como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

static from_pandas_dataframe(dataframe, path=None, in_memory=False)

Parâmetros

Nome Description
dataframe
Obrigatório

O DataFrame do Pandas.

path
Obrigatório

Um caminho de dados no armazenamento de dados registrado ou no caminho da pasta local.

in_memory
Obrigatório

Se o Dataframe deve ser lido da memória em vez de persistir no disco.

Retornos

Tipo Description

Um objeto de Conjunto de dados.

Comentários

Use este método para converter um dataframe do Pandas em um objeto de Conjunto de dados. Um Conjunto de dados criado por esse método não pode ser registrado, pois os dados são da memória.

Se in_memory for False, o DataFrame do Pandas será convertido em um arquivo CSV localmente. Se pat for do tipo DataReference, o quadro do Pandas será carregado no armazenamento de dados e o Conjunto de dados será baseado no DataReference. Se "path" for uma pasta local, o Conjunto de dados será criado fora do arquivo local, que não pode ser excluído.

Gera uma exceção quando a DataReference atual não é um caminho de pasta.

from_parquet_files

Criar um Conjunto de dados na memória, não registrado, de arquivos parquet.

Observação

Este método foi preterido e não terá mais suporte.

É recomendável usar Dataset.Tabular.from_parquet_files como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

static from_parquet_files(path, include_path=False, partition_format=None)

Parâmetros

Nome Description
path
Obrigatório

Um caminho de dados em um armazenamento de dados registrado ou um caminho local.

include_path
Obrigatório

Se deve ser incluída uma coluna contendo o caminho do arquivo do qual os dados foram lidos. É útil quando você está lendo vários arquivos e quer saber de qual arquivo um registro específico foi originado, ou para manter informações úteis no caminho do arquivo.

partition_format
Obrigatório
str

Especifique o formato da partição no caminho e crie colunas de cadeia de caracteres com o formato '{x}' e a coluna de datetime com o formato '{x:yyyy/MM/dd/HH/mm/ss}', em que 'yyyy', 'MM', 'dd', 'HH', 'mm' e 'ss' são usados para extrair o ano, o mês, o dia, a hora, o minuto e o segundo para o tipo datetime. O formato deve começar na posição da primeira chave de partição até o final do caminho do arquivo. Por exemplo, dado um caminho de arquivo '../Accounts/2019/01/01/data.parquet', em que os dados são particionados pelo nome do departamento e pela hora, podemos definir '/{Department}/{PartitionDate:yyyy/MM/dd}/data.parquet' para criar as colunas 'Department' do tipo de cadeia de caracteres e 'PartitionDate' do tipo datetime.

Retornos

Tipo Description

Objeto de Conjunto de dados.

Comentários

Use esse método para ler arquivos Parquet.

Após criar um Conjunto de dados, use get_profile para listar os tipos de coluna detectados e as estatísticas de resumo para cada coluna.

O Conjunto de dados retornado não está registrado no workspace.

from_sql_query

Criar um Conjunto de dados na memória, não registrado, de uma consulta SQL.

Observação

Este método foi preterido e não terá mais suporte.

É recomendável usar Dataset.Tabular.from_sql_query como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

static from_sql_query(data_source, query)

Parâmetros

Nome Description
data_source
Obrigatório

Os detalhes do armazenamento de dados do SQL do Azure.

query
Obrigatório
str

A consulta a ser executada para ler os dados.

Retornos

Tipo Description

O objeto DataSet local.

generate_profile

Gerar novo perfil para o Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

generate_profile(compute_target=None, workspace=None, arguments=None)

Parâmetros

Nome Description
compute_target
Obrigatório

Um destino de computação opcional para criar o perfil de instantâneo. Se omitido, a computação local será usada.

workspace
Obrigatório

Workspace, necessário para Conjuntos de dados transitórios (não registrados).

arguments
Obrigatório

Argumentos de perfil. São argumentos válidos:

  • 'include_stype_counts' do tipo bool. Verifique se os valores se parecem com alguns tipos semânticos conhecidos, como endereço de email, endereço IP (V4/V6), número de telefone dos EUA, código postal dos EUA, latitude/longitude. Habilitar isso afeta o desempenho.

  • 'number_of_histogram_bins' do tipo int. Representa o número de compartimentos de histograma a serem usados para dados numéricos. O valor padrão é 10.

Retornos

Tipo Description

Objeto de execução da ação do conjunto de dados.

Comentários

Chamada síncrona, será bloqueada até que seja concluída. Chame get_result para obter o resultado da ação.

get

Obter um Conjunto de dados que já existe no workspace especificando seu nome ou sua ID.

Observação

Este método foi preterido e não terá mais suporte.

É recomendável usar get_by_name e get_by_id como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

static get(workspace, name=None, id=None)

Parâmetros

Nome Description
workspace
Obrigatório

O workspace do AzureML existente no qual o Conjunto de dados foi criado.

name
Obrigatório
str

O nome do Conjunto de dados a ser recuperado.

id
Obrigatório
str

Um identificador exclusivo do Conjunto de dados no workspace.

Retornos

Tipo Description

O Conjunto de dados com o nome ou a ID especificada.

Comentários

Você pode fornecer name ou id. Uma exceção será gerada se:

  • name e id forem especificados, mas não forem correspondentes.

  • o Conjunto de dados com o name ou id especificado não puder ser encontrado no workspace.

get_all

Obter todos os conjuntos de dados registrados no workspace.

get_all()

Parâmetros

Nome Description
workspace
Obrigatório

O workspace do AzureML existente no qual os Conjuntos de dados foram registrados.

Retornos

Tipo Description

Um dicionário de objetos TabularDataset e FileDataset com as chaves definidas segundo seu nome de registro.

get_all_snapshots

Obter todos os instantâneos do Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

get_all_snapshots()

Retornos

Tipo Description

Lista de instantâneos do Conjunto de dados.

get_by_id

Obter um Conjunto de dados que está salvo no workspace.

get_by_id(id, **kwargs)

Parâmetros

Nome Description
workspace
Obrigatório

O workspace do AzureML existente no qual o Conjunto de dados foi salvo.

id
Obrigatório
str

A ID do conjunto de dados.

Retornos

Tipo Description

O objeto de conjunto de dados. Se o conjunto de registros estiver registrado, seu nome de registro e a versão também serão retornados.

get_by_name

Obter um Conjunto de dados registrado do workspace pelo nome de registro.

get_by_name(name, version='latest', **kwargs)

Parâmetros

Nome Description
workspace
Obrigatório

O workspace do AzureML existente no qual o Conjunto de dados foi registrado.

name
Obrigatório
str

O nome de registro.

version
Obrigatório
int

A versão do registro. O padrão é 'latest'.

Retornos

Tipo Description

O objeto de conjunto de dados registrado.

get_definition

Obter uma definição específica do Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

get_definition(version_id=None)

Parâmetros

Nome Description
version_id
Obrigatório
str

A ID da versão da definição do Conjunto de dados

Retornos

Tipo Description

A definição de Conjunto de dados.

Comentários

Se version_id for fornecido, o Azure Machine Learning tentará obter a definição correspondente a essa versão. Se a versão não existir, uma exceção será gerada. Se version_id for omitido, a versão mais recente será recuperada.

get_definitions

Obter todas as definições do Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

get_definitions()

Retornos

Tipo Description

Um dicionário de definições do Conjunto de dados.

Comentários

Um Conjunto de dados registrado em um workspace do AzureML pode ter várias definições, cada uma criada chamando update_definition. Cada definição tem um identificador exclusivo. A definição atual é a que foi criada mais recentemente.

Para Conjuntos de dados não registrados, há apenas uma definição.

get_profile

Obter estatísticas resumidas sobre o Conjunto de dados computado anteriormente.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

get_profile(arguments=None, generate_if_not_exist=True, workspace=None, compute_target=None)

Parâmetros

Nome Description
arguments
Obrigatório

Argumentos de perfil.

generate_if_not_exist
Obrigatório

Indica se um perfil deve ser gerado caso ele não exista.

workspace
Obrigatório

Workspace, necessário para Conjuntos de dados transitórios (não registrados).

compute_target
Obrigatório

Um destino de computação para executar a ação de perfil.

Retornos

Tipo Description
<xref:azureml.dataprep.DataProfile>

DataProfile do Conjunto de dados.

Comentários

Para um Conjunto de dados registrado em um workspace do Azure Machine Learning, esse método recuperará um perfil existente criado anteriormente chamando get_profile se ele ainda for válido. Os perfis são invalidados quando dados alterados são detectados no Conjunto de dados ou os argumentos para get_profile são diferentes daqueles usados quando o perfil foi gerado. Se o perfil não estiver presente ou for invalidado, generate_if_not_exist determinará se um novo perfil será gerado.

Para um Conjunto de dados que não está registrado com um workspace do Azure Machine Learning, esse método sempre executa generate_profile e retorna o resultado.

get_snapshot

Obter um instantâneo do Conjunto de dados pelo nome.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

get_snapshot(snapshot_name)

Parâmetros

Nome Description
snapshot_name
Obrigatório
str

O nome do instantâneo.

Retornos

Tipo Description

Objeto de instantâneo do conjunto de dados.

head

Efetua pull do número especificado de registros desse Conjunto de dados e os retorna como um DataFrame.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

head(count)

Parâmetros

Nome Description
count
Obrigatório
int

O número de registros dos quais efetuar pull.

Retornos

Tipo Description

Um DataFrame do Pandas.

list

Listar todos os Conjuntos de dados no workspace, incluindo aqueles com a propriedade is_visible igual a False.

Observação

Este método foi preterido e não terá mais suporte.

Use get_all como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

static list(workspace)

Parâmetros

Nome Description
workspace
Obrigatório

O workspace para o qual você deseja recuperar a lista de Conjuntos de dados.

Retornos

Tipo Description

Uma lista de objetos do Conjunto de dados.

reactivate

Reativar um conjunto de dados arquivado ou preterido.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

reactivate()

Retornos

Tipo Description

Nenhum.

register

Registrar o Conjunto de dados no workspace, disponibilizando-o para outros usuários do workspace.

Observação

Este método foi preterido e não terá mais suporte.

Use register como alternativa. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

register(workspace, name, description=None, tags=None, visible=True, exist_ok=False, update_if_exist=False)

Parâmetros

Nome Description
workspace
Obrigatório

O workspace do AzureML no qual o Conjunto de dados deve ser registrado.

name
Obrigatório
str

O nome do Conjunto de dados no workspace.

description
Obrigatório
str

Uma descrição do Conjunto de dados.

tags
Obrigatório

Marcas para associar ao Conjunto de dados.

visible
Obrigatório

Indica se o Conjunto de dados está visível na interface do usuário. Se False, o Conjunto de dados ficará oculto na interface do usuário e disponível por meio do SDK.

exist_ok
Obrigatório

Se True, o método retornará o Conjunto de dados se ele já existir no workspace determinado, caso contrário, ocorrerá um erro.

update_if_exist
Obrigatório

Se exist_ok for True e update_if_exist for True, esse método atualizará a definição e retornará o Conjunto de dados atualizado.

Retornos

Tipo Description

Um objeto do Conjunto de dados registrado no workspace.

sample

Gerar uma nova amostra do Conjunto de dados de origem usando a estratégia de amostragem e os parâmetros fornecidos.

Observação

Este método foi preterido e não terá mais suporte.

Crie um TabularDataset chamando os métodos estáticos em Dataset.Tabular e use o método take_sample lá. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

sample(sample_strategy, arguments)

Parâmetros

Nome Description
sample_strategy
Obrigatório
str

Estratégia de amostra a ser usada. Os valores aceitos são "top_n", "simple_random" ou "stratified".

arguments
Obrigatório

Um dicionário com chaves do "Argumento opcional" na lista mostrada acima e valores da coluna "Tipo". Somente argumentos do método de amostragem correspondente podem ser usados. Por exemplo, para um tipo de amostra "simple_random", você só pode especificar um dicionário com as chaves "probability" e "seed".

Retornos

Tipo Description

Objeto do Conjunto de dados como uma amostra do conjunto de dados original.

Comentários

As amostras são geradas pela execução do pipeline de transformação definido por esse Conjunto de dados e, em seguida, pela aplicação da estratégia de amostragem e dos parâmetros aos dados de saída. Cada método de amostragem dá suporte aos seguintes argumentos opcionais:

  • top_n

    • Argumentos opcionais

      • n, type integer. Selecionar as N primeiras linhas como sua amostra.
  • simple_random

    • Argumentos opcionais

      • probability, type float. Amostragem aleatória simples em que cada linha tem a mesma probabilidade de ser selecionada. A probabilidade deve ser um número entre 0 e 1.

      • seed, type float. Usado pelo gerador de número aleatório. Use para repetibilidade.

  • stratified

    • Argumentos opcionais

      • columns, type list[str]. Lista de colunas de camadas nos dados.

      • seed, type float. Usado pelo gerador de número aleatório. Use para repetibilidade.

      • fractions, type dict[tuple, float]. Tupla: os valores de coluna que definem uma camada devem estar na mesma ordem que os nomes das colunas. Float: peso anexado a uma camada durante a amostragem.

Os snippets de código a seguir são padrões de design de exemplo para diferentes métodos de amostragem.


   # sample_strategy "top_n"
   top_n_sample_dataset = dataset.sample('top_n', {'n': 5})

   # sample_strategy "simple_random"
   simple_random_sample_dataset = dataset.sample('simple_random', {'probability': 0.3, 'seed': 10.2})

   # sample_strategy "stratified"
   fractions = {}
   fractions[('THEFT',)] = 0.5
   fractions[('DECEPTIVE PRACTICE',)] = 0.2

   # take 50% of records with "Primary Type" as THEFT and 20% of records with "Primary Type" as
   # DECEPTIVE PRACTICE into sample Dataset
   sample_dataset = dataset.sample('stratified', {'columns': ['Primary Type'], 'fractions': fractions})

to_pandas_dataframe

Criar um dataframe do Pandas executando o pipeline de transformação definido por esta definição do Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Crie um TabularDataset chamando os métodos estáticos em Dataset.Tabular e use o método to_pandas_dataframe lá. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

to_pandas_dataframe()

Retornos

Tipo Description

Um DataFrame do Pandas.

Comentários

Retornar um DataFrame do Pandas totalmente materializado na memória.

to_spark_dataframe

Criar um Dataframe do Spark que possa executar o pipeline de transformação definido por essa definição do Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Crie um TabularDataset chamando os métodos estáticos em Dataset.Tabular e use o método to_spark_dataframe lá. Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

to_spark_dataframe()

Retornos

Tipo Description

Um DataFrame do Spark.

Comentários

O Dataframe do Spark retornado é apenas um plano de execução e não contém nenhum dado, já que os Dataframes do Spark são avaliados lentamente.

update

Atualizar os atributos mutáveis do Conjunto de dados no workspace e retornar o Conjunto de dados atualizado do workspace.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

update(name=None, description=None, tags=None, visible=None)

Parâmetros

Nome Description
name
Obrigatório
str

O nome do Conjunto de dados no workspace.

description
Obrigatório
str

Uma descrição dos dados.

tags
Obrigatório

Marcas às quais associar o Conjunto de dados.

visible
Obrigatório

Indica se o Conjunto de dados está visível na interface do usuário.

Retornos

Tipo Description

Um objeto do Conjunto de dados atualizado no workspace.

update_definition

Atualizar a definição do Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

update_definition(definition, definition_update_message)

Parâmetros

Nome Description
definition
Obrigatório

A nova definição desse Conjunto de dados.

definition_update_message
Obrigatório
str

A mensagem de atualização da definição.

Retornos

Tipo Description

Um objeto do Conjunto de dados atualizado no workspace.

Comentários

Para consumir o Conjunto de dados atualizado, use o objeto retornado por esse método.

Atributos

definition

Retornar a definição atual do Conjunto de conjuntos.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

Retornos

Tipo Description

A definição de Conjunto de dados.

Comentários

Uma definição de Conjunto de dados é uma série de etapas que especificam como ler e transformar dados.

Um Conjunto de dados registrado em um workspace do AzureML pode ter várias definições, cada uma criada chamando update_definition. Cada definição tem um identificador exclusivo. Ter várias definições permite que você faça alterações em Conjuntos de dados existentes sem interromper modelos e pipelines que dependem da definição mais antiga.

Para Conjuntos de dados não registrados, há apenas uma definição.

definition_version

Retornar a versão da definição atual do Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

Retornos

Tipo Description
str

A versão da definição de Conjunto de dados.

Comentários

Uma definição de Conjunto de dados é uma série de etapas que especificam como ler e transformar dados.

Um Conjunto de dados registrado em um workspace do AzureML pode ter várias definições, cada uma criada chamando update_definition. Cada definição tem um identificador exclusivo. A definição atual é a que foi criada mais recentemente, cuja ID é retornada por isso.

Para Conjuntos de dados não registrados, há apenas uma definição.

description

Retornar a descrição do Conjunto de dados.

Retornos

Tipo Description
str

A descrição do Conjunto de dados.

Comentários

Especificar uma descrição dos dados no Conjunto de dados permite que os usuários do workspace entendam o que os dados representam e como usá-los.

id

Se o Conjunto de dados foi registrado em um workspace, retornar a ID do Conjunto de dados. Caso contrário, retornar Nenhum.

Retornos

Tipo Description
str

A ID do Conjunto de dados.

is_visible

Controlar a visibilidade de um Conjunto de dados registrado na interface do usuário do workspace do Azure ML.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

Retornos

Tipo Description

A visibilidade do Conjunto de dados.

Comentários

Valores retornados:

  • True: o Conjunto de dados está visível na interface do usuário do workspace. Padrão.

  • False: o Conjunto de dados está oculto na interface do usuário do workspace.

Não tem efeito sobre Conjuntos de dados não registrados.

name

Retornar o nome do Conjunto de dados.

Retornos

Tipo Description
str

O nome do Conjunto de dados.

state

Retornar o estado do Conjunto de dados.

Observação

Este método foi preterido e não terá mais suporte.

Para obter mais informações, consulte https://aka.ms/dataset-deprecation.

Retornos

Tipo Description
str

O estado do Conjunto de dados.

Comentários

O significado e o efeito dos estados são os seguintes:

  • Ativo. Definições ativas são exatamente o que parecem, todas as ações podem ser executadas em definições ativas.

  • Preterido. Uma definição preterida pode ser usada, mas resultará no registro de um aviso nos logs sempre que os dados subjacentes forem acessados.

  • Arquivado. Não é possível usar uma definição arquivada para executar nenhuma ação. Para executar ações em uma definição arquivada, ela precisa ser reativada.

tags

Retornar as marcas associadas ao Conjunto de dados.

Retornos

Tipo Description

Marcas do Conjunto de dados.

workspace

Se o Conjunto de dados foi registrado em um workspace, retornar o workspace. Caso contrário, retornar Nenhum.

Retornos

Tipo Description

O workspace.

Tabular

Fábrica para criação FileDataset

alias de TabularDatasetFactory