Share via

Importar a partir do URL da Web através de HTTP

  • Artigo

Importante

O suporte para o Estúdio de ML (clássico) terminará a 31 de agosto de 2024. Recomendamos a transição para o Azure Machine Learning até essa data.

A partir de 1 de dezembro de 2021, não poderá criar novos recursos do Estúdio de ML (clássico). Até 31 de agosto de 2024, pode continuar a utilizar os recursos existentes do Estúdio de ML (clássico).

A documentação do Estúdio de ML (clássico) está a ser descontinuada e poderá não ser atualizada no futuro.

Este artigo descreve como usar o módulo de Dados de Importação em Machine Learning Studio (clássico), para ler dados de uma página web pública para uso em uma experiência de machine learning.

Nota

Aplica-se a: Machine Learning Studio (clássico) apenas

Módulos semelhantes de arrasto e queda estão disponíveis em Azure Machine Learning designer.

As seguintes restrições aplicam-se aos dados publicados numa página web:

  • Os dados devem estar num dos formatos suportados: CSV, TSV, ARFF ou SvmLight. Outros dados causarão erros.
  • Não é necessária nenhuma autenticação ou suportada. Os dados devem estar disponíveis ao público.

Como importar dados através de HTTP

Existem duas formas de obter dados: utilizar o assistente para configurar a fonte de dados ou configurá-lo manualmente.

Utilize o assistente de importação de dados

  1. Adicione o módulo de Dados de Importação à sua experiência. Pode encontrar o módulo em Estúdio (clássico), na categoria Entrada e Saída de Dados .

  2. Clique em Lançar O Assistente de Dados de Importação e selecione o URL web através de HTTP.

  3. Cole no URL e selecione um formato de dados.

  4. Quando a configuração estiver completa, clique com o botão direito no módulo e selecione Executar Selecionado.

Para editar uma ligação de dados existente, reinicie o assistente. O assistente carrega todos os detalhes de configuração anteriores para que não tenha que começar de novo do zero

Definir manualmente propriedades no módulo de dados de importação

Os seguintes passos descrevem como configurar manualmente a fonte de importação.

  1. Adicione o módulo de Dados de Importação à sua experiência. Pode encontrar o módulo em Estúdio (clássico), na categoria Entrada e Saída de Dados .

  2. Para obter informações, selecione Web URL via HTTP.

  3. Para URL, escreva ou cole o URL completo da página que contém os dados que pretende carregar.

    O URL deve incluir o URL do site e o caminho completo, com nome de ficheiro e extensão, para a página que contém os dados a carregar.

    Por exemplo, a página seguinte contém o conjunto de dados da Íris do repositório de aprendizagem automática da Universidade da Califórnia, Irvine:

    https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data

  4. Para o formato Dados, selecione um dos formatos de dados suportados da lista.

    Recomendamos que verifique sempre previamente os dados para determinar o formato. A página UC Irvine utiliza o formato CSV. Outros formatos de dados suportados são TSV, ARFF e SvmLight.

  5. Se os dados estiverem no formato CSV ou TSV, utilize a opção de linha de cabeçalho para indicar se os dados de origem incluem ou não uma linha de cabeçalho. A linha do cabeçalho é usada para atribuir nomes de colunas.

  6. Selecione as opções de resultados em cache Use se não espera que os dados mudem muito, ou se quiser evitar recarregar os dados cada vez que executar a experiência.

    Quando esta opção é selecionada, a experiência carrega os dados na primeira vez que o módulo é executado, e a partir daí utiliza uma versão em cache do conjunto de dados.

    Se pretender repor o conjunto de dados em cada iteração do conjunto de dados da experiência, desmarca a opção de resultados em cache Utilização . Os resultados também são reessarregáveis se houver alterações nos parâmetros dos Dados de Importação.

  7. Execute a experimentação.

Resultados

Quando estiver concluído, clique no conjunto de dados de saída e selecione Visualize para ver se os dados foram importados com sucesso.

Exemplos

Veja estes exemplos na Galeria Azure AI de experiências de machine learning que obtêm dados de sites públicos:

Notas técnicas

Esta secção contém detalhes de implementação, dicas e respostas a perguntas frequentes.

Perguntas comuns

Posso filtrar os dados como está a ser lido a partir da fonte

N.º Esta opção não é suportada com esta fonte de dados.

Depois de ler os dados no Machine Learning Studio (clássico), pode dividir o conjunto de dados, usar a amostragem, e assim por diante para obter apenas as linhas que deseja:

  • Escreva um código R simples no Script Executo R para obter uma parte dos dados por linhas ou colunas.

  • Utilize o módulo Dados Divididos com uma expressão relativa ou uma expressão regular para isolar os dados que pretende.

  • Se carregou mais dados do que o necessário, substitua o conjunto de dados em cache lendo um novo conjunto de dados e guardando-os com o mesmo nome.

Como posso evitar reessarcando os mesmos dados desnecessariamente

Se os dados de origem alterarem, pode atualizar o conjunto de dados e adicionar novos dados re-executando dados de importação.

Se não quiser relê-lo a partir da fonte cada vez que executar a experiência, selecione a opção de resultados em cache para A VERDADEIRA. Quando esta opção é definida como TRUE, o módulo verifica se a experiência já foi executada anteriormente utilizando a mesma fonte e as mesmas opções de entrada. Se for encontrada uma execução anterior, os dados na cache são utilizados, em vez de ressartar os dados da fonte.

Por que uma linha extra foi adicionada no final do meu conjunto de dados

Se o módulo De Dados de Importação encontrar uma linha de dados que é seguida por uma linha vazia ou um carácter de linha nova, uma linha extra é adicionada no final da tabela. Esta nova linha contém valores em falta.

A razão para interpretar uma nova linha como uma nova linha é que os Dados de Importação não podem determinar a diferença entre uma linha vazia real e uma linha vazia que é criada pelo utilizador pressionando ENTER no final de um ficheiro.

Como alguns algoritmos de aprendizagem automática suportam dados em falta e assim tratariam esta linha como um caso (que por sua vez poderia afetar os resultados), você deve usar Dados Desaparecidos Limpos para verificar se há valores em falta (particularmente linhas que estão completamente vazias) e removê-los conforme necessário.

Antes de verificar se há linhas vazias, também pode querer dividir o conjunto de dados utilizando Dados Divididos. Isto separa as linhas com valores parciais em falta, que representam valores em falta reais nos dados de origem. Utilize a opção 'Selecionar as linhas N' para ler a primeira parte do conjunto de dados num recipiente separado da última linha.

Por que alguns personagens no meu arquivo de origem não são exibidos corretamente

Machine Learning apoia a codificação UTF-8. Se o seu ficheiro de origem utilizar outro tipo de codificação, os caracteres podem não ser importados corretamente.

Parâmetros do módulo

Nome Intervalo Tipo Predefinição Description
Origem de dados Lista Fonte de dados ou pia Armazenamento de Blobs do Azure A fonte de dados pode ser HTTP, FTP, HTTPS anónimo ou FTPS, um ficheiro no armazenamento Azure BLOB, uma tabela Azure, uma Base de Dados SQL do Azure, uma base de dados SQL Server no local, uma tabela Hive ou um ponto final OData.
URL qualquer String nenhum URL para HTTP
Formato de dados CSV

TSV

ARFF

SvmLight		 Formato de Dados CSV Tipo de ficheiro de fonte HTTP
CSV ou TSV tem linha de cabeçalho VERDADEIRO/FALSO Booleano false Indica se o ficheiro CSV ou TSV tem uma linha de cabeçalho
Use resultados em cache VERDADEIRO/FALSO Booleano FALSE O módulo só executa se não existir cache válido. Caso contrário, são utilizados dados em cache da execução anterior.

Saídas

Nome Tipo Description
Conjunto de dados de resultados Tabela de Dados Dataset com dados descarregados

Exceções

Exceção Description
Erro 0027 Uma exceção ocorre quando dois objetos têm que ter o mesmo tamanho, mas não são.
Erro 0003 Uma exceção ocorre se uma ou mais entradas forem nulas ou vazias.
Erro 0029 Uma exceção ocorre quando um URI inválido é passado.
Erro 0030 uma exceção ocorre quando não é possível descarregar um ficheiro.
Erro 0002 Ocorre uma exceção se um ou mais parâmetros não puderem ser analisados ou convertidos do tipo especificado para o tipo exigido pelo método-alvo.
Erro 0048 Uma exceção ocorre quando não é possível abrir um ficheiro.
Erro 0046 Uma exceção ocorre quando não é possível criar um diretório em caminho especificado.
Erro 0049 Uma exceção ocorre quando não é possível analisar um ficheiro.

Para obter uma lista de erros específicos dos módulos Studio (clássicos), consulte Machine Learning Códigos de Erro.

Para obter uma lista de exceções da API, consulte Machine Learning CÓDIGOs de Erro da API REST.

Ver também

Importar Dados
Dados de Exportação
Importação da Consulta de Colmeia
Importar a partir da Base de Dados SQL do Azure
Importação da Tabela Azure
Importação de Azure Blob Armazenamento
Importação de Fornecedores de Feed de Dados
Importação de Bases de Dados SQL Server de Instalações