O que são Conjuntos de dados abertos do Azure e como você pode usá-los?
Os Conjuntos de dados abertos do Azure são conjuntos de dados públicos coletados aos quais você pode adicionar recursos específicos do cenário para soluções de aprendizado de máquina para obter modelos mais precisos. O Conjunto de Dados em Aberto no Azure estão disponíveis na nuvem no Microsoft Azure. Eles são integrados ao Azure Machine Learning e estão prontamente disponíveis para o Azure Databricks e o Machine Learning Studio (clássico). Você também pode acessar os conjuntos de dados por meio de APIs e usá-los em outros produtos, como o Power BI e o Azure Data Factory.
Os conjuntos de dados incluem dados de domínio público de clima, censo, feriados, segurança pública e localização que ajudam você a treinar os modelos de machine learning e aprimorar as soluções de previsão. Você também pode compartilhar seus conjuntos de dados públicos através de Conjuntos de dados abertos do Azure.
Coletados, conjuntos de dados preparados
Os conjuntos de dados públicos abertos coletados nos Conjuntos de dados abertos do Azure são otimizados para consumo em fluxos de trabalho de aprendizado de máquina.
Para obter mais informações sobre os conjuntos de dados disponíveis, visite o Catálogo de Conjuntos de Dados Abertos do Azure.
Os cientistas de dados geralmente gastam a maior parte do tempo limpando e preparando os dados para análise avançada. Para economizar tempo, os conjuntos de dados abertos são copiados para a nuvem do Azure e pré-processados. Em intervalos regulares, os dados são extraídos das fontes,por exemplo, em uma conexão de FTP para a NOAA (National Oceanic and Atmospheric Administration). Em seguida, os dados são analisados em um formato estruturado e aprimorados conforme necessário com recursos como CEP ou local da estação meteorológica mais próxima.
Os conjuntos de dados são hospedados em conjunto com a computação de nuvem do Azure facilitando o acesso e a manipulação.
Aqui estão exemplos de conjuntos de dados disponíveis:
Dados de clima
| Dataset | Notebooks | Descrição |
|---|---|---|
| ISD (Dados de superfície integrados) da NOAA | Azure Notebooks Azure Databricks |
Dados meteorológicos globais por hora da NOAA com a melhor cobertura espacial na América do Norte, Europa, Austrália e partes da Ásia. Atualizado diariamente. |
| GFS (Sistema de previsão global) da NOAA | Azure Notebooks Azure Databricks |
15 dias de dados de previsão meteorológica por hora dos EUA da NOAA. Atualizado diariamente. |
Dados de calendário
| Dataset | Notebooks | Descrição |
|---|---|---|
| Feriados | Azure Notebooks Azure Databricks |
Dados de feriados em todo o mundo, abrangendo 41 nações ou regiões de 1970 a 2099. Inclui o país/região e indica se a maioria das pessoas tem folga naquele dia. |
Acesso ao conjuntos de dados
Com uma conta do Azure, você pode acessar os conjuntos de dados abertos usando o código ou por meio da interface de serviço do Azure. Os dados são colocados em uso nas suas soluções de aprendizado de máquina por meio dos recursos de computação em nuvem do Azure.
Os Conjuntos de dados abertos estão disponíveis por meio da interface do usuário e do SDK do Azure Machine Learning. Os Conjuntos de dados abertos fornecem notebooks do Azure Notebooks e do Azure Databricks que podem conectar os dados ao Azure Machine Learning e ao Azure Databricks. Os Conjuntos de dados também podem ser acessados por meio de um SDK de Python.
No entanto, você não precisa de uma conta do Azure para acessar o Conjunto de Dados em Aberto no Azure. Você pode acessá-lo em qualquer ambiente do Python com ou sem Spark.
Solicitar ou contribuir com conjuntos de dados
Se você não pode localizar os dados desejados, envie um email para nós para solicitar um conjunto de dados ou contribuir com um conjunto de dados.