Tutorial: Criar um Jupyter Notebook para analisar dados da conta do Azure Cosmos DB for NoSQL usando notebooks Jupyter do Visual Studio Code

Artigo
10/21/2023

APLICA-SE A: NoSQL

Este tutorial explica como usar os notebooks Jupyter do Visual Studio Code para interagir com a sua conta do Azure Cosmos DB for NoSQL. Você verá como se conectar à sua conta, importar dados e executar consultas.

Uma conta existente do Azure Cosmos DB for NoSQL.
- Se você tiver uma assinatura existente do Azure, crie uma nova conta.
- Nenhuma assinatura do Azure? Você pode experimentar o Azure Cosmos DB gratuitamente sem necessidade de cartão de crédito.
Instale o Visual Studio Code e configure seu ambiente para usar notebooks.

Criar um novo notebook

Nesta seção, você criará o banco de dados Azure Cosmos e o contêiner e importará os dados de varejo para o contêiner.

Python
C#

Abra o Visual Studio Code.
Execute o comando Criar: Jupyter Notebook na paleta de comandos (CTRL + SHIFT + P) ou crie um arquivo.ipynb no seu workspace.

Dica

Agora que o notebook foi criado, você pode salvá-lo e nomeá-lo como AnalyzeRetailData.ipynb.

Criar um banco de dados e um contêiner usando o SDK

Python
C#

Comece na célula de código padrão.
Instale o pacote Azure.cosmos. Execute esta célula antes de continuar.
```
%pip install azure.cosmos
```

Importe os pacotes necessários para este tutorial.

import azure.cosmos
from azure.cosmos.partition_key import PartitionKey
from azure.cosmos import CosmosClient

Crie uma instância do CosmosClient.

endpoint = "<FILL ME>"
key = "<FILL ME>"
cosmos_client = CosmosClient(url=endpoint, credential=key)

Crie um banco de dados chamado RetailIngest usando o SDK interno.

database = cosmos_client.create_database_if_not_exists('RetailIngest')

Crie um contêiner chamado WebsiteMetrics com uma chave de partição /CartID.

container = database.create_container_if_not_exists(id='WebsiteMetrics', partition_key=PartitionKey(path='/CartID'))

Selecione Executar para criar o banco de dados e o recurso de contêiner.

Comece na célula de código padrão.
Instale o pacote NuGet Microsoft.Azure.Cosmos. Execute esta célula antes de continuar.
```
#r "nuget: Microsoft.Azure.Cosmos"
```
Crie uma célula de código.
Importe os pacotes necessários para este tutorial.
```
using Microsoft.Azure.Cosmos;
```
Crie uma instância do tipo de cliente usando o SDK interno. Preencha o ponto de extremidade de URI e a chave da sua conta do Azure Cosmos DB. Encontre esses valores na página Chaves da sua conta do Azure Cosmos DB.
```
var endpoint = "<FILL ME>";
var key = "<FILL ME>";

var cosmosClient = new CosmosClient(Cosmos.Endpoint, Cosmos.Key);
```

Crie um banco de dados chamado RetailIngest.

Database database = await cosmosClient.CreateDatabaseIfNotExistsAsync("RetailIngest");

Crie um contêiner chamado WebsiteMetrics com uma chave de partição /CartID.

Container container = await database.CreateContainerIfNotExistsAsync("WebsiteMetrics", "/CartID");

Selecione Executar Célula para criar o banco de dados e o recurso de contêiner.

Importar dados para o contêiner

Python
C#

Adicionar uma nova célula de código

Dentro da célula de código, adicione o seguinte código para carregar dados desta URL: https://cosmosnotebooksdata.blob.core.windows.net/notebookdata/websiteData.json.

    import urllib.request
    import json

    with urllib.request.urlopen("https://cosmosnotebooksdata.blob.core.windows.net/notebookdata/websiteData.json") as url:
        docs = json.loads(url.read().decode())

    for doc in docs:
        container.upsert_item(doc)

Execute a célula. Isso levará de 45 segundos a 1 minuto para ser executado.

Adicione uma nova célula de código.

Na célula de código, crie uma classe C# para representar um item no contêiner. Execute a célula.

public class Record
{
  public string id { get; set; }
  public int CartID { get; set; }
  public string Action { get; set; }
  public decimal Price { get; set; }
  public string Country { get; set; }
  public string Item { get; set; }
}

Adicione uma nova célula de código.

Dentro da célula de código, adicione o seguinte código para carregar dados desta URL: https://cosmosnotebooksdata.blob.core.windows.net/notebookdata/websiteData.json.

using System.Net.Http;
using System.Text.Json;
using System.IO;

var dataURL = "https://cosmosnotebooksdata.blob.core.windows.net/notebookdata/websiteData.json";
var jsonData = new HttpClient().GetStringAsync(dataURL).Result;

Record[] result = JsonSerializer.Deserialize<Record[]>(jsonData);

foreach (Record record in result) {
    await container.UpsertItemAsync<Record>(record, new PartitionKey(record.CartID)); //43 seconds
}

Execute a célula. Isso levará de 45 segundos a 1 minuto para ser executado.

Analise os dados

Python
C#

Crie outra célula de código.

Na célula de código, use uma consulta SQL para popular um DataFrame do Pandas. Execute esta célula.

import pandas as pd
from pandas import DataFrame

QUERY = "SELECT c.Action, c.Price as ItemRevenue, c.Country, c.Item FROM c"
results = container.query_items(
    query=QUERY, enable_cross_partition_query=True
)

df_cosmos = pd.DataFrame(results)

Crie outra célula de código.
Na célula de código, gere os 10 itens principais do dataframe. Execute esta célula.
```
df_cosmos.head(10)
```

Observe a saída da execução do comando.

	Ação	ItemRevenue	País	Item
0	Comprado	19.99	Macedônia	Camisa de botões
1	Exibido	12,00	Papua Nova Guiné	Colar
2	Exibido	25,00	Eslováquia (República Eslovaca)	Cardigã
3	Comprado	14.00	Senegal	Sandálias de dedo
4	Exibido	50,00	Panamá	Shorts jeans
5	Exibido	14.00	Senegal	Sandálias de dedo
6	Adicionado	14.00	Senegal	Sandálias de dedo
7	Adicionado	50,00	Panamá	Shorts jeans
8	Comprado	33,00	Território Palestino	Blusa vermelha
9	Exibido	30,00	Malta	Suéter verde

Crie outra célula de código.
Na célula de código, importe o pacote pandas para personalizar a saída do dataframe. Execute esta célula.
```
import pandas as pd    
df_cosmos.groupby("Item").size().reset_index()
```
Observe a saída da execução do comando.

Item Teste

0 Sandálias de dedo 66

1 Colar 55

2 Tênis esportivos 111

... ... ...

45 Windbreaker Jacket 56

	Item	Teste
0	Sandálias de dedo	66
1	Colar	55
2	Tênis esportivos	111
...	...	...
45	Windbreaker Jacket	56

Crie uma célula de código.

Na célula de código, adicione código para executar uma consulta SQL usando o SDK armazenando a saída da consulta em uma variável de tipo List<T> chamada resultados.

using System.Collections.Generic;

var query = new QueryDefinition(
    query: "SELECT c.Action, c.Price, c.Country, c.Item FROM c"
);

FeedIterator<Record> feed = container.GetItemQueryIterator<Record>(
    queryDefinition: query
);

var results = new List<Record>();
while (feed.HasMoreResults)
{
    FeedResponse<Record> response = await feed.ReadNextAsync();
    foreach (Record result in response)
    {
        results.Add(result);
    }
}

Crie outra célula de código.

Na célula de código, crie um dicionário adicionando permutações exclusivas do campo Item como a chave e a soma do campo Price como o valor. Isso fornecerá o total de vendas de cada item. Execute esta célula.

var dictionary = new Dictionary<string, decimal>();

foreach(var result in results)
{
    if (dictionary.ContainsKey(result.Item)) {
        dictionary[result.Item] += result.Price;
    }
    else {
        dictionary.TryAdd (result.Item, result.Price); 

    }
}

dictionary

Observe a saída com combinações exclusivas dos campos Item e Preço.

...
Black Tee: 603
Flannel Shirt: 1199.40
Socks: 210.00
Rainjacket: 2695
...