チュートリアル: Visual Studio Code Jupyter ノートブックを使用して Azure Cosmos DB for NoSQL アカウントのデータを分析する Jupyter Notebook を作成する

[アーティクル]
10/24/2023

適用対象: NoSQL

このチュートリアルでは、Visual Studio Code Jupyter ノートブックを使用して Azure Cosmos DB for NoSQL アカウントを操作する方法について説明します。アカウントへの接続方法、データのインポート方法、クエリの実行方法について説明します。

前提条件

Python
C#

既存の Azure Cosmos DB for NoSQL アカウント。
- Azure サブスクリプションを既にお持ちの場合は、新しいアカウントを作成します。
- Azure サブスクリプションがない場合。 Azure Cosmos DB を無料で試すことができます。クレジットカードは必要ありません。
ノートブックを使用するには、Visual Studio Code をインストールし、環境を設定します。

新しいノートブックを作成する

このセクションでは、Azure Cosmos データベースとコンテナーを作成し、コンテナーに小売データをインポートします。

Python
C#

Visual Studio Code を開きます。
コマンドパレット (Ctrl+Shift+P) から Create: New Jupyter Notebook コマンドを使用するか、ワークスペースで新しい .ipynb ファイルを作成します。

ヒント

これで新しいノートブックが作成されたので、保存し、AnalyzeRetailData.ipynb のような名前を付けることができます。

既定のコードセルから開始します。
Azure.cosmos パッケージをインストールします。続行前にこのセルを実行します。
```
%pip install azure.cosmos
```

このチュートリアルに必要なパッケージをすべてインポートします。

import azure.cosmos
from azure.cosmos.partition_key import PartitionKey
from azure.cosmos import CosmosClient

最後に、CosmosClient の新しいインスタンスを作成します。

endpoint = "<FILL ME>"
key = "<FILL ME>"
cosmos_client = CosmosClient(url=endpoint, credential=key)

組み込みの SDK を使用して RetailIngest という名前のデータベースを作成します。
```
database = cosmos_client.create_database_if_not_exists('RetailIngest')
```

WebsiteMetrics という名前のコンテナーを /CartID のパーティションキーで作成します。

container = database.create_container_if_not_exists(id='WebsiteMetrics', partition_key=PartitionKey(path='/CartID'))

[実行] を選択して、データベースとコンテナーリソースを作成します。

既定のコードセルから開始します。
Microsoft.Azure.Cosmos NuGet パッケージをインストールします。続行前にこのセルを実行します。
```
#r "nuget: Microsoft.Azure.Cosmos"
```
新しいコードセルを作成します。
このチュートリアルに必要なパッケージをすべてインポートします。
```
using Microsoft.Azure.Cosmos;
```
組み込みの SDK を使用して、クライアントの種類の新しいインスタンスを作成します。 Azure Cosmos DB アカウントの URI エンドポイントとキーを入力します。これらの値は Azure Cosmos DB アカウントの [キー] ページにあります。
```
var endpoint = "<FILL ME>";
var key = "<FILL ME>";

var cosmosClient = new CosmosClient(Cosmos.Endpoint, Cosmos.Key);
```

RetailIngest という名前のデータベースを作成します。

Database database = await cosmosClient.CreateDatabaseIfNotExistsAsync("RetailIngest");

WebsiteMetrics という名前のコンテナーを /CartID のパーティションキーで作成します。
```
Container container = await database.CreateContainerIfNotExistsAsync("WebsiteMetrics", "/CartID");
```
[セルの実行] を選択し、データベースとコンテナーリソースを作成します。

データをコンテナーにインポートします

Python
C#

新しいコードセルを追加します

コードセル内で、コード <https://cosmosnotebooksdata.blob.core.windows.net/notebookdata/websiteData.json> を追加し、この URL からデータをアップロードします。

    import urllib.request
    import json

    with urllib.request.urlopen("https://cosmosnotebooksdata.blob.core.windows.net/notebookdata/websiteData.json") as url:
        docs = json.loads(url.read().decode())

    for doc in docs:
        container.upsert_item(doc)

セルを実行します。実行には 45 秒から 1 分かかります。

新しいコードセルを追加します。

コードセルで、コンテナー内の項目を表す新しい C# クラスを作成します。セルを実行します。

public class Record
{
  public string id { get; set; }
  public int CartID { get; set; }
  public string Action { get; set; }
  public decimal Price { get; set; }
  public string Country { get; set; }
  public string Item { get; set; }
}

新しいコードセルを追加します。

コードセル内で、コード <https://cosmosnotebooksdata.blob.core.windows.net/notebookdata/websiteData.json> を追加し、この URL からデータをアップロードします。

using System.Net.Http;
using System.Text.Json;
using System.IO;

var dataURL = "https://cosmosnotebooksdata.blob.core.windows.net/notebookdata/websiteData.json";
var jsonData = new HttpClient().GetStringAsync(dataURL).Result;

Record[] result = JsonSerializer.Deserialize<Record[]>(jsonData);

foreach (Record record in result) {
    await container.UpsertItemAsync<Record>(record, new PartitionKey(record.CartID)); //43 seconds
}

セルを実行します。実行には 45 秒から 1 分かかります。

データの分析

Python
C#

別の新しいコードセルを作成します。

コードセルで、SQL クエリを使用して Pandas DataFrame を設定します。このセルを実行します。

import pandas as pd
from pandas import DataFrame

QUERY = "SELECT c.Action, c.Price as ItemRevenue, c.Country, c.Item FROM c"
results = container.query_items(
    query=QUERY, enable_cross_partition_query=True
)

df_cosmos = pd.DataFrame(results)

別の新しいコードセルを作成します。
コードセルで、データフレームから上位 10 個の項目を出力します。このセルを実行します。
```
df_cosmos.head(10)
```

コマンドを実行した出力を確認します。

	アクション	ItemRevenue	国	Item
0	購入済み	19.99	マケドニア旧ユーゴスラビア共和国	Button-Up Shirt
1	表示	12.00	パプアニューギニア	Necklace
2	表示	25.00	スロバキア (スロバキア共和国)	Cardigan Sweater
3	購入済み	14.00	セネガル	Flip Flop Shoes
4	表示	50.00	パナマ	Denim Shorts
5	表示	14.00	セネガル	Flip Flop Shoes
6	追加	14.00	セネガル	Flip Flop Shoes
7	追加	50.00	パナマ	Denim Shorts
8	購入済み	33.00	パレスチナ	Red Top
9	表示	30.00	マルタ	Green Sweater

別の新しいコードセルを作成します。
コードセルで pandas パッケージをインポートして、データフレームの出力をカスタマイズします。このセルを実行します。
```
import pandas as pd    
df_cosmos.groupby("Item").size().reset_index()
```
コマンドを実行した出力を確認します。

Item テスト

0 Flip Flop Shoes 66

1 Necklace 55

2 Athletic Shoes 111

[...] ... ...

45 ウィンドブレーカージャケット 56

	Item	テスト
0	Flip Flop Shoes	66
1	Necklace	55
2	Athletic Shoes	111
[...]	...	...
45	ウィンドブレーカージャケット	56

新しいコードセルを作成します。

コードセルで、SDK を使用して SQL クエリを実行して results という名前の List<T> 型の変数にクエリの出力を格納するコードを追加します。

using System.Collections.Generic;

var query = new QueryDefinition(
    query: "SELECT c.Action, c.Price, c.Country, c.Item FROM c"
);

FeedIterator<Record> feed = container.GetItemQueryIterator<Record>(
    queryDefinition: query
);

var results = new List<Record>();
while (feed.HasMoreResults)
{
    FeedResponse<Record> response = await feed.ReadNextAsync();
    foreach (Record result in response)
    {
        results.Add(result);
    }
}

別の新しいコードセルを作成します。

コードセルで、キーとして Item フィールドの一意の順列を、値として [価格] フィールドの合計を追加してディクショナリを作成します。これで各項目の売上合計が表示されます。このセルを実行します。

var dictionary = new Dictionary<string, decimal>();

foreach(var result in results)
{
    if (dictionary.ContainsKey(result.Item)) {
        dictionary[result.Item] += result.Price;
    }
    else {
        dictionary.TryAdd (result.Item, result.Price); 

    }
}

dictionary

Item フィールドと Price フィールドの一意の組み合わせで出力を確認します。
```
...
Black Tee: 603
Flannel Shirt: 1199.40
Socks: 210.00
Rainjacket: 2695
...
```

次の方法で共有