Python を使用して Microsoft OneLake のファイルとフォルダーを管理する

  • [アーティクル]

この記事では、Azure Storage Python SDK を使用して OneLake 内のファイルとディレクトリを管理する方法について説明します。 このチュートリアルでは、「Python を使用して Azure Data Lake Storage Gen2 でディレクトリとファイルを管理する」と同じ内容について取り上げ、OneLake に接続するときの違いを強調して説明します。

前提条件

プロジェクトを開始する前に、次の前提条件を満たしていることを確認してください。

  • 共同作成者のアクセス許可を持つ Fabric テナント内のワークスペース。
  • ワークスペース内のレイクハウス。 必要に応じて、Python を使用して読み取るためにデータを事前に読み込みます。

プロジェクトの設定

プロジェクト ディレクトリから、Azure Data Lake Storage と Azure ID のクライアント ライブラリのパッケージをインストールします。 OneLake は Azure Data Lake Storage (ADLS) Gen2 と同じ SDK をサポートしており、azure-identity パッケージによって提供される Microsoft Entra 認証をサポートしています。

pip install azure-storage-file-datalake azure-identity

次に、必要な import ステートメントをコード ファイルに追加します。

import os
from azure.storage.filedatalake import (
    DataLakeServiceClient,
    DataLakeDirectoryClient,
    FileSystemClient
)
from azure.identity import DefaultAzureCredential

OneLake へのアクセスを承認する

以下の例では、他の操作用のファイルシステム クライアントの作成に使用できる OneLake に接続されたサービス クライアントを作成します。 OneLake に対して認証するために、この例では DefaultAzureCredential を使用して資格情報を自動的に検出し、正しい認証トークンを取得します。 Azure SDK の資格情報を提供する一般的な方法には、Azure コマンド ライン インターフェイスで 'az login' コマンドを使用する方法、または Azure PowerShell の 'Connect-AzAccount' コマンドレットを使用する方法があります。

def get_service_client_token_credential(self, account_name) -> DataLakeServiceClient:
    account_url = f"https://{account_name}.dfs.fabric.microsoft.com"
    token_credential = DefaultAzureCredential()

    service_client = DataLakeServiceClient(account_url, credential=token_credential)

    return service_client

DefaultAzureCredential を使用してデータへのアクセスを認可する方法の詳細については、「概要: Azure SDK for Python を使用して Azure サービスに対して Python アプリを認証する方法」を参照してください。

ディレクトリの使用

OneLake でディレクトリを使用するには、ファイルシステム クライアントとディレクトリ クライアントを作成します。 このディレクトリ クライアントを使用して、パスの名前変更、移動、一覧表示など、さまざまな操作を実行できます (次の例を参照してください)。 また、FileSystemClient.create_directory メソッドを使用して、ディレクトリを作成するときにディレクトリ クライアントを作成することもできます。

def create_file_system_client(self, service_client, file_system_name: str) : DataLakeServiceClient) -> FileSystemClient:
    file_system_client = service_client.get_file_system_client(file_system = file_system_name)
    return file_system_client

def create_directory_client(self, file_system_client : FileSystemClient, path: str) -> DataLakeDirectoryClient: directory_client 
    directory_client = file_system_client.GetDirectoryClient(path)
    return directory_client


def list_directory_contents(self, file_system_client: FileSystemClient, directory_name: str):
    paths = file_system_client.get_paths(path=directory_name)

    for path in paths:
        print(path.name + '\n')

ファイルをアップロードする

DataLakeFileClient.upload_data メソッドを使用して、新規または既存のファイルにコンテンツをアップロードできます。

def upload_file_to_directory(self, directory_client: DataLakeDirectoryClient, local_path: str, file_name: str):
    file_client = directory_client.get_file_client(file_name)

    with open(file=os.path.join(local_path, file_name), mode="rb") as data:
        file_client.upload_data(dataW, overwrite=True)

サンプル

次のコード サンプルでは、OneLake 内の任意のフォルダーのディレクトリの内容を一覧表示します。

#Install the correct packages first in the same folder as this file. 
#pip install azure-storage-file-datalake azure-identity

from azure.storage.filedatalake import (
    DataLakeServiceClient,
    DataLakeDirectoryClient,
    FileSystemClient
)
from azure.identity import DefaultAzureCredential

# Set your account, workspace, and item path here
ACCOUNT_NAME = "onelake"
WORKSPACE_NAME = "<myWorkspace>"
DATA_PATH = "<myLakehouse>.Lakehouse/Files/<path>"

def main():
    #Create a service client using the default Azure credential

    account_url = f"https://{ACCOUNT_NAME}.dfs.fabric.microsoft.com"
    token_credential = DefaultAzureCredential()
    service_client = DataLakeServiceClient(account_url, credential=token_credential)

    #Create a file system client for the workspace
    file_system_client = service_client.get_file_system_client(WORKSPACE_NAME)
    
    #List a directory within the filesystem
    paths = file_system_client.get_paths(path=DATA_PATH)

    for path in paths:
        print(path.name + '\n')

if __name__ == "__main__":
    main()

このサンプルを実行するには、上記のコードをファイル listOneLakeDirectory.py に保存し、同じディレクトリで次のコマンドを実行します。 例のワークスペースとパスは、必ず独自の値に置き換えてください。

python listOneLakeDirectory.py

関連するコンテンツ