AzureDLFileSystem クラス

  • リファレンス

ファイル システムであるかのように Azure DataLake Store にアクセスする

継承
builtins.object
AzureDLFileSystem

コンストラクター

AzureDLFileSystem(token=None, per_call_timeout_seconds=60, **kwargs)

パラメーター

名前 説明
store_name
必須
str(<xref:””)

接続先のストア名。
token
<xref:<xref:azure.datalake.store.core.credentials object>>

新しい接続を設定すると、これには承認資格情報が含まれます ( lib.auth()を参照)。

既定値: None
url_suffix
必須
str(None)

REST 要求を送信するドメイン。 エンドポイント URL は、これと store_nameを使用して構築されます。 None の場合は、既定値を使用します。
api_version
必須
str(<xref:2018-09-01>)

要求を対象とする API バージョン。 この値を変更すると、要求の動作が変更され、予期しない動作や破壊的変更が発生する可能性があります。 この値の変更は注意して行う必要があります。
per_call_timeout_seconds
float(<xref:60>)

これは、各要求ライブラリ呼び出しのタイムアウトです。

既定値: 60
kwargs
必須
<xref:<xref:azure.datalake.store.core.optional key/values>>

「 lib.auth();完全なリスト:tenant_id、ユーザー名、パスワード、client_id、client_secret、リソース

メソッド

access

このようなファイル/ディレクトリは存在しますか?
cat

ファイルの内容を返す
chmod

パスのアクセス モードを変更する

これは再帰的ではないことに注意してください。
chown

所有者または所有グループを変更する

これは再帰的ではないことに注意してください。
concat

ファイルのリストを 1 つの新しいファイルに連結する
connect

接続オブジェクトを確立します。
cp

実装されていません。 ADL 上の場所間でファイルをコピーする
current

最後に作成された AzureDLFileSystem を返す
df

パスのリソースの概要
du

パスのキー内のバイト数
exists

このようなファイル/ディレクトリは存在しますか?
get

パスにあるファイルからローカル ファイル名にデータをストリーム配信する
get_acl_status

指定したファイルまたはディレクトリAccess Controlリスト (ACL) エントリを取得します。
glob

glob-matching を使用して (ディレクトリではなく) ファイルを検索します。
head

ファイルの最初のバイトを返す
info

パスのファイル情報
invalidate_cache

オブジェクト ファイル キャッシュからエントリを削除する
listdir

path で指定されたディレクトリにあるすべての要素を一覧表示する
ls

path で指定されたディレクトリにあるすべての要素を一覧表示する
merge

ファイルのリストを 1 つの新しいファイルに連結する
mkdir

新しいディレクトリを作成する
modify_acl_entries

ファイルまたはフォルダーの既存のAccess Control リスト (ACL) エントリを変更します。 エントリが存在しない場合は追加され、それ以外の場合は渡された仕様に基づいて更新されます。 このプロセスによってエントリは削除されません (set_aclとは異なります)。

注: これは既定では再帰的ではなく、指定されたファイルまたはフォルダーにのみ適用されます。
mv

ADL 上の場所間でファイルを移動する
open

読み取りまたは書き込みのためにファイルを開く
put

ローカル ファイル名からパスにあるファイルにデータをストリーム配信する
read_block

ADL ファイルからバイト ブロックを読み取る

ファイルの から offset 始まり、バイトを読み取 length ります。 が設定されている場合 delimiter 、読み取りが開始され、位置 offset と 'offset に続く区切り記号の境界で停止します。

  • length. If offset' は 0 で、ゼロから始まります。 返されるバイト文字列には、終了区切り記号文字列が含まれます。

offset + length が eof を超える場合は、eof に読み取ります。
remove

ファイルまたはディレクトリを削除する
remove_acl

名前のないエントリを含め、既定以外の ACL 全体をファイルまたはフォルダーから削除します。 この方法では既定のエントリを削除できません。そのためには、remove_default_aclを使用してください。

注: これは再帰的ではなく、指定されたファイルまたはフォルダーにのみ適用されます。
remove_acl_entries

ファイルまたはフォルダーの既存の名前付きAccess Controlリスト (ACL) エントリを削除します。 エントリがまだ存在しない場合は無視されます。 この方法では既定のエントリを削除できません。そのためには、remove_default_aclを使用してください。 この方法で名前のないエントリを削除することはできません。そのためには、remove_aclを使用してください。

注: これは既定では再帰的ではなく、指定されたファイルまたはフォルダーにのみ適用されます。
remove_default_acl

フォルダーから既定の ACL 全体を削除します。 ファイルに既定のエントリは存在しません。ファイルが指定されている場合、この操作は何も行いません。

注: これは再帰的ではなく、指定されたフォルダーにのみ適用されます。
rename

ADL 上の場所間でファイルを移動する
rm

ファイルまたはディレクトリを削除する
rmdir

空のディレクトリを削除する
set_acl

ファイルまたはフォルダーのAccess Controlリスト (ACL) を設定します。

注: これは既定では再帰的ではなく、指定されたファイルまたはフォルダーにのみ適用されます。
set_expiry

指定したファイルの有効期限を設定または削除します。 この操作は、ファイルに対してのみ実行できます。

注: フォルダーはサポートされていません。
stat

パスのファイル情報
tail

ファイルの最後のバイト数を返す
touch

空のファイルを作成する
unlink

ファイルまたはディレクトリを削除する
walk

指定されたパスの下にあるすべてのファイルを取得する

access

このようなファイル/ディレクトリは存在しますか?

access(path, invalidate_cache=True)

パラメーター

名前 説明
path
必須
str または AzureDLPath

クエリのパス
invalidate_cache
bool

キャッシュを無効にするかどうか

既定値: True

戻り値

型 説明
True,
<xref:false> <xref:depending> <xref:on> <xref:whether> <xref:the> <xref:path> <xref:exists.>

cat

ファイルの内容を返す

cat(path)

パラメーター

名前 説明
path
必須
str または AzureDLPath

クエリのパス

戻り値

型 説明
<xref:azure.datalake.store.core.Contents> <xref:of> <xref:azure.datalake.store.core.file>

chmod

パスのアクセス モードを変更する

これは再帰的ではないことに注意してください。

chmod(path, mod)

パラメーター

名前 説明
path
必須
str

変更する場所
mod
必須
str

パブリック読み取り/書き込み用の "0777" など、アクセスの 8 進数表現。 ドキュメントを参照 してください

chown

所有者または所有グループを変更する

これは再帰的ではないことに注意してください。

chown(path, owner=None, group=None)

パラメーター

名前 説明
path
必須
str

変更する場所
owner
str

所有エンティティの UUID

既定値: None
group
str

グループの UUID

既定値: None

concat

ファイルのリストを 1 つの新しいファイルに連結する

concat(outfile, filelist, delete_source=False)

パラメーター

名前 説明
outfile
必須
<xref:azure.datalake.store.core.path>

連結先のファイル。 既に存在する場合は、余分な部分が追加されます。
filelist
必須
list of <xref:azure.datalake.store.core.paths>

連結する既存の adl ファイルの順序
delete_source
bool(False)

True の場合は、連結するパスがディレクトリ内に単独で存在すると仮定し、完了したらそのディレクトリ全体を削除します。

既定値: False

戻り値

型 説明
None

connect

接続オブジェクトを確立します。

connect()

cp

実装されていません。 ADL 上の場所間でファイルをコピーする

cp(path1, path2)

パラメーター

名前 説明
path1
必須
path2
必須

current

最後に作成された AzureDLFileSystem を返す

current()

df

パスのリソースの概要

df(path)

パラメーター

名前 説明
path
必須
str

クエリのパス

du

パスのキー内のバイト数

du(path, total=False, deep=False, invalidate_cache=True)

パラメーター

名前 説明
path
必須
str または AzureDLPath

クエリのパス
total
bool

リストの合計を返す

既定値: False
deep
bool

現在のディレクトリにあるファイルを再帰的に列挙するか、単に使用します

既定値: False
invalidate_cache
bool

キャッシュを無効にするかどうか

既定値: True

戻り値

型 説明
<xref:size> <xref:pairs>,
<xref:total> <xref:size.>

名前の辞書の一覧

exists

このようなファイル/ディレクトリは存在しますか?

exists(path, invalidate_cache=True)

パラメーター

名前 説明
path
必須
str または AzureDLPath

クエリのパス
invalidate_cache
bool

キャッシュを無効にするかどうか

既定値: True

戻り値

型 説明
True,
<xref:false> <xref:depending> <xref:on> <xref:whether> <xref:the> <xref:path> <xref:exists.>

get

パスにあるファイルからローカル ファイル名にデータをストリーム配信する

get(path, filename)

パラメーター

名前 説明
path
必須
str または AzureDLPath

読み取る ADL パス
filename
必須
str または <xref:azure.datalake.store.core.Path>

書き込み対象のローカル ファイル パス

戻り値

型 説明
None

get_acl_status

指定したファイルまたはディレクトリAccess Controlリスト (ACL) エントリを取得します。

get_acl_status(path)

パラメーター

名前 説明
path
必須
str

ACL を取得する場所。

glob

glob-matching を使用して (ディレクトリではなく) ファイルを検索します。

glob(path, details=False, invalidate_cache=True)

パラメーター

名前 説明
path
必須
str または AzureDLPath

クエリのパス
details
bool

ファイルの詳細を含めるかどうか

既定値: False
invalidate_cache
bool

キャッシュを無効にするかどうか

既定値: True

戻り値

型 説明
List <xref:of> <xref:azure.datalake.store.core.files>

head

ファイルの最初のバイトを返す

head(path, size=1024)

パラメーター

名前 説明
path
必須
str または AzureDLPath

クエリのパス
size
int

返すバイト数

既定値: 1024

戻り値

型 説明
<xref:First>(<xref:size>) bytes <xref:of> <xref:azure.datalake.store.core.file>

info

パスのファイル情報

info(path, invalidate_cache=True, expected_error_code=None)

パラメーター

名前 説明
path
必須
str または AzureDLPath

クエリのパス
invalidate_cache
bool

キャッシュを無効にするかどうか

既定値: True
expected_error_code
int

必要に応じて、特定の予期されるエラー コード (存在する場合) を示します。

既定値: None

戻り値

型 説明
File <xref:information>

invalidate_cache

オブジェクト ファイル キャッシュからエントリを削除する

invalidate_cache(path=None)

パラメーター

名前 説明
path
str または AzureDLPath

オブジェクト ファイル キャッシュからパスを削除する

既定値: None

戻り値

型 説明
None

listdir

path で指定されたディレクトリにあるすべての要素を一覧表示する

listdir(path='', detail=False, invalidate_cache=True)

パラメーター

名前 説明
path
必須
str または AzureDLPath

クエリのパス
detail
bool

詳細情報かどうか。

既定値: False
invalidate_cache
bool

キャッシュを無効にするかどうか

既定値: True

戻り値

型 説明
List <xref:of> <xref:elements> <xref:under> <xref:directory> <xref:specified> <xref:with> <xref:path>

ls

path で指定されたディレクトリにあるすべての要素を一覧表示する

ls(path='', detail=False, invalidate_cache=True)

パラメーター

名前 説明
path
必須
str または AzureDLPath

クエリのパス
detail
bool

詳細情報かどうか。

既定値: False
invalidate_cache
bool

キャッシュを無効にするかどうか

既定値: True

戻り値

型 説明
List <xref:of> <xref:elements> <xref:under> <xref:directory> <xref:specified> <xref:with> <xref:path>

merge

ファイルのリストを 1 つの新しいファイルに連結する

merge(outfile, filelist, delete_source=False)

パラメーター

名前 説明
outfile
必須
<xref:azure.datalake.store.core.path>

連結先のファイル。 既に存在する場合は、余分な部分が追加されます。
filelist
必須
list of <xref:azure.datalake.store.core.paths>

連結する既存の adl ファイルの順序
delete_source
bool(False)

True の場合は、連結するパスがディレクトリ内に単独で存在すると仮定し、完了したらそのディレクトリ全体を削除します。

既定値: False

戻り値

型 説明
None

mkdir

新しいディレクトリを作成する

mkdir(path)

パラメーター

名前 説明
path
必須
str または AzureDLPath

ディレクトリを作成するパス

戻り値

型 説明
None

modify_acl_entries

ファイルまたはフォルダーの既存のAccess Control リスト (ACL) エントリを変更します。 エントリが存在しない場合は追加され、それ以外の場合は渡された仕様に基づいて更新されます。 このプロセスによってエントリは削除されません (set_aclとは異なります)。

注: これは既定では再帰的ではなく、指定されたファイルまたはフォルダーにのみ適用されます。

modify_acl_entries(path, acl_spec, recursive=False, number_of_sub_process=None)

パラメーター

名前 説明
path
必須
str

ACL エントリを設定する場所。
acl_spec
必須
str

'[default:]user|group|other:[entity id or UPN]:r|-w|-x|-,[default:]user|group|other:[entity id or UPN]:r|-w|-x|-,...' の形式で ACL を変更する際に使用する ACL 仕様
recursive
bool

ACL を再帰的に変更するかどうかを指定します

既定値: False
number_of_sub_process
既定値: None

mv

ADL 上の場所間でファイルを移動する

mv(path1, path2)

パラメーター

名前 説明
path1
必須

ソース パス
path2
必須

宛先のパス

戻り値

型 説明
None

open

読み取りまたは書き込みのためにファイルを開く

open(path, mode='rb', blocksize=33554432, delimiter=None)

パラメーター

名前 説明
path
必須
<xref:azure.datalake.store.core.string>

ADL 上のファイルのパス
mode
<xref:azure.datalake.store.core.string>

'rb'、'ab'、または 'wb' のいずれか

既定値: rb
blocksize
int

読み取り時のデータ ノード ブロックのサイズ

既定値: 33554432
delimiter
<xref:byte>(<xref:s>) または None

区切り記号終了ブロックを書き込む場合

既定値: None

put

ローカル ファイル名からパスにあるファイルにデータをストリーム配信する

put(filename, path, delimiter=None)

パラメーター

名前 説明
filename
必須
str または <xref:azure.datalake.store.core.Path>

読み取り元のローカル ファイル パス
path
必須
str または AzureDLPath

書き込み対象の ADL パス
delimiter

区切り記号で終わるブロックのオプションのデシメーター

既定値: None

戻り値

型 説明
None

read_block

ADL ファイルからバイト ブロックを読み取る

ファイルの から offset 始まり、バイトを読み取 length ります。 が設定されている場合 delimiter 、読み取りが開始され、位置 offset と 'offset に続く区切り記号の境界で停止します。

  • length. If offset' は 0 で、ゼロから始まります。 返されるバイト文字列には、終了区切り記号文字列が含まれます。

offset + length が eof を超える場合は、eof に読み取ります。

read_block(fn, offset, length, delimiter=None)

パラメーター

名前 説明
fn
必須
<xref:azure.datalake.store.core.string>

ADL 上のファイル名へのパス
offset
必須
int

読み取りを開始するバイト オフセット
length
必須
int

読み取るバイト数
delimiter
bytes(<xref:optional>)

読み取りが区切り記号バイト文字列で開始および停止することを確認する

既定値: None

例


>>> adl.read_block('data/file.csv', 0, 13)  
b'Alice, 100\nBo'
>>> adl.read_block('data/file.csv', 0, 13, delimiter=b'\n')  
b'Alice, 100\nBob, 200\n'

を使用して length=None 、ファイルの末尾まで読み取ります。

adl.read_block('data/file.csv', 0, None, delimiter=b'n') # doctest: +SKIP b'Alice, 100nBob, 200nCharlie, 300'

こちらもご覧ください

<xref:distributed.utils.read_block>

remove

ファイルまたはディレクトリを削除する

remove(path, recursive=False)

パラメーター

名前 説明
path
必須
str または AzureDLPath

削除する場所。
recursive
bool(True)

以下のすべてのエントリも削除するかどうか、つまり walk()によって返されます。

既定値: False

戻り値

型 説明
None

remove_acl

名前のないエントリを含め、既定以外の ACL 全体をファイルまたはフォルダーから削除します。 この方法では既定のエントリを削除できません。そのためには、remove_default_aclを使用してください。

注: これは再帰的ではなく、指定されたファイルまたはフォルダーにのみ適用されます。

remove_acl(path)

パラメーター

名前 説明
path
必須
str

ACL を削除する場所。

remove_acl_entries

ファイルまたはフォルダーの既存の名前付きAccess Controlリスト (ACL) エントリを削除します。 エントリがまだ存在しない場合は無視されます。 この方法では既定のエントリを削除できません。そのためには、remove_default_aclを使用してください。 この方法で名前のないエントリを削除することはできません。そのためには、remove_aclを使用してください。

注: これは既定では再帰的ではなく、指定されたファイルまたはフォルダーにのみ適用されます。

remove_acl_entries(path, acl_spec, recursive=False, number_of_sub_process=None)

パラメーター

名前 説明
path
必須
str

ACL エントリを削除する場所。
acl_spec
必須
str

形式でパスの ACL から削除する ACL 仕様 (アクセス許可の部分が見つからないことに注意してください) '[default:]user|group|other:[entity id or UPN],[default:]user|group|other:[entity id or UPN],...'
recursive
bool

ACL を再帰的に削除するかどうかを指定します

既定値: False
number_of_sub_process
既定値: None

remove_default_acl

フォルダーから既定の ACL 全体を削除します。 ファイルに既定のエントリは存在しません。ファイルが指定されている場合、この操作は何も行いません。

注: これは再帰的ではなく、指定されたフォルダーにのみ適用されます。

remove_default_acl(path)

パラメーター

名前 説明
path
必須
str

ACL を設定する場所。

rename

ADL 上の場所間でファイルを移動する

rename(path1, path2)

パラメーター

名前 説明
path1
必須

ソース パス
path2
必須

宛先のパス

戻り値

型 説明
None

rm

ファイルまたはディレクトリを削除する

rm(path, recursive=False)

パラメーター

名前 説明
path
必須
str または AzureDLPath

削除する場所。
recursive
bool(True)

以下のすべてのエントリも削除するかどうか、つまり walk()によって返されます。

既定値: False

戻り値

型 説明
None

rmdir

空のディレクトリを削除する

rmdir(path)

パラメーター

名前 説明
path
必須
str または AzureDLPath

削除するディレクトリ パス

戻り値

型 説明
None

set_acl

ファイルまたはフォルダーのAccess Controlリスト (ACL) を設定します。

注: これは既定では再帰的ではなく、指定されたファイルまたはフォルダーにのみ適用されます。

set_acl(path, acl_spec, recursive=False, number_of_sub_process=None)

パラメーター

名前 説明
path
必須
str

ACL を設定する場所。
acl_spec
必須
str

'[default:]user|group|other:[entity id or UPN]:r|-w|-x|-,[default:]user|group|other:[entity id or UPN]:r|-w|-x|-,...' の形式でパスに設定する ACL 仕様
recursive
bool

ACL を再帰的に設定するかどうかを指定します

既定値: False
number_of_sub_process
既定値: None

set_expiry

指定したファイルの有効期限を設定または削除します。 この操作は、ファイルに対してのみ実行できます。

注: フォルダーはサポートされていません。

set_expiry(path, expiry_option, expire_time=None)

パラメーター

名前 説明
path
必須
str

有効期限を設定または削除するファイル パス
expire_time
int

設定されたexpiry_optionに対応するファイルの有効期限

既定値: None
expiry_option
必須
str

ファイルに使用する有効期限の種類を示します。

  1. NeverExpire: ExpireTime は無視されます。

  2. RelativeToNow: ExpireTime は、ファイルの有効期限が更新されたときの有効期限を表すミリ秒単位の整数です。

  3. RelativeToCreationDate: ExpireTime は、ファイルの作成に関連する有効期限を表すミリ秒単位の整数です。

  4. Absolute: ExpireTime は、1970 年 1 月 1 日 00:00:00 を基準とした Unix タイムスタンプとしてミリ秒単位の整数です。

stat

パスのファイル情報

stat(path, invalidate_cache=True, expected_error_code=None)

パラメーター

名前 説明
path
必須
str または AzureDLPath

クエリのパス
invalidate_cache
bool

キャッシュを無効にするかどうか

既定値: True
expected_error_code
int

必要に応じて、特定の予期されるエラー コード (存在する場合) を示します。

既定値: None

戻り値

型 説明
File <xref:information>

tail

ファイルの最後のバイト数を返す

tail(path, size=1024)

パラメーター

名前 説明
path
必須
str または AzureDLPath

クエリのパス
size
int

返すバイト数

既定値: 1024

戻り値

型 説明
<xref:Last>(<xref:size>) bytes <xref:of> <xref:azure.datalake.store.core.file>

touch

空のファイルを作成する

touch(path)

パラメーター

名前 説明
path
必須
str または AzureDLPath

作成するファイルのパス

戻り値

型 説明
None

ファイルまたはディレクトリを削除する

unlink(path, recursive=False)

パラメーター

名前 説明
path
必須
str または AzureDLPath

削除する場所。
recursive
bool(True)

以下のすべてのエントリも削除するかどうか、つまり walk()によって返されます。

既定値: False

戻り値

型 説明
None

walk

指定されたパスの下にあるすべてのファイルを取得する

walk(path='', details=False, invalidate_cache=True)

パラメーター

名前 説明
path
必須
str または AzureDLPath

クエリのパス
details
bool

ファイルの詳細を含めるかどうか

既定値: False
invalidate_cache
bool

キャッシュを無効にするかどうか

既定値: True

戻り値

型 説明
List <xref:of> <xref:azure.datalake.store.core.files>