عمود بيانات تعريف الملف

يمكنك الحصول على معلومات بيانات التعريف لملفات الإدخال باستخدام _metadata العمود. _metadata العمود عبارة عن عمود مخفي، وهو متاح لجميع تنسيقات ملفات الإدخال. لتضمين _metadata العمود في DataFrame الذي تم إرجاعه، يجب الإشارة إليه صراحة في الاستعلام الخاص بك.

إذا كان مصدر البيانات يحتوي على عمود يسمى _metadata، فإن الاستعلامات ترجع العمود من مصدر البيانات، وليس بيانات تعريف الملف.

تحذير

قد تتم إضافة حقول جديدة إلى _metadata العمود في الإصدارات المستقبلية. لمنع أخطاء تطور المخطط إذا _metadata تم تحديث العمود، يوصي Databricks بتحديد حقول معينة من العمود في استعلاماتك. راجع الأمثلة.

بيانات التعريف المدعومة

_metadata العمود هو يحتوي STRUCT على الحقول التالية:

اسم	نوع	وصف	المثال	الحد الأدنى لإصدار وقت تشغيل Databricks
file_path	STRING	مسار ملف ملف الإدخال.	file:/tmp/f0.csv	10.5
file_name	STRING	اسم ملف الإدخال مع ملحقه.	f0.csv	10.5
file_size	LONG	طول ملف الإدخال بالبايت.	628	10.5
file_modification_time	TIMESTAMP	الطابع الزمني للتعديل الأخير لملف الإدخال.	2021-12-20 20:05:21	10.5
file_block_start	LONG	بدء إزاحة الكتلة التي تتم قراءتها بالبايت.	0	13.0
file_block_length	LONG	طول الكتلة التي تتم قراءتها بالبايت.	628	13.0

امثله

استخدام في قارئ مصدر بيانات أساسي يستند إلى الملفات

بيثون

df = spark.read \
  .format("csv") \
  .schema(schema) \
  .load("dbfs:/tmp/*") \
  .select("*", "_metadata")

display(df)

'''
Result:
+---------+-----+----------------------------------------------------+
|   name  | age |                 _metadata                          |
+=========+=====+====================================================+
|         |     | {                                                  |
|         |     |    "file_path": "dbfs:/tmp/f0.csv",                |
| Debbie  | 18  |    "file_name": "f0.csv",                          |
|         |     |    "file_size": 12,                                |
|         |     |    "file_block_start": 0,                          |
|         |     |    "file_block_length": 12,                        |
|         |     |    "file_modification_time": "2021-07-02 01:05:21" |
|         |     | }                                                  |
+---------+-----+----------------------------------------------------+
|         |     | {                                                  |
|         |     |    "file_path": "dbfs:/tmp/f1.csv",                |
| Frank   | 24  |    "file_name": "f1.csv",                          |
|         |     |    "file_size": 12,                                |
|         |     |    "file_block_start": 0,                          |
|         |     |    "file_block_length": 12,                        |
|         |     |    "file_modification_time": "2021-12-20 02:06:21" |
|         |     | }                                                  |
+---------+-----+----------------------------------------------------+
'''

سكالا

val df = spark.read
  .format("csv")
  .schema(schema)
  .load("dbfs:/tmp/*")
  .select("*", "_metadata")

display(df_population)

/* Result:
+---------+-----+----------------------------------------------------+
|   name  | age |                 _metadata                          |
+=========+=====+====================================================+
|         |     | {                                                  |
|         |     |    "file_path": "dbfs:/tmp/f0.csv",                |
| Debbie  | 18  |    "file_name": "f0.csv",                          |
|         |     |    "file_size": 12,                                |
|         |     |    "file_block_start": 0,                          |
|         |     |    "file_block_length": 12,                        |
|         |     |    "file_modification_time": "2021-07-02 01:05:21" |
|         |     | }                                                  |
+---------+-----+----------------------------------------------------+
|         |     | {                                                  |
|         |     |    "file_path": "dbfs:/tmp/f1.csv",                |
| Frank   | 24  |    "file_name": "f1.csv",                          |
|         |     |    "file_size": 10,                                |
|         |     |    "file_block_start": 0,                          |
|         |     |    "file_block_length": 12,                        |
|         |     |    "file_modification_time": "2021-12-20 02:06:21" |
|         |     | }                                                  |
+---------+-----+----------------------------------------------------+
*/

تحديد حقول معينة

بيثون

spark.read \
  .format("csv") \
  .schema(schema) \
  .load("dbfs:/tmp/*") \
  .select("_metadata.file_name", "_metadata.file_size")

سكالا

spark.read
  .format("csv")
  .schema(schema)
  .load("dbfs:/tmp/*")
  .select("_metadata.file_name", "_metadata.file_size")

استخدام في عوامل التصفية

بيثون

spark.read \
  .format("csv") \
  .schema(schema) \
  .load("dbfs:/tmp/*") \
  .select("*") \
  .filter(col("_metadata.file_name") == lit("test.csv"))

سكالا

spark.read
  .format("csv")
  .schema(schema)
  .load("dbfs:/tmp/*")
  .select("*")
  .filter(col("_metadata.file_name") === lit("test.csv"))

استخدام في COPY INTO

COPY INTO my_delta_table
FROM (
  SELECT *, _metadata FROM 'abfss://my-container-name@storage-account-name.dfs.core.windows.net/csvData'
)
FILEFORMAT = CSV

الاستخدام في "المحمل التلقائي"

ملاحظه

عند كتابة _metadata العمود، نقوم بإعادة تسميته إلى source_metadata. إن كتابته كما _metadata سيجعل من المستحيل الوصول إلى عمود بيانات التعريف في الجدول الهدف، لأنه إذا كان مصدر البيانات يحتوي على عمود يسمى _metadata، فسترجع الاستعلامات العمود من مصدر البيانات، وليس بيانات تعريف الملف.

بيثون

spark.readStream \
  .format("cloudFiles") \
  .option("cloudFiles.format", "csv") \
  .schema(schema) \
  .load("abfss://my-container-name@storage-account-name.dfs.core.windows.net/csvData") \
  .selectExpr("*", "_metadata as source_metadata") \
  .writeStream \
  .format("delta") \
  .option("checkpointLocation", checkpointLocation) \
  .start(targetTable)

سكالا

spark.readStream
  .format("cloudFiles")
  .option("cloudFiles.format", "csv")
  .schema(schema)
  .load("abfss://my-container-name@storage-account-name.dfs.core.windows.net/csvData")
  .selectExpr("*", "_metadata as source_metadata")
  .writeStream
  .format("delta")
  .option("checkpointLocation", checkpointLocation)
  .start(targetTable)

مقالات ذات صلة

• نسخ إلى
• المحمل التلقائي
• دفق منظم