แชร์ผ่าน


รับข้อมูลจากที่เก็บข้อมูล Azure

ในบทความนี้ คุณจะได้เรียนรู้วิธีการรับข้อมูลจากที่เก็บข้อมูล Azure (คอนเทนเนอร์ ADLS Gen2, blob container หรือ blobs แต่ละรายการ) ลงในตารางใหม่หรือตารางที่มีอยู่

ข้อกําหนดเบื้องต้น

ที่มา

  1. ที่ริบบิ้นด้านล่างของฐานข้อมูล KQL ให้เลือก รับข้อมูล

    ในหน้าต่าง รับข้อมูล แท็บ แหล่งข้อมูล จะถูกเลือกไว้

  2. เลือกแหล่งข้อมูลจากรายการที่พร้อมใช้งาน ในตัวอย่างนี้ คุณกําลังรวบรวมข้อมูลจาก ที่เก็บข้อมูล Azure

    สกรีนช็อตของหน้าต่างรับข้อมูลที่มีแท็บแหล่งข้อมูลที่เลือกไว้

กําหนดค่า

  1. เลือกตารางเป้าหมาย ถ้าคุณต้องการเก็บข้อมูลลงในตารางใหม่ ให้เลือกตาราง + ตารางใหม่ และป้อนชื่อตาราง

    โน้ต

    ชื่อตารางสามารถมีได้ถึง 1024 อักขระ รวมถึงช่องว่าง พยัญชนะผสมตัวเลข เครื่องหมายยัติภังค์ และขีดล่าง ไม่รองรับอักขระพิเศษ

  2. เมื่อต้องการเพิ่มแหล่งข้อมูล ของคุณ ให้วางสตริงการเชื่อมต่อที่เก็บข้อมูลของคุณในเขตข้อมูล URI จากนั้นเลือก + ตารางต่อไปนี้แสดงรายการวิธีการรับรองตัวตนที่ได้รับการสนับสนุนและสิทธิ์ที่จําเป็นสําหรับการนําเข้าข้อมูลจากที่เก็บข้อมูล Azure

    วิธีการรับรองความถูกต้อง Blob ส่วนบุคคล คอนเทนเนอร์ Blob Azure Data Lake Storage รุ่น 2
    โทเค็น Shared Access (SAS) อ่านและเขียน อ่านและแสดงรายการ อ่านและแสดงรายการ
    คีย์การเข้าถึงบัญชีที่เก็บข้อมูล

    โน้ต

    • คุณสามารถเพิ่ม blobs ได้สูงสุด 10 ก้อนหรือนําเข้าข้อมูลได้มากถึง 5000 blobs จากคอนเทนเนอร์เดียว คุณไม่สามารถส่งของทั้งสองอย่างในเวลาเดียวกันได้
    • แต่ละ blob สามารถขยายได้สูงสุด 1 GB
    1. ถ้าคุณวางสตริงการเชื่อมต่อสําหรับคอนเทนเนอร์ blob หรือ Azure Data Lake Storage Gen2 คุณสามารถเพิ่มตัวกรองตัวเลือกต่อไปนี้:

      สกรีนช็อตของแท็บกําหนดค่าที่มีการป้อนตารางใหม่และไฟล์ข้อมูลตัวอย่างหนึ่งไฟล์ที่เลือก

      การตั้งค่า คําอธิบายเขตข้อมูลของ
      ตัวกรองไฟล์
      เส้นทางโฟลเดอร์ กรองข้อมูลเพื่อนําเข้าไฟล์ด้วยเส้นทางโฟลเดอร์ที่ระบุ
      นามสกุลไฟล์ กรองข้อมูลไปยังการนําเข้าไฟล์ด้วยนามสกุลไฟล์เฉพาะเท่านั้น
  3. เลือก ถัดไป

ตรวจ

แท็บ ตรวจสอบ จะเปิดขึ้นพร้อมกับแสดงตัวอย่างของข้อมูล

เลือก เสร็จสิ้นเพื่อเสร็จสิ้นกระบวนการการนําเข้าข้อมูล

สกรีนช็อตของแท็บตรวจสอบ

เลือก:

แก้ไขคอลัมน์

โน้ต

  • สําหรับรูปแบบตาราง (CSV, TSV, PSV) คุณไม่สามารถแมปคอลัมน์สองครั้ง เมื่อต้องการแมปไปยังคอลัมน์ที่มีอยู่ ก่อนอื่นให้ลบคอลัมน์ใหม่
  • คุณไม่สามารถเปลี่ยนชนิดคอลัมน์ที่มีอยู่ได้ ถ้าคุณพยายามแมปไปยังคอลัมน์ที่มีรูปแบบที่แตกต่างกัน คุณอาจมีคอลัมน์ที่ว่างเปล่า

การเปลี่ยนแปลงที่คุณสามารถทําได้ในตารางขึ้นอยู่กับพารามิเตอร์ต่อไปนี้:

  • ชนิด ตาราง เป็นชนิดใหม่หรือที่มีอยู่
  • ชนิด การแมป เป็นชนิดใหม่หรือที่มีอยู่
ชนิดตาราง ชนิดการแมป การปรับปรุงที่พร้อมใช้งาน
ตารางใหม่ การแมปใหม่ เปลี่ยนชื่อคอลัมน์ เปลี่ยนชนิดข้อมูล เปลี่ยนแหล่งข้อมูล แมปเพิ่มคอลัมน์ ลบคอลัมน์
ตารางที่มีอยู่ การแมปใหม่ เพิ่มคอลัมน์ (ซึ่งคุณสามารถเปลี่ยนชนิดข้อมูล เปลี่ยนชื่อ และอัปเดต)
ตารางที่มีอยู่ การแมปที่มีอยู่ ไม่มีใคร

สกรีนช็อตของคอลัมน์เปิดสําหรับการแก้ไข

การแม็ปการแปลง

การแมปรูปแบบข้อมูลบางอย่าง (Parquet, JSON และ Avro) สนับสนุนการแปลงข้อมูล ingest-time แบบง่าย เมื่อต้องการใช้การแปลงการแมป ให้สร้างหรืออัปเดตคอลัมน์ในหน้าต่าง แก้ไขคอลัมน์

การแปลงข้อมูลการแมปสามารถทําได้ในคอลัมน์ของสตริงชนิดหรือวันที่เวลา ด้วยแหล่งข้อมูลที่มีชนิดข้อมูลเป็น int หรือ long การแปลงการแมปที่สนับสนุนคือ:

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

ตัวเลือกขั้นสูงที่ยึดตามชนิดข้อมูล

Tabular (CSV, TSV, PSV):

  • ถ้าคุณกําลังทําการนําเข้ารูปแบบตารางในตาราง ที่มีอยู่ คุณสามารถเลือก ขั้นสูง>รักษา schema ของตาราง ข้อมูลแบบตารางไม่จําเป็นต้องรวมชื่อคอลัมน์ที่ใช้ในการแมปข้อมูลต้นทางไปยังคอลัมน์ที่มีอยู่ เมื่อเลือกตัวเลือกนี้ การแมปจะดําเนินการตามลําดับ และ Schema ของตารางยังคงเหมือนเดิม ถ้าไม่ได้เลือกตัวเลือกนี้ คอลัมน์ใหม่จะถูกสร้างขึ้นสําหรับข้อมูลขาเข้าโดยไม่คํานึงถึงโครงสร้างข้อมูล

  • เมื่อต้องการใช้แถวแรกเป็นชื่อคอลัมน์ ให้เลือก ขั้นสูง>แถวแรกคือส่วนหัวของคอลัมน์

    สกรีนช็อตของตัวเลือก CSV ขั้นสูง

JSON:

  • เมื่อต้องการกําหนดการแบ่งคอลัมน์ของข้อมูล JSON ให้เลือก ระดับที่ซ้อนกันขั้นสูง>จาก 1 ถึง 100

  • ถ้าคุณเลือก ขั้นสูง>ข้ามบรรทัด JSON ที่มีข้อผิดพลาดข้อมูลจะถูกนําเข้าในรูปแบบ JSON ถ้าคุณยกเลิกการเลือกกล่องกาเครื่องหมายนี้ ระบบจะนําเข้าข้อมูลในรูปแบบ multijson

    สกรีนช็อตของตัวเลือก JSON ขั้นสูง

สรุป

ในหน้าต่าง การเตรียมข้อมูล ทั้งสามขั้นตอนจะถูกทําเครื่องหมายด้วยเครื่องหมายถูกสีเขียวเมื่อการนําเข้าข้อมูลเสร็จสิ้น คุณสามารถเลือกการ์ดที่จะคิวรี วางข้อมูลนําเข้า หรือดูแดชบอร์ดของสรุปการนําเข้าของคุณได้

สกรีนช็อตของหน้าสรุปที่มีการนําเข้าที่สําเร็จเสร็จสมบูรณ์

  • เมื่อต้องการจัดการฐานข้อมูลของคุณ ให้ดู จัดการ ข้อมูล
  • เมื่อต้องการสร้าง จัดเก็บ และส่งออกคิวรี ให้ดู ข้อมูลคิวรี ในชุดคิวรี KQL