แชร์ผ่าน


รับข้อมูลจากที่เก็บข้อมูล Azure

ในบทความนี้ คุณจะได้เรียนรู้วิธีการรับข้อมูลจากที่เก็บข้อมูล Azure (คอนเทนเนอร์ ADLS Gen2, blob container หรือ blobs แต่ละรายการ) ลงในตารางใหม่หรือตารางที่มีอยู่

ข้อกำหนดเบื้องต้น

แหล่งที่มา

  1. ที่ริบบอนด้านล่างของฐานข้อมูล KQL ให้เลือก รับข้อมูล

    ในหน้าต่างรับข้อมูล แท็บแหล่งข้อมูลจะถูกเลือก

  2. เลือกแหล่งข้อมูลจากรายการที่พร้อมใช้งาน ในตัวอย่างนี้ คุณกําลังรวบรวมข้อมูลจาก ที่เก็บข้อมูล Azure

    สกรีนช็อตของหน้าต่างรับข้อมูลพร้อมแท็บแหล่งข้อมูลที่เลือก

กำหนดค่า

  1. เลือกตารางเป้าหมาย ถ้าคุณต้องการเก็บข้อมูลลงในตารางใหม่ ให้เลือก + ตาราง ใหม่และป้อนชื่อตาราง

    หมายเหตุ

    ชื่อตารางสามารถมีได้ถึง 1024 อักขระ รวมถึงช่องว่าง พยัญชนะผสมตัวเลข เครื่องหมายยัติภังค์ และขีดล่าง ไม่รองรับอักขระพิเศษ

  2. เมื่อต้องการเพิ่มแหล่งข้อมูล ให้วางที่เก็บข้อมูลสายอักขระการเชื่อมต่อในเขตข้อมูล URI จากนั้นจึงเลือก+ ตารางต่อไปนี้แสดงรายการวิธีการรับรองตัวตนที่ได้รับการสนับสนุนและสิทธิ์ที่จําเป็นสําหรับการนําเข้าข้อมูลจากที่เก็บข้อมูล Azure

    Authentication method Blob ส่วนบุคคล คอนเทนเนอร์ Blob Azure Data Lake Storage รุ่น2
    โทเค็นการเข้าถึงที่ใช้ร่วมกัน (SAS) อ่านและเขียน อ่านและแสดงรายการ อ่านและแสดงรายการ
    คีย์การเข้าถึงบัญชีที่เก็บข้อมูล

    หมายเหตุ

    • คุณสามารถเพิ่ม blobs ได้สูงสุด 10 ก้อนหรือนําเข้าข้อมูลได้มากถึง 5000 blobs จากคอนเทนเนอร์เดียว คุณไม่สามารถส่งของทั้งสองอย่างในเวลาเดียวกันได้
    • แต่ละ blob สามารถขยายได้สูงสุด 1 GB
    1. ถ้าคุณวางสายอักขระการเชื่อมต่อสําหรับคอนเทนเนอร์ blob หรือ Azure Data Lake Storage รุ่น2 คุณสามารถเพิ่มตัวกรองตัวเลือกต่อไปนี้:

      สกรีนช็อตของแท็บกําหนดค่าด้วยตารางใหม่ที่ป้อนและเลือกไฟล์ข้อมูลตัวอย่างหนึ่งไฟล์

      การตั้งค่า คำอธิบายฟิลด์
      ตัวกรองไฟล์ (ไม่บังคับ)
      Folder path กรองข้อมูลเพื่อนําเข้าไฟล์ด้วยเส้นทางโฟลเดอร์ที่ระบุ
      ส่วนขยายของไฟล์ กรองข้อมูลไปยังการนําเข้าไฟล์ด้วยนามสกุลไฟล์เฉพาะเท่านั้น
  3. เลือก ถัดไป

ตรวจ สอบ

แท็บ ตรวจสอบ จะเปิดขึ้นพร้อมกับตัวอย่างของข้อมูล

หากต้องการดําเนินการการนําเข้าให้เสร็จสมบูรณ์ ให้เลือก เสร็จสิ้น

สกรีนช็อตของแท็บตรวจสอบ

เลือก:

แก้ไขคอลัมน์

หมายเหตุ

  • สําหรับรูปแบบตาราง (CSV, TSV, PSV) คุณไม่สามารถแมปคอลัมน์สองครั้ง เมื่อต้องการแมปไปยังคอลัมน์ที่มีอยู่ ก่อนอื่นให้ลบคอลัมน์ใหม่
  • คุณไม่สามารถเปลี่ยนชนิดคอลัมน์ที่มีอยู่ได้ ถ้าคุณพยายามแมปไปยังคอลัมน์ที่มีรูปแบบที่แตกต่างกัน คุณอาจมีคอลัมน์ที่ว่างเปล่า

การเปลี่ยนแปลงที่คุณสามารถทําได้ในตารางขึ้นอยู่กับพารามิเตอร์ต่อไปนี้:

  • ชนิดตาราง ใหม่หรือมีอยู่
  • ชนิดการแมป ใหม่หรือที่มีอยู่
ชนิดของตาราง ชนิดการแมป การปรับปรุงที่พร้อมใช้งาน
ตารางใหม่ การแมปใหม่ เปลี่ยนชื่อคอลัมน์ เปลี่ยนชนิดข้อมูล เปลี่ยนแหล่งข้อมูล การแมปการแปลง เพิ่มคอลัมน์ ลบคอลัมน์
ตารางที่มีอยู่ การแมปใหม่ เพิ่มคอลัมน์ (ซึ่งคุณสามารถเปลี่ยนชนิดข้อมูล เปลี่ยนชื่อ และอัปเดต)
ตารางที่มีอยู่ การแมปที่มีอยู่ ไม่มี

สกรีนช็อตของคอลัมน์เปิดสําหรับการแก้ไข

การแม็ปการแปลง

การแมปรูปแบบข้อมูลบางอย่าง (Parquet, JSON และ Avro) สนับสนุนการแปลงข้อมูล ingest-time แบบง่าย เมื่อต้องการใช้การแปลงการแมป ให้สร้างหรืออัปเดตคอลัมน์ในหน้าต่าง แก้ไขคอลัมน์

การแปลงข้อมูลการแมปสามารถทําได้ในคอลัมน์ของสตริงชนิดหรือวันที่เวลา ด้วยแหล่งข้อมูลที่มีชนิดข้อมูลเป็น int หรือ long การแปลงการแมปที่สนับสนุนคือ:

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

ตัวเลือกขั้นสูงที่ยึดตามชนิดข้อมูล

ตาราง (CSV, TSV, PSV):

  • ถ้าคุณกําลังจัดเก็บรูปแบบตารางในตารางที่มีอยู่ คุณสามารถเลือกขั้นสูง>เก็บ schema ของตารางได้ ข้อมูลแบบตารางไม่จําเป็นต้องรวมชื่อคอลัมน์ที่ใช้ในการแมปข้อมูลต้นทางไปยังคอลัมน์ที่มีอยู่ เมื่อเลือกตัวเลือกนี้ การแมปจะดําเนินการตามลําดับ และ Schema ของตารางยังคงเหมือนเดิม ถ้าไม่ได้เลือกตัวเลือกนี้ คอลัมน์ใหม่จะถูกสร้างขึ้นสําหรับข้อมูลขาเข้าโดยไม่คํานึงถึงโครงสร้างข้อมูล

  • หากต้องการใช้แถวแรกเป็นชื่อคอลัมน์ ให้เลือก แถวแรกขั้นสูง>คือส่วนหัวของคอลัมน์

    สกรีนช็อตของตัวเลือก CSV ขั้นสูง

JSON:

  • หากต้องการกําหนดการแบ่งคอลัมน์ของข้อมูล JSON ให้เลือกระดับที่ซ้อนกันขั้นสูง>จาก 1 ถึง 100

  • ถ้าคุณเลือกข้ามบรรทัด JSON ขั้นสูง>ที่มีข้อผิดพลาด ข้อมูลจะถูกนําเข้าในรูปแบบ JSON ถ้าคุณยกเลิกการเลือกกล่องกาเครื่องหมายนี้ ระบบจะนําเข้าข้อมูลในรูปแบบ multijson

    สกรีนช็อตของตัวเลือก JSON ขั้นสูง

สรุป

ในหน้าต่างการเตรียมข้อมูล ทั้งสามขั้นตอนจะถูกทําเครื่องหมายด้วยเครื่องหมายถูกสีเขียวเมื่อการนําเข้าข้อมูลเสร็จสิ้นเรียบร้อย คุณสามารถเลือกการ์ดที่จะคิวรี วางข้อมูลนําเข้า หรือดูแดชบอร์ดของสรุปการนําเข้าของคุณได้

สกรีนช็อตของหน้าสรุปที่มีการนําเข้าที่เสร็จสมบูรณ์แล้ว