แชร์ผ่าน


สําเนาด่วนใน Dataflow Gen2

การคัดลอกที่รวดเร็วช่วยให้คุณย้ายข้อมูลจํานวนมากได้เร็วขึ้นใน Dataflow Gen2 คิดว่ามันเหมือนกับการเปลี่ยนไปใช้เอ็นจิ้นที่ทรงพลังยิ่งขึ้นเมื่อคุณต้องการจัดการกับข้อมูลเทราไบต์

เมื่อคุณทํางานกับกระแสข้อมูล คุณต้องนําเข้าข้อมูลก่อน แล้วจึงแปลงข้อมูล ด้วยการปรับขนาดการไหลของข้อมูลโดยใช้การประมวลผล SQL DW คุณสามารถแปลงข้อมูลได้ตามขนาด การคัดลอกที่รวดเร็วจะดูแลส่วนการนําเข้าโดยมอบประสบการณ์การไหลของข้อมูลที่ง่ายดายด้วยแบ็กเอนด์อันทรงพลังของกิจกรรมการคัดลอกไปป์ไลน์

วิธีการทํางานมีดังนี้: หลังจากที่คุณเปิดใช้งานการคัดลอกอย่างรวดเร็ว กระแสข้อมูลจะเปลี่ยนไปใช้แบ็กเอนด์ที่เร็วขึ้นโดยอัตโนมัติเมื่อขนาดข้อมูลของคุณผ่านเกณฑ์ที่กําหนด คุณไม่จําเป็นต้องเปลี่ยนแปลงอะไรเลยในขณะที่สร้างกระแสข้อมูลของคุณ หลังจากรีเฟรชกระแสข้อมูลของคุณแล้ว คุณสามารถตรวจสอบประวัติการรีเฟรชเพื่อดูว่ามีการใช้สําเนาอย่างรวดเร็วหรือไม่ โดยดูที่ประเภท กลไกที่ระบุไว้ ที่นั่น

ถ้าคุณเปิดใช้งานตัวเลือก ต้องการการคัดลอกอย่างรวดเร็ว การรีเฟรชกระแสข้อมูลจะหยุดลงหากไม่สามารถใช้การคัดลอกอย่างรวดเร็วได้ด้วยเหตุผลบางประการ วิธีนี้ช่วยให้คุณหลีกเลี่ยงการรอหมดเวลาและมีประโยชน์เมื่อดีบัก คุณสามารถใช้ตัวบ่งชี้การคัดลอกอย่างรวดเร็วในบานหน้าต่างขั้นตอนการสืบค้นเพื่อตรวจสอบว่าแบบสอบถามของคุณสามารถเรียกใช้ด้วยการคัดลอกอย่างรวดเร็วได้หรือไม่

สกรีนช็อตที่แสดงตําแหน่งที่ตัวบ่งชี้การคัดลอกด่วนปรากฏในบานหน้าต่างขั้นตอนคิวรี

Prerequisites

ก่อนที่คุณจะสามารถใช้การคัดลอกอย่างรวดเร็วได้ คุณจะต้องมีสิ่งต่อไปนี้

  • ความจุผ้า
  • สําหรับข้อมูลไฟล์: ไฟล์ CSV หรือ Parquet ที่มีขนาดอย่างน้อย 100 MB และจัดเก็บไว้ใน Azure Data Lake Storage (ADLS) Gen2 หรือที่เก็บข้อมูล Blob
  • สําหรับฐานข้อมูล (รวมถึง Azure SQL DB และ PostgreSQL): ข้อมูล 5 ล้านแถวขึ้นไปในแหล่งข้อมูล

Note

คุณสามารถข้ามเกณฑ์เพื่อบังคับให้ทําสําเนาอย่างรวดเร็วได้โดยเลือกการตั้งค่า ต้องมีการคัดลอกอย่างรวดเร็ว

รองรับตัวเชื่อมต่อ

การคัดลอกอย่างรวดเร็วทํางานร่วมกับตัวเชื่อมต่อ Dataflow Gen2 เหล่านี้:

  • ADLS รุ่น2
  • ที่เก็บข้อมูล Blob
  • Azure SQL DB
  • Lakehouse
  • PostgreSQL
  • SQL Server ภายในองค์กร
  • Warehouse
  • Oracle
  • Snowflake
  • ฐานข้อมูล SQL ใน Fabric

ข้อจํากัดของการเปลี่ยนแปลง

เมื่อเชื่อมต่อกับแหล่งที่มาของไฟล์ กิจกรรมการคัดลอกจะรองรับเฉพาะการแปลงเหล่านี้เท่านั้น:

  • รวมไฟล์
  • เลือกคอลัมน์
  • เปลี่ยนชนิดข้อมูล
  • เปลี่ยนชื่อคอลัมน์
  • ลบคอลัมน์

หากคุณต้องการการแปลงอื่นๆ คุณสามารถแบ่งงานของคุณออกเป็นแบบสอบถามแยกต่างหากได้ สร้างคิวรีหนึ่งคิวรีเพื่อรับข้อมูลและคิวรีอื่นที่อ้างอิงคิวรีแรก ด้วยวิธีนี้ คุณสามารถใช้การคํานวณ DW สําหรับการแปลง

สําหรับแหล่งข้อมูล SQL การแปลงใดๆ ที่เป็นส่วนหนึ่งของคิวรีดั้งเดิมทํางานได้ดี

ปลายทางเอาต์พุต

ตอนนี้ การคัดลอกอย่างรวดเร็วรองรับการโหลดโดยตรงไปยังปลายทาง Lakehouse เท่านั้น หากคุณต้องการใช้ปลายทางเอาต์พุตอื่น คุณสามารถจัดเตรียมคิวรีก่อนและอ้างอิงในคิวรีในภายหลังด้วยปลายทางที่คุณต้องการ

วิธีการใช้สําเนาอย่างรวดเร็ว

วิธีตั้งค่าและใช้การคัดลอกอย่างรวดเร็วมีดังนี้

  1. ใน Fabric ไปที่พื้นที่ทํางานแบบพรีเมียมและสร้าง Dataflow Gen2

  2. บนแท็บ หน้าแรก ของกระแสข้อมูลใหม่ของคุณ ให้เลือก ตัวเลือก:

    สกรีนช็อตแสดงตําแหน่งที่จะเลือกตัวเลือกสําหรับกระแสข้อมูล Gen2 บนแท็บหน้าแรก

  3. ในกล่องโต้ตอบ ตัวเลือก ให้เลือกแท็บ มาตราส่วน จากนั้นเปิดใช้ อนุญาตให้ใช้ตัวเชื่อมต่อการคัดลอกอย่างรวดเร็ว ปิดกล่องโต้ตอบ ตัวเลือก เมื่อคุณทําเสร็จแล้ว

    สกรีนช็อตแสดงตําแหน่งที่จะเปิดใช้งานสําเนาอย่างรวดเร็วบนแท็บสเกลของกล่องโต้ตอบตัวเลือก

  4. เลือก รับข้อมูล เลือกแหล่งข้อมูล ADLS Gen2 และกรอกรายละเอียดสําหรับคอนเทนเนอร์ของคุณ

  5. เลือกปุ่ม รวม

    สกรีนช็อตแสดงหน้าต่างแสดงตัวอย่างข้อมูลโฟลเดอร์พร้อมตัวเลือกรวมที่ถูกเน้น

  6. เพื่อให้แน่ใจว่าการคัดลอกอย่างรวดเร็วใช้งานได้ ให้ใช้เฉพาะการแปลงที่ระบุไว้ในส่วน การสนับสนุนตัวเชื่อมต่อ เท่านั้น หากคุณต้องการการแปลงอื่นๆ ให้จัดเตรียมข้อมูลก่อนและอ้างอิงแบบสอบถามที่จัดเตรียมไว้ในแบบสอบถามในภายหลัง ใช้การแปลงอื่นๆ ของคุณกับแบบสอบถามที่อ้างอิง

  7. (ไม่บังคับ) คุณสามารถกําหนดให้มีการคัดลอกแบบสอบถามแบบสอบถามได้อย่างรวดเร็วได้โดยคลิกขวาที่แบบสอบถาม แล้วเลือก ต้องการการคัดลอกแบบสอบถามแบบด่วน

    สกรีนช็อตแสดงตําแหน่งที่จะเลือกตัวเลือก ต้องการสําเนาด่วน บนเมนูคลิกขวาสําหรับคิวรี

  8. (ไม่บังคับ) ตอนนี้ คุณสามารถตั้งค่า Lakehouse เป็นปลายทางเอาต์พุตเท่านั้น สําหรับปลายทางอื่น ๆ ลําดับขั้นคิวรีและอ้างอิงในภายหลังในคิวรีอื่นที่คุณสามารถส่งออกไปยังแหล่งข้อมูลใด ๆ ได้

  9. ตรวจสอบตัวบ่งชี้การคัดลอกอย่างรวดเร็วเพื่อให้แน่ใจว่าแบบสอบถามของคุณสามารถเรียกใช้ด้วยการคัดลอกอย่างรวดเร็ว ถ้าทําได้ ชนิด กลไก จะแสดง CopyActivity

    สกรีนช็อตที่แสดงรายละเอียดการรีเฟรชที่ระบุว่ามีการใช้กลไกจัดการ CopyActivity ของไปป์ไลน์

  10. เผยแพร่กระแสข้อมูล

  11. หลังจากการรีเฟรชเสร็จสิ้น ให้ตรวจสอบเพื่อยืนยันว่ามีการใช้การคัดลอกอย่างรวดเร็ว

วิธีการแยกคิวรีของคุณเพื่อใช้การคัดลอกอย่างรวดเร็ว

เมื่อคุณทํางานกับข้อมูลจํานวนมาก คุณจะได้รับประสิทธิภาพที่ดีที่สุดโดยใช้การคัดลอกอย่างรวดเร็วเพื่อนําเข้าข้อมูลลงในการแสดงละครก่อน จากนั้นแปลงข้อมูลตามขนาดด้วยการประมวลผล SQL DW

ตัวบ่งชี้การคัดลอกอย่างรวดเร็วช่วยให้คุณทราบวิธีแยกคิวรีของคุณออกเป็นสองส่วน: การนําเข้าข้อมูลไปยังการแสดงโฆษณาและการแปลงขนาดใหญ่ด้วยการประมวลผล SQL DW พยายามผลักดันการประเมินคิวรีของคุณให้มากที่สุดเพื่อคัดลอกอย่างรวดเร็วสําหรับการนําเข้าข้อมูล เมื่อตัวบ่งชี้การคัดลอกอย่างรวดเร็วแสดงว่าขั้นตอนที่เหลือไม่สามารถเรียกใช้ด้วยการคัดลอกอย่างรวดเร็ว คุณสามารถแยกส่วนที่เหลือของคิวรีโดยเปิดใช้งานการจัดเตรียม

ตัวบ่งชี้การวินิจฉัยขั้นตอน

Indicator Icon Description
ขั้นตอนนี้จะได้รับการประเมินด้วยการคัดลอกอย่างรวดเร็ว ตัวบ่งชี้การคัดลอกอย่างรวดเร็วแสดงให้เห็นว่าแบบสอบถามจนถึงขั้นตอนนี้สนับสนุนการคัดลอกอย่างรวดเร็ว
ขั้นตอนนี้ไม่ได้รับการสนับสนุนโดยการคัดลอกอย่างรวดเร็ว ตัวบ่งชี้การคัดลอกอย่างรวดเร็วแสดงว่าขั้นตอนนี้ไม่สนับสนุนสําเนาด่วน
ขั้นตอนอย่างน้อยหนึ่งขั้นตอนในคิวรีของคุณไม่ได้รับการสนับสนุนโดยการคัดลอกอย่างรวดเร็ว ตัวบ่งชี้การคัดลอกอย่างรวดเร็วแสดงให้เห็นว่าบางขั้นตอนในคิวรีนี้สนับสนุนการคัดลอกอย่างรวดเร็วในขณะที่ขั้นตอนอื่นไม่รองรับ เมื่อต้องการปรับให้เหมาะสม ให้แยกคิวรี: ขั้นตอนสีเหลือง (อาจได้รับการสนับสนุนโดยการคัดลอกอย่างรวดเร็ว) และขั้นตอนสีแดง (ไม่รองรับ)

คําแนะนําทีละขั้นตอน

หลังจากที่คุณทําตรรกะการแปลงข้อมูลใน Dataflow Gen2 เสร็จแล้ว ตัวบ่งชี้การคัดลอกอย่างรวดเร็วจะประเมินแต่ละขั้นตอนเพื่อหาจํานวนขั้นตอนที่สามารถใช้การคัดลอกอย่างรวดเร็วเพื่อประสิทธิภาพที่ดีขึ้น

ในตัวอย่างนี้ ขั้นตอนสุดท้ายจะแสดงไอคอนสีแดง ซึ่งหมายความว่าขั้นตอน จัดกลุ่มตาม ไม่ได้รับการสนับสนุนโดยการคัดลอกอย่างรวดเร็ว อย่างไรก็ตาม ขั้นตอนก่อนหน้านี้ทั้งหมดที่มีไอคอนสีเหลืองอาจได้รับการสนับสนุนโดยการคัดลอกอย่างรวดเร็ว

สกรีนช็อตแสดงเนื้อหาของคิวรีแรกที่มีขั้นตอนสุดท้ายเป็นสีแดง

หากคุณเผยแพร่และเรียกใช้ Dataflow Gen2 ณ จุดนี้ ระบบจะไม่ใช้กลไกการคัดลอกที่รวดเร็วในการโหลดข้อมูลของคุณ

สกรีนช็อตที่แสดงผลลัพธ์ของคิวรีโดยไม่มีการเปิดใช้งานการคัดลอกอย่างรวดเร็ว

เมื่อต้องการใช้กลไกการคัดลอกที่รวดเร็วและปรับปรุงประสิทธิภาพของ Dataflow Gen2 คุณสามารถแบ่งคิวรีของคุณออกเป็นสองส่วน: การนําเข้าข้อมูลไปยังการแสดงละครและการแปลงขนาดใหญ่ด้วยการประมวลผล SQL DW นี่คือวิธี:

  1. ลบการแปลงใดๆ ที่แสดงไอคอนสีแดง (ซึ่งหมายความว่าไม่รองรับการคัดลอกอย่างรวดเร็ว) พร้อมกับปลายทาง (หากคุณกําหนดไว้)

    สกรีนช็อตแสดงคิวรีแรกที่คุณลบขั้นตอนใด ๆ ที่ไม่รองรับการคัดลอกด่วน

  2. ตัวบ่งชี้การคัดลอกอย่างรวดเร็วจะแสดงเป็นสีเขียวสําหรับขั้นตอนที่เหลือ ซึ่งหมายความว่าคิวรีแรกของคุณสามารถใช้การคัดลอกอย่างรวดเร็วเพื่อประสิทธิภาพที่ดีขึ้น

    คลิกขวาที่คิวรีแรกของคุณ เลือก เปิดใช้งานการจัดฉาก จากนั้นคลิกขวาที่คิวรีแรกของคุณอีกครั้ง แล้วเลือก อ้างอิง

    สกรีนช็อตแสดงการเลือกที่จําเป็นในการอ้างอิงคิวรีสําเนาด่วนของคุณด้วยคิวรีที่สอง

  3. ในแบบสอบถามที่อ้างอิงใหม่ของคุณ ให้เพิ่มการแปลง "จัดกลุ่มตาม" และปลายทาง (ถ้ามี)

  4. เผยแพร่และรีเฟรช Dataflow Gen2 ของคุณ ตอนนี้คุณมีคิวรี 2 แบบใน Dataflow Gen2 และระยะเวลาโดยรวมจะสั้นลง

    • คิวรีแรกจะนําเข้าข้อมูลลงในการจัดเตรียมโดยใช้การคัดลอกอย่างรวดเร็ว

    • คิวรีที่สองทําการแปลงขนาดใหญ่โดยใช้การคํานวณ SQL DW

      ภาพหน้าจอของรายละเอียดของสถานะการเรียกใช้ที่แสดงผลลัพธ์ของคิวรี

    รายละเอียดคิวรีแรก:

    สกรีนช็อตที่แสดงผลลัพธ์ของการนําเข้าข้อมูล

    รายละเอียดคิวรีที่สอง:

    สกรีนช็อตที่แสดงผลลัพธ์ของขั้นตอนการแปลง

ข้อจำกัดที่ทราบ

นี่คือข้อจํากัดปัจจุบันสําหรับการคัดลอกอย่างรวดเร็ว:

  • คุณต้องมีเกตเวย์ข้อมูลภายในองค์กรเวอร์ชัน 3000.214.2 หรือใหม่กว่าเพื่อรองรับการคัดลอกที่รวดเร็ว
  • ไม่สนับสนุน Schema แบบคงที่
  • ไม่รองรับปลายทางตาม Schema