แชร์ผ่าน


Dataflow Gen2 คืออะไร

กระแสข้อมูลเป็นเครื่องมือบนระบบคลาวด์ที่ช่วยคุณเตรียมและแปลงข้อมูลโดยไม่ต้องเขียนโค้ด ซึ่งมีอินเทอร์เฟซที่มีรหัสต่ําสําหรับการนําเข้าข้อมูลจากแหล่งข้อมูลหลายร้อยแหล่ง แปลงข้อมูลของคุณโดยใช้การแปลงข้อมูลมากกว่า 300+ และโหลดข้อมูลผลลัพธ์ลงในหลายปลายทาง คิดว่าพวกเขาเป็นผู้ช่วยข้อมูลส่วนบุคคลของคุณสามารถเชื่อมต่อกับแหล่งข้อมูลต่าง ๆ ได้หลายร้อยแหล่ง ล้างข้อมูลที่ยุ่งเหงา และส่งมอบตรงตําแหน่งที่คุณต้องการ ไม่ว่าคุณจะเป็นนักพัฒนาพลเมืองหรือเป็นมืออาชีพ กระแสข้อมูลจะช่วยเพิ่มขีดความสามารถให้คุณด้วยประสบการณ์การผสานรวมข้อมูลที่ทันสมัยเพื่อนําเข้า เตรียมและแปลงข้อมูลจากชุดข้อมูลที่หลากหลาย รวมถึงฐานข้อมูล คลังข้อมูล Lakehouse ข้อมูลแบบเรียลไทม์ และอื่นๆ อีกมากมาย

Dataflow Gen2 เป็นเวอร์ชันที่ใหม่กว่าและมีประสิทธิภาพมากกว่าที่ทํางานควบคู่ไปกับกระแสข้อมูล Power BI เดิม (ตอนนี้เรียกว่า Gen1) สร้างขึ้นโดยใช้ประสบการณ์ Power Query ที่คุ้นเคยซึ่งพร้อมใช้งานในผลิตภัณฑ์และบริการต่างๆ ของ Microsoft เช่น Excel, Power BI, Power Platform และ Dynamics 365 กระแสข้อมูล Gen2 มีคุณลักษณะที่ได้รับการปรับปรุง ประสิทธิภาพที่ดีขึ้น และความสามารถในการคัดลอกที่รวดเร็วเพื่อนําเข้าและแปลงข้อมูลได้อย่างรวดเร็ว หากคุณกําลังเริ่มต้นใหม่ เราขอแนะนําให้ Dataflow Gen2 สําหรับคุณลักษณะที่ได้รับการปรับปรุงและประสิทธิภาพที่ดีขึ้น

คุณสามารถทําอะไรกับกระแสข้อมูลได้บ้าง

ด้วยกระแสข้อมูล คุณสามารถ:

  • เชื่อมต่อกับข้อมูลของคุณ: ดึงข้อมูลจากฐานข้อมูล ไฟล์ บริการบนเว็บ และอื่นๆ
  • แปลงข้อมูลของคุณ: ทําความสะอาด กรอง รวม และปรับรูปร่างข้อมูลของคุณโดยใช้อินเทอร์เฟซวิชวล
  • โหลดข้อมูลที่ใดก็ได้: ส่งข้อมูลที่แปลงแล้วของคุณไปยังฐานข้อมูล คลังข้อมูล หรือที่เก็บข้อมูลบนคลาวด์
  • ทําให้กระบวนการเป็นอัตโนมัติ: ตั้งค่ากําหนดการเพื่อให้ข้อมูลของคุณยังคงทันสมัยและ up-toอยู่เสมอ

คุณลักษณะกระแสข้อมูล

นี่คือคุณลักษณะที่พร้อมใช้งานระหว่าง Dataflow Gen2 และ Gen1:

Feature กระแสข้อมูล Gen2 กระแสข้อมูล Gen1
สร้างกระแสข้อมูลด้วย Power Query
กระบวนการสร้างที่ง่ายขึ้น
บันทึกอัตโนมัติและการประกาศพื้นหลัง
ปลายทางผลลัพธ์หลายรายการ
การติดตามการตรวจสอบและการรีเฟรชที่ดีขึ้น
ทํางานร่วมกับไปป์ไลน์
การประมวลผลประสิทธิภาพสูง
เชื่อมต่อผ่านตัวเชื่อมต่อกระแสข้อมูล
คิวรีโดยตรงผ่านตัวเชื่อมต่อกระแสข้อมูล
รีเฟรชเฉพาะข้อมูลที่เปลี่ยนแปลงเท่านั้น
ข้อมูลเชิงลึกที่ขับเคลื่อนด้วย AI

อัปเกรดเป็นกระแสข้อมูล Gen2

ในส่วนถัดไปคือการปรับปรุงที่สําคัญบางอย่างใน Dataflow Gen2 เมื่อเทียบกับ Gen1 เพื่อทําให้งานการเตรียมข้อมูลของคุณง่ายขึ้นและมีประสิทธิภาพมากขึ้น

Gen2 สร้างและใช้งานได้ง่ายขึ้น

กระแสข้อมูล Gen2 ให้ความรู้สึกคุ้นเคยหากคุณเคยใช้ Power Query มาก่อน เราได้ปรับปรุงกระบวนการเพื่อให้คุณเริ่มต้นและทํางานได้เร็วขึ้น คุณจะได้รับคําแนะนําทีละขั้นตอนเมื่อรับข้อมูลลงในกระแสข้อมูลของคุณ และเราได้ลดจํานวนขั้นตอนที่จําเป็นในการสร้างกระแสข้อมูลของคุณ

สกรีนช็อตของประสบการณ์การเขียนโดยรวมในกระแสข้อมูล

บันทึกอัตโนมัติช่วยให้งานของคุณปลอดภัย

กระแสข้อมูล Gen2 จะบันทึกการเปลี่ยนแปลงของคุณโดยอัตโนมัติเมื่อคุณทํางาน คุณสามารถอยู่ห่างจากคอมพิวเตอร์ปิดเบราว์เซอร์ของคุณหรือสูญเสียการเชื่อมต่ออินเทอร์เน็ตโดยไม่ต้องกังวลกับการสูญเสียความคืบหน้าของคุณ เมื่อคุณกลับมา ทุกอย่างก็ถูกที่ที่คุณทิ้งไว้

เมื่อสร้างกระแสข้อมูลของคุณเสร็จแล้ว คุณสามารถเผยแพร่การเปลี่ยนแปลงของคุณได้ การเผยแพร่จะบันทึกงานของคุณและเรียกใช้การตรวจสอบความถูกต้องพื้นหลัง ดังนั้นคุณไม่จําเป็นต้องรอให้ทุกอย่างเช็คเอาท์ก่อนที่จะไปยังงานถัดไปของคุณ

หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับวิธีการบันทึก โปรดดู บันทึกแบบร่างของกระแสข้อมูลของคุณ

ส่งข้อมูลได้ทุกที่ที่คุณต้องการ

ในขณะที่ Dataflow Gen1 จัดเก็บข้อมูลที่แปลงแล้วในที่เก็บข้อมูลภายในของตัวเอง (ซึ่งคุณสามารถเข้าถึงได้ผ่านตัวเชื่อมต่อกระแสข้อมูล) Dataflow Gen2 มีความยืดหยุ่นในการใช้ที่เก็บข้อมูลนั้นหรือส่งข้อมูลของคุณไปยังปลายทางที่แตกต่างกัน

ความยืดหยุ่นนี้เปิดโอกาสใหม่ ๆ ตัวอย่าง เช่น คุณสามารถ:

  • ใช้กระแสข้อมูลเพื่อโหลดข้อมูลลงในเลคเฮ้าส์ จากนั้นทําการวิเคราะห์ด้วยสมุดบันทึก
  • โหลดข้อมูลลงในฐานข้อมูล Azure SQL จากนั้นใช้ไปป์ไลน์เพื่อย้ายไปยังคลังข้อมูล

กระแสข้อมูล Gen2 รองรับปลายทางเหล่านี้ในขณะนี้:

  • ฐานข้อมูล Azure SQL
  • Azure Data Explorer (Kusto)
  • Azure Datalake Gen2 (พรีวิว)
  • โต๊ะผ้าเลคเฮาส์
  • ไฟล์ Fabric Lakehouse (พรีวิว)
  • คลังสินค้าผ้า
  • ฐานข้อมูล Fabric KQL
  • ฐานข้อมูล Fabric SQL
  • ไฟล์ SharePoint

สกรีนช็อตที่แสดงปลายทางข้อมูลที่รองรับ

สําหรับข้อมูลเพิ่มเติมเกี่ยวกับปลายทางของข้อมูลที่พร้อมใช้งาน ดูปลายทางของข้อมูล Dataflow Gen2 และการตั้งค่าที่มีการจัดการ

การติดตามการตรวจสอบและการรีเฟรชที่ดีขึ้น

Dataflow Gen2 ให้ภาพที่ชัดเจนยิ่งขึ้นเกี่ยวกับสิ่งที่เกิดขึ้นกับการรีเฟรชข้อมูลของคุณ เราได้รวมเข้ากับ ฮับการตรวจสอบ และปรับปรุงประสบการณ์ ประวัติการรีเฟรช เพื่อให้คุณสามารถติดตามสถานะและประสิทธิภาพของกระแสข้อมูลของคุณได้

สกรีนช็อตที่แสดงรายละเอียดของสถานะการรีเฟรช

ทํางานได้อย่างราบรื่นกับไปป์ไลน์

ไปป์ไลน์ช่วยให้คุณจัดกลุ่มกิจกรรมเข้าด้วยกันเพื่อทํางานขนาดใหญ่ให้เสร็จสมบูรณ์ ให้คิดว่าเวิร์กโฟลว์สามารถคัดลอกข้อมูล เรียกใช้คิวรี SQL ดําเนินการกระบวนงานที่เก็บไว้ หรือเรียกใช้สมุดบันทึก Python ได้

คุณสามารถเชื่อมต่อหลายกิจกรรมในไปป์ไลน์ และตั้งค่าให้ทํางานตามกําหนดเวลา ตัวอย่างเช่น ทุกวันจันทร์คุณอาจใช้ไปป์ไลน์เพื่อดึงข้อมูลจาก Azure blob และล้างข้อมูล จากนั้นทริกเกอร์ Dataflow Gen2 เพื่อวิเคราะห์ข้อมูลบันทึก หรือเมื่อสิ้นสุดเดือน คุณสามารถคัดลอกข้อมูลจาก Azure blob ไปยังฐานข้อมูล Azure SQL จากนั้นเรียกใช้กระบวนงานที่เก็บไว้บนฐานข้อมูลนั้นได้

สกรีนช็อตแสดงการรวมกับไปป์ไลน์

หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับการเชื่อมต่อกระแสข้อมูลกับไปป์ไลน์ โปรดดู กิจกรรมกระแสข้อมูล

การประมวลผลประสิทธิภาพสูง

กระแสข้อมูล Gen2 ใช้เครื่องคํานวณ Fabric SQL Compute ขั้นสูงเพื่อจัดการข้อมูลจํานวนมากอย่างมีประสิทธิภาพ เพื่อทํางานนี้ Dataflow Gen2 สร้างทั้ง Lakehouse และ Warehouse items ในพื้นที่ทํางานของคุณ และใช้เพื่อจัดเก็บและเข้าถึงข้อมูล ปรับปรุงประสิทธิภาพการทํางานสําหรับกระแสข้อมูลของคุณทั้งหมด

ตัวนําร่องสําหรับกระแสข้อมูลรุ่น 2

กระแสข้อมูล Gen2 ผสานรวมกับ Microsoft Copilot ใน Fabric เพื่อให้ความช่วยเหลือที่ขับเคลื่อนด้วย AI สําหรับการสร้างโซลูชันการผสานรวมข้อมูลโดยใช้พร้อมท์ภาษาธรรมชาติ Copilot ช่วยให้คุณปรับปรุงกระบวนการพัฒนากระแสข้อมูลของคุณให้มีประสิทธิภาพขึ้นโดยช่วยให้คุณสามารถใช้ภาษาการสนทนาเพื่อดําเนินการแปลงข้อมูลและการดําเนินการต่าง ๆ

  • รับข้อมูลจากแหล่งข้อมูล: ใช้พร้อมท์เริ่มต้น "รับข้อมูลจาก" เพื่อเชื่อมต่อกับแหล่งข้อมูลต่าง ๆ เช่น OData ฐานข้อมูล และไฟล์
  • แปลงข้อมูลด้วยภาษาธรรมชาติ: ใช้การแปลงโดยใช้พร้อมท์การสนทนา เช่น:
    • "เก็บลูกค้าในยุโรปเท่านั้น"
    • "นับจํานวนพนักงานทั้งหมดตามเมือง"
    • "เก็บคําสั่งซื้อที่มีปริมาณสูงกว่าค่ามัธยฐานเท่านั้น"
  • สร้างข้อมูลตัวอย่าง: ใช้ Azure OpenAI เพื่อสร้างข้อมูลตัวอย่างสําหรับการทดสอบและพัฒนา
  • การดําเนินการเลิกทํา: พิมพ์หรือเลือก "เลิกทํา" เพื่อลบขั้นตอนที่ใช้ล่าสุด
  • ตรวจสอบและตรวจทาน: แต่ละการดําเนินการ Copilot จะปรากฏเป็นการ์ดคําตอบที่มีขั้นตอนที่สอดคล้องกันในรายการขั้นตอนที่กําหนดใช้

สําหรับข้อมูลเพิ่มเติม ดู Copilot สําหรับ Dataflow Gen2

คุณจําเป็นต้องใช้กระแสข้อมูลอย่างไร

กระแสข้อมูล Gen2 ต้องใช้ความจุ Fabric หรือความสามารถในการทดลองใช้ Fabric หากต้องการทําความเข้าใจวิธีการทํางานของสิทธิ์การใช้งานสําหรับกระแสข้อมูล ให้ตรวจสอบ แนวคิดและสิทธิ์การใช้งาน Microsoft Fabric

การย้ายจากกระแสข้อมูลรุ่น 1 ไปยัง Gen2

หากคุณมีกระแสข้อมูลที่สร้างขึ้นด้วย Gen1 อยู่แล้ว ไม่ต้องกังวล – คุณสามารถโยกย้ายกระแสข้อมูลเหล่านั้นไปยัง Gen2 ได้อย่างง่ายดาย เรามีตัวเลือกมากมายเพื่อช่วยให้คุณสลับ:

ส่งออกและนําเข้าคิวรีของคุณ

คุณสามารถส่งออกคิวรี Dataflow Gen1 ของคุณและบันทึกไปยังไฟล์ PQT จากนั้นนําเข้าลงใน Dataflow Gen2 ได้ สําหรับคําแนะนําทีละขั้นตอน ดูใช้คุณลักษณะส่งออกเทมเพลต

คัดลอกและวางใน Power Query

ถ้าคุณมีกระแสข้อมูลใน Power BI หรือ Power Apps คุณสามารถคัดลอกคิวรีของคุณ และวางในตัวแก้ไข กระแสข้อมูล Gen2 ได้ วิธีนี้ช่วยให้คุณโยกย้ายได้โดยไม่ต้องสร้างคิวรีของคุณใหม่ตั้งแต่เริ่มต้น เรียนรู้เพิ่มเติม: คัดลอกและวางคิวรี Dataflow Gen1 ที่มีอยู่

ใช้คุณลักษณะ บันทึกเป็น

ถ้าคุณมีกระแสข้อมูลประเภทใดก็ได้ (Gen1, Gen2 หรือ Gen2 CI/CD) ตอนนี้ Data Factory จะรวมคุณลักษณะ บันทึกเป็น ซึ่งช่วยให้คุณบันทึกกระแสข้อมูลที่มีอยู่เป็นรายการ Dataflow Gen2 (CI/CD) ใหม่ได้ด้วยการดําเนินการเพียงครั้งเดียว รายละเอียดเพิ่มเติม: โยกย้ายไปยังกระแสข้อมูล Gen2 (CI/CD) โดยใช้ บันทึกเป็น

พร้อมที่จะเรียนรู้เพิ่มเติมหรือไม่ ลองดูแหล่งข้อมูลที่มีประโยชน์เหล่านี้: