เริ่มต้นใช้งานด่วน: ย้ายและแปลงข้อมูลด้วยกระแสข้อมูลและไปป์ไลน์ข้อมูล
ในบทช่วยสอนนี้ คุณค้นพบวิธีที่ประสบการณ์ของกระแสข้อมูลและไปป์ไลน์ข้อมูลสามารถสร้างโซลูชัน Data Factory ที่มีประสิทธิภาพและครอบคลุมได้
ข้อกำหนดเบื้องต้น
เมื่อต้องเริ่มต้นใช้งาน คุณต้องมีข้อกําหนดเบื้องต้นต่อไปนี้:
- บัญชีผู้เช่าที่มีการสมัครใช้งานที่ใช้งานอยู่ สร้าง บัญชีผู้ใช้ฟรี
- ตรวจสอบให้แน่ใจว่า คุณมีพื้นที่ทํางานที่เปิดใช้งาน Microsoft Fabric: สร้างพื้นที่ทํางาน ที่ไม่ใช่พื้นที่ทํางานของฉันค่าเริ่มต้น
- ฐานข้อมูล Azure SQL ที่มีข้อมูลตาราง
- บัญชีที่เก็บข้อมูล Blob
กระแสข้อมูลเมื่อเทียบกับไปป์ไลน์
กระแสข้อมูล Gen2 ช่วยให้คุณสามารถใช้ประโยชน์จากอินเทอร์เฟสที่เขียนโค้ดน้อยและข้อมูลที่มีมากกว่า 300+ และการแปลงที่ใช้ AI เพื่อให้คุณทําความสะอาด เตรียมและแปลงข้อมูลได้อย่างง่ายดายด้วยความยืดหยุ่นที่มากกว่าเครื่องมืออื่นๆ ไปป์ไลน์ข้อมูลช่วยให้สามารถเขียนเวิร์กโฟลว์ข้อมูลที่ยืดหยุ่นได้ตามความต้องการขององค์กร ในไปป์ไลน์ คุณสามารถสร้างการจัดกลุ่มเชิงตรรกะของกิจกรรมที่ทํางานซึ่งอาจรวมถึงการเรียกใช้กระแสข้อมูลเพื่อทําความสะอาดและเตรียมข้อมูลของคุณ ในขณะที่มีฟังก์ชันการทํางานบางอย่างซ้อนทับกัน ระหว่างสองสถานการณ์ การเลือกที่จะใช้สําหรับสถานการณ์เฉพาะนั้น จะขึ้นอยู่กับว่าคุณต้องการความสมบูรณ์เต็มที่ของไปป์ไลน์หรือสามารถใช้ความสามารถที่ง่ายกว่าแต่จํากัดมากขึ้นของกระแสข้อมูล สําหรับรายละเอียดเพิ่มเติม โปรดดูคู่มือการตัดสินใจของ Fabric
แปลงข้อมูลด้วยกระแสข้อมูล
ทําตามขั้นตอนเหล่านี้เพื่อตั้งค่ากระแสข้อมูลของคุณ
ขั้นตอนที่ 1: สร้างกระแสข้อมูล
เลือกพื้นที่ทํางานที่เปิดใช้งาน Fabric ของคุณ จากนั้นเลือก ใหม่ จากนั้นเลือก กระแสข้อมูล Gen2
หน้าต่างตัวแก้ไขกระแสข้อมูลจะปรากฏขึ้น เลือกการ์ด นําเข้าจาก SQL Server
ขั้นตอนที่ 2: รับข้อมูล
บนเชื่อมต่อกล่องโต้ตอบแหล่งข้อมูลที่แสดงถัดไป ให้ใส่รายละเอียดเพื่อเชื่อมต่อกับฐานข้อมูล Azure SQL ของคุณ จากนั้นเลือก ถัดไป สําหรับตัวอย่างนี้ คุณใช้ฐานข้อมูลตัวอย่าง AdventureWorksLT ที่กําหนดค่าไว้เมื่อคุณตั้งค่าฐานข้อมูล Azure SQL ในข้อกําหนดเบื้องต้น
เลือกข้อมูลที่คุณต้องการแปลง จากนั้นเลือก สร้าง สําหรับการเริ่มต้นใช้งานด่วนนี้ ให้เลือก SalesLT.Customer จากข้อมูลตัวอย่าง AdventureWorksLT ที่ให้มาสําหรับ Azure SQL DB จากนั้นปุ่ม เลือกตารางที่เกี่ยวข้อง เพื่อรวมตารางอื่นอีกสองตารางที่เกี่ยวข้องโดยอัตโนมัติ
ขั้นตอนที่ 3: แปลงข้อมูลของคุณ
ถ้าไม่ได้เลือกไว้ ให้เลือก ปุ่ม มุมมอง ไดอะแกรม ตามแถบสถานะที่ด้านล่างของหน้า หรือเลือก มุมมอง ไดอะแกรม ภายใต้ เมนู มุมมอง ที่ด้านบนของตัวแก้ไข Power Query ตัวเลือกใดตัวเลือกหนึ่งเหล่านี้สามารถสลับมุมมองไดอะแกรมได้
คลิกขวาที่คิวรี SalesLT Customer ของคุณ หรือเลือกจุดไข่ปลาแนวตั้งทางด้านขวาของคิวรี จากนั้นเลือกผสานคิวรี
กําหนดค่าการผสานโดยการเลือก ตาราง SalesLTOrderHeader เป็นตารางด้านขวาสําหรับการผสาน คอลัมน์ CustomerID จากแต่ละตารางเป็นคอลัมน์การรวม และ ด้านนอก ซ้ายเป็นชนิดการรวม จากนั้นเลือก ตกลง เพื่อเพิ่มคิวรีผสาน
เลือก ปุ่ม เพิ่มปลายทาง ข้อมูล ซึ่งมีลักษณะเหมือนสัญลักษณ์ฐานข้อมูลที่มีลูกศรอยู่ด้านบน จากคิวรีผสานใหม่ที่คุณเพิ่งสร้างขึ้น จากนั้นเลือก ฐานข้อมูล Azure SQL เป็นชนิดปลายทาง
ระบุรายละเอียดสําหรับการเชื่อมต่อฐานข้อมูล Azure SQL ของคุณซึ่งจะเผยแพร่คิวรีผสาน ในตัวอย่างนี้ คุณสามารถใช้ ฐานข้อมูล AdventureWorksLT ที่เราใช้เป็นแหล่งข้อมูลสําหรับปลายทางได้เช่นกัน
เลือกฐานข้อมูลเพื่อจัดเก็บข้อมูล และใส่ชื่อตาราง จากนั้นเลือก ถัดไป
คุณสามารถปล่อยการตั้งค่าเริ่มต้นไว้ในกล่องโต้ตอบ เลือกการตั้งค่า ปลายทาง และเพียงเลือก บันทึกการตั้งค่า โดยไม่ต้องทําการเปลี่ยนแปลงที่นี่
เลือก เผยแพร่ กลับไปที่หน้าตัวแก้ไขกระแสข้อมูล เพื่อเผยแพร่กระแสข้อมูล
ย้ายข้อมูลพร้อมไปป์ไลน์ข้อมูล
หลังจากที่คุณได้สร้าง Dataflow Gen2 แล้ว คุณสามารถดําเนินการในไปป์ไลน์ได้ ในตัวอย่างนี้ คุณคัดลอกข้อมูลที่สร้างขึ้นจากกระแสข้อมูลลงในรูปแบบข้อความในบัญชี Azure Blob Storage
ขั้นตอนที่ 1: สร้างไปป์ไลน์ข้อมูลใหม่
จากพื้นที่ทํางานของคุณ ให้เลือก ใหม่ จากนั้นเลือก ไปป์ไลน์ข้อมูล
ตั้งชื่อไปป์ไลน์ของคุณ จากนั้นเลือก สร้าง
ขั้นตอนที่ 2: กําหนดค่ากระแสข้อมูลของคุณ
เพิ่มกิจกรรมกระแสข้อมูลใหม่ไปยังไปป์ไลน์ข้อมูลของคุณโดยการเลือกกระแสข้อมูลในแท็บกิจกรรม
เลือกกระแสข้อมูลบนพื้นที่ทํางานของไปป์ไลน์ จากนั้นแท็บการตั้งค่า ให้เลือกกระแสข้อมูลที่คุณสร้างไว้ก่อนหน้านี้จากรายการดรอปดาวน์
เลือก บันทึก จากนั้น เรียกใช้ เพื่อเรียกใช้กระแสข้อมูลเพื่อกรอกข้อมูลลงในตารางคิวรีที่ผสานซึ่งคุณออกแบบไว้ในขั้นตอนก่อนหน้าในตอนแรก
ขั้นตอนที่ 3: ใช้ผู้ช่วยคัดลอกเพื่อเพิ่มกิจกรรมการคัดลอก
เลือก คัดลอกข้อมูล บนพื้นที่ทํางาน เพื่อเปิด เครื่องมือ คัดลอกผู้ช่วย เพื่อเริ่มต้นใช้งาน หรือเลือก ใช้ผู้ช่วย คัดลอก จากรายการ ดรอปดาวน์ คัดลอกข้อมูล ภายใต้ แท็บ กิจกรรม บนริบบอน
เลือกแหล่งข้อมูลของคุณโดยการเลือกชนิดแหล่งข้อมูล ในบทช่วยสอนนี้ คุณใช้ฐานข้อมูล Azure SQL ที่ใช้ก่อนหน้านี้เมื่อคุณสร้างกระแสข้อมูลเพื่อสร้างคิวรีผสานใหม่ เลื่อนลงด้านล่างข้อเสนอข้อมูลตัวอย่าง และเลือกแท็บ Azure จากนั้น ฐานข้อมูล Azure SQL จากนั้นเลือก ถัดไป เพื่อดําเนินการต่อ
สร้างการเชื่อมต่อไปยังแหล่งข้อมูลของคุณโดยการเลือก สร้างการเชื่อมต่อใหม่ กรอกข้อมูลการเชื่อมต่อที่จําเป็นบนแผงและป้อน AdventureWorksLT สําหรับฐานข้อมูลที่เราสร้างคิวรีผสานในกระแสข้อมูล จากนั้นเลือก ถัดไป
เลือกตารางที่คุณสร้างขึ้นในขั้นตอนกระแสข้อมูลก่อนหน้านี้ จากนั้นเลือก ถัดไป
สําหรับปลายทางของคุณ เลือก Azure Blob Storage แล้วเลือกถัดไป
สร้างการเชื่อมต่อไปยังปลายทางของคุณโดยการเลือก สร้างการเชื่อมต่อใหม่ ระบุรายละเอียดสําหรับการเชื่อมต่อของคุณ จากนั้นเลือก ถัดไป
เลือกเส้นทางโฟลเดอร์ของคุณและใส่ชื่อไฟล์ จากนั้นเลือก ถัดไป
เลือก ถัดไป อีกครั้งเพื่อยอมรับรูปแบบไฟล์เริ่มต้น ตัวคั่นคอลัมน์ ตัวคั่นแถว และชนิดการบีบอัด โดยอาจรวมถึงส่วนหัวด้วย
เสร็จสิ้นการตั้งค่าของคุณ จากนั้นให้ตรวจสอบและเลือก บันทึก + เรียกใช้ เพื่อเสร็จสิ้นกระบวนการ
ขั้นตอนที่ 5: ออกแบบไปป์ไลน์ข้อมูลของคุณ และบันทึกเพื่อเรียกใช้และโหลดข้อมูล
เมื่อต้องการเรียกใช้กิจกรรม คัดลอก หลังจากกิจกรรม กระแสข้อมูล ให้ลากจาก สําเร็จ บนกิจกรรม กระแสข้อมูล ไปยังกิจกรรม คัดลอก กิจกรรม การคัดลอก จะทํางานเฉพาะหลังจากที่ กิจกรรมกระแส ข้อมูลสําเร็จแล้ว
เลือก บันทึก เพื่อบันทึกไปป์ไลน์ข้อมูลของคุณ จากนั้นเลือก เรียกใช้ เพื่อเรียกใช้ไปป์ไลน์ข้อมูลของคุณและโหลดข้อมูลของคุณ
กําหนดการดําเนินการไปป์ไลน์
เมื่อคุณเสร็จสิ้นการพัฒนาและทดสอบไปป์ไลน์ของคุณคุณสามารถกําหนดเวลาให้ดําเนินการโดยอัตโนมัติ
บนแท็บ หน้าแรก ของหน้าต่างตัวแก้ไขไปป์ไลน์ ให้เลือก กําหนดการ
กําหนดค่ากําหนดการตามความจําเป็น ตัวอย่างนี้กําหนดให้ไปป์ไลน์ดําเนินการทุกวันเวลา 20:00 น. จนถึงสิ้นปี
เนื้อหาที่เกี่ยวข้อง
ตัวอย่างนี้แสดงวิธีการสร้างและกําหนดค่ากระแสข้อมูล Gen2 เพื่อสร้างคิวรีแบบผสานและเก็บไว้ในฐานข้อมูล Azure SQL จากนั้นคัดลอกข้อมูลจากฐานข้อมูลลงในไฟล์ข้อความใน Azure Blob Storage คุณได้เรียนรู้วิธีการ:
- สร้างกระแสข้อมูล
- แปลงข้อมูลด้วยกระแสข้อมูล
- สร้างไปป์ไลน์ข้อมูลโดยใช้กระแสข้อมูล
- จัดลําดับการดําเนินการของขั้นตอนในไปป์ไลน์
- คัดลอกข้อมูลด้วยคัดลอกผู้ช่วย
- เรียกใช้และกําหนดเวลาไปป์ไลน์ข้อมูลของคุณ
ถัดไป ล่วงหน้าเพื่อเรียนรู้เพิ่มเติมเกี่ยวกับการตรวจสอบการเรียกใช้ไปป์ไลน์ของคุณ