แชร์ผ่าน

วางแผนการโยกย้ายจาก Azure Data Factory

Microsoft Fabric เป็นผลิตภัณฑ์ SaaS การวิเคราะห์ข้อมูลที่รวมเครื่องมือวิเคราะห์ของ Microsoft ไว้ในประสบการณ์เดียว Fabric Data Factory นําเสนอการประสานเวิร์กโฟลว์ การเคลื่อนย้ายข้อมูล การจําลองแบบ และการแปลงตามขนาด คล้ายกับ Azure Data Factory (ADF) หากคุณต้องการปรับปรุงการลงทุน ADF ของคุณให้ทันสมัย คู่มือนี้จะช่วยให้คุณเข้าใจข้อควรพิจารณา กลยุทธ์ และแนวทางการโยกย้าย

การโยกย้ายจากไปป์ไลน์ ADF และ Synapse ไปยัง Fabric Data Factory มีประโยชน์หลายประการ:

Fabric ได้รับการออกแบบมาสําหรับข้อมูลองค์กรทั้งแบบบริการตนเองและข้อมูลที่จัดการโดยไอที ปรับขนาดเพื่อตอบสนองความต้องการขององค์กรขนาดใหญ่ โดยนําเสนอโซลูชันที่ปลอดภัย จัดการได้ และเข้าถึงได้

ด้วยการเติบโตของปริมาณข้อมูลและความซับซ้อน Fabric จึงเพิ่มศักยภาพให้กับนักพัฒนาและโซลูชันการรวมข้อมูลด้วยคุณสมบัติขั้นสูง ลูกค้าจํานวนมากกําลังสํารวจว่าจะรวมโซลูชันการรวมข้อมูลภายใน Fabric หรือไม่ คําถามทั่วไปประกอบด้วย:

  • Fabric รองรับฟังก์ชันทั้งหมดที่เราพึ่งพาหรือไม่?
  • Fabric มีความสามารถพิเศษอะไรบ้าง?
  • เราจะย้ายไปป์ไลน์ที่มีอยู่ไปยัง Fabric ได้อย่างไร
  • แผนงานของ Microsoft สําหรับการนําเข้าข้อมูลองค์กรคืออะไร

ความแตกต่างของแพลตฟอร์ม

การโยกย้ายอินสแตนซ์ ADF ทั้งหมดเกี่ยวข้องกับการทําความเข้าใจความแตกต่างที่สําคัญระหว่าง ADF และ Fabric Data Factory ส่วนนี้เน้นความแตกต่างเหล่านั้น

สําหรับการเปรียบเทียบคุณลักษณะโดยละเอียด โปรดดู เปรียบเทียบ Data Factory ใน Fabric และ Azure Data Factory

ส่วนนี้ครอบคลุมความแตกต่างที่สําคัญดังต่อไปนี้:

  • รันไทม์การรวม: Fabric ใช้การประมวลผลบนคลาวด์ตามค่าเริ่มต้น ในขณะที่ ADF ต้องกําหนดค่ารันไทม์การรวม Fabric ยังรองรับ เกตเวย์ข้อมูลภายในองค์กร สําหรับการเข้าถึงข้อมูลภายในเครื่อง และเก ตเวย์ข้อมูลเครือข่ายเสมือน สําหรับการเชื่อมต่อเครือข่ายที่ปลอดภัย
  • ไปป์ไลน์: ไปป์ไลน์แฟบริคมีกิจกรรมที่ใช้ SaaS เพิ่มเติมและแตกต่างกันในคําจํากัดความ JSON
  • บริการที่เชื่อมโยง: Fabric แทนที่บริการที่เชื่อมโยงด้วยการเชื่อมต่อที่กําหนดไว้ในกิจกรรม
  • ชุดข้อมูล: Fabric กําจัดชุดข้อมูล โดยกําหนดคุณสมบัติข้อมูลแบบอินไลน์ภายในกิจกรรม
  • กระแสข้อมูล: กระแสข้อมูล Fabric ใช้ Power Query ในขณะที่กระแสข้อมูล ADF อาศัยกลไกการดําเนินการและภาษาที่แตกต่างกัน
  • ทริกเกอร์: Fabric รวมทริกเกอร์เข้ากับเฟรมเวิร์ก Activator ซึ่งแตกต่างจากทริกเกอร์แบบสแตนด์อโลนของ ADF
  • การดีบัก: Fabric ช่วยลดความยุ่งยากในการดีบักโดยขจัดความจําเป็นในการใช้โหมดดีบักแยกต่างหาก
  • การบันทึกข้อมูลการเปลี่ยนแปลง: Fabric จัดการการเคลื่อนย้ายข้อมูลที่เพิ่มขึ้นผ่านงานคัดลอกแทนสิ่งประดิษฐ์ CDC
  • Azure Synapse Link: Fabric แทนที่ Synapse Link ด้วยคุณสมบัติการสะท้อนสําหรับการจําลองข้อมูล
  • SQL Server Integration Services (SSIS): ขณะนี้ Fabric ไม่รองรับ SSIS IR แต่อนุญาตให้เรียกใช้ไปป์ไลน์ ADF สําหรับการดําเนินการ SSIS
  • เรียกใช้กิจกรรมไปป์ไลน์: Fabric ปรับปรุงกิจกรรม Execute ไปป์ไลน์ของ ADF ด้วยการเรียกใช้ข้ามแพลตฟอร์ม

รันไทม์การรวม

ใน ADF รันไทม์การรวม (IR) เป็นออบเจ็กต์การกําหนดค่าที่กําหนดทรัพยากรการประมวลผลสําหรับการประมวลผลข้อมูล ซึ่งรวมถึงการประมวลผลบนระบบคลาวด์ IR ที่โฮสต์ด้วยตนเอง (SHIR) สําหรับการเชื่อมต่อภายในองค์กร SSIS IR สําหรับ SQL Server Integration Services และ IR บนระบบคลาวด์ที่เปิดใช้งาน VNet

ภาพหน้าจอของแท็บรันไทม์การรวมใน Azure Data Factory

Fabric ในฐานะผลิตภัณฑ์ SaaS ทําให้สิ่งนี้ง่ายขึ้นโดยใช้การประมวลผลบนคลาวด์ในภูมิภาคของความจุ Fabric ของคุณ SSIS IR ไม่มีให้บริการใน Fabric สําหรับการเชื่อมต่อภายในองค์กร ให้ใช้เก ตเวย์ข้อมูลภายในองค์กร (OPDG) สําหรับการเชื่อมต่อเครือข่ายที่ปลอดภัย ให้ใช้เกตเวย์ข้อมูลเครือข่ายเสมือน

เมื่อย้าย คุณไม่จําเป็นต้องย้าย Azure IR เครือข่ายสาธารณะ สร้าง SHIR ใหม่เป็น OPDG และ Azure IR ที่เปิดใช้งาน VNet เป็นเกตเวย์ข้อมูลเครือข่ายเสมือน

ภาพหน้าจอของตัวเลือก จัดการการเชื่อมต่อและเกตเวย์ บนหน้า ผู้ดูแลระบบ Fabric

ไปป์ ไลน์

ไปป์ไลน์ใน ADF จัดการเวิร์กโฟลว์สําหรับการเคลื่อนย้ายข้อมูล การแปลง และการประสานงาน ไปป์ไลน์ผ้ามีความคล้ายคลึงกัน แต่มีส่วนประกอบเพิ่มเติม เช่น กิจกรรมดั้งเดิมสําหรับอีเมล Teams และการรีเฟรชแบบจําลองความหมาย

คําจํากัดความ JSON สําหรับไปป์ไลน์ Fabric แตกต่างจาก ADF เล็กน้อย ดังนั้นคุณจึงไม่สามารถคัดลอก/วางหรือนําเข้า/ส่งออก JSON ไปป์ไลน์ได้โดยตรง สร้างไปป์ไลน์ ADF ใหม่ใน Fabric โดยใช้โมเดลเวิร์กโฟลว์และทักษะเดียวกัน แต่โปรดทราบว่าบริการที่เชื่อมโยงและชุดข้อมูลจาก ADF ไม่มีอยู่ใน Fabric

บริการที่เชื่อมโยงแล้ว

ใน ADF บริการที่เชื่อมโยงจะกําหนดคุณสมบัติการเชื่อมต่อสําหรับที่เก็บข้อมูล ใน Fabric ให้สร้างสิ่งเหล่านี้ใหม่เป็นการเชื่อมต่อภายในกิจกรรม เช่น การคัดลอกและกระแสข้อมูล

ชุดข้อมูล

ชุดข้อมูลใน ADF กําหนดคุณสมบัติของข้อมูล เช่น ชนิด คอลัมน์ และตําแหน่งที่ตั้ง ใน Fabric คุณสมบัติเหล่านี้ถูกกําหนดแบบอินไลน์ภายในกิจกรรมไปป์ไลน์และออบเจ็กต์การเชื่อมต่อ

กระแสข้อมูล

Fabric Data Factory ใช้ กระแสข้อมูล สําหรับการแปลงข้อมูลแบบไม่มีโค้ด ซึ่งสร้างขึ้นบน Power Query ใน ADF ฟังก์ชันการทํางานที่คล้ายกันเรียกว่า โฟลว์ข้อมูล ซึ่งใช้อินเทอร์เฟซและกลไกการดําเนินการที่แตกต่างกัน สร้าง โฟลว์ข้อมูล ADF ใหม่เป็น โฟลว์ข้อมูล Fabric เมื่อย้าย

ทริก เกอร์

ทริกเกอร์ใน ADF ดําเนินการไปป์ไลน์ตามกําหนดการ เหตุการณ์ หรือทริกเกอร์แบบกําหนดเอง Fabric ใช้แนวคิดที่คล้ายกัน แต่รวมทริกเกอร์เข้ากับเฟรมเวิร์ก Real-time Intelligence ที่เรียกว่า Activator

กําหนดการแฟบริคเป็นเอนทิตีระดับแพลตฟอร์ม ไม่เฉพาะเจาะจงกับไปป์ไลน์ สร้างทริกเกอร์กําหนดการ ADF ใหม่เป็นกําหนดการ Fabric และใช้ Activator สําหรับทริกเกอร์ชนิดอื่น

ภาพหน้าจอของปุ่มเพิ่มทริกเกอร์ในตัวแก้ไขไปป์ไลน์ Fabric

การดีบัก

Fabric ช่วยลดความยุ่งยากในการดีบักโดยการกําจัด โหมดดีบักของ ADF คุณอยู่ในโหมดโต้ตอบเสมอ หากต้องการทดสอบไปป์ไลน์ ให้เลือกปุ่มเล่นในตัวแก้ไข ใช้สถานะกิจกรรมเพื่อเปิดใช้งานหรือปิดใช้งานกิจกรรมเฉพาะสําหรับการทดสอบ

เปลี่ยนแปลงการรวบรวมข้อมูล

คุณลักษณะ Change Data Capture (CDC) ของ ADF ช่วยให้สามารถเคลื่อนย้ายข้อมูลที่เพิ่มขึ้นได้ ใน Fabric ให้สร้างสิ่งประดิษฐ์ CDC ใหม่เป็น คัดลอกรายการ งาน สําหรับฟังก์ชันการทํางานที่คล้ายคลึงกัน ดูรายละเอียดที่คัดลอกงาน

Synapse Link ที่ใช้ในไปป์ไลน์ Synapse จะจําลองข้อมูลจากฐานข้อมูล SQL ไปยัง Data Lake ใน Fabric ให้สร้างสิ่งเหล่านี้ใหม่เป็นรายการมิเรอร์ ดูการสะท้อนใน Fabric

บริการการรวม SQL Server (SSIS)

Fabric ไม่รองรับ SSIS IR ในปัจจุบัน เมื่อต้องการเรียกใช้แพคเกจ SSIS ให้ใช้ไปป์ไลน์ ADF และเรียกจาก Fabric โดยใช้กิจกรรมเรียกใช้ไปป์ไลน์ ดู เรียกใช้กิจกรรมไปป์ไลน์

เรียกใช้กิจกรรมไปป์ไลน์

กิจกรรมไปป์ไลน์เรียกใช้ของ Fabric ช่วยปรับปรุงกิจกรรมไปป์ไลน์ดําเนินการของ ADF ใช้เพื่อเรียกไปป์ไลน์ ADF แบบอินไลน์จากไปป์ไลน์ Fabric โดยรักษาคุณลักษณะเฉพาะของ ADF เช่น การแมปโฟลว์ข้อมูลหรือ SSIS

ตัวอย่างสถานการณ์การโยกย้าย

การโยกย้ายจาก ADF ไปยัง Fabric อาจเกี่ยวข้องกับกลยุทธ์ที่แตกต่างกัน ขึ้นอยู่กับกรณีการใช้งานของคุณ ส่วนนี้สรุปเส้นทางการโยกย้ายทั่วไปและข้อควรพิจารณาเพื่อช่วยให้คุณวางแผนได้อย่างมีประสิทธิภาพ

สถานการณ์สมมติที่ 1: ไปป์ไลน์ ADF และโฟลว์ข้อมูล

ปรับปรุงสภาพแวดล้อม ETL ของคุณให้ทันสมัยโดยการย้ายไปป์ไลน์และโฟลว์ข้อมูลไปยัง Fabric วางแผนสําหรับองค์ประกอบเหล่านี้:

  • สร้างบริการที่เชื่อมโยงใหม่เป็นการเชื่อมต่อ
  • กําหนดคุณสมบัติของชุดข้อมูลแบบอินไลน์ในกิจกรรมไปป์ไลน์
  • แทนที่ SHIR (รันไทม์การรวมที่โฮสต์เอง) ด้วย OPDG (เกตเวย์ข้อมูลภายในองค์กร) และ IR ของ VNet ด้วยเกตเวย์ข้อมูลเครือข่ายเสมือน
  • สร้างกิจกรรม ADF ที่ไม่ได้รับการสนับสนุนใหม่โดยใช้ทางเลือก Fabric หรือกิจกรรมเรียกใช้ไปป์ไลน์ กิจกรรมที่ไม่รองรับ ได้แก่
    • Data Lake Analytics (U-SQL) ซึ่งเป็นบริการ Azure ที่เลิกใช้แล้ว
    • กิจกรรมการตรวจสอบความถูกต้อง ซึ่งสามารถสร้างใหม่ได้โดยใช้ Get Metadata, pipeline loops และกิจกรรม If
    • Power Query ซึ่งรวมเข้ากับ Fabric อย่างสมบูรณ์เป็นกระแสข้อมูลที่สามารถใช้โค้ด M ซ้ําได้
    • กิจกรรม Notebook, Jar และ Python สามารถแทนที่ด้วยกิจกรรม Databricks ใน Fabric ได้
    • กิจกรรม Hive, Pig, MapReduce, Spark และ Streaming สามารถแทนที่ด้วยกิจกรรม HDInsight ใน Fabric ได้

ตัวอย่างเช่น นี่คือหน้าการกําหนดค่าชุดข้อมูล ADF พร้อมเส้นทางไฟล์และการตั้งค่าการบีบอัด: ภาพหน้าจอของหน้าการกําหนดค่าชุดข้อมูล ADF

และนี่คือกิจกรรมการคัดลอกสําหรับ Data Factory ใน Fabric ซึ่งการบีบอัดและเส้นทางไฟล์อยู่ในอินไลน์ในกิจกรรม: ภาพหน้าจอของการกําหนดค่าการบีบอัดกิจกรรม Fabric Copy

สถานการณ์ที่ 2: ADF ที่มี CDC, SSIS และ Airflow

สร้าง CDC ใหม่เป็น คัดลอกรายการงาน สําหรับ Airflow ให้คัดลอก DAG ของคุณลงในข้อเสนอ Apache Airflow ของ Fabric เรียกใช้แพคเกจ SSIS โดยใช้ไปป์ไลน์ ADF และเรียกใช้จาก Fabric

สถานการณ์สมมติที่ 3: การโยกย้าย Data Factory ที่เปิดใช้งาน Git

ถ้าโรงงาน ADF หรือ Synapse ของคุณเชื่อมต่อกับผู้ให้บริการ Git ภายนอก เช่น Azure DevOps (ADO) หรือ GitHub คุณจะต้องโยกย้ายรายการเหล่านี้ไปยังพื้นที่ทํางาน Fabric สิ่งนี้เกี่ยวข้องกับการตั้งค่าการรวม Git ใน Fabric และปรับเวิร์กโฟลว์ของคุณให้สอดคล้องกับความสามารถ CI/CD ของ Fabric ดูการรวม Git ใน Fabric

Fabric มีตัวเลือก CI/CD หลักสองแบบ:

  • การรวม Git: เชื่อมโยงพื้นที่ทํางาน Fabric ของคุณกับที่เก็บ Git ภายนอก เช่น ADO หรือ GitHub สําหรับการควบคุมเวอร์ชันและการจัดการโค้ด
  • ไปป์ไลน์การปรับใช้ในตัว: ใช้ไปป์ไลน์ดั้งเดิมของ Fabric เพื่อโปรโมตโค้ดในสภาพแวดล้อมต่างๆ โดยไม่ต้องใช้ที่เก็บ Git ภายนอก

ในทั้งสองกรณี Git repo ที่มีอยู่ของคุณจาก ADF จะไม่ทํางานกับ Fabric คุณต้องชี้ไปที่ที่เก็บใหม่ หรือเริ่ม ไปป์ไลน์การปรับใช้ ใหม่ใน Fabric และสร้างรายการไปป์ไลน์ของคุณใหม่ใน Fabric

ติดตั้งอินสแตนซ์ ADF ในพื้นที่ทํางาน Fabric

คุณสามารถติดตั้งโรงงาน ADF ทั้งหมดในพื้นที่ทํางาน Fabric เป็นรายการดั้งเดิมได้ วิธีนี้ช่วยให้คุณจัดการโรงงาน ADF ควบคู่ไปกับสิ่งประดิษฐ์ Fabric ภายในอินเทอร์เฟซเดียวกัน ADF UI ยังคงสามารถเข้าถึงได้อย่างเต็มที่ ช่วยให้คุณสามารถตรวจสอบ จัดการ และแก้ไขรายการโรงงาน ADF ได้โดยตรงจากพื้นที่ทํางาน Fabric อย่างไรก็ตาม การดําเนินการของไปป์ไลน์ กิจกรรม และรันไทม์การรวมยังคงเกิดขึ้นภายในทรัพยากร Azure ของคุณ

คุณลักษณะนี้มีประโยชน์อย่างยิ่งสําหรับองค์กรที่เปลี่ยนไปใช้ Fabric เนื่องจากให้มุมมองแบบครบวงจรของทั้งทรัพยากร ADF และ Fabric ทําให้การจัดการและการวางแผนสําหรับการย้ายข้อมูลง่ายขึ้น

เนื้อหาที่เกี่ยวข้อง

ข้อควรพิจารณาการย้ายข้อมูล จาก ADF ไปยังโรงงานข้อมูลใน Fabric

  • Last updated on