เพิ่ม SQL Server บนแหล่งที่มา VM DB (CDC) ไปยังสตรีมเหตุการณ์

บทความนี้แสดงวิธีการเพิ่ม SQL Server บนแหล่งข้อมูล VM DB Change Data Capture (CDC) ไปยังสตรีมเหตุการณ์

ตัวเชื่อมต่อต้นทาง SQL Server on VM DB (CDC) สําหรับสตรีมเหตุการณ์ Fabric ช่วยให้คุณสามารถจับภาพสแนปช็อตของข้อมูลปัจจุบันในฐานข้อมูล SQL Server บน VM ปัจจุบัน SQL Server บน VM DB (CDC) ได้รับการสนับสนุนจากบริการต่อไปนี้ซึ่งฐานข้อมูลสามารถเข้าถึงได้แบบสาธารณะ:

• <ค 0>SQL Server on Azure Virtual Machines
• Amazon Relational Database Service (RDS) สําหรับ SQL Server
• Amazon RDS Custom สําหรับ SQL Server
• Google Cloud SQL สําหรับ SQL Server

หมายเหตุ

Amazon Web Services (AWS) RDS SQL Server, AWS RDS Custom SQL Server และ Google Cloud SQL SQL Server ไม่รองรับเวอร์ชัน Express ตรวจสอบให้แน่ใจว่าคุณใช้ SQL Server for CDC รุ่นที่เหมาะสม

เมื่อเพิ่มแหล่งที่มาของ SQL Server on VM DB (CDC) ลงในสตรีมเหตุการณ์แล้ว จะตรวจสอบและบันทึกการเปลี่ยนแปลงระดับแถวในอนาคต ซึ่งสามารถประมวลผลได้แบบเรียลไทม์และส่งไปยังปลายทางต่างๆ เพื่อการวิเคราะห์เพิ่มเติม

หมายเหตุ

ด้วย DeltaFlow (พรีวิว) คุณสามารถแปลงเหตุการณ์ Debezium CDC ดิบให้เป็นสตรีมที่พร้อมสําหรับการวิเคราะห์ซึ่งสะท้อนโครงสร้างตารางต้นทางของคุณ DeltaFlow ทําให้การลงทะเบียนสคีมา การจัดการตารางปลายทาง และการจัดการวิวัฒนาการสคีมาเป็นไปโดยอัตโนมัติ หากต้องการใช้ DeltaFlow ให้เลือก เหตุการณ์ที่พร้อมสําหรับการวิเคราะห์ & สคีมาที่อัปเดตอัตโนมัติ ในระหว่างขั้นตอนการจัดการสคีมา

ข้อกำหนดเบื้องต้น

• การเข้าถึงพื้นที่ทํางานในโหมดสิทธิ์การใช้งานความจุ Fabric (หรือ) โหมดสิทธิ์การใช้งานรุ่นทดลองใช้ที่มีสิทธิ์ Contributor หรือสูงกว่า
• SQL Server ที่ทํางานอยู่บนฐานข้อมูล VM
• ฐานข้อมูล SQL Server บนเครื่อง VM ของคุณต้องได้รับการกําหนดค่าให้อนุญาตการเข้าถึงแบบสาธารณะ ถ้าอยู่ในเครือข่ายที่มีการป้องกัน ให้เชื่อมต่อโดยใช้การแทรกเครือข่ายเสมือนของตัวเชื่อมต่อ Eventstream
• เปิดใช้งาน CDC ในฐานข้อมูล SQL Server บน VM ของคุณโดยเรียกใช้กระบวนงานที่เก็บไว้ sys.sp_cdc_enable_db สําหรับรายละเอียด ดู เปิดใช้งานและปิดใช้งานการรวบรวมข้อมูลการเปลี่ยนแปลง

เปิดใช้งาน CDC ในฐานข้อมูล SQL Server บน VM ของคุณ

1. เปิดใช้งาน CDC สําหรับฐานข้อมูล

   EXEC sys.sp_cdc_enable_db; 
   

2. เปิดใช้งาน CDC สําหรับตารางโดยใช้ตัวเลือกบทบาทการตรวจสอบ ใน MyTable ตัวอย่างนี้คือชื่อของตาราง SQL

   EXEC sys.sp_cdc_enable_table 
      @source_schema = N'dbo', 
      @source_name   = N'MyTable', 
      @role_name     = NULL 
   GO 
   

   หลังจากคิวรีดําเนินการสําเร็จ คุณเปิดใช้งาน CDC ในฐานข้อมูล SQL Server บนเครื่อง VM ของคุณ

   

เพิ่ม SQL Server บนฐานข้อมูล VM เป็นแหล่งที่มา

หากคุณยังไม่ได้เพิ่มแหล่งข้อมูลใดๆ ลงในสตรีมเหตุการณ์ของคุณ ให้เลือกไทล์ เชื่อมต่อแหล่งข้อมูล คุณยังสามารถเลือก เพิ่มแหล่งข้อมูล>Connect บนริบบิ้นได้อีกด้วย

หากคุณกําลังเพิ่มแหล่งที่มาไปยังสตรีมเหตุการณ์ที่เผยแพร่แล้ว ให้เปลี่ยนเป็นโหมดแก้ไข บน Ribbon ให้เลือก เพิ่มแหล่งข้อมูล Connect>

บนหน้า เลือกแหล่งข้อมูล ให้ค้นหาและเลือก เชื่อมต่อ บนไทล์ SQL Server บน VM DB (CDC)

กําหนดค่าและเชื่อมต่อกับ SQL Server บนฐานข้อมูล VM

นําเข้าข้อมูลการเปลี่ยนแปลงจาก SQL Server บนฐานข้อมูล VM ด้วยการลงทะเบียน Schema ตารางอัตโนมัติผ่าน CDC ลงใน Eventstream

หมายเหตุ

DeltaFlow (พรีวิว): เมื่อคุณเลือก เหตุการณ์ที่พร้อมสําหรับการวิเคราะห์ & สคีมาที่อัปเดตอัตโนมัติ ในขั้นตอนการจัดการ Schema DeltaFlow จะแปลงเหตุการณ์ Debezium CDC ดิบให้เป็นสตรีมที่พร้อมสําหรับการวิเคราะห์ที่สะท้อนโครงสร้างตารางต้นทางของคุณ DeltaFlow ยังทําให้การสร้างตารางปลายทางและการจัดการวิวัฒนาการสคีมาเป็นไปโดยอัตโนมัติ

1. บนหน้า เชื่อมต่อ เลือก การเชื่อมต่อใหม่

   

2. ในส่วน การตั้งค่าการเชื่อมต่อ ให้ป้อนค่าต่อไปนี้สําหรับ SQL Server ของคุณบน VM:

   • เซิร์ฟเวอร์: ป้อนที่อยู่ IP หรือชื่อโดเมนของ VM ของคุณ จากนั้นเพิ่มเครื่องหมายทวิภาคและพอร์ต ตัวอย่างเช่น ถ้าที่อยู่ IP ของคุณคือ xx.xxx.xxx.xxx และพอร์ตคือ 1433 คุณควรป้อน xx.xxx.xxx.xxx:1433 ในฟิลด์เซิร์ฟเวอร์ ถ้าไม่ได้ระบุพอร์ต จะใช้ค่า 1433 พอร์ตเริ่มต้น

   • ฐานข้อมูล: ป้อนชื่อของฐานข้อมูลที่คุณต้องการเชื่อมต่อบน SQL Server ของคุณบน VM

     

3. เลื่อนลง และในส่วน ข้อมูลประจําตัวการเชื่อมต่อ ให้ทําตามขั้นตอนเหล่านี้

   • สําหรับ ชื่อการเชื่อมต่อ ให้ใส่ชื่อสําหรับการเชื่อมต่อ

   • สําหรับชนิดการรับรองความถูกต้อง เลือกพื้นฐาน

     หมายเหตุ

     ปัจจุบัน Fabric Eventstream รองรับการรับรองความถูกต้อง Basic เท่านั้น

   • ป้อน Username และ Password สําหรับ SQL Server บน VM

     หมายเหตุ

     อย่าเลือกตัวเลือก: ใช้การเชื่อมต่อแบบเข้ารหัส

     

4. เลือก เชื่อมต่อ ที่ด้านล่างของหน้า

5. ตอนนี้ บนหน้า เชื่อมต่อ ให้เลือก ตารางทั้งหมด หรือ ป้อนชื่อตาราง หากคุณเลือกรายการหลัง ให้ระบุตารางโดยใช้รายการตัวระบุตารางที่คั่นด้วยเครื่องหมายจุลภาค (schemaName.tableName) หรือนิพจน์ปกติที่ถูกต้อง เช่น:

   • ใช้ dbo.test.* เพื่อเลือกตารางทั้งหมดที่มีชื่อเริ่มต้นด้วย dbo.test
   • ใช้ dbo\.(test1|test2) เพื่อเลือก dbo.test1 และ dbo.test2

   คุณสามารถผสมรูปแบบทั้งสองได้โดยใช้เครื่องหมายจุลภาค ขีดจํากัดอักขระทั้งหมดสําหรับรายการทั้งหมดคือ 102,400 อักขระ

6. คุณสามารถขยาย การตั้งค่าขั้นสูง เพื่อกําหนดค่า โหมดการจัดการทศนิยม ซึ่งระบุวิธีจัดการ DECIMAL ตัวเชื่อมต่อและ NUMERIC ค่าคอลัมน์:

   • Precise: แสดงค่าโดยใช้ประเภททศนิยมที่แน่นอน (เช่น Java BigDecimal) เพื่อให้มั่นใจถึงความแม่นยําและความถูกต้องอย่างเต็มที่ในการแสดงข้อมูล
   • Double: แปลงค่าเป็นจํานวนจุดทศนิยมลอยตัวที่มีความแม่นยําสองเท่า การตั้งค่านี้ช่วยเพิ่มการใช้งานและประสิทธิภาพ แต่อาจส่งผลให้สูญเสียความแม่นยํา
   • String: เข้ารหัสค่าเป็นสตริงที่จัดรูปแบบ การตั้งค่านี้ทําให้ง่ายต่อการใช้ในระบบดาวน์สตรีม แต่สูญเสียข้อมูลความหมายเกี่ยวกับประเภทตัวเลขดั้งเดิม

รายละเอียดสตรีมหรือแหล่งที่มา

1. บนหน้า เชื่อมต่อ ให้ทําตามขั้นตอนใดขั้นตอนหนึ่งเหล่านี้โดยพิจารณาจากว่าคุณกําลังใช้ Eventstream หรือ Real-Time ฮับ

   • สตรีมเหตุการณ์:

     ในบานหน้าต่าง รายละเอียดแหล่งที่มา ทางด้านขวา ให้ทําตามขั้นตอนเหล่านี้:

     1. สําหรับ ชื่อแหล่งที่มา ให้เลือกปุ่ม ดินสอ เพื่อเปลี่ยนชื่อ

     2. โปรดสังเกตว่า ชื่อ Eventstream และ ชื่อสตรีม เป็นแบบอ่านอย่างเดียว

   • ฮับReal-Time:

     ในส่วน รายละเอียดสตรีม ทางด้านขวา ให้ทําตามขั้นตอนเหล่านี้:

     1. เลือกพื้นที่ทํางาน Fabric ที่คุณต้องการสร้างสตรีมเหตุการณ์

     2. สําหรับ ชื่อสตรีมเหตุการณ์ ให้เลือกปุ่ม ดินสอ และป้อนชื่อสําหรับสตรีมเหตุการณ์

     3. ค่า ชื่อสตรีม จะถูกสร้างขึ้นให้คุณโดยอัตโนมัติโดยการผนวก -stream ต่อท้ายชื่อของสตรีมเหตุการณ์ สตรีมนี้จะปรากฏบนหน้า สตรีมข้อมูลทั้งหมดของ ฮับแบบเรียลไทม์เมื่อตัวช่วยสร้างเสร็จสิ้น

2. เลือก ถัดไป ที่ด้านล่างของหน้า กําหนดค่า

ตรวจสอบและเชื่อมต่อ

บนหน้าจอ ตรวจสอบ + เชื่อมต่อ ให้ตรวจสอบข้อมูลสรุป แล้วเลือก เพิ่ม (สตรีมเหตุการณ์) หรือ เชื่อมต่อ (ฮับReal-Time)

หน้าการจัดการ Schema

1. ในขั้นตอน การจัดการ Schema ให้เลือกตัวเลือกใดตัวเลือกหนึ่งต่อไปนี้:

   • เหตุการณ์ที่พร้อมสําหรับการวิเคราะห์ & สคีมาที่อัปเดตอัตโนมัติ (DeltaFlow Preview): ตัวเชื่อมต่อจะแปลงเหตุการณ์ CDC ดิบให้เป็นสตรีมที่พร้อมสําหรับการวิเคราะห์ที่สะท้อนโครงสร้างตารางต้นทางของคุณ DeltaFlow เพิ่มข้อมูลเมตาให้กับเหตุการณ์ด้วยข้อมูลเมตา เช่น ประเภทการเปลี่ยนแปลง (แทรก อัปเดต หรือลบ) และการประทับเวลา และจัดการตารางปลายทางและวิวัฒนาการสคีมาโดยอัตโนมัติ
   • เหตุการณ์ CDC ดิบ: ตัวเชื่อมต่อจะนําเข้าและทําให้เหตุการณ์ CDC ดิบพร้อมใช้งาน หรือตัวเชื่อมต่อสามารถค้นหา Schema ตารางโดยอัตโนมัติและลงทะเบียนในรีจิสทรี Schema ใช้ตัวเลือกนี้เมื่อคุณต้องการการรับรู้สคีมาโดยไม่ต้องแปลง DeltaFlow

   หมายเหตุ

   ภาพหน้าจอต่อไปนี้แสดง Azure SQL Database CDC ตัวเลือกการจัดการ Schema จะเหมือนกันสําหรับตัวเชื่อมต่อต้นทาง CDC ที่รองรับทั้งหมด

   

2. เปิดใช้งานการเชื่อมโยงสคีมาเหตุการณ์

3. สําหรับ พื้นที่ทํางาน ให้เลือกพื้นที่ทํางาน Fabric สําหรับชุด Schema

4. สําหรับ ชุดสคีมา + สร้าง จะถูกเลือกตามค่าเริ่มต้น ซึ่งจะสร้างชุดสคีมาใหม่ คุณสามารถเปลี่ยนเพื่อเลือกชุดสคีมาเหตุการณ์ที่มีอยู่ได้

5. หากคุณเลือกตัวเลือก + สร้าง ในขั้นตอนก่อนหน้า ให้ป้อนชื่อสําหรับชุดสคีมา

6. บนหน้าจอ ตรวจสอบ + สร้าง ให้ตรวจสอบข้อมูลสรุป แล้วเลือก เพิ่ม (สตรีมเหตุการณ์) หรือ เชื่อมต่อ (ฮับReal-Time)

   

   สําหรับตารางทั้งหมดหรือตารางที่เลือกในฐานข้อมูล SQL Server บน VM ตัวเชื่อมต่อจะค้นหาและสร้าง Schema โดยอัตโนมัติ และลงทะเบียนกับรีจิสทรี Schema

DeltaFlow: การแปลงเหตุการณ์ที่พร้อมสําหรับการวิเคราะห์ (พรีวิว)

เมื่อคุณเปิดใช้งาน เหตุการณ์ที่พร้อมสําหรับการวิเคราะห์และสคีมาที่อัปเดตอัตโนมัติ (DeltaFlow) ตัวเชื่อมต่อจะมีความสามารถดังต่อไปนี้:

• รูปร่างเหตุการณ์ที่พร้อมสําหรับการวิเคราะห์: เหตุการณ์ Debezium CDC ดิบจะถูกแปลงเป็นรูปแบบตารางที่สะท้อนโครงสร้างตารางต้นทาง เหตุการณ์จะสมบูรณ์ด้วยคอลัมน์ข้อมูลเมตา ซึ่งรวมถึงประเภทการเปลี่ยนแปลง (insert, หรือ updatedelete) และการประทับเวลาของเหตุการณ์
• การจัดการตารางปลายทางอัตโนมัติ: เมื่อคุณกําหนดเส้นทางสตรีมที่เปิดใช้งาน DeltaFlow ไปยังปลายทางที่รองรับ เช่น eventhouse ตารางปลายทางจะถูกสร้างขึ้นโดยอัตโนมัติเพื่อให้ตรงกับ Schema ตารางต้นทาง คุณไม่จําเป็นต้องสร้างหรือกําหนดค่าตารางปลายทางด้วยตนเอง
• การจัดการวิวัฒนาการของสคีมา: เมื่อตารางฐานข้อมูลต้นทางเปลี่ยนไป (ตัวอย่างเช่น มีการเพิ่มคอลัมน์ใหม่หรือสร้างตาราง) DeltaFlow จะตรวจหาการเปลี่ยนแปลงโดยอัตโนมัติ คุณลักษณะนี้ช่วยลดการแทรกแซงด้วยตนเองที่เกิดจากการเปลี่ยนแปลง Schema

หมายเหตุ

ปัจจุบัน DeltaFlow (พรีวิว) ได้รับการสนับสนุนกับ Azure SQL Database CDC, Azure SQL Managed Instance CDC, SQL Server บน VM CDC และตัวเชื่อมต่อต้นทาง PostgreSQL CDC

สําหรับรายละเอียดเกี่ยวกับวิธีที่ DeltaFlow แปลงเหตุการณ์ CDC ดิบให้เป็นเอาต์พุตที่พร้อมสําหรับการวิเคราะห์ รวมถึงชนิดการดําเนินการและคอลัมน์ข้อมูลเมตา โปรดดู การแปลงเอาต์พุต DeltaFlow

ดูเหตุการณ์ที่อัปเดตแล้ว

คุณสามารถดู SQL Server บนแหล่งที่มา VM DB CDC ที่เพิ่มลงในสตรีมเหตุการณ์ของคุณในโหมด Edit

เมื่อต้องการใช้ SQL Server ที่เพิ่มเข้ามาใหม่นี้บนแหล่งที่มาของ VM DB CDC ให้เลือก Publish หลังจากที่คุณทําตามขั้นตอนเหล่านี้เสร็จแล้ว SQL Server ของคุณบนแหล่ง VM DB CDC จะพร้อมใช้งานสําหรับการแสดงภาพใน Live view

กําหนดค่าปลายทาง Eventstream เพื่อใช้สคีมา

ปัจจุบัน เฉพาะ Eventhouse, ปลายทางที่กําหนดเอง และปลายทางสตรีมที่ได้รับเท่านั้นที่รองรับสําหรับ Eventstreams ที่มี Schema ที่เกี่ยวข้อง ส่วนนี้แสดงวิธีเพิ่มและกําหนดค่าปลายทาง Eventhouse เมื่อเปิดใช้งานคุณลักษณะเพิ่มเติม (เช่น การสนับสนุน Schema) สําหรับสตรีมเหตุการณ์

หมายเหตุ

เมื่อคุณใช้ DeltaFlow (พรีวิว) กับแหล่งข้อมูลการบันทึกข้อมูลการเปลี่ยนแปลง (CDC) ที่รองรับ ตารางปลายทางใน Eventhouse จะถูกสร้างขึ้นโดยอัตโนมัติและจัดการให้ตรงกับโครงสร้างตารางต้นทาง คุณไม่จําเป็นต้องกําหนดค่า Schema ตารางปลายทางด้วยตนเอง DeltaFlow ยังจัดการวิวัฒนาการสคีมาโดยอัตโนมัติเมื่อตารางต้นทางเปลี่ยนไป

กําหนดค่า Schema สําหรับปลายทางปลายทางแบบกําหนดเอง

1. เลือก แปลงเหตุการณ์ หรือ เพิ่มปลายทาง แล้วเลือก CustomEndpoint

2. บนบานหน้าต่าง ปลายทางแบบกําหนดเอง ให้ระบุชื่อสําหรับปลายทาง

3. สําหรับ Schema อินพุต ให้เลือก Schema สําหรับเหตุการณ์ คุณทําการเลือกในกล่องนี้เมื่อคุณเปิดใช้งานการสนับสนุน Schema สําหรับสตรีมเหตุการณ์

สําหรับขั้นตอนโดยละเอียดเกี่ยวกับการกําหนดค่าปลายทางปลายทางแบบกําหนดเอง โปรดดู เพิ่มปลายทางที่กําหนดเองหรือปลายทางแอปแบบกําหนดเองไปยังสตรีมเหตุการณ์

กําหนดค่า Schema สําหรับปลายทางของบ้านเหตุการณ์

1. เลือก แปลงเหตุการณ์ หรือ เพิ่มปลายทาง แล้วเลือก Eventhouse

2. บนบานหน้าต่าง Eventhouse ให้กําหนดค่าการตั้งค่าที่เกี่ยวข้องกับ Schema ต่อไปนี้:

   1. สําหรับ Schema อินพุต ให้เลือก Schema อย่างน้อยหนึ่งรายการจากรายการดรอปดาวน์

      

      หมายเหตุ

      ถ้าคุณเลือกตัวเลือก สคีมาแบบไดนามิกผ่านส่วนหัว เมื่อกําหนดค่าแหล่งข้อมูลฮับเหตุการณ์ คุณอาจได้กําหนดค่า Schema หลายรายการสําหรับแหล่งข้อมูล และแม็ปกับคุณสมบัติต่างๆ และค่าของต้นทาง

   2. สําหรับ วิธีการสร้างตาราง ให้เลือกตาราง เดียวที่มีสคีมาทั้งหมดรวม กัน หรือ แยกตารางสําหรับแต่ละสคีมา ขึ้นอยู่กับความต้องการของคุณ

      

   3. สําหรับ เขียนข้อมูลด้วย ให้เลือกหนึ่งในตัวเลือกต่อไปนี้:

      • เพย์โหลดเท่านั้น: เขียนข้อมูลเพย์โหลดที่แยกออกมาไปยังตาราง หากมีสคีมาอินพุตหลายรายการ ข้อมูลจะถูกส่งไปยังหลายตาราง
      • ข้อมูลเมตาและเพย์โหลด: เขียนข้อมูลเมตาและข้อมูลเพย์โหลดลงในตารางเดียว คอลัมน์ตัวอย่าง ได้แก่ source , subject, , typeและdata

      

สําหรับขั้นตอนโดยละเอียดเกี่ยวกับการกําหนดค่าปลายทางของบ้านเหตุการณ์ โปรดดู เพิ่มปลายทางของบ้านเหตุการณ์ไปยังสตรีมเหตุการณ์

ดูเอาต์พุตที่พร้อมสําหรับการวิเคราะห์ DeltaFlow (พรีวิว)

หากคุณเปิดใช้งาน เหตุการณ์ที่พร้อมใช้งาน Analytics และสคีมาที่อัปเดตอัตโนมัติ (DeltaFlow) ตารางปลายทางจะถูกสร้างขึ้นโดยอัตโนมัติในรูปร่างที่สะท้อนตารางฐานข้อมูลต้นทางของคุณ แต่ละตารางประกอบด้วยคอลัมน์เดิมพร้อมกับคอลัมน์ข้อมูลเมตาสําหรับชนิดการเปลี่ยนแปลงและการประทับเวลา

หมายเหตุ

ภาพหน้าจอต่อไปนี้แสดง Azure SQL Database CDC เอาต์พุตตารางปลายทาง DeltaFlow จะเหมือนกันสําหรับตัวเชื่อมต่อต้นทาง CDC ที่รองรับทั้งหมด

คุณสามารถสืบค้นตารางเหล่านี้โดยใช้ Kusto Query Language (KQL) หรือเครื่องมือวิเคราะห์อื่นๆ โดยไม่จําเป็นต้องแยกวิเคราะห์เพย์โหลด Debezium CDC ดิบ

เนื้อหาที่เกี่ยวข้อง

ตัวเชื่อมต่ออื่นๆ:

• สตรีมข้อมูล Amazon Kinesis
• <ค 0>Azure Cosmos DB
• <ค 0>Azure Event Hubs
• <ค 0>Azure IoT Hub
• Azure SQL Database การบันทึกข้อมูลการเปลี่ยนแปลง (CDC)
• บรรจบกัน Kafka
• ปลายทางแบบกําหนดเอง
• ผับ/ย่อย Google Cloud
• ฐานข้อมูล PostgreSQL CDC
• ข้อมูลตัวอย่าง
• เหตุการณ์ Azure Blob Storage
• Fabric เหตุการณ์พื้นที่ทํางาน