แชร์ผ่าน

สตรีมเหตุการณ์ของ Microsoft Fabric - ภาพรวม

  • บทความ

คุณลักษณะการสตรีมเหตุการณ์ในประสบการณ์ Microsoft Fabric Real-Time Intelligence ช่วยให้คุณนําเหตุการณ์แบบเรียลไทม์เข้ามาใน Fabric แปลงข้อมูล และจากนั้นกําหนดเส้นทางไปยังปลายทางต่าง ๆ โดยไม่ต้องเขียนโค้ดใด ๆ (ไม่มีรหัส) คุณสร้างเหตุการณ์สตรีม ซึ่งเป็นอินสแตนซ์ของรายการ เหตุการณ์ใน Fabric เพิ่มแหล่งข้อมูลเหตุการณ์ไปยังสตรีม เพิ่มการแปลงข้อมูลเมื่อต้องการแปลงข้อมูลเหตุการณ์ และจากนั้นกําหนดเส้นทางข้อมูลไปยังปลายทางที่สนับสนุน นอกจากนี้ด้วยจุดสิ้นสุด Apache Kafka ที่มีอยู่ในรายการ Eventstream คุณสามารถส่งหรือใช้เหตุการณ์แบบเรียลไทม์โดยใช้โปรโตคอล Kafka ได้

นําเหตุการณ์ลงใน Fabric

คุณลักษณะสตรีมเหตุการณ์มีตัวเชื่อมต่อแหล่งข้อมูลต่าง ๆ เพื่อดึงข้อมูลเหตุการณ์จากแหล่งข้อมูลต่างๆ มีแหล่งข้อมูลเพิ่มเติมที่พร้อมใช้งานเมื่อคุณเปิดใช้งาน ความสามารถ ที่ปรับปรุงประสิทธิภาพแล้วในเวลาที่สร้างเหตุการณ์สตรีม

สำคัญ

ความสามารถที่เพิ่มขึ้นของสตรีมเหตุการณ์ Fabric อยู่ในตัวอย่างในขณะนี้

ต้นทาง คำอธิบาย
Azure Event Hubs ถ้าคุณมีฮับเหตุการณ์ Azure คุณสามารถนําเข้าข้อมูลฮับเหตุการณ์ลงใน Microsoft Fabric โดยใช้ Eventstream ได้
Azure IoT Hub ถ้าคุณมีฮับ Azure IoT คุณสามารถนําเข้าข้อมูล IoT ลงใน Microsoft Fabric โดยใช้ Eventstream ได้
ฐานข้อมูล Azure SQL เปลี่ยนแปลงการเก็บข้อมูล (CDC) ตัวเชื่อมต่อแหล่ง CDC Azure SQL Database ช่วยให้คุณสามารถจับภาพสแนปช็อตของข้อมูลปัจจุบันในฐานข้อมูล Azure SQL ได้ ตัวเชื่อมต่อจะตรวจสอบและบันทึกการเปลี่ยนแปลงระดับแถวในอนาคตใดก็ตามในข้อมูลนี้
ฐานข้อมูล PostgreSQL CDC ตัวเชื่อมต่อแหล่งข้อมูล PostgreSQL Change Data Capture (CDC) ช่วยให้คุณสามารถจับภาพสแนปช็อตของข้อมูลปัจจุบันในฐานข้อมูล PostgreSQL ได้ ตัวเชื่อมต่อจะตรวจสอบและบันทึกการเปลี่ยนแปลงระดับแถวในอนาคตใดก็ตามในข้อมูลนี้
ฐานข้อมูล MySQL CDC ตัวเชื่อมต่อแหล่งข้อมูล Azure MySQL Change Data Capture (CDC) ช่วยให้คุณสามารถจับภาพสแนปช็อตของข้อมูลปัจจุบันในฐานข้อมูล Azure สําหรับฐานข้อมูล MySQL ได้ คุณสามารถระบุตารางเพื่อตรวจสอบ และบันทึกเหตุการณ์สตรีมจะบันทึกการเปลี่ยนแปลงระดับแถวในอนาคตไปยังตารางได้
Azure Cosmos DB CDC ตัวเชื่อมต่อแหล่งข้อมูล Azure Cosmos DB Change Data Capture (CDC) สําหรับสตรีมเหตุการณ์ Microsoft Fabric ช่วยให้คุณสามารถจับภาพสแนปช็อตของข้อมูลปัจจุบันในฐานข้อมูล Azure Cosmos DB ตัวเชื่อมต่อจะตรวจสอบและบันทึกการเปลี่ยนแปลงระดับแถวในอนาคตใดก็ตามในข้อมูลนี้
เซิร์ฟเวอร์ SQL บน VM DB (CDC) ตัวเชื่อมต่อแหล่งข้อมูล SQL Server บน VM DB (CDC) สําหรับสตรีมเหตุการณ์ Fabric ช่วยให้คุณสามารถจับภาพสแนปช็อตของข้อมูลปัจจุบันในฐานข้อมูล SQL Server บน VM ตัวเชื่อมต่อจะตรวจสอบและบันทึกการเปลี่ยนแปลงระดับแถวในอนาคตใดก็ตามในข้อมูล
CDC อินสแตนซ์ที่จัดการแล้วของ Azure SQL ตัวเชื่อมต่อแหล่ง CDC อินสแตนซ์ที่จัดการแล้วของ Azure SQL สําหรับสตรีมเหตุการณ์ Microsoft Fabric ช่วยให้คุณสามารถจับภาพสแนปช็อตของข้อมูลปัจจุบันในฐานข้อมูล SQL Managed Instance ตัวเชื่อมต่อจะตรวจสอบและบันทึกการเปลี่ยนแปลงระดับแถวในอนาคตใดก็ตามในข้อมูลนี้
ผับ/ย่อย Google Cloud Google Pub/Sub เป็นบริการส่งข้อความที่ช่วยให้คุณสามารถเผยแพร่และสมัครสมาชิกสตรีมของเหตุการณ์ได้ คุณสามารถเพิ่ม Google Pub/Sub เป็นแหล่งข้อมูลให้กับเหตุการณ์ของคุณเพื่อจับภาพ แปลง และกําหนดเส้นทางเหตุการณ์แบบเรียลไทม์ไปยังปลายทางต่าง ๆ ใน Fabric ได้
Amazon Kinesis Data Streams Amazon Kinesis Data Streams เป็นการนําเข้าข้อมูลที่ปรับขนาดได้และทนทานสูงและการบริการการประมวลผลที่ปรับให้เหมาะสมสําหรับการสตรีมข้อมูล โดยการรวม Amazon Kinesis Data Streams เป็นแหล่งข้อมูลภายในเหตุการณ์ของคุณ คุณสามารถประมวลผลสตรีมข้อมูลแบบเรียลไทม์ได้อย่างราบรื่นก่อนที่จะกําหนดเส้นทางไปยังหลายปลายทางภายใน Fabric
Confluent Cloud Kafka Confluent Cloud Kafka เป็นแพลตฟอร์มการสตรีมที่นําเสนอฟังก์ชันการสตรีมข้อมูลและการประมวลผลที่มีประสิทธิภาพโดยใช้ Apache Kafka โดยการรวม Confluent Cloud Kafka เป็นแหล่งข้อมูลภายในเหตุการณ์ของคุณ คุณสามารถประมวลผลสตรีมข้อมูลแบบเรียลไทม์ได้อย่างราบรื่นก่อนที่จะกําหนดเส้นทางไปยังหลายปลายทางภายใน Fabric
Apache Kafka Apache Kafka เป็นโอเพนซอร์สแพลตฟอร์มแบบกระจายสําหรับการสร้างระบบข้อมูลแบบเรียลไทม์ที่ปรับขนาดได้ โดยการรวม Apache Kafka เป็นแหล่งข้อมูลภายในเหตุการณ์ของคุณ คุณสามารถนําเหตุการณ์แบบเรียลไทม์จาก Apache Kafka ของคุณได้อย่างราบรื่นและประมวลผลก่อนกําหนดเส้นทางไปยังหลายปลายทางภายใน Fabric
Amazon MSK Kafka Amazon MSK Kafka เป็นบริการของ Kafka ที่มีการจัดการเต็มรูปแบบ ทําให้ง่ายต่อการตั้งค่า การปรับขนาด และการจัดการ โดยการรวม Amazon MSK Kafka เป็นแหล่งภายในเหตุการณ์ของคุณ คุณสามารถนําเหตุการณ์แบบเรียลไทม์จาก MSK Kafka ของคุณและประมวลผลก่อนกําหนดเส้นทางไปยังปลายทางหลายแห่งภายใน Fabric ได้อย่างราบรื่น 
เหตุการณ์ที่เก็บข้อมูล Azure Blob เหตุการณ์ Azure Blob Storage จะถูกทริกเกอร์เมื่อไคลเอ็นต์สร้าง แทนที่ หรือลบ blob ตัวเชื่อมต่อช่วยให้คุณสามารถเชื่อมโยงเหตุการณ์ที่เก็บข้อมูล Blob ไปยัง Fabric เหตุการณ์ในฮับแบบเรียลไทม์ คุณสามารถแปลงเหตุการณ์เหล่านี้เป็นสตรีมข้อมูลแบบต่อเนื่องและแปลงได้ก่อนที่จะกําหนดเส้นทางไปยังปลายทางต่างๆ ใน Fabric
เหตุการณ์รายการพื้นที่ทํางานของ Fabric เหตุการณ์รายการพื้นที่ทํางานของ Fabric เป็นเหตุการณ์ Fabric ที่แยกจากกันซึ่งเกิดขึ้นเมื่อมีการเปลี่ยนแปลงในพื้นที่ทํางาน Fabric ของคุณ การเปลี่ยนแปลงเหล่านี้รวมถึงการสร้าง การอัปเดต หรือลบรายการ Fabric ด้วยสตรีมเหตุการณ์ Fabric คุณสามารถจับภาพเหตุการณ์พื้นที่ทํางาน Fabric เหล่านี้ แปลงข้อมูล และกําหนดเส้นทางไปยังปลายทางต่าง ๆ ใน Fabric เพื่อการวิเคราะห์เพิ่มเติม
ข้อมูลตัวอย่าง คุณสามารถเลือกเหตุการณ์จักรยาน รถแท็กซี่สีเหลือง หรือตลาดสินค้าคงคลังเป็นแหล่งข้อมูลตัวอย่างเพื่อทดสอบการนําเข้าข้อมูลในขณะตั้งค่าเหตุการณ์
จุดสิ้นสุดแบบกําหนดเอง (เช่น แอปแบบกําหนดเองในความสามารถมาตรฐาน) คุณลักษณะจุดสิ้นสุดแบบกําหนดเองช่วยให้แอปพลิเคชันหรือไคลเอ็นต์ Kafka ของคุณสามารถเชื่อมต่อกับ Eventstream โดยใช้สายอักขระการเชื่อมต่อ ช่วยให้การนําเข้าข้อมูลการสตรีมเป็นเหตุการณ์ได้อย่างราบรื่น

ประมวลผลเหตุการณ์โดยใช้ประสบการณ์ไม่มีโค้ด

ประสบการณ์การลากและวางช่วยให้คุณมีวิธีที่ง่ายและใช้งานง่ายในการสร้างการประมวลผลข้อมูลเหตุการณ์ การแปลง และตรรกะการกําหนดเส้นทางโดยไม่ต้องเขียนโค้ดใด ๆ แผนภาพโฟลว์ข้อมูลอย่างครอบคลุมในกระแสข้อมูลสามารถช่วยให้คุณเข้าใจอย่างครอบคลุมเกี่ยวกับกระแสข้อมูลและการจัดระเบียบได้ ตัวแก้ไขตัวประมวลผลเหตุการณ์เป็นประสบการณ์ไม่มีโค้ดที่ช่วยให้คุณสามารถลากและวางเพื่อออกแบบตรรกะการประมวลผลข้อมูลเหตุการณ์

การแปลงข้อมูล คำอธิบาย
ตัวกรอง ใช้การแปลงตัวกรองเพื่อกรองเหตุการณ์ที่ยึดตามค่าของเขตข้อมูลในข้อมูลป้อนเข้า การแปลงจะเก็บค่าที่ตรงกับเงื่อนไขที่เลือก เช่น is null หรือ is not nullโดยขึ้นอยู่กับชนิดข้อมูล (ตัวเลขหรือข้อความ)
จัดการเขตข้อมูล การแปลงเขตข้อมูล Manage ช่วยให้คุณสามารถเพิ่ม ลบ เปลี่ยนชนิดข้อมูล หรือเปลี่ยนชื่อเขตข้อมูลที่มาจากอินพุตหรือการแปลงอื่น
การรวม ใช้การแปลงข้อมูลรวมเพื่อคํานวณการรวม (ผลรวม ต่ําสุด สูงสุด หรือค่าเฉลี่ย) ทุกครั้งที่เหตุการณ์ใหม่เกิดขึ้นในช่วงเวลาหนึ่ง การดําเนินการนี้ยังอนุญาตให้มีการเปลี่ยนชื่อของคอลัมน์จากการคํานวณเหล่านี้ และการกรองหรือการแบ่งส่วนการรวมที่ยึดตามมิติอื่น ๆ ในข้อมูลของคุณ คุณสามารถมีการรวมอย่างน้อยหนึ่งรายการในการแปลงเดียวกัน
จัดกลุ่มตาม ใช้การแปลงข้อมูล จัดกลุ่มตาม เพื่อคํานวณการรวมทั่วทั้งเหตุการณ์ทั้งหมดภายในช่วงเวลาหนึ่ง คุณสามารถจัดกลุ่มตามค่าในเขตข้อมูลอย่างน้อยหนึ่งหรือมากกว่า ซึ่งเหมือนกับการแปลงค่ารวมที่ช่วยในการเปลี่ยนชื่อคอลัมน์ แต่มีตัวเลือกเพิ่มเติมสําหรับการรวมและมีตัวเลือกที่ซับซ้อนมากขึ้นสําหรับหน้าต่างเวลา เช่นเดียวกับการรวม คุณสามารถเพิ่มการรวมได้มากกว่าหนึ่งรายการต่อการแปลง
สหภาพ ใช้การแปลงแบบรวมเพื่อเชื่อมต่ออย่างน้อยสองโหนด และเพิ่มเหตุการณ์ด้วยเขตข้อมูลที่ใช้ร่วมกัน (ที่มีชื่อและชนิดข้อมูลเดียวกัน) ลงในตารางเดียว เขตข้อมูลที่ไม่ตรงกันจะถูกทิ้งและไม่รวมอยู่ในเอาต์พุต
ขยาย ใช้การขยายการแปลงอาร์เรย์ เพื่อสร้างแถวใหม่สําหรับแต่ละค่าภายในอาร์เรย์
เข้าร่วม ใช้การแปลงรวมเพื่อรวมข้อมูลจากสองสตรีมโดยยึดตามเงื่อนไขที่ตรงกันระหว่างกัน

ถ้าคุณเปิดใช้งาน ความสามารถ ขั้นสูงขณะสร้างเหตุการณ์สตรีม การดําเนินการแปลงได้รับการสนับสนุนสําหรับปลายทางทั้งหมด (ด้วยการสตรีมที่ได้รับการดําเนินการเป็นบริดจ์ระดับกลางสําหรับปลายทางบางอย่าง เช่น จุดสิ้นสุดแบบกําหนดเอง Reflex) หากคุณไม่ได้ดําเนินการแปลงข้อมูลจะพร้อมใช้งานสําหรับ Lakehouse และ Eventhouse (การประมวลผลเหตุการณ์ก่อนการนําเข้า) ปลายทางเท่านั้น

กําหนดเส้นทางเหตุการณ์ไปยังปลายทาง

คุณลักษณะการสตรีมเหตุการณ์ Fabric สนับสนุนการส่งข้อมูลไปยังปลายทางที่ได้รับการสนับสนุนต่อไปนี้

ปลายทาง คำอธิบาย
จุดสิ้นสุดแบบกําหนดเอง (เช่น แอปแบบกําหนดเองในความสามารถมาตรฐาน) ด้วยปลายทางนี้ คุณสามารถกําหนดเส้นทางเหตุการณ์แบบเรียลไทม์ของคุณไปยังจุดสิ้นสุดแบบกําหนดเองได้อย่างง่ายดาย คุณสามารถเชื่อมต่อแอปพลิเคชันของคุณเองกับเหตุการณ์สตรีม และใช้ข้อมูลเหตุการณ์ในแบบเรียลไทม์ได้ ปลายทางนี้มีประโยชน์เมื่อคุณต้องการส่งออกข้อมูลแบบเรียลไทม์ไปยังระบบภายนอกภายนอก Microsoft Fabric
อีเวนต์เฮ้าส์ ปลายทางนี้ช่วยให้คุณสามารถรวบรวมข้อมูลเหตุการณ์แบบเรียลไทม์ของคุณลงใน Eventhouse ได้ ซึ่งคุณสามารถใช้ Kusto Query Language (KQL) อันทรงพลังเพื่อคิวรีและวิเคราะห์ข้อมูลได้ ด้วยข้อมูลใน Eventhouse คุณสามารถรับข้อมูลเชิงลึกมากขึ้นลงในข้อมูลเหตุการณ์ของคุณและสร้างรายงานและแดชบอร์ดที่สมบูรณ์ได้ คุณสามารถเลือกระหว่างโหมดการนําเข้าสองโหมด: การนําเข้าโดยตรง และ การประมวลผลเหตุการณ์ก่อนการนําเข้าข้อมูลได้
เลคเฮ้าส์ ปลายทางนี้ช่วยให้คุณสามารถแปลงเหตุการณ์แบบเรียลไทม์ของคุณก่อนที่จะนําเข้าลงในเลคเฮ้าส์ของคุณ เหตุการณ์แบบเรียลไทม์จะแปลงเป็นรูปแบบ Delta Lake และจากนั้นจัดเก็บในตารางเลคเฮ้าส์ที่กําหนด ปลายทางนี้สนับสนุนสถานการณ์คลังข้อมูล
สะท้อน ปลายทางนี้ช่วยให้คุณสามารถเชื่อมต่อข้อมูลเหตุการณ์แบบเรียลไทม์ของคุณไปยัง Reflex ได้โดยตรง Reflex เป็นตัวแทนอัจฉริยะประเภทหนึ่งที่มีข้อมูลทั้งหมดที่จําเป็นในการเชื่อมต่อกับข้อมูล ตรวจสอบเงื่อนไข และดําเนินการ เมื่อข้อมูลถึงขีดจํากัดบางอย่างหรือตรงกับรูปแบบอื่น Reflex จะใช้การดําเนินการที่เหมาะสมโดยอัตโนมัติ เช่น ผู้ใช้ที่แจ้งเตือน หรือเริ่มต้นเวิร์กโฟลว์ Power Automate
สตรีมที่ได้รับมา Stream ที่ได้รับมาเป็นประเภทปลายทางที่คุณสามารถสร้างได้หลังจากเพิ่มการดําเนินการสตรีม เช่น ตัวกรองหรือจัดการเขตข้อมูล ไปยังกระแสข้อมูล สตรีมที่ได้รับมาแสดงถึงสตรีมเริ่มต้นที่แปลงแล้วตามการประมวลผลสตรีม คุณสามารถกําหนดเส้นทางสตรีมที่ได้รับไปยังหลายปลายทางใน Fabric และดูสตรีมที่ได้รับมาในฮับแบบเรียลไทม์

คุณสามารถแนบปลายทางหลายจุดในเหตุการณ์เพื่อรับข้อมูลจากเหตุการณ์สตรีมของคุณพร้อมกันโดยไม่ต้องแทรกแซงซึ่งกันและกัน

สกรีนช็อตที่แสดงภาพรวมรายการเหตุการณ์

หมายเหตุ

เราขอแนะนําให้คุณใช้คุณลักษณะสตรีมเหตุการณ์ของ Microsoft Fabric ที่มีหน่วยความจุอย่างน้อย 4 หน่วย (SKU: F4)

Apache Kafka บนสตรีมเหตุการณ์ Fabric

คุณลักษณะการสตรีมเหตุการณ์ Fabric มีจุดสิ้นสุด Apache Kafka ในรายการ Eventstream ทําให้ผู้ใช้สามารถเชื่อมต่อและใช้เหตุการณ์การสตรีมผ่านโพรโทคอล Kafka ได้ หากคุณมีแอปพลิเคชันที่ใช้โพรโทคอล Apache Kafka เพื่อส่งหรือใช้เหตุการณ์การสตรีมด้วยหัวข้อ Kafka เฉพาะคุณสามารถปรับแอปพลิเคชันเดียวกันเพื่อส่งหรือใช้เหตุการณ์การสตรีมภายในกระแสข้อมูลของคุณได้อย่างง่ายดายโดยอัปเดตการตั้งค่าการเชื่อมต่อของคุณให้ชี้ไปที่จุดสิ้นสุด Kafka ที่ให้ไว้ในเหตุการณ์ของคุณ

คุณลักษณะสตรีมเหตุการณ์ Fabric ได้รับการสนับสนุนโดย Azure Event Hubs ซึ่งเป็นบริการระบบคลาวด์ดั้งเดิมที่มีการจัดการอย่างสมบูรณ์ เมื่อสร้างเหตุการณ์สตรีม namespace ของฮับเหตุการณ์จะถูกเตรียมใช้งานโดยอัตโนมัติ และฮับเหตุการณ์จะถูกจัดสรรให้กับสตรีมเริ่มต้นโดยไม่ต้องกําหนดค่าการเตรียมใช้งานใดๆ หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับคุณลักษณะที่เข้ากันได้กับ Kafka ในบริการ Azure Event Hubs โปรดดู Azure Event Hubs สําหรับ Apache Kafka

เพื่อเรียนรู้เพิ่มเติมเกี่ยวกับวิธีการรับรายละเอียดจุดสิ้นสุด Kafka สําหรับการส่งเหตุการณ์ไปยังเหตุการณ์ ดู เพิ่มปลายทางแบบกําหนดเองไปยังเหตุการณ์ และสําหรับการบริโภคเหตุการณ์จากเหตุการณ์ ดู เพิ่มปลายทางปลายทางปลายทางแบบกําหนดเองไปยังเหตุการณ์

ความสามารถในการปรับปรุง (ตัวอย่าง)

มีคุณลักษณะ แหล่งข้อมูล และปลายทางที่พร้อมใช้งานเพิ่มเติมเมื่อคุณเปิดใช้งาน ตัวเลือก ความสามารถขั้นสูง (ตัวอย่าง) ขณะสร้างเหตุการณ์สตรีม ใช้แท็บ ความสามารถขั้นสูง (ตัวอย่าง) และ ความสามารถมาตรฐาน เพื่อเรียนรู้เกี่ยวกับแหล่งข้อมูลและปลายทางเพิ่มเติมที่สนับสนุนด้วยความสามารถขั้นสูง

ต่อไปนี้คือฟีเจอร์ที่น่าจดจําอื่นๆ ของความสามารถขั้นสูง (ตัวอย่าง):

  • โหมดแก้ไขและมุมมองสด สํารวจสองโหมดที่แตกต่างกันสําหรับการแสดงภาพและการออกแบบการประมวลผลสตรีม
  • ค่าเริ่มต้นและสตรีมที่ได้รับมา สร้างโฟลว์ของสตรีมแบบต่อเนื่องด้วยรูปแบบที่คุณออกแบบด้วยตัวประมวลผลเหตุการณ์ที่สามารถใช้ได้ในภายหลังในฮับเรียลไทม์
  • การกําหนดเส้นทางกระแสข้อมูลตามเนื้อหา แปลงและกําหนดเส้นทางสตรีมข้อมูลของคุณที่ใดก็ได้ภายใน Fabric โดยยึดตามเนื้อหาสตรีมข้อมูลที่คุณออกแบบด้วยตัวประมวลผลเหตุการณ์

เนื้อหาที่เกี่ยวข้อง