กระแสข้อมูลการสตรีม (ตัวอย่าง)

องค์กรต้องการใช้งานข้อมูลตามที่เข้ามา ไม่ใช่หลายวันหรือหลายสัปดาห์ต่อมา วิสัยทัศน์ของ Power BI นั้นง่าย: ความแตกต่างระหว่างชุดงาน เวลาจริง และการสตรีมควรหายไป ผู้ใช้ควรสามารถทํางานกับข้อมูลทั้งหมดได้ทันทีที่พร้อมใช้งาน นักวิเคราะห์มักต้องการความช่วยเหลือทางเทคนิคเพื่อจัดการกับแหล่งข้อมูลการสตรีม การเตรียมข้อมูล การดําเนินการที่ซับซ้อนตามเวลาและการแสดงภาพข้อมูลแบบเรียลไทม์ แผนก IT มักพึ่งพาระบบที่สร้างขึ้นเองและการรวมกันของเทคโนโลยีจากผู้ขายต่าง ๆ เพื่อวิเคราะห์ข้อมูลในเวลาทันใด หากไม่มีความซับซ้อนนี้ พวกเขาไม่สามารถให้ข้อมูลกับผู้มีอํานาจตัดสินใจได้ในแบบเรียลไทม์

กระแสข้อมูลการสตรีมช่วยให้ผู้สร้างสามารถเชื่อมต่อ, นําเข้า, ผสม, สร้างแบบจําลอง และสร้างรายงานที่ยึดตามการสตรีมในข้อมูลใกล้เคียงเวลาจริงโดยตรงในบริการของ Power BI บริการนี้ช่วยให้สามารถใช้งานแบบลากแล้วปล่อยและไม่ต้องเขียนโค้ด คุณสามารถผสมและจับคู่ข้อมูลการสตรีมกับข้อมูลชุดถ้าคุณต้องการผ่านอินเทอร์เฟซผู้ใช้ (UI) ที่มี มุมมอง แผนภาพสําหรับการรวมข้อมูลอย่างง่าย รายการสุดท้ายที่สร้างขึ้นคือกระแสข้อมูลซึ่งสามารถใช้งานแบบเรียลไทม์เพื่อสร้างการรายงานที่มีการโต้ตอบสูงและใกล้เคียงกับการรายงานแบบเรียลไทม์ ความสามารถในการแสดงภาพข้อมูลทั้งหมดใน Power BI ทํางานกับข้อมูลการสตรีม เหมือนกับที่ทํากับข้อมูลชุด

สำคัญ

กระแสข้อมูลการสตรีมถูกเลิกใช้งานแล้วและไม่พร้อมใช้งานอีกต่อไป Azure Stream Analytics ได้รวมฟังก์ชันการทํางานของกระแสข้อมูลสตรีมมิ่งเข้าด้วยกัน สําหรับข้อมูลเพิ่มเติมเกี่ยวกับเกษียณของกระแสข้อมูลการสตรีม โปรดดูประกาศการเกษียณ ผู้ใช้สามารถดําเนินการเตรียมข้อมูล เช่น การรวมและตัวกรอง นอกจากนี้ พวกเขายังสามารถดําเนินการรวมหน้าต่างเวลา (เช่น tumbling, hopping และหน้าต่างเซสชัน) สําหรับการดําเนินการ group-by การสตรีมกระแสข้อมูลใน Power BI เพิ่มศักยภาพขององค์กรเพื่อ:

• ทําการตัดสินใจอย่างมั่นใจในแบบเรียลไทม์ องค์กรสามารถคล่องตัวมากขึ้นและดําเนินการที่มีความหมายโดยยึดตามข้อมูลเชิงลึกล่าสุด
• ลดระดับข้อมูลการสตรีม องค์กรสามารถทําให้ข้อมูลสามารถเข้าถึงได้มากขึ้นและแปลได้ง่ายขึ้นด้วยโซลูชันที่ไม่มีโค้ดและการเข้าถึงนี้จะช่วยลดทรัพยากรไอที
• เร่งเวลาเพื่อดูข้อมูลเชิงลึกโดยใช้โซลูชันการวิเคราะห์การสตรีมแบบ end-to-end ด้วยที่เก็บข้อมูลและข่าวกรองธุรกิจแบบรวม

กระแสข้อมูลการสตรีมสนับสนุน DirectQuery และการ รีเฟรชหน้าอัตโนมัติ/การตรวจหาการเปลี่ยนแปลง การสนับสนุนนี้ช่วยให้ผู้ใช้สามารถสร้างรายงานที่อัปเดตใกล้เคียงกับเวลาจริงได้สูงสุดทุกวินาทีโดยใช้วิชวลใด ๆ ที่พร้อมใช้งานใน Power BI

ข้อกำหนด

ก่อนที่คุณจะสร้างกระแสข้อมูลการสตรีมครั้งแรก โปรดตรวจสอบให้แน่ใจว่าคุณได้ปฏิบัติตามข้อกําหนดต่อไปนี้ทั้งหมด:

• หากต้องการสร้างและเรียกใช้กระแสข้อมูลการสตรีม คุณต้องมีพื้นที่ทํางานที่เป็นส่วนหนึ่งของความจุพรีเมียมหรือสิทธิการใช้งาน Premium Per User (PPU)

  สำคัญ

  หากคุณกําลังใช้สิทธิการใช้งาน PPU และคุณต้องการให้ผู้ใช้รายอื่นใช้รายงานที่สร้างขึ้นด้วยกระแสข้อมูลการสตรีมที่ได้รับการอัปเดตในแบบเรียลไทม์ พวกเขายังต้องมีสิทธิการใช้งาน PPU ด้วย จากนั้น พวกเขาสามารถใช้รายงานด้วยความถี่ในการรีเฟรชเดียวกันกับที่คุณตั้งค่า ถ้าการรีเฟรชนั้นเร็วกว่าทุก 30 นาที

• เปิดใช้งานกระแสข้อมูลสําหรับผู้เช่าของคุณ สําหรับข้อมูลเพิ่มเติม ดูการเปิดใช้งานกระแสข้อมูลใน Power BI Premium

• เพื่อให้แน่ใจว่ากระแสข้อมูลการสตรีมทํางานในความจุ พรีเมียมของคุณ จําเป็นต้องเปิดใช้กลไก การคํานวณขั้นสูง กลไกจัดการถูกเปิดใช้งานตามค่าเริ่มต้น แต่ผู้ดูแลระบบความจุ Power BI สามารถปิดใช้งานได้ ถ้าเป็นเช่นนั้น โปรดติดต่อผู้ดูแลระบบของคุณเพื่อเปิด

  กลไกการคํานวณขั้นสูงพร้อมใช้งานเฉพาะใน Premium P หรือ Embedded A3 และความจุที่ใหญ่กว่าเท่านั้น หากต้องการใช้กระแสข้อมูลการสตรีม คุณต้องมี PPU ความจุ Premium P ทุกขนาดหรือความจุ A3 แบบฝังตัวหรือความจุที่ใหญ่กว่า สําหรับข้อมูลเพิ่มเติมเกี่ยวกับ Premium SKU และข้อกําหนด โปรดดู ความจุและ SKU ในการวิเคราะห์แบบฝังตัวของ Power BI

• ในการสร้างรายงานที่มีการอัปเดตแบบเรียลไทม์ ตรวจสอบให้แน่ใจว่าผู้ดูแลระบบของคุณ (ความจุหรือ Power BI สําหรับ PPU) ได้เปิดใช้งานการรีเฟรชหน้าอัตโนมัติ นอกจากนี้ ตรวจสอบให้แน่ใจว่าผู้ดูแลระบบได้อนุญาตช่วงเวลาการรีเฟรชต่ําสุดที่ตรงกับความต้องการของคุณ สําหรับข้อมูลเพิ่มเติม ดูการรีเฟรชหน้าอัตโนมัติใน Power BI

สร้างกระแสข้อมูลการสตรีม

กระแสข้อมูลการสตรีม เช่น กระแสข้อมูลสัมพันธ์ คือคอลเลกชันของเอนทิตี (ตาราง) ที่สร้างและจัดการในพื้นที่ทํางานในบริการของ Power BI ตาราง คือชุดของเขตข้อมูลที่ใช้เพื่อเก็บข้อมูล ซึ่งคล้ายคลึงกับตารางที่อยู่ภายในฐานข้อมูล

คุณสามารถเพิ่มและแก้ไขตารางในกระแสข้อมูลการสตรีมของคุณได้โดยตรงจากพื้นที่ทํางานที่ใช้สร้างกระแสข้อมูล ความแตกต่างหลักๆ กับกระแสข้อมูลปกติคือ คุณไม่จําเป็นต้องกังวลเกี่ยวกับการรีเฟรชหรือความถี่ เนื่องจากลักษณะของข้อมูลการสตรีม จึงมีการสตรีมอย่างต่อเนื่องเข้ามา การรีเฟรชเป็นค่าคงที่หรือไม่มีที่สิ้นสุด เว้นแต่ว่าคุณหยุดการรีเฟรชนั้น

หมายเหตุ

คุณสามารถมีกระแสข้อมูลได้เพียงประเภทเดียวต่อพื้นที่ทํางาน ถ้าคุณมีกระแสข้อมูลปกติในพื้นที่ทํางาน Premium คุณจะไม่สามารถสร้างกระแสข้อมูลการสตรีมได้ (และในทางกลับกันด้วย)

วิธีการสร้างกระแสข้อมูลการสตรีม:

1. เปิดบริการของ Power BI ในเบราว์เซอร์ จากนั้นเลือกพื้นที่ทํางานที่เปิดใช้งาน Premium (กระแสข้อมูลการสตรีม เช่น กระแสข้อมูลปกติ ไม่พร้อมใช้งานใน พื้นที่ทํางานของฉัน)

2. เลือก เมนูดรอปดาวน์ ใหม่ จากนั้นเลือก กระแสข้อมูลการสตรีม

   

3. ในบานหน้าต่างด้านข้างที่เปิดขึ้น คุณต้องตั้งชื่อกระแสข้อมูลการสตรีมของคุณ ป้อนชื่อในกล่อง ชื่อ (1) จากนั้นเลือก สร้าง (2)

   

   มุมมองไดอะแกรมที่ว่างเปล่าสําหรับการสตรีมกระแสข้อมูลจะปรากฏขึ้น

สกรีนช็อตต่อไปนี้แสดงกระแสข้อมูลที่เสร็จแล้ว ซึ่งเน้นทุกส่วนที่พร้อมใช้งานสําหรับคุณสําหรับการเขียนใน UI กระแสข้อมูลการสตรีม

1. ริบบิ้น: บนริบบอน ส่วนจะเป็นไปตามลําดับของกระบวนการวิเคราะห์ "คลาสสิก": อินพุต (หรือที่เรียกว่าแหล่งข้อมูล) การแปลง (การดําเนินการสตรีม ETL) เอาต์พุต และปุ่มเพื่อบันทึกความคืบหน้าของคุณ

2. มุมมองแผนภาพ: มุมมองนี้เป็นการแสดงกราฟิกของกระแสข้อมูลของคุณ จากอินพุตไปยังการดําเนินการกับเอาต์พุต

3. บานหน้าต่างด้านข้าง: ขึ้นอยู่กับคอมโพเนนต์ที่คุณเลือกในมุมมองไดอะแกรม คุณมีการตั้งค่าเพื่อปรับเปลี่ยนการป้อนข้อมูล การแปลง หรือผลลัพธ์แต่ละรายการ

4. แท็บสําหรับตัวอย่างข้อมูล ข้อผิดพลาดการเขียน และข้อผิดพลาดในรันไทม์: สําหรับการ์ดแต่ละใบที่แสดงอยู่ การแสดงตัวอย่างข้อมูลแสดงผลลัพธ์สําหรับขั้นตอนนั้น (แบบสดสําหรับอินพุตและตามต้องการสําหรับการแปลงและเอาต์พุต)

   นอกจากนี้ ส่วนนี้ยังสรุปข้อผิดพลาดหรือคําเตือนของการเขียนใด ๆ ที่คุณอาจมีในกระแสข้อมูลของคุณ การเลือกแต่ละข้อผิดพลาดหรือคําเตือนจะเลือกการแปลงนั้น นอกจากนี้ คุณมีสิทธิ์เข้าถึงข้อผิดพลาดรันไทม์หลังจากกระแสข้อมูลกําลังทํางาน เช่น ข้อความที่ทิ้ง

   คุณสามารถย่อส่วนนี้ของกระแสข้อมูลการสตรีมได้โดยการเลือกลูกศรที่มุมขวาบน

กระแสข้อมูลการสตรีมถูกสร้างขึ้นบนคอมโพเนนต์หลักสามส่วน: อินพุตการสตรีม การแปลง และเอาต์พุต คุณสามารถมีคอมโพเนนต์ได้มากเท่าที่คุณต้องการ รวมถึงอินพุทหลายสาขาคู่ขนานที่มีการแปลงหลายรายการ และผลลัพธ์หลายรายการ

เพิ่มอินพุตการสตรีม

หากต้องการเพิ่มอินพุตการสตรีม ให้เลือกไอคอนบนริบบิ้นและให้ข้อมูลที่จําเป็นในบานหน้าต่างด้านข้างเพื่อตั้งค่า ณ เดือนกรกฎาคม 2021 ตัวอย่างของกระแสข้อมูลการสตรีมสนับสนุน Azure Event Hubs และ Azure IoT Hub เป็นข้อมูลป้อนเข้า

บริการ Azure Event Hubs และ Azure IoT Hub ถูกสร้างขึ้นบนสถาปัตยกรรมทั่วไปเพื่ออํานวยความสะดวกในการนําเข้าและการบริโภคเหตุการณ์ที่รวดเร็วและสามารถปรับขนาดได้ โดยเฉพาะอย่างยิ่งฮับ IoT ได้รับการปรับให้เป็นฮับข้อความกลางสําหรับการสื่อสารในทั้งสองทิศทางระหว่างการประยุกต์ใช้ IoT และอุปกรณ์ที่แนบมา

Azure Event Hubs

Azure Event Hubs เป็นแพลตฟอร์มการสตรีมข้อมูลขนาดใหญ่และบริการการนําเข้าข้อมูลเหตุการณ์ ซึ่งสามารถรับและประมวลผลเหตุการณ์นับล้านต่อวินาที ข้อมูลที่ส่งไปยังฮับเหตุการณ์สามารถแปลงและจัดเก็บโดยใช้ผู้ให้บริการวิเคราะห์แบบเรียลไทม์หรือคุณสามารถใช้ชุดงานหรืออะแดปเตอร์เก็บข้อมูลได้

เมื่อต้องการกําหนดค่าฮับเหตุการณ์เป็นข้อมูลป้อนเข้าสําหรับกระแสข้อมูลสตรีมมิ่ง ให้เลือกไอคอน Event Hub การ์ดจะปรากฏในมุมมองไดอะแกรม รวมถึงบานหน้าต่างด้านข้างสําหรับการกําหนดค่า

คุณมีตัวเลือกในการวางสายอักขระการเชื่อมต่อฮับเหตุการณ์ กระแสข้อมูลการสตรีมจะกรอกข้อมูลที่จําเป็นทั้งหมด รวมถึงกลุ่มผู้บริโภคทางเลือก (ซึ่งตามค่าเริ่มต้นคือ $Default) ถ้าคุณต้องการป้อนเขตข้อมูลทั้งหมดด้วยตนเอง คุณสามารถเปิดการสลับรายการด้วยตนเองเพื่อแสดงได้ เมื่อต้องการเรียนรู้เพิ่มเติม ดูรับสายอักขระการเชื่อมต่อฮับเหตุการณ์

หลังจากที่คุณตั้งค่าข้อมูลประจําตัว Event Hubs ของคุณและเลือก เชื่อมต่อแล้ว คุณสามารถเพิ่มเขตข้อมูลด้วยตนเองได้โดยใช้ + เพิ่มเขตข้อมูล หากคุณทราบชื่อเขตข้อมูล อีกวิธีหนึ่งคือ คุณสามารถตรวจหาเขตข้อมูลและชนิดข้อมูลโดยอัตโนมัติตามตัวอย่างของข้อความขาเข้า เลือก ตรวจหาเขตข้อมูลโดยอัตโนมัติ การเลือกไอคอนรูปเฟืองช่วยให้คุณสามารถแก้ไขข้อมูลประจําตัวได้ถ้าจําเป็น

เมื่อกระแสข้อมูลการสตรีมตรวจพบเขตข้อมูล คุณสามารถดูข้อมูลเหล่านั้นในรายการได้ นอกจากนี้ยังมีการแสดงตัวอย่างแบบสดของข้อความขาเข้าในตาราง การแสดงตัวอย่าง ข้อมูลภายใต้มุมมองไดอะแกรม

คุณสามารถแก้ไขชื่อเขตข้อมูลหรือลบหรือเปลี่ยนชนิดข้อมูลได้เสมอโดยการเลือกตัวเลือกเพิ่มเติม (...) ถัดจากแต่ละเขตข้อมูล คุณยังสามารถขยาย เลือก และแก้ไขเขตข้อมูลที่ซ้อนกันจากข้อความขาเข้า ดังที่แสดงในรูปต่อไปนี้

ฮับ IoT Azure

IoT Hub คือบริการที่มีการจัดการที่โฮสต์ในระบบคลาวด์ ซึ่งทําหน้าที่เป็นฮับข้อความกลางสําหรับการสื่อสารทั้งสองทิศทางระหว่างแอปพลิเคชัน IoT และอุปกรณ์ที่แนบมา คุณสามารถเชื่อมต่ออุปกรณ์และโซลูชันแบ็คเอนด์ได้หลายล้านรายการอย่างน่าเชื่อถือและปลอดภัย เกือบทุกอุปกรณ์สามารถเชื่อมต่อกับฮับ IoT ได้

การกําหนดค่าฮับ IoT จะคล้ายกับการกําหนดค่าฮับเหตุการณ์เนื่องจากสถาปัตยกรรมทั่วไป แต่มีความแตกต่างบางอย่าง รวมถึงตําแหน่งที่จะค้นหาสายอักขระการเชื่อมต่อที่เข้ากันได้กับ Event Hubs สําหรับจุดสิ้นสุดที่มีอยู่ภายใน เมื่อต้องการเรียนรู้เพิ่มเติม ดู อ่านข้อความจากอุปกรณ์ต่อคลาวด์จากจุดสิ้นสุดที่มีอยู่ภายใน

หลังจากที่คุณวางสายอักขระการเชื่อมต่อสําหรับตําแหน่งข้อมูลที่มีอยู่ภายในแล้ว ฟังก์ชันการทํางานทั้งหมดสําหรับการเลือก เพิ่ม ตรวจหาอัตโนมัติ และแก้ไขเขตข้อมูลที่มาจากฮับ IoT จะเหมือนกับใน Event Hubs คุณยังสามารถแก้ไขข้อมูลประจําตัวได้โดยการเลือกไอคอนรูปเฟือง

เคล็ดลับ

ถ้าคุณสามารถเข้าถึง Event Hubs หรือ IoT Hub ในพอร์ทัล Azure ขององค์กรของคุณ และคุณต้องการใช้เป็นข้อมูลป้อนเข้าสําหรับกระแสข้อมูลการสตรีมของคุณ คุณสามารถค้นหาสายอักขระการเชื่อมต่อในตําแหน่งที่ตั้งต่อไปนี้:

สําหรับฮับเหตุการณ์:

1. ในส่วนการวิเคราะห์ เลือกฮับเหตุการณ์บริการ>ทั้งหมด
2. เลือก เหตุการณ์ Hubs Namespace>เอนทิตี/ฮับเหตุการณ์ จากนั้นเลือกชื่อฮับเหตุการณ์
3. ในรายการนโยบายการเข้าถึงที่ใช้ร่วมกัน เลือกนโยบาย
4. เลือก คัดลอกไปยังคลิปบอร์ด ถัดจาก เขตข้อมูล คีย์ หลักของสตริงการเชื่อมต่อ

สําหรับฮับ IoT:

1. ในส่วนอินเทอร์เน็ตของสิ่งต่าง ๆ ให้เลือกฮับ IoT ของบริการ>ทั้งหมด
2. เลือกฮับ IoT ที่คุณต้องการเชื่อมต่อ จากนั้นเลือก จุดสิ้นสุดภายใน
3. เลือก คัดลอกไปยังคลิปบอร์ด ถัดจากจุดสิ้นสุดที่เข้ากันได้กับ Event Hubs

เมื่อคุณใช้ข้อมูลการสตรีมจากฮับเหตุการณ์หรือฮับ IoT คุณสามารถเข้าถึงเขตข้อมูลเวลาของเมตาดาต้าต่อไปนี้ในกระแสข้อมูลการสตรีมของคุณ:

• EventProcessedUtcTime: วันที่และเวลาที่มีการประมวลผลเหตุการณ์
• EventEnqueuedUtcTime: วันที่และเวลาที่ได้รับเหตุการณ์

ไม่มีเขตข้อมูลเหล่านี้ปรากฏในตัวอย่างการป้อนข้อมูล คุณต้องเพิ่มด้วยตนเอง

ที่เก็บข้อมูล Blob

ที่เก็บข้อมูล Azure Blob เป็นโซลูชันที่เก็บข้อมูลวัตถุของ Microsoft สําหรับระบบคลาวด์ ที่เก็บข้อมูล Blob ได้รับการปรับให้เหมาะสําหรับการจัดเก็บข้อมูลที่ไม่มีโครงสร้างจํานวนมาก ข้อมูลที่ไม่มีโครงสร้างคือข้อมูลที่ไม่เป็นไปตามแบบจําลองข้อมูลหรือข้อกําหนดเฉพาะ เช่น ข้อความหรือข้อมูลไบนารี

คุณสามารถใช้ Azure Blobs เป็นข้อมูลการสตรีมหรือข้อมูลอ้างอิงได้ มีการตรวจสอบ blobs การสตรีมทุกวินาทีสําหรับการอัปเดต Blob การอ้างอิงจะถูกโหลดที่จุดเริ่มต้นของการรีเฟรชเท่านั้น ซึ่งแตกต่างจาก blob การสตรีม ซึ่งเป็นข้อมูลแบบคงที่ที่คาดว่าจะเปลี่ยนแปลง และขีดจํากัดที่แนะนําสําหรับข้อมูลแบบคงที่คือ 50 MB หรือน้อยกว่า

Power BI คาดว่าจะมีการใช้ blobs การอ้างอิงควบคู่ไปกับแหล่งข้อมูลการสตรีม ผ่าน JOIN ดังนั้น กระแสข้อมูลการสตรีมที่มี blob การอ้างอิงต้องมีแหล่งข้อมูลการสตรีมด้วย

การกําหนดค่าสําหรับ Azure Blobs จะแตกต่างกันเล็กน้อยสําหรับโหนด Azure Event Hubs หากต้องการค้นหาสายอักขระการเชื่อมต่อ Azure Blob ของคุณ โปรดดู ดูคีย์การเข้าถึงบัญชี

หลังจากที่คุณใส่สายอักขระการเชื่อมต่อ Blob แล้ว คุณจําเป็นต้องใส่ชื่อคอนเทนเนอร์ของคุณ นอกจากนี้คุณต้องป้อนรูปแบบเส้นทางภายในไดเรกทอรีของคุณเพื่อเข้าถึงไฟล์ที่คุณต้องการตั้งค่าเป็นแหล่งที่มาสําหรับกระแสข้อมูลของคุณ

สําหรับการสตรีม blobs รูปแบบเส้นทางไดเรกทอรีคาดว่าจะเป็นค่าไดนามิก วันที่จําเป็นต้องเป็นส่วนหนึ่งของ filepath สําหรับ blob – ที่อ้างอิงเป็น {date} นอกจากนี้ ไม่รองรับเครื่องหมายดอกจัน (*) ในรูปแบบเส้นทาง เช่น {date}/{time}/*.json

ตัวอย่างเช่น ถ้าคุณมี blob ที่เรียกว่า ExampleContainer ที่คุณกําลังจัดเก็บไฟล์.json ที่ซ้อนกันภายใน ซึ่งระดับแรกคือวันที่สร้าง และระดับที่สองคือชั่วโมงในการสร้าง (yyyy-mm-dd/hh) ดังนั้น การป้อนค่าคอนเทนเนอร์ของคุณจะเป็น "ตัวอย่าง Container" รูปแบบเส้นทางไดเรกทอรีจะเป็น "{date}/{time}" ซึ่งคุณสามารถปรับเปลี่ยนรูปแบบวันที่และเวลาได้

หลังจากที่ blob ของคุณเชื่อมต่อกับจุดสิ้นสุด ฟังก์ชันการทํางานทั้งหมดสําหรับการเลือก เพิ่ม ตรวจหาอัตโนมัติ และแก้ไขเขตข้อมูลที่มาจาก Azure Blob จะเหมือนกับใน Event Hubs คุณยังสามารถแก้ไขข้อมูลประจําตัวได้โดยการเลือกไอคอนรูปเฟือง

บ่อยครั้งเมื่อทํางานกับข้อมูลแบบเรียลไทม์ ข้อมูลจะถูกบีบและตัวระบุจะถูกใช้เพื่อแสดงวัตถุ กรณีการใช้งานที่เป็นไปได้สําหรับ blobs อาจเป็นข้อมูลอ้างอิงสําหรับแหล่งข้อมูลการสตรีมของคุณ ข้อมูลอ้างอิงช่วยให้คุณสามารถเชื่อมข้อมูลแบบคงที่ไปยังข้อมูลการสตรีมเพื่อเติมแต่งสตรีมของคุณสําหรับการวิเคราะห์ ตัวอย่างด่วนว่าเมื่อคุณลักษณะนี้จะเป็นประโยชน์หรือไม่หากคุณติดตั้งเซ็นเซอร์ที่ห้างสรรพสินค้าต่าง ๆ เพื่อวัดจํานวนคนที่เข้าสู่ร้านค้าในช่วงเวลาที่กําหนด โดยปกติแล้ว ID ของเซนเซอร์จะต้องรวมเข้ากับตารางแบบคงที่เพื่อระบุว่าห้างสรรพสินค้าใดและตําแหน่งใดที่เซนเซอร์อยู่ ในตอนนี้ด้วยข้อมูลอ้างอิง คุณสามารถเข้าร่วมข้อมูลนี้ในช่วงการนําเข้าข้อมูลเพื่อให้ง่ายต่อการดูว่าร้านค้าใดมีผลลัพธ์สูงสุดของผู้ใช้

หมายเหตุ

งานกระแสข้อมูลการสตรีมจะดึงข้อมูลจากที่เก็บข้อมูล Azure Blob หรือการป้อนข้อมูล ADLS Gen2 ทุก ๆ วินาทีถ้าไฟล์ blob พร้อมใช้งาน หากไฟล์ blob ไม่พร้อมใช้งาน จะมีการผ่อนหลังแบบเอ็กซ์โพเนนเชียลด้วยการหน่วงเวลาสูงสุด 90 วินาที

ชนิดข้อมูล

ชนิดข้อมูลที่พร้อมใช้งานสําหรับเขตข้อมูลกระแสข้อมูลการสตรีมประกอบด้วย:

• วันที่เวลา: เขตข้อมูลวันที่และเวลาในรูปแบบ ISO
• เลขทศนิยม: เลขทศนิยม
• Int: จํานวนเต็ม
• ระเบียน: วัตถุซ้อนกันที่มีหลายระเบียน
• สตริง: ข้อความ

สำคัญ

ชนิดข้อมูลที่เลือกสําหรับการป้อนข้อมูลการสตรีมมีผลกระทบที่สําคัญสําหรับกระแสข้อมูลการสตรีมของคุณ เลือกชนิดข้อมูลโดยเร็วที่สุดเท่าที่คุณสามารถในกระแสข้อมูลของคุณ เพื่อหลีกเลี่ยงการหยุดการแก้ไขในภายหลัง

เพิ่มการแปลงข้อมูลการสตรีม

การแปลงข้อมูลการสตรีมจะแตกต่างจากการแปลงข้อมูลชุดโดยธรรมชาติ ข้อมูลการสตรีมเกือบทั้งหมดมีคอมโพเนนต์เวลาซึ่งมีผลต่องานการเตรียมข้อมูลที่เกี่ยวข้อง

เมื่อต้องการเพิ่มการแปลงข้อมูลการสตรีมไปยังกระแสข้อมูลของคุณ ให้เลือกไอคอนการแปลงบนริบบอนสําหรับการแปลงนั้น การ์ดที่เกี่ยวข้องจะปรากฏในมุมมองไดอะแกรม หลังจากที่คุณเลือก คุณจะเห็นบานหน้าต่างด้านข้างสําหรับการแปลงดังกล่าวเพื่อกําหนดค่า

ณ เดือนกรกฎาคม 2021 กระแสข้อมูลการสตรีมสนับสนุนการแปลงข้อมูลการสตรีมต่อไปนี้

ตัวกรอง

ใช้การแปลงตัวกรองเพื่อกรองเหตุการณ์ที่ยึดตามค่าของเขตข้อมูลในข้อมูลป้อนเข้า การแปลงจะเก็บค่าที่ตรงกับเงื่อนไขที่เลือก โดยขึ้นอยู่กับชนิดข้อมูล (ตัวเลขหรือข้อความ)

หมายเหตุ

ภายในการ์ดทุกใบ คุณจะเห็นข้อมูลเกี่ยวกับสิ่งอื่นที่จําเป็นสําหรับการแปลงเพื่อให้พร้อม ตัวอย่างเช่น เมื่อคุณกําลังเพิ่มการ์ดใหม่ คุณจะเห็นข้อความ "ตั้งค่าที่จําเป็น" ถ้าคุณไม่มีตัวเชื่อมต่อโหนด คุณจะเห็นข้อความ "ข้อผิดพลาด" หรือ "คําเตือน"

จัดการเขตข้อมูล

การแปลงเขตข้อมูล Manage ช่วยให้คุณสามารถเพิ่ม ลบ หรือเปลี่ยนชื่อเขตข้อมูลที่มาจากอินพุตหรือการแปลงอื่น การตั้งค่าในบานหน้าต่างด้านข้างช่วยให้คุณมีตัวเลือกในการเพิ่มรายการใหม่โดยการเลือก เพิ่มเขตข้อมูล หรือเพิ่มเขตข้อมูลทั้งหมดในครั้งเดียว

เคล็ดลับ

หลังจากที่คุณกําหนดค่าการ์ดมุมมองแผนภาพจะมองเห็นการตั้งค่าภายในการ์ด ตัวอย่างเช่น ในพื้นที่ จัดการเขตข้อมูล ของรูปภาพก่อนหน้า คุณสามารถดูเขตข้อมูลสามรายการแรกที่มีการจัดการและชื่อใหม่ที่กําหนดให้กับพวกเขา บัตรแต่ละใบมีข้อมูลที่เกี่ยวข้อง

การรวม

คุณสามารถใช้การแปลงข้อมูลรวมเพื่อคํานวณการรวม (ผลรวม ต่ําสุด สูงสุด หรือค่าเฉลี่ย) ทุกครั้งที่มีเหตุการณ์ใหม่เกิดขึ้นในช่วงเวลาหนึ่ง การดําเนินการนี้ยังช่วยให้คุณสามารถกรองหรือแบ่งส่วนการรวมตามมิติอื่น ๆ ในข้อมูลของคุณ คุณสามารถมีการรวมอย่างน้อยหนึ่งรายการในการแปลงเดียวกัน

หากต้องการเพิ่มการรวม ให้เลือกไอคอนการแปลง จากนั้นเชื่อมต่ออินพุต เลือกการรวม เพิ่มตัวกรองหรือแบ่งส่วนมิติข้อมูลและเลือกระยะเวลาที่คุณต้องการคํานวณการรวม ตัวอย่างนี้จะคํานวณผลรวมของค่าโทรตามรัฐที่ยานพาหนะมาจากช่วง 10 วินาทีที่ผ่านมา

หากต้องการเพิ่มการรวมอื่นในการแปลงเดียวกัน ให้เลือก เพิ่มฟังก์ชันการรวม โปรดทราบว่าตัวกรองหรือส่วนที่นําไปใช้กับการรวมทั้งหมดในการแปลงข้อมูล

เข้าร่วม

ใช้การแปลงรวมเพื่อรวมเหตุการณ์จากข้อมูลป้อนเข้าสองรายการโดยยึดตามคู่เขตข้อมูลที่คุณเลือก ถ้าคุณไม่เลือกคู่เขตข้อมูล การรวมจะขึ้นอยู่กับเวลาตามค่าเริ่มต้น ค่าเริ่มต้นคือสิ่งที่ทําให้การแปลงนี้แตกต่างจากชุดงานหนึ่ง

เช่นเดียวกับการรวมแบบปกติ คุณมีตัวเลือกที่แตกต่างกันสําหรับตรรกะการเข้าร่วมของคุณ:

• การรวมภายใน: รวมเฉพาะระเบียนจากทั้งสองตารางที่จับคู่กัน ในตัวอย่างนี้ ซึ่งเป็นจุดที่ป้ายทะเบียนตรงกับข้อมูลป้อนเข้าทั้งสอง
• การรวมภายนอกด้านซ้าย: รวมระเบียนทั้งหมดจากตารางด้านซ้าย (แรก) และเฉพาะระเบียนจากระเบียนที่สองที่ตรงกับคู่ของเขตข้อมูล ถ้าไม่ตรงกัน เขตข้อมูลจากอินพุตที่สองจะถูกตั้งค่าเป็นว่างเปล่า

หากต้องการเลือกชนิดของการรวม ให้เลือกไอคอนสําหรับชนิดที่ต้องการในบานหน้าต่างด้านข้าง

สุดท้าย ให้เลือกระยะเวลาที่คุณต้องการให้คํานวณการรวม ในตัวอย่างนี้ การรวมจะดูที่ 10 วินาทีที่ผ่านมา โปรดทราบว่ายิ่งระยะเวลานานเท่าไร ผลลัพธ์จะน้อยลงและทรัพยากรการประมวลผลที่คุณใช้สําหรับการแปลงก็จะน้อยลงเท่านั้น

ตามค่าเริ่มต้น เขตข้อมูลทั้งหมดจากทั้งสองตารางจะรวมอยู่ด้วย คํานําหน้าซ้าย (โหนดแรก) และด้านขวา (โหนดที่สอง) ในเอาต์พุตช่วยให้คุณสามารถแยกความแตกต่างของแหล่งข้อมูลได้

จัดกลุ่มตาม

ใช้การแปลงข้อมูล จัดกลุ่มตาม เพื่อคํานวณการรวมทั่วทั้งเหตุการณ์ทั้งหมดภายในช่วงเวลาหนึ่ง คุณสามารถจัดกลุ่มตามค่าในเขตข้อมูลอย่างน้อยหนึ่งหรือมากกว่า ซึ่งคล้ายกับ การแปลงข้อมูลรวม แต่มีตัวเลือกเพิ่มเติมสําหรับการรวม นอกจากนี้ยังรวมถึงตัวเลือกหน้าต่างเวลาที่ซับซ้อนมากขึ้น นอกจากนี้ยังคล้ายกับการรวม คุณสามารถเพิ่มการรวมมากกว่าหนึ่งรายการต่อการแปลงได้

การรวมที่พร้อมใช้งานในการแปลงข้อมูลนี้คือ: เฉลี่ย จํานวนนับ สูงสุด ต่ําสุด เปอร์เซ็นต์ไทล์ (ต่อเนื่องและไม่ต่อเนื่อง), ค่าเบี่ยงเบนมาตรฐาน ผลรวม และความแปรปรวน

ในการกําหนดค่าการแปลงนี้:

1. เลือกการรวมที่คุณต้องการ
2. เลือกเขตข้อมูลที่คุณต้องการรวม
3. เลือกเขตข้อมูล group-by ที่เลือกได้ถ้าคุณต้องการรับการคํานวณรวมในมิติหรือหมวดหมู่อื่น (ตัวอย่างเช่น รัฐ)
4. เลือกฟังก์ชันของคุณสําหรับหน้าต่างเวลา

หากต้องการเพิ่มการรวมอื่นในการแปลงเดียวกัน ให้เลือก เพิ่มฟังก์ชันการรวม โปรดทราบว่า เขตข้อมูล จัดกลุ่มตาม และฟังก์ชัน windowing จะนําไปใช้กับการรวมทั้งหมดในการแปลงข้อมูล

ประทับเวลาสําหรับจุดสิ้นสุดของหน้าต่างเวลาซึ่งเป็นส่วนหนึ่งของผลลัพธ์การแปลงสําหรับการอ้างอิง

ส่วนในภายหลังของบทความนี้จะอธิบายชนิดของหน้าต่างเวลาที่พร้อมใช้งานสําหรับการแปลงนี้

สหภาพ

ใช้การแปลงแบบรวมเพื่อเชื่อมต่ออินพุตสองรายการขึ้นไปเพื่อเพิ่มเหตุการณ์ด้วยเขตข้อมูลที่แชร์ (ที่มีชื่อและชนิดข้อมูลเดียวกัน) ลงในตารางเดียว เขตข้อมูลที่ไม่ตรงกันจะถูกทิ้งและไม่รวมอยู่ในเอาต์พุต

ตั้งค่าฟังก์ชันหน้าต่างเวลา

Time Windows คือหนึ่งในแนวคิดที่ซับซ้อนที่สุดในข้อมูลการสตรีม แนวคิดนี้อยู่ที่หัวใจสําคัญของการวิเคราะห์การสตรีม

ด้วยกระแสข้อมูลการสตรีม คุณสามารถตั้งค่าหน้าต่างเวลาเมื่อคุณกําลังรวบรวมข้อมูลเป็นตัวเลือกสําหรับการแปลง จัดกลุ่มตาม

หมายเหตุ

โปรดทราบว่าผลลัพธ์ของผลลัพธ์ทั้งหมดสําหรับการหน้าต่างจะถูกคํานวณที่ส่วนท้ายของหน้าต่างเวลา ผลลัพธ์ของหน้าต่างจะเป็นเหตุการณ์เดียวที่ยึดตามฟังก์ชันการรวม เหตุการณ์นี้จะมีสแตมป์เวลาของตอนท้ายของหน้าต่าง และฟังก์ชันหน้าต่างทั้งหมดจะถูกกําหนดด้วยความยาวคงที่

มีหน้าต่างเวลาห้าชนิดให้เลือก: tumbling, hopping, sliding, session และ snapshot

หน้าต่างลอย

การลอยเป็นประเภทที่พบได้บ่อยที่สุดของหน้าต่างเวลา ลักษณะสําคัญของหน้าต่างไม้พึมพําคือหน้าต่างเหล่านั้นทําซ้ํา มีความยาวเท่ากันและไม่ทับซ้อนกัน เหตุการณ์ไม่สามารถเป็นของหน้าต่างลอยได้มากกว่าหนึ่งหน้าต่าง

เมื่อคุณกําลังตั้งค่าหน้าต่าง tumbling ในกระแสข้อมูลการสตรีม คุณจะต้องระบุระยะเวลาของหน้าต่าง (เช่นเดียวกันกับหน้าต่างทั้งหมดในกรณีนี้) คุณยังสามารถระบุออฟเซตที่เป็นตัวเลือกได้ ตามค่าเริ่มต้น หน้าต่าง tumbling จะมีจุดสิ้นสุดของหน้าต่างและแยกจุดเริ่มต้นออก คุณสามารถใช้พารามิเตอร์นี้เพื่อเปลี่ยนลักษณะการทํางานนี้และรวมเหตุการณ์ในตอนต้นของหน้าต่างและแยกเหตุการณ์ในตอนท้ายออก

หน้าต่างฮอปปิ้ง

การกระโดดหน้าต่าง "hop" ไปข้างหน้าตามระยะเวลาคงที่ คุณสามารถคิดว่าพวกเขาเป็นหน้าต่างพึมพําที่สามารถทับซ้อนกันและถูกปล่อยออกมาบ่อยกว่าขนาดของหน้าต่าง เหตุการณ์สามารถเป็นของชุดผลลัพธ์มากกว่าหนึ่งชุดสําหรับหน้าต่าง hopping เมื่อต้องการทําให้หน้าต่างกระโดดได้เหมือนกับหน้าต่างต้นแบบ คุณสามารถระบุขนาดฮอปให้เท่ากับขนาดของหน้าต่างได้

เมื่อคุณกําลังตั้งค่าหน้าต่างกระโดดในกระแสข้อมูลการสตรีม คุณจะต้องระบุระยะเวลาของหน้าต่าง (เช่นเดียวกับหน้าต่างรอง) นอกจากนี้คุณยังจําเป็นต้องให้มีขนาดฮอปซึ่งบอกกระแสข้อมูลการสตรีมความถี่ที่คุณต้องการคํานวณการรวมสําหรับระยะเวลาที่กําหนด

พารามิเตอร์ตรงกันข้ามจะพร้อมใช้งานใน windows hopping ด้วยเหตุผลเดียวกับในหน้าต่างไม้พ่วง ซึ่งกําหนดตรรกะสําหรับการรวมและยกเว้นเหตุการณ์สําหรับจุดเริ่มต้นและจุดสิ้นสุดของหน้าต่างการกระโดด

หน้าต่างบานเลื่อน

หน้าต่างบานเลื่อนไม่เหมือนกับหน้าต่างไม้พึมพําหรือยกนิ้วคํานวณการรวมเฉพาะเวลาเมื่อเนื้อหาของหน้าต่างเปลี่ยนแปลงจริง เมื่อเหตุการณ์เข้าหรือออกจากหน้าต่าง การรวมจะถูกคํานวณ ดังนั้น ทุก หน้าต่างจึงมีเหตุการณ์อย่างน้อยหนึ่งเหตุการณ์ คล้ายกับหน้าต่างแบบเลื่อนได้ เหตุการณ์สามารถเป็นของหน้าต่างบานเลื่อนได้มากกว่าหนึ่งหน้าต่าง

พารามิเตอร์เดียวที่คุณต้องการสําหรับหน้าต่างบานเลื่อนคือระยะเวลา เนื่องจากเหตุการณ์จะกําหนดตัวเองเมื่อเริ่มต้นหน้าต่าง ไม่จําเป็นต้องมีตรรกะการชดเชย

หน้าต่างเซสชัน

หน้าต่างเซสชันเป็นชนิดที่ซับซ้อนที่สุด พวกเขาจัดกลุ่มเหตุการณ์ที่มาถึงในเวลาที่คล้ายกัน ซึ่งจะกรองระยะเวลาที่ไม่มีข้อมูล สําหรับหน้าต่างนี้ คุณจําเป็นต้องระบุ:

• การหมดเวลา: ต้องรอนานเท่าใดหากไม่มีข้อมูลใหม่
• ระยะเวลาสูงสุด: เวลาที่นานที่สุดที่การรวมจะคํานวณถ้าข้อมูลยังคงเกิดขึ้น

คุณยังสามารถกําหนดพาร์ติชันได้ถ้าคุณต้องการ

คุณตั้งค่าหน้าต่างเซสชันในบานหน้าต่างด้านข้างสําหรับการแปลงโดยตรง ถ้าคุณระบุพาร์ติชัน การรวมจะจัดกลุ่มเหตุการณ์เข้าด้วยกันสําหรับคีย์เดียวกันเท่านั้น

หน้าต่างสแนปช็อต

สแนปช็อตของ Windows Group เหตุการณ์ที่มีสแตมป์เวลาเดียวกัน ไม่เหมือนกับหน้าต่างอื่น ๆ สแนปช็อตไม่จําเป็นต้องใช้พารามิเตอร์ใด ๆ เนื่องจากใช้เวลาจากระบบ

กําหนดเอาต์พุต

หลังจากตั้งค่าอินพุตและการแปลงแล้ว ก็ถึงเวลากําหนดเอาต์พุตอย่างน้อยหนึ่งรายการ ณ เดือนกรกฎาคม 2021 กระแสข้อมูลการสตรีมสนับสนุนตาราง Power BI เป็นเอาต์พุตประเภทเดียวเท่านั้น

ผลลัพธ์นี้คือตารางกระแสข้อมูล (นั่นคือ เอนทิตี) ที่คุณสามารถใช้เพื่อสร้างรายงานใน Power BI Desktop ได้ คุณจําเป็นต้องเข้าร่วมโหนดของขั้นตอนก่อนหน้าด้วยเอาต์พุตที่คุณกําลังสร้างเพื่อทําให้ใช้งานได้ หลังจากนั้น ให้ตั้งชื่อตาราง

หลังจากที่คุณเชื่อมต่อกับกระแสข้อมูลของคุณ แล้ว ตารางนี้จะพร้อมใช้งานสําหรับคุณในการสร้างวิชวลที่มีการอัปเดตในแบบเรียลไทม์สําหรับรายงานของคุณ

การแสดงตัวอย่างข้อมูลและข้อผิดพลาด

กระแสข้อมูลการสตรีมมีเครื่องมือที่จะช่วยให้คุณผู้เขียน แก้ไขปัญหา และประเมินประสิทธิภาพของไปป์ไลน์การวิเคราะห์ของคุณสําหรับการสตรีมข้อมูล

การแสดงตัวอย่างข้อมูลสดสําหรับอินพุต

เมื่อคุณเชื่อมต่อกับฮับเหตุการณ์หรือฮับ IoT และเลือกการ์ดในมุมมองไดอะแกรม ( แท็บแสดงตัวอย่าง ข้อมูล) คุณจะได้รับการแสดงตัวอย่างแบบสดของข้อมูลที่จะเข้ามาหากข้อมูลต่อไปนี้ทั้งหมดเป็นจริง:

• กําลังส่งข้อมูล
• ข้อมูลป้อนเข้าถูกกําหนดค่าอย่างถูกต้อง
• เพิ่มเขตข้อมูลแล้ว

ตามที่แสดงในภาพหน้าจอต่อไปนี้ ถ้าคุณต้องการดูหรือเจาะลึกลงไปในสิ่งที่เฉพาะเจาะจง คุณสามารถหยุดการแสดงตัวอย่าง (1) ชั่วคราวได้ หรือคุณสามารถเริ่มต้นอีกครั้งถ้าคุณทําเสร็จแล้ว

คุณยังสามารถดูรายละเอียดของระเบียนที่ระบุ ("เซลล์" ในตาราง) โดยการเลือกระเบียนนั้น แล้วเลือก แสดงรายละเอียด หรือ ซ่อนรายละเอียด (2) สกรีนช็อตแสดงมุมมองโดยละเอียดของวัตถุที่ซ้อนกันในเรกคอร์ด

การแสดงตัวอย่างแบบคงที่สําหรับการแปลงและเอาต์พุต

หลังจากที่คุณเพิ่มและตั้งค่าขั้นตอนใดๆ ในมุมมองไดอะแกรมแล้ว คุณสามารถทดสอบลักษณะการทํางานของขั้นตอนเหล่านั้นได้โดยการเลือกปุ่มข้อมูลแบบคงที่

หลังจากที่คุณทําเช่นนั้น กระแสข้อมูลการสตรีมจะประเมินการแปลงข้อมูลและเอาต์พุตทั้งหมดที่กําหนดค่าไว้อย่างถูกต้อง กระแสข้อมูลการสตรีมจะแสดงผลลัพธ์ในการแสดงตัวอย่างข้อมูลแบบคงที่ ดังที่แสดงในรูปต่อไปนี้

คุณสามารถรีเฟรชตัวอย่างได้โดยการเลือก รีเฟรชการแสดงตัวอย่าง แบบคงที่ (1) เมื่อคุณทําเช่นนี้ กระแสข้อมูลการสตรีมจะใช้ข้อมูลใหม่จากข้อมูลป้อนเข้า และประเมินการแปลงและเอาต์พุตทั้งหมดอีกครั้งด้วยการอัปเดตใด ๆ ที่คุณอาจดําเนินการ ตัวเลือกแสดงหรือซ่อนรายละเอียดจะพร้อมใช้งาน (2)

ข้อผิดพลาดในการเขียน

หากคุณมีข้อผิดพลาดหรือคําเตือน เกี่ยวกับการเขียน แท็บข้อผิดพลาด ในการเขียน (1) จะแสดงรายการตามที่แสดงในภาพหน้าจอต่อไปนี้ รายการมีรายละเอียดของข้อผิดพลาดหรือคําเตือน ชนิดของการ์ด (อินพุต การแปลง หรือเอาท์พุต) ระดับข้อผิดพลาด และคําอธิบายข้อผิดพลาดหรือคําเตือน (2) เมื่อคุณเลือกข้อผิดพลาดหรือคําเตือนใด ๆ การ์ดที่เกี่ยวข้องจะถูกเลือกและบานหน้าต่างด้านข้างการกําหนดค่าจะเปิดขึ้นเพื่อให้คุณทําการเปลี่ยนแปลงที่จําเป็น

ข้อผิดพลาดในรันไทม์

แท็บที่พร้อมใช้งานล่าสุดในการแสดงตัวอย่างคือ ข้อผิดพลาด รันไทม์ (1) ดังที่แสดงในภาพหน้าจอต่อไปนี้ แท็บนี้แสดงรายการข้อผิดพลาดใด ๆ ในกระบวนการนําเข้าและวิเคราะห์กระแสข้อมูลการสตรีมหลังจากที่คุณเริ่มต้น ตัวอย่างเช่น คุณอาจได้รับข้อผิดพลาดรันไทม์ถ้าข้อความเกิดความเสียหาย และกระแสข้อมูลไม่สามารถนําเข้าและดําเนินการแปลงที่กําหนดไว้ได้

เนื่องจากกระแสข้อมูลอาจทํางานเป็นระยะเวลานาน แท็บนี้จึงมีตัวเลือกในการกรองตามช่วงเวลาและดาวน์โหลดรายการข้อผิดพลาดและรีเฟรชหากจําเป็น (2)

ปรับเปลี่ยนการตั้งค่าสําหรับการสตรีมกระแสข้อมูล

เช่นเดียวกับกระแสข้อมูลปกติ การตั้งค่าสําหรับกระแสข้อมูลสตรีมมิ่งสามารถปรับเปลี่ยนได้ขึ้นอยู่กับความต้องการของเจ้าของและผู้เขียน การตั้งค่าต่อไปนี้จะใช้เฉพาะกับกระแสข้อมูลการสตรีม สําหรับส่วนที่เหลือของการตั้งค่า เนื่องจากโครงสร้างพื้นฐานที่ใช้ร่วมกันระหว่างกระแสข้อมูลสองชนิด คุณสามารถสันนิษฐานได้ว่าการใช้งานนั้นเหมือนกัน

• ประวัติการรีเฟรช: เนื่องจากกระแสข้อมูลการสตรีมทํางานอย่างต่อเนื่อง ประวัติการรีเฟรชจะแสดงข้อมูลเกี่ยวกับเวลาที่กระแสข้อมูลเริ่มต้นเท่านั้น เมื่อกระแสข้อมูลถูกยกเลิก หรือเมื่อล้มเหลว (พร้อมรายละเอียดและรหัสข้อผิดพลาดเมื่อใช้งานได้) ข้อมูลนี้คล้ายกับที่ปรากฏสําหรับกระแสข้อมูลปกติ คุณสามารถใช้ข้อมูลนี้เพื่อแก้ไขปัญหาหรือเพื่อให้การสนับสนุน Power BI พร้อมรายละเอียดที่ร้องขอ

• ข้อมูลประจําตัวของแหล่งข้อมูล: การตั้งค่านี้แสดงอินพุตที่ได้รับการกําหนดค่าสําหรับกระแสข้อมูลการสตรีมเฉพาะ

• การตั้งค่ากลไกการคํานวณขั้นสูง: กระแสข้อมูลการสตรีมจําเป็นต้องมีกลไกการคํานวณขั้นสูงเพื่อให้วิชวลแบบเรียลไทม์ ดังนั้นการตั้งค่านี้จะเปิดใช้งานตามค่าเริ่มต้นและไม่สามารถเปลี่ยนแปลงได้

• ระยะเวลาการเก็บข้อมูล: การตั้งค่านี้ใช้เฉพาะกับกระแสข้อมูลสตรีมมิ่ง ที่นี่คุณสามารถกําหนดระยะเวลาที่คุณต้องการเก็บข้อมูลแบบเรียลไทม์เพื่อแสดงภาพในรายงาน ข้อมูลในอดีตจะถูกบันทึกตามค่าเริ่มต้นใน Azure Blob Storage การตั้งค่านี้จะเฉพาะเจาะจงสําหรับด้านแบบเรียลไทม์ของข้อมูลของคุณ (พื้นที่จัดเก็บข้อมูลร้อน) ค่าต่ําสุดคือ 1 วันหรือ 24 ชั่วโมง

  สำคัญ

  จํานวนข้อมูลที่ร้อนแรงที่จัดเก็บโดยระยะเวลาการเก็บข้อมูลนี้จะมีผลต่อประสิทธิภาพของวิชวลในเวลาจริงของคุณโดยตรงเมื่อคุณกําลังสร้างรายงานที่ด้านบนของข้อมูลนี้ ยิ่งคุณรักษาข้อมูลในที่นี้มากเท่าไหร่ วิชวลแบบเรียลไทม์ของคุณในรายงานอาจได้รับผลกระทบจากประสิทธิภาพการทํางานต่ํามากขึ้นเท่านั้น หากคุณต้องการทําการวิเคราะห์ในอดีตคุณควรใช้ห้องเย็นที่มีให้สําหรับการสตรีมกระแสข้อมูล

เรียกใช้และแก้ไขกระแสข้อมูลการสตรีม

หลังจากที่คุณบันทึกและกําหนดค่ากระแสข้อมูลการสตรีมของคุณแล้ว ทุกอย่างจะพร้อมให้คุณเรียกใช้ได้ จากนั้น คุณสามารถเริ่มรวบรวมข้อมูลลงใน Power BI ด้วยตรรกะการวิเคราะห์การสตรีมที่คุณกําหนดไว้

เรียกใช้กระแสข้อมูลการสตรีมของคุณ

เมื่อต้องเริ่มกระแสข้อมูลการสตรีมของคุณ ก่อนอื่นให้บันทึกกระแสข้อมูลของคุณ และไปยังพื้นที่ทํางานที่คุณสร้างขึ้น วางเมาส์เหนือกระแสข้อมูลการสตรีม และเลือกปุ่มเล่นที่ปรากฏ ข้อความป็อปอัพบอกให้คุณทราบว่ากระแสข้อมูลการสตรีมกําลังเริ่มต้นอยู่

หมายเหตุ

ซึ่งอาจใช้เวลาถึงห้านาทีในการเริ่มรวบรวมข้อมูล และคุณสามารถดูข้อมูลที่เข้ามาเพื่อสร้างรายงานและแดชบอร์ดใน Power BI Desktop ได้

แก้ไขกระแสข้อมูลการสตรีมของคุณ

ในขณะที่กระแสข้อมูลการสตรีมกําลังทํางาน อยู่ กระแสข้อมูลนั้นไม่สามารถแก้ไขได้ แต่คุณสามารถไปที่กระแสข้อมูลการสตรีมที่อยู่ในสถานะกําลังทํางานอยู่และดูตรรกะการวิเคราะห์ที่มีการสร้างกระแสข้อมูลไว้แล้ว

เมื่อคุณเข้าสู่กระแสข้อมูลการสตรีมตัวเลือกแก้ไขทั้งหมดจะถูกปิดใช้งานและข้อความจะปรากฏขึ้น: "กระแสข้อมูลไม่สามารถแก้ไขได้ในขณะที่กําลังทํางาน หยุดกระแสข้อมูลถ้าคุณต้องการดําเนินการต่อ" การแสดงตัวอย่างข้อมูลถูกปิดใช้งานเช่นกัน

หากต้องการแก้ไขกระแสข้อมูลการสตรีมของคุณ คุณต้องหยุด ผลลัพธ์กระแสข้อมูลที่หยุดในข้อมูลที่ขาดหายไป

ประสบการณ์เดียวที่พร้อมใช้งานในขณะที่กระแสข้อมูลการสตรีมทํางานอยู่คือแท็บ ข้อผิดพลาดในรันไทม์ ซึ่งคุณสามารถตรวจสอบลักษณะการทํางานของกระแสข้อมูลของคุณสําหรับข้อความที่ลดลงและสถานการณ์ที่คล้ายกัน

พิจารณาที่เก็บข้อมูลเมื่อแก้ไขกระแสข้อมูลของคุณ

เมื่อคุณกําลังแก้ไขกระแสข้อมูล คุณต้องคํานึงถึงข้อควรพิจารณาอื่น ๆ คล้ายกับการเปลี่ยนแปลงใด ๆ ใน Schema สําหรับกระแสข้อมูลปกติ ถ้าคุณทําการเปลี่ยนแปลงไปยังตารางผลลัพธ์ คุณจะสูญเสียข้อมูลที่ได้รับการผลักและบันทึกไปยัง Power BI แล้ว อินเทอร์เฟซให้ข้อมูลที่ชัดเจนเกี่ยวกับผลของการเปลี่ยนแปลงเหล่านี้ในกระแสข้อมูลการสตรีมของคุณ พร้อมกับตัวเลือกสําหรับการเปลี่ยนแปลงที่คุณทําก่อนบันทึก

ประสบการณ์การใช้งานนี้จะแสดงด้วยตัวอย่างได้ดียิ่งขึ้น สกรีนช็อตต่อไปนี้แสดงข้อความที่คุณได้รับเมื่อคุณเพิ่มคอลัมน์ไปยังตารางหนึ่ง เปลี่ยนชื่อสําหรับตารางที่สอง และปล่อยให้ตารางที่สามเหมือนกับก่อนหน้านี้

ในตัวอย่างนี้ ข้อมูลที่ถูกบันทึกในทั้งสองตารางที่มี schema และการเปลี่ยนแปลงชื่อจะถูกลบถ้าคุณบันทึกการเปลี่ยนแปลง สําหรับตารางที่ยังคงเหมือนเดิม คุณจะได้รับตัวเลือกในการลบข้อมูลเก่าๆ และเริ่มต้นตั้งแต่เริ่มต้น หรือบันทึกเพื่อการวิเคราะห์ในภายหลังพร้อมกับข้อมูลใหม่ที่เข้ามา

โปรดคํานึงถึงรายละเอียดปลีกย่อยเหล่านี้เมื่อแก้ไขกระแสข้อมูลการสตรีมของคุณ โดยเฉพาะอย่างยิ่งถ้าคุณต้องการข้อมูลในอดีตที่มีให้ใช้งานในภายหลังเพื่อการวิเคราะห์เพิ่มเติม

ใช้กระแสข้อมูลการสตรีม

หลังจากกระแสข้อมูลการสตรีมของคุณกําลังทํางาน คุณก็พร้อมที่จะเริ่มสร้างเนื้อหาที่ด้านบนของข้อมูลการสตรีมของคุณ ไม่มีการเปลี่ยนแปลงเชิงโครงสร้างเมื่อเทียบกับสิ่งที่คุณต้องทําเพื่อสร้างรายงานที่มีการอัปเดตในแบบเรียลไทม์ มีความแตกต่างและการปรับปรุงบางอย่างที่ต้องพิจารณา เพื่อให้คุณสามารถใช้ประโยชน์จากการเตรียมข้อมูลชนิดใหม่นี้สําหรับการสตรีมข้อมูล

ตั้งค่าการจัดเก็บข้อมูล

ดังที่เราได้กล่าวไว้ก่อนหน้านี้ กระแสข้อมูลการสตรีมจะบันทึกข้อมูลในสองตําแหน่งต่อไปนี้ การใช้แหล่งข้อมูลเหล่านี้ขึ้นอยู่กับชนิดของการวิเคราะห์ที่คุณกําลังพยายามทํา

• พื้นที่จัดเก็บข้อมูลยอดนิยม (การวิเคราะห์แบบเรียลไทม์): เมื่อข้อมูลเข้ามาใน Power BI จากการสตรีมกระแสข้อมูล ข้อมูลจะถูกจัดเก็บไว้ในตําแหน่งที่ร้อนแรงสําหรับคุณในการเข้าถึงด้วยวิชวลแบบเรียลไทม์ ปริมาณข้อมูลที่ถูกบันทึกในที่เก็บข้อมูลนี้ขึ้นอยู่กับค่าที่คุณกําหนดไว้สําหรับ ระยะเวลา การเก็บข้อมูลในการตั้งค่ากระแสข้อมูลการสตรีม ค่าเริ่มต้น (และค่าต่ําสุด) คือ 24 ชั่วโมง
• ห้องเย็น (การวิเคราะห์ในอดีต): ช่วงเวลาใด ๆ ที่ไม่ตกอยู่ในช่วงเวลาที่คุณกําหนดไว้สําหรับ ระยะเวลา การเก็บข้อมูลจะถูกบันทึกไว้ในที่เย็น (blobs) ใน Power BI เพื่อให้คุณใช้งานได้ถ้าจําเป็น

หมายเหตุ

มีการทับซ้อนกันระหว่างตําแหน่งที่เก็บข้อมูลสองตําแหน่งนี้ ถ้าคุณจําเป็นต้องใช้ทั้งสองตําแหน่งที่ตั้งร่วมกัน (ตัวอย่างเช่น การเปลี่ยนแปลงเปอร์เซ็นต์รายวัน) คุณอาจต้องทําซ้ําระเบียนของคุณ ขึ้นอยู่กับการคํานวณตัวแสดงเวลาที่คุณกําลังสร้างและนโยบายการเก็บข้อมูล

เชื่อมต่อกับกระแสข้อมูลการสตรีมจาก Power BI Desktop

Power BI Desktop มีตัวเชื่อมต่อที่เรียกว่า กระแส ข้อมูลเพื่อให้คุณใช้งาน ในฐานะที่เป็นส่วนหนึ่งของตัวเชื่อมต่อนี้สําหรับการสตรีมกระแสข้อมูล คุณจะเห็นตารางสองตารางที่ตรงกับที่เก็บข้อมูลที่ได้อธิบายไว้ก่อนหน้านี้

วิธีเชื่อมต่อกับข้อมูลของคุณสําหรับการสตรีมกระแสข้อมูล:

1. ไปที่ รับข้อมูล เลือก Power Platform จากนั้นเลือกตัว เชื่อมต่อกระแส ข้อมูล

   

2. ลงชื่อเข้าใช้ด้วยข้อมูลประจําตัว Power BI ของคุณ

3. เลือกพื้นที่ทํางาน ค้นหากระแสข้อมูลที่มีกระแสข้อมูลการสตรีมของคุณและเลือกกระแสข้อมูลนั้น (ในตัวอย่างนี้ มีการเรียกใช้ กระแสข้อมูลการสตรีมค่าโทร)

4. โปรดสังเกตว่าตารางเอาต์พุตทั้งหมดของคุณปรากฏขึ้นสองครั้ง: หนึ่งตารางสําหรับข้อมูลการสตรีม (ร้อน) และอีกหนึ่งตารางสําหรับข้อมูลที่เก็บถาวร (เย็น) คุณสามารถแยกความแตกต่างได้โดยป้ายชื่อที่เพิ่มหลังจากชื่อตารางและโดยไอคอน

   

5. เชื่อมต่อกับข้อมูลการสตรีม กรณีข้อมูลที่เก็บถาวรจะเหมือนกัน พร้อมใช้งานในโหมดการนําเข้าเท่านั้น เลือกตารางที่มีป้ายสตรีมมิ่งและฮอต จากนั้นเลือก โหลด

   

6. เมื่อคุณถูกขอให้เลือกโหมดที่เก็บข้อมูล ให้เลือก DirectQuery ถ้าเป้าหมายของคุณคือการสร้างวิชวลแบบเรียลไทม์

   

ตอนนี้คุณสามารถสร้างวิชวล หน่วยวัด และอื่น ๆ ได้โดยใช้คุณลักษณะที่พร้อมใช้งานใน Power BI Desktop

หมายเหตุ

ตัวเชื่อมต่อกระแสข้อมูล Power BI ปกติจะยังคงพร้อมใช้งาน และจะทํางานกับกระแสข้อมูลการสตรีมด้วยคําเตือนสองข้อ:

• อนุญาตให้คุณเชื่อมต่อกับพื้นที่จัดเก็บข้อมูลร้อนเท่านั้น
• ตัวอย่างข้อมูลในตัวเชื่อมต่อใช้ไม่ได้กับกระแสข้อมูลการสตรีม

เปิดใช้งานการรีเฟรชหน้าอัตโนมัติสําหรับวิชวลแบบเรียลไทม์

หลังจากรายงานของคุณพร้อมและคุณได้เพิ่มเนื้อหาทั้งหมดที่คุณต้องการแชร์แล้ว ขั้นตอนเดียวที่เหลือคือการทําให้แน่ใจว่าวิชวลของคุณได้รับการอัปเดตในแบบเรียลไทม์ คุณสามารถใช้คุณลักษณะที่เรียกว่า การรีเฟรชหน้าอัตโนมัติ คุณลักษณะนี้ช่วยให้คุณสามารถรีเฟรชวิชวลจากแหล่งข้อมูล DirectQuery ได้บ่อยเท่ากับหนึ่งวินาที

สําหรับข้อมูลเพิ่มเติมเกี่ยวกับคุณลักษณะ ดูรีเฟรชหน้าอัตโนมัติใน Power BI บทความดังกล่าวประกอบด้วยข้อมูลเกี่ยวกับวิธีการใช้งาน วิธีการตั้งค่า และวิธีการติดต่อผู้ดูแลระบบของคุณหากคุณพบปัญหา ต่อไปนี้คือข้อมูลพื้นฐานเกี่ยวกับวิธีการตั้งค่า:

1. ไปที่หน้ารายงานที่คุณต้องการให้วิชวลได้รับการอัปเดตในแบบเรียลไทม์

2. ล้างวิชวลบนหน้า ถ้าเป็นไปได้ ให้เลือกพื้นหลังของหน้า

3. ไปที่บานหน้าต่างรูปแบบ (1) และเปิด การรีเฟรช หน้า (2)

   

4. ตั้งค่าความถี่ที่คุณต้องการ (สูงสุดทุกวินาทีถ้าผู้ดูแลระบบของคุณได้รับอนุญาต)

   

5. หากต้องการแชร์รายงานแบบเรียลไทม์ ก่อนอื่นให้เผยแพร่กลับไปยังบริการของ Power BI จากนั้น คุณสามารถตั้งค่าข้อมูลประจําตัวของกระแสข้อมูลของคุณสําหรับแบบจําลองเชิงความหมายและแชร์ได้

เคล็ดลับ

หากรายงานของคุณไม่ได้รับการอัปเดตอย่างรวดเร็วเท่าที่คุณต้องการหรือในแบบเรียลไทม์ ให้ตรวจสอบ เอกสารประกอบสําหรับการรีเฟรชหน้าอัตโนมัติ ทําตามคําแนะนําคําถามที่พบบ่อยและการแก้ไขปัญหาเพื่อหาสาเหตุที่อาจเกิดปัญหานี้ขึ้น

ข้อควรพิจารณาและข้อจำกัด

ข้อจำกัดทั่วไป

• การสมัครใช้งาน Power BI Premium (ความจุหรือ PPU) จําเป็นสําหรับการสร้างและเรียกใช้กระแสข้อมูลการสตรีม
• อนุญาตให้มีกระแสข้อมูลเพียงชนิดเดียวต่อพื้นที่ทํางาน
• ไม่สามารถเชื่อมโยงกระแสข้อมูลทั่วไปและการสตรีมได้
• ความจุที่น้อยกว่า A3 ไม่อนุญาตให้ใช้กระแสข้อมูลการสตรีม
• ถ้าไม่ได้เปิดใช้งานกระแสข้อมูลหรือกลไกการคํานวณขั้นสูงในผู้เช่า คุณจะไม่สามารถสร้างหรือเรียกใช้กระแสข้อมูลการสตรีมได้
• พื้นที่ทํางานที่เชื่อมต่อกับบัญชีเก็บข้อมูลไม่ได้รับการรองรับ
• แต่ละกระแสข้อมูลการสตรีมสามารถให้อัตราความเร็วได้สูงสุด 1 เมกะไบต์ต่อวินาที

ความพร้อมบริการ

ตัวอย่างของกระแสข้อมูลการสตรีมไม่พร้อมใช้งานในภูมิภาคต่อไปนี้:

• อินเดียกลาง
• เยอรมนีเหนือ
• นอร์เวย์ฝั่งตะวันออก
• นอร์เวย์ฝั่งตะวันตก
• UAE Central
• แอฟริกาใต้ตอนเหนือ
• แอฟริกาใต้ตะวันตก
• สวิตเซอร์แลนด์ตอนเหนือ
• สวิตเซอร์แลนด์ตะวันตก
• บราซิลตะวันออกเฉียงใต้

สิทธิ์การใช้งาน

จํานวนกระแสข้อมูลการสตรีมที่อนุญาตต่อผู้เช่าขึ้นอยู่กับสิทธิ์การใช้งานที่ใช้:

• สําหรับความจุทั่วไป ให้ใช้สูตรต่อไปนี้เพื่อคํานวณจํานวนสูงสุดของกระแสข้อมูลที่สตรีมมิ่งที่ได้รับอนุญาตในความจุ:

  จํานวนสูงสุดของกระแสข้อมูลการสตรีมต่อความจุ = vCores ในความจุ x 5

  ตัวอย่างเช่น P1 มี 8 vCores: 8 * 5 = 40 กระแสข้อมูลการสตรีม

• สําหรับ Premium Per User กระแสข้อมูลการสตรีมหนึ่งชุดได้รับอนุญาตต่อผู้ใช้หนึ่งราย หากผู้ใช้รายอื่นต้องการใช้กระแสข้อมูลการสตรีมในพื้นที่ทํางาน PPU พวกเขาต้องมีสิทธิการใช้งาน PPU ด้วยเช่นกัน

การเขียนกระแสข้อมูล

เมื่อคุณกําลังเขียนกระแสข้อมูลสตรีมมิ่ง โปรดคํานึงถึงข้อควรพิจารณาต่อไปนี้:

• เจ้าของกระแสข้อมูลการสตรีมสามารถทําการแก้ไขได้เท่านั้น และจะสามารถทําการแก้ไขได้เฉพาะเมื่อกระแสข้อมูลไม่ทํางาน
• กระแสข้อมูลการสตรีมไม่พร้อมใช้งานใน พื้นที่ทํางานของฉัน

เชื่อมต่อจาก Power BI Desktop

คุณสามารถเข้าถึงที่เก็บข้อมูลเย็นได้โดยใช้ตัว เชื่อมต่อกระแส ข้อมูลที่พร้อมใช้งานเท่านั้น โดยเริ่มต้นในการอัปเดต Power BI Desktop เดือนกรกฎาคม 2021 ตัวเชื่อมต่อกระแสข้อมูล Power BI ก่อนหน้านี้อนุญาตเฉพาะการเชื่อมต่อกับที่เก็บข้อมูลสตรีมมิ่ง (ร้อน) เท่านั้น การแสดงตัวอย่างข้อมูลของตัวเชื่อมต่อไม่ทํางาน

เนื้อหาที่เกี่ยวข้อง

บทความนี้ให้ภาพรวมของการเตรียมข้อมูลการสตรีมแบบบริการตนเองโดยใช้กระแสข้อมูลการสตรีม บทความต่อไปนี้แสดงข้อมูลเกี่ยวกับวิธีการทดสอบความสามารถนี้และวิธีการใช้คุณลักษณะข้อมูลการสตรีมอื่นๆ ใน Power BI:

• สร้างโซลูชัน IoT โดยใช้ Stream Analytics
• เชื่อมต่อราสเบอร์รี่ Pi เครื่องจําลองออนไลน์กับ Azure IoT Hub (Node.js)
• การสตรีมในเวลาจริงใน Power BI
• การรีเฟรชหน้าอัตโนมัติใน Power BI