การรีเฟรชแบบเพิ่มหน่วยกับกระแสข้อมูล

ด้วยกระแสข้อมูล คุณสามารถนําข้อมูลขนาดใหญ่เข้าไปยัง Power BI หรือที่เก็บข้อมูลขององค์กรของคุณได้ อย่างไรก็ตาม ในบางกรณีจะไม่สามารถอัปเดตสําเนาเต็มของข้อมูลต้นฉบับในการรีเฟรชแต่ละครั้งได้ ทางเลือกที่ดีคือการ รีเฟรชแบบเพิ่มหน่วย ซึ่งให้ประโยชน์ต่อไปนี้กับกระแสข้อมูล:

• รีเฟรชได้เร็วขึ้น: รีเฟรชเฉพาะข้อมูลที่เปลี่ยนแปลง ตัวอย่างเช่น รีเฟรชเฉพาะห้าวันที่ผ่านมาของกระแสข้อมูล 10 ปี
• การรีเฟรชมีความน่าเชื่อถือมากขึ้น: ตัวอย่างเช่น ไม่จําเป็นต้องรักษาการเชื่อมต่อระยะยาวกับระบบต้นทางที่ผันผวน
• ปริมาณการใช้ทรัพยากรลดลง: เมื่อต้องรีเฟรชข้อมูลน้อยลง ทําให้ปริมาณการใช้โดยรวมของความจําและทรัพยากรอื่นๆ ลดลงด้วย

การรีเฟรชแบบเพิ่มหน่วยจะพร้อมใช้งานในกระแสข้อมูลที่สร้างขึ้นใน Power BI และกระแสข้อมูลที่สร้างใน Power Apps บทความนี้แสดงหน้าจอจาก Power BI แต่คําแนะนําเหล่านี้นําไปใช้กับกระแสข้อมูลที่สร้างขึ้นใน Power BI หรือใน Power Apps

หมายเหตุ

เมื่อมีการเปลี่ยนแปลงสคีมาสําหรับตารางในกระแสข้อมูลการวิเคราะห์ การรีเฟรชเต็มรูปแบบจะเกิดขึ้นเพื่อให้แน่ใจว่าข้อมูลผลลัพธ์ทั้งหมดตรงกับสคีมาใหม่ ผลที่ได้คือ ข้อมูลใด ๆ ที่จัดเก็บแบบเพิ่มหน่วยจะถูกรีเฟรช และในบางกรณี หากระบบต้นทางไม่เก็บข้อมูลในอดีตจะสูญหายไป

การใช้การรีเฟรชแบบเพิ่มหน่วยในกระแสข้อมูลที่สร้างขึ้นใน Power BI จําเป็นต้องให้กระแสข้อมูลอยู่ในพื้นที่ทํางานใน ความจุพรีเมียม การรีเฟรชแบบเพิ่มหน่วยใน Power Apps ต้องใช้ Power Apps ต่อแอปหรือต่อผู้ใช้ และพร้อมใช้งานสําหรับกระแสข้อมูลที่มี Azure Data Lake Storage เป็นปลายทางเท่านั้น

ใน Power BI หรือ Power Apps การใช้การรีเฟรชแบบเพิ่มหน่วยจําเป็นต้องนําเข้าข้อมูลต้นฉบับลงในกระแสข้อมูลมีเขตข้อมูล DateTime ที่การรีเฟรชแบบเพิ่มหน่วยสามารถกรองได้

การกําหนดค่าการรีเฟรชแบบเพิ่มหน่วยสําหรับกระแสข้อมูล

กระแสข้อมูลสามารถมีหลายตาราง การรีเฟรชแบบเพิ่มหน่วยได้รับการตั้งค่าที่ระดับตาราง ซึ่งอนุญาตให้มีกระแสข้อมูลหนึ่งเก็บทั้งตารางที่รีเฟรชทั้งหมดและตารางที่รีเฟรชแบบเพิ่มหน่วย

หากต้องการตั้งค่าตารางที่รีเฟรชแบบเพิ่มหน่วย ให้เริ่มต้นโดยการกําหนดค่าตารางของคุณตามที่คุณต้องการสําหรับตารางอื่น

หลังจากที่มีการสร้างและบันทึกกระแสข้อมูลแล้ว ให้เลือก การรีเฟรชแบบเพิ่มหน่วย ในมุมมองตาราง ดังที่แสดงในรูปต่อไปนี้

เมื่อคุณเลือกไอคอน หน้าต่างการตั้งค่า การรีเฟรชแบบเพิ่มหน่วยจะปรากฏขึ้น เปิดการรีเฟรชแบบเพิ่มหน่วย

รายการต่อไปนี้อธิบายการตั้งค่าในหน้าต่าง การตั้งค่า การรีเฟรชแบบเพิ่มหน่วย

• การสลับเปิด/ปิดการรีเฟรชแบบเพิ่มหน่วย: เปิดหรือปิดนโยบายการรีเฟรชแบบเพิ่มหน่วยสําหรับตาราง

• ตัวกรองฟิลด์แบบเลื่อนลง: เลือกเขตข้อมูลคิวรีที่ควรกรองตารางสําหรับการเพิ่มขึ้น เขตข้อมูลนี้มีเฉพาะเขตข้อมูล DateTime เท่านั้น คุณไม่สามารถใช้การรีเฟรชแบบเพิ่มหน่วยได้หากตารางของคุณไม่มีเขตข้อมูล DateTime

  สำคัญ

  เลือกเขตข้อมูลวันที่ที่ไม่เปลี่ยนแปลงสําหรับตัวกรองการรีเฟรชแบบเพิ่มหน่วย ถ้าค่าเขตข้อมูลเปลี่ยนแปลง (ตัวอย่างเช่น ด้วยเขตข้อมูลที่ ปรับเปลี่ยน วันที่) อาจทําให้เกิดความล้มเหลวในการ รีเฟรชเนื่องจากค่า ที่ซ้ํากันในข้อมูล

• จัดเก็บ/รีเฟรชแถวจากอดีต: ตัวอย่างในรูปภาพก่อนหน้าแสดงการตั้งค่าสองสามรายการถัดไป

  ในตัวอย่างนี้ เรากําหนดนโยบายการรีเฟรชให้เก็บข้อมูลทั้งหมดห้าปี และรีเฟรชข้อมูลเพิ่มหน่วย 10 วัน สมมติว่ามีการรีเฟรชตารางทุกวัน การดําเนินการต่อไปนี้จะดําเนินการสําหรับแต่ละการดําเนินการรีเฟรช:

  • เพิ่มข้อมูลของวันใหม่

  • รีเฟรชข้อมูล 10 วันจนถึงวันที่ปัจจุบัน

  • ลบปีปฏิทินที่เก่ากว่าห้าปีก่อนวันที่ปัจจุบัน ตัวอย่างเช่น หากวันที่ปัจจุบันคือ 1 มกราคม 2019 ปี 2013 จะถูกลบ

  การรีเฟรชกระแสข้อมูลครั้งแรกอาจใช้เวลาสักครู่ในการนําเข้าข้อมูลของทั้งห้าปี แต่การรีเฟรชครั้งต่อมาจะเสร็จสิ้นได้รวดเร็วยิ่งขึ้น

• ตรวจหาการเปลี่ยนแปลงข้อมูล: การรีเฟรชแบบเพิ่มหน่วย 10 วันมีประสิทธิภาพมากกว่าการรีเฟรชทั้งห้าปี แต่คุณอาจสามารถทําได้ดีกว่าเดิมมาก เมื่อคุณเลือกกล่องกา เครื่องหมาย ตรวจพบการเปลี่ยนแปลง ข้อมูล คุณสามารถเลือกคอลัมน์วันที่/เวลาเพื่อระบุและรีเฟรชเฉพาะวันที่ข้อมูลมีการเปลี่ยนแปลงได้ ซึ่งสมมติว่าคอลัมน์ดังกล่าวอยู่ในระบบแหล่งข้อมูล ซึ่งโดยทั่วไปมีไว้สําหรับวัตถุประสงค์การตรวจสอบ ค่าสูงสุดของคอลัมน์นี้จะถูกประเมินสําหรับแต่ละช่วงเวลาในช่วงที่เพิ่มขึ้น ถ้าข้อมูลนั้นไม่ได้เปลี่ยนแปลงไปตั้งแต่ที่มีการรีเฟรชครั้งล่าสุด ก็ไม่จําเป็นต้องรีเฟรชช่วงเวลา ตัวอย่างเช่น การทําเช่นนี้จะลดจํานวนวันที่ต้องรีเฟรชแบบเพิ่มหน่วยจาก 10 วันเหลือ 2 วัน

  เคล็ดลับ

  การออกแบบปัจจุบันกําหนดให้คอลัมน์ที่ใช้ในการตรวจหาการเปลี่ยนแปลงข้อมูลยังคงอยู่และแคชลงในหน่วยความจํา คุณอาจต้องการพิจารณาใช้หนึ่งในเทคนิคต่อไปนี้เพื่อลดการใช้งานข้อมูลในชุดและหน่วยความจํา:

  • คงไว้เฉพาะค่าสูงสุดของคอลัมน์นี้เมื่อรีเฟรช อาจโดยการใช้ฟังก์ชัน Power Query
  • ลดความแม่นยําเป็นระดับที่ยอมรับได้ของข้อกําหนดความถี่การรีเฟรชของคุณ

• รีเฟรชเฉพาะช่วงเวลาที่สมบูรณ์: สมมติว่าการรีเฟรชของคุณถูกกําหนดให้ทํางานทุกวันเวลา 4:00 น. ถ้าข้อมูลปรากฏในระบบต้นทางระหว่างช่วงสี่ชั่วโมงแรกของวันนั้น คุณอาจไม่ต้องการพิจารณา เมตริกธุรกิจบางอย่าง เช่น ถังต่อวันในอุตสาหกรรมน้ํามันและแก๊ส ไม่ได้ใช้ได้จริงหรือสมเหตุสมผลที่จะพิจารณาในบางวัน

  อีกตัวอย่างหนึ่งที่ควรรีเฟรชเฉพาะช่วงเวลาที่สมบูรณ์คือการรีเฟรชข้อมูลจากระบบการเงิน ลองนึกถึงระบบการเงินที่มีการอนุมัติข้อมูลของเดือนที่แล้วในวันที่ 12 ของเดือน คุณสามารถตั้งค่าช่วงการเพิ่มหน่วยเป็นหนึ่งเดือน และจัดกําหนดการให้เรียกใช้รีเฟรชในวันที่ 12 ของเดือน เมื่อเลือกตัวเลือกนี้ ระบบจะรีเฟรชข้อมูลเดือนมกราคม (ช่วงเดือนเต็มเดือนล่าสุด) ในวันที่ 12 กุมภาพันธ์

หมายเหตุ

การรีเฟรชแบบเพิ่มหน่วยของกระแสข้อมูลจะกําหนดวันที่ตามตรรกะต่อไปนี้: หากมีการกําหนดการรีเฟรชไว้แล้ว การรีเฟรชแบบเพิ่มหน่วยสําหรับกระแสข้อมูลจะใช้โซนเวลาที่กําหนดไว้ในนโยบายการรีเฟรช ถ้าไม่มีกําหนดการรีเฟรช การรีเฟรชแบบเพิ่มหน่วยจะใช้เวลาจากคอมพิวเตอร์ในการรีเฟรช

หลังจากที่มีการกําหนดค่าการรีเฟรชแบบเพิ่มหน่วย กระแสข้อมูลจะเปลี่ยนคิวรีของคุณให้รวมการกรองตามวันที่โดยอัตโนมัติ ถ้ากระแสข้อมูลถูกสร้างขึ้นใน Power BI คุณยังสามารถแก้ไขคิวรีที่สร้างขึ้นโดยอัตโนมัติโดยใช้ตัวแก้ไขขั้นสูงใน Power Query เพื่อปรับแต่งหรือปรับแต่งการรีเฟรชของคุณ อ่านเพิ่มเติมเกี่ยวกับการรีเฟรชแบบเพิ่มหน่วยและวิธีการทํางานในส่วนต่อไปนี้

หมายเหตุ

เมื่อคุณแก้ไขกระแสข้อมูล ตัวแก้ไข Power Query จะเชื่อมต่อกับแหล่งข้อมูลโดยตรงและไม่แสดงข้อมูลที่แคช/ถูกกรองในกระแสข้อมูลหลังจากดําเนินการโดยนโยบายการรีเฟรชแบบเพิ่มหน่วย หากต้องการตรวจสอบข้อมูลที่แคชภายในกระแสข้อมูล ให้เชื่อมต่อจาก Power BI Desktop ไปยังกระแสข้อมูลหลังจากกําหนดค่านโยบายการรีเฟรชแบบเพิ่มหน่วยและรีเฟรชกระแสข้อมูล

การรีเฟรชแบบเพิ่มหน่วยและตารางที่เชื่อมโยงเปรียบเทียบกับตารางที่มีการคํานวณ

สําหรับ ตารางที่เชื่อมโยง การรีเฟรชแบบเพิ่มหน่วยจะอัปเดตตารางต้นทาง เนื่องจากตารางที่เชื่อมโยงจะเป็นตัวชี้ไปยังตารางต้นฉบับ การรีเฟรชแบบเพิ่มหน่วยจะไม่มีผลกระทบต่อตารางที่เชื่อมโยง เมื่อมีการรีเฟรชตารางต้นทางตามนโยบายการรีเฟรชที่กําหนดไว้ ตารางที่เชื่อมโยงใดก็ตามควรถือว่าข้อมูลในแหล่งข้อมูลได้รับการรีเฟรช

ตารางที่มี การคํานวณจะขึ้นอยู่กับคิวรีที่ทํางานบนที่เก็บข้อมูล ซึ่งอาจเป็นกระแสข้อมูลอีกตัวหนึ่ง ดังนั้น ตารางที่มีการคํานวณจึงทํางานในลักษณะเดียวกับตารางที่เชื่อมโยง

เนื่องจากตารางที่มีการคํานวณและตารางที่เชื่อมโยงทํางานคล้ายกัน ดังนั้นข้อกําหนดและขั้นตอนการกําหนดค่าจึงเหมือนกันสําหรับทั้งสองอย่าง ความแตกต่างหนึ่งคือ สําหรับตารางที่มีการคํานวณ ในการกําหนดค่าบางอย่าง การรีเฟรชแบบเพิ่มหน่วยไม่สามารถทํางานได้ในลักษณะที่เหมาะสมเนื่องจากมีการสร้างพาร์ติชัน

การเปลี่ยนแปลงระหว่างการรีเฟรชแบบเพิ่มหน่วยและการรีเฟรชทั้งหมด

กระแสข้อมูลรองรับการเปลี่ยนนโยบายการรีเฟรชระหว่างการรีเฟรชแบบเพิ่มหน่วยและการรีเฟรชทั้งหมด เมื่อมีการเปลี่ยนแปลงเกิดขึ้นในทิศทางใดทิศทางหนึ่ง (จากทั้งหมดเป็นเพิ่มหน่วยหรือเพิ่มหน่วยเป็นเต็ม) การเปลี่ยนแปลงนั้นจะมีผลต่อกระแสข้อมูลหลังจากการรีเฟรชครั้งถัดไป

เมื่อย้ายกระแสข้อมูลจากการรีเฟรชทั้งหมดไปยังการรีเฟรชแบบเพิ่มหน่วย ตรรกะการรีเฟรชใหม่จะอัปเดตกระแสข้อมูลโดยยึดตามหน้าต่างการรีเฟรชและการเพิ่มหน่วยตามที่กําหนดในการตั้งค่าการรีเฟรชแบบเพิ่มหน่วย

เมื่อย้ายกระแสข้อมูลจากการรีเฟรชแบบเพิ่มหน่วยไปยังการรีเฟรชทั้งหมด นโยบายที่กําหนดไว้ในการรีเฟรชทั้งหมดจะเขียนทับข้อมูลทั้งหมดที่สะสมอยู่ในการรีเฟรชแบบเพิ่มหน่วย คุณต้องอนุมัติการดําเนินการนี้

โซนเวลารองรับในการรีเฟรชแบบเพิ่มหน่วย

การรีเฟรชกระแสข้อมูลแบบเพิ่มหน่วยจะขึ้นอยู่กับเวลาที่เรียกใช้ การกรองคิวรีจะพึ่งพาวันที่ที่เรียกใช้

เพื่อรองรับการขึ้นต่อกันเหล่านั้นและเพื่อให้แน่ใจว่าข้อมูลมีความสอดคล้องกัน การรีเฟรชแบบเพิ่มหน่วยสําหรับกระแสข้อมูลจะใช้ฮิวริสติกต่อไปนี้สําหรับ สถานการณ์ รีเฟรชตอนนี้ :

• ในกรณีที่มีการกําหนดการรีเฟรชตามกําหนดการในระบบ การรีเฟรชแบบเพิ่มหน่วยจะใช้การตั้งค่าโซนเวลาจากส่วนการรีเฟรชตามกําหนดการ การดําเนินการนี้จะทําให้แน่ใจว่าโซนเวลาใดก็ตามที่บุคคลที่ทําการรีเฟรชนั้นอยู่ในโซนเวลานั้น จะสอดคล้องกับข้อกําหนดของระบบเสมอ

• ถ้าไม่มีการกําหนดการรีเฟรชที่กําหนดไว้ กระแสข้อมูลจะใช้โซนเวลาจากคอมพิวเตอร์ของผู้ใช้ที่กําลังดําเนินการรีเฟรช

นอกจากนี้ยังสามารถเรียกใช้การรีเฟรชแบบเพิ่มหน่วยได้โดยใช้ API ในกรณีนี้ การเรียกใช้ API สามารถเก็บการตั้งค่าโซนเวลาที่ใช้ในการรีเฟรชได้ การใช้ API อาจเป็นประโยชน์ในการทดสอบและการตรวจสอบความถูกต้อง

รายละเอียดการใช้งานการรีเฟรชแบบเพิ่มหน่วย

กระแสข้อมูลจะใช้พาร์ติชันเพื่อการรีเฟรชแบบเพิ่มหน่วย การรีเฟรชแบบเพิ่มหน่วยในกระแสข้อมูลจะเก็บจํานวนพาร์ติชันขั้นต่ําไว้ให้เป็นไปตามข้อกําหนดของนโยบายการรีเฟรช พาร์ติชันเก่าที่ไม่อยู่นอกช่วงจะถูกข้ามไป ซึ่งเก็บรักษาหน้าต่างการเลื่อน จะมีการผสานพาร์ติชันตามโอกาส เป็นการลดจํานวนรวมของพาร์ติชันที่จําเป็น ซึ่งจะช่วยปรับปรุงการบีบอัด และสามารถปรับปรุงประสิทธิภาพการทํางานของคิวรีได้ในบางกรณี

ตัวอย่างในส่วนนี้ใช้นโยบายการรีเฟรชต่อไปนี้:

• จัดเก็บแถวใน 1 ไตรมาสที่ผ่านมา
• รีเฟรชแถวใน 10 วันที่ผ่านมา
• ตรวจพบการเปลี่ยนแปลงข้อมูล = False
• รีเฟรชเฉพาะวันที่สมบูรณ์ = จริง

ผสานพาร์ติชัน

ในตัวอย่างนี้ พาร์ติชันวันจะถูกผสานโดยอัตโนมัติเป็นระดับเดือนหลังจากที่พาร์ติชันอยู่นอกช่วงการเพิ่มหน่วย พาร์ติชันในช่วงการเพิ่มหน่วยต้องได้รับการบํารุงรักษาทุกวันเพื่อให้มีการรีเฟรชพาร์ติชันวันได้ การดําเนินการรีเฟรชด้วย เรียกใช้วันที่ 12/11/2016 จะผสานวันในเดือนพฤศจิกายน เพราะว่าอยู่นอกช่วงการเพิ่มหน่วย

ลบพาร์ติชันเก่า

พาร์ติชันเก่าที่อยู่นอกช่วงรวมจะถูกลบออก การดําเนินการรีเฟรชด้วย เรียกใช้วันที่ 1/2/2017 จะลบพาร์ติชันสําหรับ Q3 ของปี 2016 เนื่องจากอยู่นอกช่วงรวม

กู้คืนจากความล้มเหลวที่ยืดเยื้อ

ตัวอย่างนี้จะจําลองวิธีการที่ระบบกู้คืนจากความล้มเหลวที่ยืดเยื้อได้อย่างนุ่มนวล สมมติว่าการรีเฟรชทํางานไม่สําเร็จเนื่องจากข้อมูลประจําตัวของแหล่งข้อมูลหมดอายุ และปัญหานี้ต้องใช้เวลาแก้ไข 13 วัน ช่วงการเพิ่มหน่วยคือ 10 วันเท่านั้น

การดําเนินการรีเฟรชสําเร็จครั้งถัดไปด้วย เรียกใช้วันที่ 1/15/2017 จะต้องเติม 13 วันที่หายไปนั้นกลับเข้ามาในการรีเฟรช นอกจากนี้ยังต้องรีเฟรชเก้าวันก่อนหน้าเนื่องจากวันเหล่านั้นไม่ได้รีเฟรชตามกําหนดการปกติ กล่าวอีกนัยหนึ่งคือ ช่วงการเพิ่มหน่วยเพิ่มขึ้นจาก 10 เป็น 22 วัน

การดําเนินการรีเฟรชครั้งถัดไปด้วย เรียกใช้วันที่ 1/16/2017 จะใช้โอกาสนี้เพื่อผสานวันในเดือนธันวาคมและเดือนในไตรมาสที่ 4 ของปี 2016

การรีเฟรชแบบเพิ่มหน่วยของกระแสข้อมูลและชุดข้อมูล

การรีเฟรชแบบเพิ่มหน่วยของกระแสข้อมูลและการรีเฟรชแบบเพิ่มหน่วยของชุดข้อมูลได้รับการออกแบบมาให้ทํางานควบคู่กัน โดยระบบยอมให้มีและรองรับตารางที่รีเฟรชแบบเพิ่มหน่วยในกระแสข้อมูล รวมทั้งตารางที่โหลดเป็นชุดข้อมูลอย่างสมบูรณ์หรือตารางที่โหลดอย่างสมบูรณ์ในกระแสข้อมูลที่โหลดแบบเพิ่มหน่วยเป็นชุดข้อมูล

ทั้งสองวิธีจะทํางานตามข้อกําหนดที่คุณระบุไว้ในการตั้งค่าการรีเฟรช ข้อมูลเพิ่มเติม: การรีเฟรชแบบเพิ่มหน่วยใน Power BI Premium

ดูเพิ่มเติม

บทความนี้อธิบายการรีเฟรชแบบเพิ่มหน่วยสําหรับกระแสข้อมูล ต่อไปนี้คือบทความเพิ่มเติมที่อาจเป็นประโยชน์:

• การเตรียมข้อมูลด้วยตนเองใน Power BI
• การสร้างตารางที่มีการคํานวณในกระแสข้อมูล
• เชื่อมต่อไปยังแหล่งข้อมูลสําหรับกระแสข้อมูล
• เชื่อมโยงตารางระหว่างกระแสข้อมูล
• สร้างและใช้กระแสข้อมูลใน Power BI
• การใช้กระแสข้อมูลกับแหล่งข้อมูลภายในองค์กร
• ทรัพยากรของนักพัฒนาสําหรับกระแสข้อมูล Power BI

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับ Power Query และการรีเฟรชตามกำหนดเวลา คุณสามารถอ่านบทความเหล่านี้:

• ภาพรวมคำค้นหาใน Power BI Desktop
• การกำหนดค่าการรีเฟรชตามกำหนด

สําหรับข้อมูลเพิ่มเติมเกี่ยวกับ Common Data Model คุณสามารถอ่านบทความภาพรวมได้:

• โมเดลข้อมูลทั่วไป - ภาพรวม