การรีเฟรชกระแสข้อมูล

กระแสข้อมูลช่วยให้คุณสามารถเชื่อมต่อ แปลง รวม และโหลดข้อมูลไปยังที่เก็บข้อมูลสําหรับปริมาณการใช้ปลายทางได้ องค์ประกอบสําคัญในกระแสข้อมูลคือกระบวนการรีเฟรช ซึ่งใช้ขั้นตอนการแปลงที่กําหนดไว้ในระหว่างการเขียนเพื่อแยก แปลง และโหลดข้อมูลไปยังที่เก็บเป้าหมาย

การรีเฟรชกระแสข้อมูลสามารถถูกทริกเกอร์ได้ด้วยหนึ่งในสองวิธี คือ ตามต้องการ หรือโดยการตั้งค่ากําหนดการรีเฟรช การรีเฟรชตามกําหนดการจะทํางานโดยยึดตามวันและเวลาที่คุณระบุ

ข้อกำหนดเบื้องต้น

ต่อไปนี้คือข้อกําหนดเบื้องต้นสําหรับการรีเฟรชกระแสข้อมูล:

• เริ่มต้นใช้งานด่วน: สร้างกระแสข้อมูลแรกของคุณเพื่อรับและแปลงข้อมูล

รีเฟรชตามความต้องการ

หากต้องการรีเฟรชกระแสข้อมูลตามความต้องการ ให้เลือก ไอคอนรีเฟรช ที่พบในรายการพื้นที่ทํางานหรือมุมมองสายข้อมูล

มีวิธีอื่น ๆ ที่สามารถทริกเกอร์การรีเฟรชกระแสข้อมูลตามความต้องการได้ เมื่อการเผยแพร่กระแสข้อมูลเสร็จสมบูรณ์ การรีเฟรชตามความต้องการจะเริ่มต้นขึ้น การรีเฟรชตามความต้องการยังสามารถทริกเกอร์ผ่าน ไปป์ไลน์ที่ประกอบด้วยกิจกรรมกระแสข้อมูล

การรีเฟรชที่มีการจัดกำหนดการ

หากต้องการรีเฟรชกระแสข้อมูลโดยอัตโนมัติตามกําหนดเวลา ให้เลือก ไอคอนรีเฟรช ตามกําหนดเวลาที่พบในมุมมองรายการพื้นที่ทํางาน:

ส่วนการรีเฟรชคือที่ที่คุณสามารถกําหนดความถี่และช่วงเวลาเพื่อรีเฟรชกระแสข้อมูลได้สูงสุด 48 ครั้งต่อวัน สกรีนช็อตต่อไปนี้แสดงกําหนดการรีเฟรชรายวันในช่วงเวลา 12 ชั่วโมง

ยกเลิกการรีเฟรช

ยกเลิกการรีเฟรชกระแสข้อมูลมีประโยชน์เมื่อคุณต้องการหยุดการรีเฟรชในช่วงเวลาสูงสุด หากความจุใกล้ถึงขีดจํากัด หรือหากการรีเฟรชใช้เวลานานกว่าที่คาดไว้ ใช้คุณลักษณะการยกเลิกการรีเฟรชเพื่อหยุดการรีเฟรชกระแสข้อมูล

หากต้องการยกเลิกการรีเฟรชกระแสข้อมูล ให้เลือก ไอคอนยกเลิก ที่พบในรายการพื้นที่ทํางานหรือมุมมองสายข้อมูลสําหรับกระแสข้อมูลที่มีการรีเฟรชที่กําลังดําเนินการอยู่

เมื่อรีเฟรชกระแสข้อมูลแล้ว สถานะประวัติการรีเฟรชของกระแสข้อมูลจะได้รับการอัปเดตเพื่อแสดงสถานะการยกเลิก:

ข้อจํากัดการรีเฟรช

สําหรับการรีเฟรชกระแสข้อมูล จะมีข้อจํากัดสองประการที่จะเกิดขึ้น:

1. กระแสข้อมูลแต่ละรายการได้รับอนุญาตให้รีเฟรชได้สูงสุด 300 ครั้งต่อกรอบเวลาต่อเนื่อง 24 ชั่วโมง หากเกินขีดจํากัดนี้ ข้อผิดพลาดอาจปรากฏในประวัติการรีเฟรช และการรีเฟรชจะกลับมาทํางานต่อเมื่อการใช้งานลดลงต่ํากว่าเกณฑ์ สําหรับกระแสข้อมูลที่ไม่ใช่ CI/CD Gen2 ขีดจํากัดคือ 150 การรีเฟรชต่อกรอบเวลาต่อเนื่อง 24 ชั่วโมง
2. นอกเหนือจากขีดจํากัดต่อกระแสข้อมูลแล้ว อาจมีการใช้การควบคุมระดับระบบเพื่อปกป้องเสถียรภาพของบริการโดยรวม ซึ่งหมายความว่าแม้ว่าการรีเฟรช 300 ครั้งที่กระจายไปตลอด 24 ชั่วโมงเป็นที่ยอมรับได้ แต่การพยายามรีเฟรช 300 ครั้งภายในระยะเวลาสั้นๆ (เช่น 60 วินาที) อาจทําให้เกิดการควบคุมปริมาณและส่งผลให้คําขอถูกปฏิเสธ การป้องกันเหล่านี้มีไว้เพื่อให้มั่นใจถึงความน่าเชื่อถือของระบบ
3. หากการรีเฟรชกระแสข้อมูลตามกําหนดเวลาของคุณล้มเหลวติดต่อกัน เราจะหยุดกําหนดการรีเฟรชกระแสข้อมูลชั่วคราวและส่งเจ้าของกระแสข้อมูลไปยังอีเมล ในกรณีนี้ จะใช้กฎต่อไปนี้:
   • 72 ชั่วโมง (3 วัน)
     • อัตราความล้มเหลว 100% มากกว่า 72 ชั่วโมง
     • รีเฟรชอย่างน้อย 6 ครั้ง (2 รีเฟรชต่อวัน)
   • 168 ชั่วโมง (1 สัปดาห์)
     • อัตราความล้มเหลว 100% มากกว่า 168 ชั่วโมง
     • รีเฟรชอย่างน้อย 5 ครั้ง (1 ครั้งต่อวัน)
4. การประเมินคิวรีเดียวมีขีดจํากัด 8 ชั่วโมง
5. เวลาการรีเฟรชทั้งหมดของการรีเฟรชกระแสข้อมูลครั้งเดียวจะถูกจํากัดไว้ที่ 24 ชั่วโมงสูงสุด
6. สําหรับแต่ละกระแสข้อมูล คุณสามารถมีคิวรีที่มีลําดับขั้นได้สูงสุด 50 คิวรี หรือคิวรีที่มีปลายทางผลลัพธ์ หรือรวมกันทั้งสองอย่าง

ความหมายโดยนัยของการยกเลิกการรีเฟรชไปยังข้อมูลผลลัพธ์

การรีเฟรชกระแสข้อมูลสามารถหยุดลงได้ผ่านคุณลักษณะยกเลิกการรีเฟรชหรือหากเกิดความล้มเหลวขึ้นระหว่างการประมวลผลคิวรีของกระแสข้อมูล ผลลัพธ์ที่แตกต่างกันสามารถสังเกตได้ขึ้นอยู่กับชนิดของปลายทางและเมื่อหยุดการรีเฟรช ต่อไปนี้คือผลลัพธ์ที่เป็นไปได้สําหรับปลายทางข้อมูลสองชนิดสําหรับคิวรี:

• คิวรีจะโหลดข้อมูลไปยังการกําหนดระยะ: ข้อมูลจากการรีเฟรชที่สําเร็จครั้งล่าสุดจะพร้อมใช้งาน
• คิวรีจะโหลดข้อมูลไปยังปลายทางของข้อมูล: ข้อมูลที่เขียนขึ้นจนถึงจุดการยกเลิกพร้อมใช้งาน

คิวรีทั้งหมดในกระแสข้อมูลบางคิวรีจะถูกประมวลผลในเวลาเดียวกัน ตัวอย่างเช่น หากกระแสข้อมูลมีคิวรีจํานวนมากหรือบางคิวรีขึ้นอยู่กับคิวรีอื่น ถ้าการรีเฟรชถูกยกเลิกก่อนการประเมินคิวรีที่โหลดข้อมูลไปยังปลายทางเริ่มต้น ขึ้น จะไม่มีการเปลี่ยนแปลงข้อมูลในปลายทางของคิวรีนั้น

เนื้อหาที่เกี่ยวข้อง

• ดูประวัติการรีเฟรชและตรวจสอบกระแสข้อมูลของคุณ