Tok údajov Gen2 s integráciou CI/CD a Git

Dataflow Gen2 podporuje kontinuálnu integráciu/kontinuálne nasadzovanie (CI/CD) a integráciu Gitu. Toky údajov môžete vytvárať, upravovať a spravovať v odkladacom priestore Git pripojenom k pracovnému priestoru služby Fabric. Použite kanály nasadenia na automatizáciu presúvania tokov údajov medzi pracovnými priestormi. Tento článok vysvetľuje, ako používať tieto funkcie v službe Fabric Data Factory.

Súčasti

Dataflow Gen2 s integráciou CI/CD a Git ponúka celý rad funkcií na zefektívnenie vášho pracovného postupu. S týmito funkciami môžete robiť toto:

• Integrujte Git s Dataflow Gen2.
• Automatizujte nasadenie toku údajov medzi pracovnými priestormi pomocou kanálov nasadenia.
• Obnovte a upravte nastavenia toku údajov Gen2 pomocou nástrojov Fabric.
• Vytvorte tok údajov Gen2 priamo v priečinku pracovného priestoru.
• Pomocou verejných rozhraní API (Preview) môžete spravovať tok údajov Gen2 s integráciou CI/CD a Gitom.

Prerequisites

Skôr než začnete, uistite sa, že:

• Mať konto nájomníka služby Microsoft Fabric s aktívnym predplatným. Vytvorte si bezplatné konto.
• Použite pracovný priestor s podporou služby Microsoft Fabric.
• Povoľte integráciu Gitu pre svoj pracovný priestor. Zistite, ako povoliť integráciu Gitu.

Vytvorenie toku údajov Gen2 s integráciou CI/CD a Git

Vytvorenie Dataflow Gen2 s integráciou CI/CD a Git vám umožní efektívne spravovať toky údajov v rámci pripojeného úložiska Git. Ak chcete začať, postupujte podľa týchto krokov:

1. V pracovnom priestore Fabric vyberte položku Vytvoriť novú položku a potom vyberte Dataflow Gen2.

   

2. Pomenujte tok údajov, povoľte integráciu Gitu a vyberte položku Vytvoriť.

   

   Tok údajov sa otvorí na pracovnom plátne na vytváranie, kde môžete začať vytvárať tok údajov.

3. Po dokončení vyberte položku Uložiť a spustiť.

4. Po publikovaní sa v toku údajov zobrazí stav "nepotvrdené".

   

5. Ak chcete odovzdať tok údajov do Gitu, vyberte ikonu správy zdrojového kódu v pravom hornom rohu.

   

6. Vyberte zmeny, ktoré chcete potvrdiť, a potom vyberte položku Potvrdiť.

   

Váš Dataflow Gen2 s integráciou CI/CD a Git je pripravený. Najvhodnejšie postupy nájdete v kurze Scenár 2 – Vývoj pomocou iného pracovného priestoru .

Obnovenie toku údajov Gen2

Obnovenie toku údajov Gen2 zabezpečí, že vaše údaje budú up-to-date. Na automatizáciu procesu môžete obnoviť manuálne alebo nastaviť plán.

Obnoviť teraz

1. V pracovnom priestore Fabric vyberte tri bodky vedľa toku údajov.

2. Vyberte položku Obnoviť.

   

Naplánovanie obnovenia

1. V pracovnom priestore Fabric vyberte tri bodky vedľa toku údajov.

2. Stlačte možnosť Naplánovať.

   

3. Na stránke plánu nastavte frekvenciu obnovenia, čas začiatku a čas ukončenia. Použite zmeny.

   

4. Ak chcete obnoviť okamžite, vyberte položku Obnoviť.

Zobrazenie histórie a nastavení obnovenia

Pochopenie histórie obnovenia a spravovanie nastavení vám pomôže monitorovať a riadiť tok údajov Gen2. Tu je postup, ako získať prístup k týmto možnostiam.

Ak chcete zobraziť históriu obnovenia, vyberte kartu posledných spustení v rozbaľovacej ponuke alebo prejdite do centra monitorovania a vyberte tok údajov.

Prístup k nastaveniam toku údajov získate výberom troch bodiek vedľa toku údajov a výberom položky Nastavenia.

Uložiť nahrádza publikovanie

Operácia ukladania v Dataflow Gen2 s integráciou CI/CD a Git automaticky publikuje zmeny, čím sa zjednodušuje pracovný postup.

Uložením toku údajov Gen2 sa automaticky zverejnia zmeny. Ak chcete zmeny zahodiť, vyberte položku Zahodiť zmeny pri zatváraní editora.

Validation

Pri ukladaní systém skontroluje, či je dátový tok platný. Ak nie, v zobrazení pracovného priestoru sa zobrazí chyba. Overenie spustí vyhodnotenie nultého riadka, ktoré kontroluje schémy dotazov bez vrátenia riadkov. Ak schému dotazu nie je možné určiť do 10 minút, vyhodnotenie zlyhá. Ak overenie zlyhá, systém použije na obnovenie poslednú uloženú verziu.

Publikovanie just-in-time

Publikovanie just-in-time zaisťuje, že vaše zmeny sú k dispozícii v prípade potreby. Táto časť vysvetľuje, ako systém spracováva publikovanie počas obnovení a iných operácií.

Dataflow Gen2 používa automatizovaný model publikovania "just-in-time". Keď uložíte tok údajov, zmeny sú okamžite k dispozícii pre ďalšie obnovenie alebo spustenie. Synchronizácia zmien z Gitu alebo použitie kanálov nasadenia ukladá aktualizovaný tok údajov vo vašom pracovnom priestore. Pri ďalšom obnovení sa pokúsite publikovať najnovšiu uloženú verziu. Ak publikovanie zlyhá, chyba sa zobrazí v histórii obnovenia.

V niektorých prípadoch backend automaticky znova publikuje toky údajov počas obnovení, aby sa zabezpečila kompatibilita s aktualizáciami.

Rozhrania API sú k dispozícii aj na obnovenie toku údajov bez publikovania alebo na manuálne spustenie publikovania.

Obmedzenia a známe problémy

Aj keď je Dataflow Gen2 s integráciou CI/CD a Git výkonný, existujú určité obmedzenia a známe problémy, ktoré si treba uvedomiť. Tu je to, čo potrebujete vedieť.

• Keď odstránite posledný tok údajov Gen2 s podporou CI/CD a Git, pracovné položky sa stanú viditeľnými v pracovnom priestore a používateľ ich môže bezpečne odstrániť.
• Zobrazenie pracovného priestoru nezobrazuje nasledujúce: Priebežné označenie obnovenia, posledné obnovenie, ďalšie obnovenie a označenie zlyhania obnovenia.
• Keď sa nepodarí obnoviť tok údajov, nepodporujeme automatické odosielanie oznámenia o zlyhaní. Ako alternatívne riešenie môžete využiť možnosti orchestrácie kanálov.
• Pri vetvení do iného pracovného priestoru môže obnovenie toku údajov Gen2 zlyhať so správou, že vnášaciu úzovňu jazera sa nepodarilo nájsť. Keď sa tak stane, vytvorte v pracovnom priestore novú službu Dataflow Gen2 s podporou CI/CD a Git, čím sa spustí vytváranie služby staging lakehouse. Potom by mali všetky ostatné toky údajov v pracovnom priestore znova fungovať.
• Keď synchronizujete zmeny zo systému GIT do pracovného priestoru alebo použijete kanály nasadenia, musíte otvoriť nový alebo aktualizovaný tok údajov a uložiť zmeny manuálne pomocou editora. Tým sa na pozadí spustí akcia publikovania, ktorá umožní použitie zmien počas obnovenia toku údajov. Ak chcete automatizovať operáciu publikovania, môžete použiť aj volanie rozhrania API na publikovanie toku údajov na požiadanie .
• Konektor Power Automate pre toky údajov nefunguje s novým tokom údajov Gen2 s podporou CI/CD a Git.