Werkruimte-instellingen voor Apache Airflow-taak
Notitie
Apache Airflow-taak wordt mogelijk gemaakt door Apache Airflow.
U kunt de runtime-instellingen van Apache Airflow in Apache Airflow-taak en de standaard Apache Airflow-runtime voor de werkruimte configureren en beheren. Apache Airflow-taak biedt de twee typen omgevingsinstellingen: Starter-pool en Aangepaste pool. U kunt de starterspool gebruiken die standaard is geconfigureerd of aangepaste pools maken voor uw werkruimte. Als de instelling voor het aanpassen van rekenconfiguraties voor items is uitgeschakeld, wordt de startersgroep gebruikt voor alle omgevingen in de werkruimte. Starter-pools bieden een directe Apache Airflow-runtime, die automatisch wordt gedeprovisioneerd wanneer deze niet in gebruik is. Aan de andere kant bieden aangepaste pools meer flexibiliteit en bieden ze een always-on Apache Airflow-runtime. In dit artikel worden elke instelling beschreven en worden ideale scenario's voorgesteld voor hun respectieve gebruik.
Starterspool en aangepaste pool
De volgende tabel bevat de lijst met de eigenschappen van beide pools.
| Eigenschappen | Starterspool (standaard) | Aangepaste pool |
|---|---|---|
| Tekengrootte | Grootte rekenknooppunt: groot | Biedt flexibiliteit in grootte; U kunt de grootte van rekenknooppunten, extra knooppunten, 'Automatisch schalen inschakelen' configureren |
| Opstartlatentie | Onmiddellijk | Begint in de gestopte fase |
| Latentie hervatten | Het duurt maximaal 5 minuten | Het duurt maximaal 5 minuten |
| Gedrag van de bedrijfstijd van pool | Wordt afgesloten na 20 minuten inactiviteit in de airflow-omgeving | Altijd ingeschakeld totdat handmatig is onderbroken |
| Voorgestelde omgevingen | Ontwikkelaar | Productie |
Aangepaste pool configureren
Ga naar de instellingen van uw werkruimte.
Klik in de sectie Data Factory op Gegevenswerkstroominstellingen.
U ziet dat de instelling voor de standaardwerkstroom voor gegevens momenteel is ingesteld op Starter-pool. Als u wilt overschakelen naar een aangepaste pool, vouwt u het vervolgkeuzemenu met het label Standaardgegevenswerkstroominstelling uit en selecteert u 'Nieuwe pool'.
Pas de volgende eigenschappen aan op basis van uw behoeften:
- Naam: Geef een geschikte naam aan uw pool.
- Grootte van rekenknooppunt: de grootte van het rekenknooppunt waarop u uw omgeving wilt uitvoeren. U kunt de waarde
Largekiezen voor het uitvoeren van complexe DAG's of productie-DAG's enSmallvoor het uitvoeren van eenvoudigere Gerichte Acyclic Graphs (DAG's). - Automatische schaalaanpassing inschakelen: met deze functie kan uw Apache Airflow-pool naar behoefte knooppunten omhoog of omlaag schalen.
- Extra knooppunten: met extra knooppunten kan de pool gelijktijdig meer DAG's uitvoeren. Elk knooppunt biedt de capaciteit om nog drie werkrollen uit te voeren.
Klik op Maken om de configuratie te voltooien.
