Beheer serverloze rekenresources

Deze pagina legt uit hoe je toegang tot serverless compute beheert en hoe serverless rate limits worden geïmplementeerd. Workspace-beheerders beheren serverless compute met ingebouwde serverless compute-objecten. Een serverloos rekenobject is een resourcetype dat de machtigingsgrens definieert voor serverloze workloads. Uw werkruimte krijgt automatisch twee standaard rekenobjecten:

• Standaard interactive compute: bepaalt de toegang tot notebooks en Databricks Connect.
• Standaard geautomatiseerde berekening: bepaalt de toegang tot taken en declaratieve Spark-pijplijnen op Lakeflow.

Standaard hebben alle gebruikers van de werkruimte voor beide objecten de machtiging Mag gebruiken, zodat bestaande workloads zonder wijzigingen gewoon blijven draaien. Een werkruimtebeheerder kan gebruikers of groepen verwijderen uit een van beide objecten om de toegang te beperken. Een gebruiker die de toegang verliest, ziet de optie Serverless voor rekenkracht als niet beschikbaar in de productinterfaces.

Toegang tot serverloze compute beheren

Om te bepalen wie toegang heeft tot serverloze rekenkracht, kunnen werkruimtebeheerders de machtigingen van de objecten Standaard interactieve rekenkracht en Standaard geautomatiseerde rekenkracht bewerken. Werkruimtebeheerders hebben standaard de machtiging Kan beheren , maar ze kunnen de machtiging verlenen aan elke gebruiker. Deze standaard rekenobjecten kunnen niet worden hernoemd of verwijderd.

Elk serverloos rekenobject ondersteunt twee machtigingsniveaus:

Permission	Hiermee kunt u
Kan gebruiken	Voer workloads uit op deze rekenresource
Kan beheren	Workloads uitvoeren op deze rekenresource en de machtigingen van deze rekenresource bewerken

Je kunt ook programmatisch de rechten voor serverless compute-objecten beheren met behulp van de Account Access Control API.

Toegang tot serverloze interactieve functies beperken

Als u wilt beperken wie serverloos kan gebruiken voor notebooks en Databricks Connect:

1. Klik op Compute in de zijbalk van de werkruimte.
2. Klik op het tabblad Serverless op het kebabmenu naast Default Interactive Compute en klik vervolgens op Machtigingen bewerken.
3. Verwijder de groep Alle gebruikers of de groep met alle werkruimtegebruikers.
4. Voeg alleen de specifieke gebruikers, groepen of service-principals toe die u wilt autoriseren.

Als u de rechten van een gebruiker voor interactieve serverless-functionaliteit intrekt, kunnen notebooks die al aan serverless zijn gekoppeld geen verbinding meer maken wanneer de gebruiker een cel uitvoert, en ziet de gebruiker de optie Serverless niet langer als beschikbare optie in de compute-kiezer van het notebook. Als ze Databricks Connect proberen uit te voeren, mislukt de verbindingsaanvraag met een fout die aangeeft dat de gebruiker geen toegang heeft tot serverloos.

Toegang tot serverloze taken en pijplijnen beperken

Om te beperken wie serverless kan gebruiken voor jobs en pijplijnen:

1. Klik op Compute in de zijbalk van de werkruimte.
2. Klik op het tabblad Serverless op het naast Default Automated Compute en klik vervolgens op Machtigingen bewerken.
3. Verwijder de groep Alle gebruikers of de groep met alle werkruimtegebruikers.
4. Voeg alleen de specifieke gebruikers, groepen of service-principals toe die u wilt autoriseren.

Als je de automatische serverless-machtigingen van een gebruiker intrekt, zullen alle bestaande taken of pijplijnen van die gebruiker die op serverless worden uitgevoerd, niet meer worden uitgevoerd. De gebruiker ziet een foutbericht als hij of zij een taak probeert uit te voeren op serverloos.

Voordat u de toegang van een gebruiker tot Default Automated Compute intrekt, controleert u welke taken en pijplijnen de betrokken gebruikers bezitten. De volgende query identificeert recente serverloze workloads voor een specifieke gebruiker:

SELECT *
FROM system.billing.usage
WHERE usage_date >= date_add(now(), -30)
  AND billing_origin_product IN ('JOBS', 'DLT')
  AND identity_metadata.run_as = '<user_email>';

Controleer de usage_metadata kolom om de betrokken resources weer te geven, zoals taak-id's en pijplijn-id's.

Serverloos gebruik controleren

Serverless factureringsrecords bevatten een serverless_compute_id veld in usage_metadata. Gebruik dit om bij te houden op welk rekenobject een workload is uitgevoerd:

SELECT
  usage_metadata.serverless_compute_id,
  identity_metadata.run_as,
  SUM(usage_quantity) AS total_dbus
FROM system.billing.usage
WHERE billing_origin_product IN ('JOBS', 'DLT', 'INTERACTIVE')
  AND usage_metadata.serverless_compute_id IS NOT NULL
  AND usage_date >= date_add(now(), -30)
GROUP BY 1, 2
ORDER BY 3 DESC;

Ondersteunde functies voor toegangsbeheer van serverloze rekenomgevingen

De volgende functies zijn geïntegreerd met het toegangsbeheer voor serverloze rekenkracht.

Interactief (standaard interactieve rekenkracht)

• Notebooks en serverloze GPU-notebooks
• Databricks Connect

Geautomatiseerd (standaard geautomatiseerde berekening)

• Taken en serverloze GPU-taken
• Declaratieve Spark-pipelines op Lakeflow

Functies voor toegangsbeheer voor niet-ondersteunde serverloze rekenomgevingen

De volgende functies zijn niet geïntegreerd met toegangsbeheer voor serverloze rekenkracht:

• Databricks SQL (DBSQL)
• Batch-inferentie (ai_query())
• Model serveren
• Eindpunten voor door de Foundation Model-API ingerichte doorvoer
• Lakebase
• Apps van Databricks
• Agentevaluatie en synthetische gegevens
• indexering voor vectorzoekopdrachten
• Voorspellende optimalisatie
• Lakehouse Monitoring (Beheer van het meerhuis)
• Fijnmazige toegangscontrole op dedicated compute. Toegang tot de toegewijde rekenkracht bepaalt of een gebruiker fijnmazige toegangscontrole kan gebruiken.

Neem contact op met uw Azure Databricks accountteam om te vragen naar de status van een functie die hier niet wordt vermeld.

Beperkingen van serverloze toegangscontrole

Important

In het geval van een dienstonderbreking kunnen toegangscontroles openstaan en kunnen gebruikers die anders geen toegang zouden krijgen, serverloze workloads starten. Deze functie is bedoeld om de toegang tot serverless compute te helpen beheren. Gebruik deze functie niet om een absolute uitgavenlimiet te garanderen op de uiteindelijke gefactureerde bedragen. Azure Databricks is niet verantwoordelijk voor kosten die worden gemaakt door workloads die tijdens zo'n gebeurtenis draaien.

• U kunt de naam van standaard rekenobjecten niet wijzigen of verwijderen.
• Een taak of pijplijn die al is geconfigureerd om te worden uitgevoerd in een serverloze omgeving, mislukt bij elke gebruiker die geen Can Use-toegang meer heeft tot Default Automated Compute. Bekijk actieve workloads voordat u de toegang van een gebruiker verwijdert.
• Achtergrond berekenen (door het systeem geïnitieerde taken) is vrijgesteld van serverloze toegangsbeheer voor berekeningen.

Stel snelheidslimieten in op serverloze rekenkracht

Important

Tarieflimieten zijn te vinden in Privé Preview. Neem contact op met uw Azure Databricks-accountteam om deel te nemen aan deze preview. Na het joinen van de preview kunnen workspacebeheerders deze inschakelen via de Previews-pagina met de instelling Serverless Compute Rate Limit .

Een tarieflimiet beperkt hoeveel een geautomatiseerde workload kan uitgeven door te beperken hoe ver het automatisch kan schalen. Werkruimtebeheerders kunnen aangepaste geautomatiseerde compute-objecten maken en elk een snelheidslimiet toewijzen. Wanneer een workload draait op een compute-object met een snelheidslimiet, schaalt de serverless autoscaler de Spark-executors van de workload niet verder dan de op het object ingestelde grootte.

Tarieflimieten gelden alleen voor geautomatiseerde workloads (jobs en Spark Declarative Pipelines op Lakeflow). Interactieve workloads (notebooks en Databricks Connect) kennen geen snelheidsbeperking.

Een snelheidslimiet wordt uitgedrukt als een grootte. Elke grootte komt overeen met een geschatte bovengrens voor het aantal DBU's dat een werklast per uur kan gebruiken. De snelheidslimiet beperkt alleen de automatische schaal van Spark-executoren. Het beperkt andere componenten van een werklast niet, zoals de driver, REPL-VM's, GPU's of gematerialiseerde weergave- en streamingtabelverversingen.

De bovengrens van de rate limit geldt per workload. Elke taak en elke pijplijn die een rekenobject gebruikt, wordt onafhankelijk gecapt. Twee taken die hetzelfde rekenobject gebruiken, ontvangen elk de volledige limiet. Binnen één job wordt de limiet gedeeld over alle taken van de job.

Tarieflimietvereisten

• Om serverless compute-objecten te creëren en te beheren, moet je een workspace-beheerder zijn of een gebruiker met onbeperkte clustercreatie.
• Serverless rate-limieten vereisen Azure Databricks Runtime 17.3.1 of hoger. Jobs gebruiken automatisch de nieuwste runtime. Voor Spark Declarative Pipelines op Lakeflow, meld je je aan voor de preview-kanaalruntime.

Maak een serverless compute met een snelheidslimiet

1. Klik op Compute in de zijbalk van de werkruimte.
2. Klik in het tabblad Serverless op Serverless compute maken.
3. Voer een naam in.
4. Voor Grootte selecteer je de snelheidslimiet die je toepast, van Klein naar 2X-Groot. Laat het op Standaard staan om de standaardlimiet van je werkruimte te gebruiken.
5. Klik op Create.

Het nieuwe compute-object verschijnt op het tabblad Serverless met een type Geautomatiseerd. Om gebruikers workloads te laten uitvoeren, geef je ze Kan Gebruiken of Kan Beheren zoals beschreven in Beheer toegang tot serverloze compute. Je kunt de grootte van een standaard compute-object niet bewerken.

Groottes van snelheidslimieten

Elke grootte is een basis voor een ongeveer uurlijke DBU-limiet:

Grootte	Geschatte limiet
Klein	~60 DBU's per uur
Medium	~120 DBU's per uur
Groot	~240 DBU's per uur
X-groot	~480 DBU's per uur
2X-Extra Groot	~960 DBU's per uur

Deze caps zijn directionele drempels. Het daadwerkelijke gebruik kan eromheen fluctueren vanwege de inherente variabiliteit van serverloze infrastructuur.

Door Standaard te kiezen wordt de standaardlimiet van je werkruimte toegepast: Medium voor premium-tier werkruimtes, of Groot voor enterprise-tier werkruimtes. Deze komen overeen met de bestaande standaard maximale automatische schaallimieten voor serverless geautomatiseerde workloads.

Draai een workload op compute met snelheidsbeperking

Een gebruiker met Kan Gebruiken op een compute-object kan dit selecteren bij het configureren van een taak of pijplijn. De werklast draait vervolgens onder de snelheidslimiet van de rekenkracht. Als een workload geen computeobject specificeert, valt deze terug op de standaard geautomatiseerde compute van je werkruimte. Als de gebruiker geen toegang heeft tot die standaardinstelling, werkt de workload niet meer.

• Jobs: Selecteer het serverless compute-object op jobniveau, hetzij in de Compute-instellingen van de job in de UI of door de compute-ID van de compute te raadplegen in de Jobs API. Om de ID te kopiëren, opent u het compute-object op het tabblad Serverless en klikt u op Compute ID kopiëren.
• Spark Declarative Pipelines in Lakeflow: Selecteer het geautomatiseerde rekenobject als serverloze rekenkracht voor een pijplijn in de Lakeflow-editor.

Wanneer een snelheidslimiet een workload begrenst, kun je de impact zien in de querygeschiedenis van de workload, of voor pipelines, in de Lakeflow-interface.

Limieten van de tarieflimiet

• Snelheidslimieten beperken alleen de automatische schaal van Spark-executoren. Andere kostencomponenten, zoals de driver, REPL-VM's, GPU's en gematerialiseerde weergave- of streamingtabelverversingen, zijn niet gelimiteerd.
• De DBU-per-uur limiet voor elke grootte is een schatting. Het daadwerkelijke gebruik kan het doel overschrijden vanwege bescheiden schommelingen in de toegepaste limiet en de inherente variabiliteit van serverloze infrastructuur.
• Een workload van de 2X-Large grootte kan onder de verwachtingen presteren omdat de fysieke clustergrootte beperkt is tot 256 executors. Als twee of meer 2X-Large workloads op hetzelfde runtime-cluster worden gepland, kan elk minder dan de verwachte prestaties bereiken.
• Door factureringsimplementatiedetails kan dezelfde werklast verschillend DBU-gebruik veroorzaken onder verschillende tarieflimieten.
• Je kunt geen snelheidslimiet instellen op een standaard compute-object.