Freigeben über

Serverlose GPU-Berechnung

Von Bedeutung

Dieses Feature befindet sich in der Betaversion. Arbeitsbereichsadministratoren können den Zugriff auf dieses Feature über die Vorschauseite steuern. Siehe Verwalten von Azure Databricks-Vorschauen.

In diesem Artikel werden serverlose GPU-Compute auf Databricks beschrieben und empfohlene Anwendungsfälle, Anleitungen zum Einrichten von GPU-Computeressourcen und Featurebeschränkungen bereitgestellt.

Was ist serverlose GPU-Compute?

Serverlose GPU-Compute ist Teil des Serverless Compute-Angebots. Serverlose GPU-Compute ist auf benutzerdefinierte Single- und Multi-Node Deep Learning-Workloads spezialisiert. Sie können serverlose GPU-Compute verwenden, um benutzerdefinierte Modelle mit Ihren bevorzugten Frameworks zu trainieren und zu optimieren und modernste Effizienz, Leistung und Qualität zu erzielen.

Serverloses GPU-Computing umfasst:

  • Eine integrierte Oberfläche in Notizbüchern, Unity-Katalog und MLflow: Sie können Ihren Code interaktiv mithilfe von Notizbüchern entwickeln.
  • A10 GPU-Beschleuniger:A10 GPUs wurden entwickelt, um kleine bis mittlere Machine Learning- und Deep Learning-Workloads, einschließlich klassischer ML-Modelle und die Feinabstimmung kleiner Sprachmodelle zu beschleunigen. A10s eignen sich gut für Vorgänge mit moderaten Rechenanforderungen.
  • Multi-GPU- und Multiknotenunterstützung: Sie können verteilte Schulungsarbeitslasten mit mehreren GPUs und mehreren Knoten mithilfe der SERVERless GPU Python-API ausführen. Siehe verteilte Schulung.

Die vorinstallierten Pakete auf serverlosem GPU-Compute sind kein Ersatz für Databricks Runtime ML. Obwohl es allgemeine Pakete gibt, werden nicht alle Databricks-Runtime ML-Abhängigkeiten und -Bibliotheken in der serverlosen GPU-Computeumgebung wiedergegeben.

Python-Umgebungen auf Serverless GPU Compute

Databricks stellt zwei verwaltete Umgebungen bereit, um verschiedene Anwendungsfälle zu bedienen.

Hinweis

Arbeitsbereichsbasisumgebungen werden für serverlose GPU-Compute nicht unterstützt. Verwenden Sie stattdessen die Standard- oder KI-Umgebung, und geben Sie zusätzliche Abhängigkeiten direkt im Seitenbereich "Umgebungen" oder pip install diesen an.

Standardbasisumgebung

Dadurch wird eine minimale Umgebung mit einer stabilen Client-API bereitgestellt, um die Anwendungskompatibilität sicherzustellen. Es werden nur erforderliche Python-Pakete installiert. Auf diese Weise können Databricks den Server unabhängig aktualisieren, Leistungsverbesserungen, Sicherheitsverbesserungen und Fehlerbehebungen bereitstellen, ohne dass Codeänderungen an Workloads erforderlich sind. Dies ist die Standardumgebung, wenn Sie serverlose GPU-Compute auswählen. Wählen Sie diese Umgebung aus, wenn Sie die Umgebung für Ihre Schulung vollständig anpassen möchten.

Weitere Informationen zu Paketversionen, die in verschiedenen Versionen installiert sind, finden Sie in den Versionshinweisen:

KI-Umgebung

Die Databricks AI-Umgebung ist in serverloser GPU-Umgebung 4 verfügbar. Die KI-Umgebung basiert auf der Standardbasisumgebung mit allgemeinen Laufzeitpaketen und Paketen speziell für maschinelles Lernen auf GPUs. Es enthält beliebte Machine Learning-Bibliotheken, darunter PyTorch, LangChain, Transformers, Ray und XGBoost für Modellschulungen und -rückschlüsse. Wählen Sie diese Umgebung für die Ausführung von Schulungsworkloads aus. Weitere Details finden Sie im Dokument.

Weitere Informationen zu Paketversionen, die in verschiedenen Versionen installiert sind, finden Sie in den Versionshinweisen:

Databricks empfiehlt serverlose GPU-Compute für jeden Modellschulungsfall, der Schulungsanpassungen und GPUs erfordert.

Beispiel:

  • LLM-Feinabstimmung
  • Maschinelles Sehen
  • Empfehlungssysteme
  • Vertiefendes Lernen
  • Deep-Learning-basierte Zeitreihenprognose

Anforderungen

  • Ein Arbeitsbereich in einer der folgenden von Azure unterstützten Regionen:
    • eastus
    • eastus2
    • centralus
    • northcentralus
    • westcentralus
    • westus
    • westus2

Einrichten der serverlosen GPU-Berechnung

So verbinden Sie Ihr Notizbuch mit serverlosem GPU-Compute und konfigurieren sie die Umgebung:

  1. Klicken Sie in einem Notizbuch oben auf das Dropdownmenü "Verbinden ", und wählen Sie "Serverless GPU" aus.
  2. Klicken Sie auf das Symbol Um den Seitenbereich "Umgebung " zu öffnen.
  3. Wählen Sie A10 aus dem Feld Beschleuniger aus.
  4. Wählen Sie "Keine" für die Standardumgebung oder AI v4 für die KI-Umgebung aus dem Feld "Basisumgebung " aus.
  5. Klicken Sie auf Anwenden und anschließend auf Bestätigen, um die serverlose GPU-Berechnung auf Ihre Notebook-Umgebung anzuwenden.

Hinweis

Die Verbindung zu Ihrem Compute-System wird nach 60 Minuten Inaktivität automatisch beendet.

Hinzufügen von Bibliotheken zur Umgebung

Sie können zusätzliche Bibliotheken in der serverlosen GPU-Computeumgebung installieren. Siehe Hinzufügen von Abhängigkeiten zum Notizbuch.

Hinweis

Das Hinzufügen von Abhängigkeiten mithilfe des Bereichs "Umgebungen ", wie in "Hinzufügen von Abhängigkeiten zum Notizbuch " zu sehen ist, wird für serverlose GPU-Computeaufträge nicht unterstützt.

Erstellen und Planen eines Auftrags

Die folgenden Schritte zeigen, wie Sie Aufträge für Ihre serverlosen GPU-Computeworkloads erstellen und planen. Weitere Details finden Sie unter Erstellen und Verwalten von geplanten Notizbuchaufträgen .

Nachdem Sie das Notizbuch geöffnet haben, das Sie verwenden möchten:

  1. Wählen Sie oben rechts die Schaltfläche "Zeitplan" aus.
  2. Wählen Sie "Zeitplan hinzufügen" aus.
  3. Füllen Sie das Formular " Neuer Zeitplan" mit dem Namen "Auftrag", " Zeitplan" und "Berechnen" auf.
  4. Wählen Sie "Erstellen" aus.

Sie können aufträge auch über die Benutzeroberfläche für Aufträge und Pipelines erstellen und planen. Eine schrittweise Anleitung finden Sie unter Erstellen eines neuen Auftrags .

Programmgesteuertes Erstellen und Planen eines Auftrags

Sie können auch einen Auftrag mit serverlosem GPU-Computing direkt über die Jobs API erstellen. Geben Sie den GPU-Beschleuniger im tasks > compute > hardware_accelerator Feld an. Die vollständige Spezifikation der Jobs-API ist in der Jobs-API-Dokumentation verfügbar. Dies ist nützlich für programmgesteuerte Auftragserstellung, kontinuierliche Integration und Bereitstellung (CI/CD) und DABs-basierte Bereitstellungen.

Verteilte Schulung

Siehe verteilte Schulung.

Einschränkungen

  • Serverless GPU-Compute unterstützt nur A10-Beschleuniger.
  • Privater Link wird nicht unterstützt. Storage oder Pip-Repositories hinter Private Link werden nicht unterstützt.
  • Serverlose GPU-Compute wird für Compliance-Sicherheitsprofilarbeitsbereiche (z. B. HIPAA oder PCI) nicht unterstützt. Die Verarbeitung regulierter Daten wird zurzeit nicht unterstützt.
  • Bei geplanten Aufträgen auf serverlosem GPU-Computing wird das automatische Wiederherstellungsverfahren für inkompatible Paketversionen, die Ihrem Notizbuch zugeordnet sind, nicht unterstützt.
  • Die maximale Laufzeit für eine Workload beträgt sieben Tage. Für Modellschulungsaufträge, die diesen Grenzwert überschreiten, implementieren Sie den Prüfpunkt, und starten Sie den Auftrag neu, sobald die maximale Laufzeit erreicht ist.

Nächste Schritte

  • Last updated on