KI und maschinelles Lernen in Databricks

Erstellen, Bereitstellen und Verwalten von KI- und Machine Learning-Anwendungen mit Mosaik AI, einer integrierten Plattform, die den gesamten KI-Lebenszyklus von der Datenvorbereitung bis zur Produktionsüberwachung vereint.

Eine Reihe von Lernprogrammen für die ersten Schritte finden Sie unter KI- und Machine Learning-Lernprogramme.

Erstellen von generativen KI-Anwendungen

Entwickeln und Bereitstellen von generativen KI-Anwendungen auf Unternehmensniveau, z. B. fein abgestimmte LLMs, KI-Agenten und abrufoptimierte Generierung.

Feature	Description
KI-Spielplatz	Prototyping und Testen von generativen KI-Modellen mit no-code prompt engineering und Parameter-Optimierung.
Agent Bricks	Einfacher Ansatz zum Erstellen und Optimieren von domänenspezifischen, qualitativ hochwertigen KI-Agent-Systemen für gängige KI-Anwendungsfälle.
Foundation Models	Bedienen Sie modernste LLMs wie Meta Llama, Anthropic Claude und OpenAI GPT durch sichere, skalierbare APIs.
Mosaik AI Agent Framework	Erstellen und Bereitstellen von Agents in Produktionsqualität, einschließlich RAG-Anwendungen und Multi-Agent-Systemen mit Python.
MLflow für GenAI	Messen, verbessern und überwachen Sie die Qualität während des gesamten GenAI-Anwendungslebenszyklus mithilfe von KI-basierten Metriken und umfassender Rückverfolgbarkeit.
Vektorsuche	Speichern und Abfragen von Einbettungsvektoren mit automatischer Synchronisierung mit Ihrer Wissensbasis für RAG-Anwendungen.
Serverlose GPU-Berechnung	Passen Sie Deep Learning-Workloads mit einzelnen und mehreren Knoten an, um benutzerdefinierte Modelle mit Ihren bevorzugten Frameworks zu trainieren und optimieren und modernste Effizienz, Leistung und Qualität zu erzielen.
Feinabstimmung von Grundlagenmodellen	Passen Sie Foundation-Modelle mit Ihren eigenen Daten an, um die Leistung für bestimmte Anwendungen zu optimieren.

Trainieren klassischer Machine Learning-Modelle

Erstellen Sie Machine Learning-Modelle mit automatisierten Tools und Entwicklungsumgebungen für die Zusammenarbeit.

Feature	Description
AutoML	Erstellen Sie automatisch hochwertige Modelle mit minimalem Code mit automatisiertem Feature engineering und Hyperparameter-Tuning.
Databricks Runtime für ML	Vorkonfigurierte Cluster mit TensorFlow-, PyTorch-, Keras- und GPU-Unterstützung für die Deep Learning-Entwicklung.
MLflow-Nachverfolgung	Verfolgen Sie Experimente, vergleichen Sie die Modellleistung und verwalten Sie den gesamten Lebenszyklus der Modellentwicklung.
Feature Engineering (Merkmalsentwicklung)	Erstellung, Verwaltung und Bereitstellung von Features mit automatisierten Datenpipelines und Merkmalsentdeckung.
Databricks-Notizbücher	Zusammenarbeitsentwicklungsumgebung mit Unterstützung für Python,R, Scala und SQL für ML-Workflows.

Trainieren von Deep Learning-Modellen

Verwenden Sie integrierte Frameworks, um Deep Learning-Modelle zu entwickeln.

Feature	Description
Verteilte Schulung	Beispiele für verteiltes Deep Learning mit Ray, TorchDistributor und DeepSpeed.
Bewährte Methoden für Deep Learning für Databricks	Bewährte Methoden für Deep Learning für Databricks.
PyTorch	Einzelknoten- und verteiltes Training mithilfe von PyTorch.
TensorFlow	Einzelknoten- und verteilte Schulung mit TensorFlow und TensorBoard.
Referenzlösungen	Referenzlösungen für Deep Learning.

Modelle bereitstellen und bedienen

Stellen Sie Modelle für die Produktion mit skalierbaren Endpunkten, Echtzeit-Rückschlüssen und Überwachung auf Unternehmensniveau bereit.

Feature	Description
Modellbereitstellung	Stellen Sie benutzerdefinierte Modelle und LLMs als skalierbare REST-Endpunkte mit automatischer Skalierung und GPU-Unterstützung bereit.
KI-Gateway	Steuern und Überwachen des Zugriffs auf generative KI-Modelle mit Nutzungsnachverfolgung, Nutzlastprotokollierung und Sicherheitskontrollen.
Externe Modelle	Integrieren Sie Modelle von Drittanbietern, die außerhalb von Databricks gehostet werden, in einheitliche Governance und Überwachung.
Foundation-Modell-APIs	Greifen Sie auf hochmoderne offene Modelle zu und führen Sie Abfragen darauf aus, die von Databricks gehostet werden.

Überwachen und Steuern von ML-Systemen

Stellen Sie die Modellqualität, Datenintegrität und Compliance mit umfassenden Überwachungs- und Governancetools sicher.

Feature	Description
Unity-Katalog	Steuern Sie Daten, Features, Modelle und Funktionen mit einheitlicher Zugriffssteuerung, Linienverfolgung und Ermittlung.
Datenprofilerstellung	Überwachen Sie die Datenqualität, die Modellleistung und die Vorhersageabweichungen mit automatisierten Warnungen und Ursachenanalyse.
Erkennung von Anomalien	Überwachen Sie die Aktualität und Vollständigkeit der Daten auf Katalogebene.
MLflow für Modelle	Verfolgen, Bewerten und Überwachen von generativen KI-Anwendungen während des gesamten Entwicklungslebenszyklus.

ML-Workflows produktiv machen

Skalieren Sie Machine Learning-Vorgänge mit automatisierten Workflows, CI/CD-Integration und produktionsfertigen Pipelines.

Feature	Description
Modelle im Unity-Katalog	Verwenden Sie die Modellregistrierung im Unity-Katalog für zentrale Governance und zum Verwalten des Modelllebenszyklus, einschließlich Bereitstellungen.
Lakeflow-Aufträge	Erstellen Sie automatisierte Workflows und produktionsfähige ETL-Pipelines für die ML-Datenverarbeitung.
Ray on Databricks	Skalieren Sie ML-Workloads mit verteiltem Rechnen für groß angelegte Modellschulungen und Inferenzen.
MLOps-Workflows	Implementieren Sie End-to-End MLOps mit automatisierten Schulungs-, Test- und Bereitstellungspipelines.
Git-Integration	Versionssteuerung von ML-Code und -Notizbüchern mit nahtloser Git-Integration und kollaborativer Entwicklung.