Databricks에서의 AI 및 기계 학습

데이터 준비에서 프로덕션 모니터링에 이르기까지 전체 AI 수명 주기를 통합하는 통합 플랫폼인 Mosaic AI를 사용하여 AI 및 기계 학습 애플리케이션을 빌드, 배포 및 관리합니다.

시작하기 위한 자습서 집합은 AI 및 기계 학습 자습서를 참조하세요.

생성적 인공지능 애플리케이션 구축

미세 조정된 LLM, AI 에이전트 및 검색 보강된 세대와 같은 엔터프라이즈급 생성 AI 애플리케이션을 개발하고 배포합니다.

특징	설명
AI 플레이그라운드	코드 프롬프트가 없는 엔지니어링 및 매개 변수 튜닝을 사용하여 생성 AI 모델을 프로토타입하고 테스트합니다.
Agent Bricks	일반적인 AI 사용 사례에 대한 도메인별 고품질 AI 에이전트 시스템을 빌드하고 최적화하기 위한 간단한 코드 없는 접근 방식입니다.
파운데이션 모델	안전하고 확장 가능한 API를 통해 Meta Llama, Anthropic Claude 및 OpenAI GPT를 비롯한 최신 LLM을 제공합니다.
Mosaic AI 에이전트 프레임워크	PYTHON을 사용하여 RAG 애플리케이션 및 다중 에이전트 시스템을 비롯한 프로덕션 품질 에이전트를 빌드하고 배포합니다.
GenAI용 MLflow	AI 기반 메트릭 및 포괄적인 추적 관찰 가능성을 사용하여 GenAI 애플리케이션 수명 주기 전반에 걸쳐 품질을 측정, 개선 및 모니터링합니다.
벡터 검색	RAG 애플리케이션에 대한 기술 자료에 자동 동기화를 사용하여 포함 벡터를 저장하고 쿼리합니다.
파운데이션 모델 미세 조정	사용자 고유의 데이터로 기본 모델을 사용자 지정하여 특정 애플리케이션의 성능을 최적화합니다.

클래식 기계 학습 모델 학습

자동화된 도구 및 공동 작업 개발 환경을 사용하여 기계 학습 모델을 만듭니다.

특징	설명
AutoML	자동화된 기능 엔지니어링 및 하이퍼 매개 변수 튜닝을 사용하여 최소한의 코드로 고품질 모델을 자동으로 빌드합니다.
Databricks Runtime for ML	TensorFlow, PyTorch, Keras 및 GPU를 사용하여 미리 구성된 클러스터는 딥 러닝 개발을 지원합니다.
MLflow 추적	실험을 추적하고, 모델 성능을 비교하고, 전체 모델 개발 수명 주기를 관리합니다.
기능 엔지니어링	자동화된 데이터 파이프라인 및 기능 검색을 사용하여 기능을 만들고, 관리하고, 제공합니다.
Databricks 노트북	Python, R, Scala 및 SQL for ML 워크플로를 지원하는 공동 개발 환경입니다.

딥 러닝 모델 학습

기본 제공 프레임워크를 사용하여 딥 러닝 모델을 개발합니다.

특징	설명
분산 학습	Ray, TorchDistributor 및 DeepSpeed를 사용하는 분산 딥 러닝의 예입니다.
Databricks에 대한 딥 러닝 모범 사례	Databricks에 대한 딥 러닝에 대한 모범 사례입니다.
PyTorch	PyTorch를 사용하는 단일 노드 및 분산 학습.
TensorFlow	TensorFlow 및 TensorBoard를 사용하는 단일 노드 및 분산 학습입니다.
참조 솔루션	딥 러닝을 위한 참조 솔루션입니다.

모델 배포 및 제공

확장 가능한 엔드포인트, 실시간 유추 및 엔터프라이즈급 모니터링을 사용하여 프로덕션 환경에 모델을 배포합니다.

특징	설명
모델 서빙	자동 크기 조정 및 GPU 지원을 사용하여 사용자 지정 모델 및 LLM을 확장 가능한 REST 엔드포인트로 배포합니다.
AI 게이트웨이	사용량 추적, 페이로드 로깅 및 보안 제어를 사용하여 생성 AI 모델에 대한 액세스를 제어하고 모니터링합니다.
외부 모델	Databricks 외부에서 호스트되는 타사 모델을 통합된 거버넌스 및 모니터링과 통합합니다.
파운데이션 모델 API	Databricks에서 호스트하는 최신 오픈 모델에 액세스하고 쿼리합니다.

ML 시스템 모니터링 및 관리

포괄적인 모니터링 및 거버넌스 도구를 사용하여 모델 품질, 데이터 무결성 및 규정 준수를 보장합니다.

특징	설명
Unity 카탈로그	통합 액세스 제어, 계보 추적 및 검색을 사용하여 데이터, 기능, 모델 및 함수를 제어합니다.
Lakehouse 모니터링	자동화된 경고 및 근본 원인 분석을 사용하여 데이터 품질, 모델 성능 및 예측 드리프트를 모니터링합니다.
모델용 MLflow	개발 수명 주기 내내 생성 AI 애플리케이션을 추적, 평가 및 모니터링합니다.

ML 워크플로 프로덕션화

자동화된 워크플로, CI/CD 통합 및 프로덕션 준비 파이프라인을 사용하여 기계 학습 작업의 크기를 조정합니다.

과업	설명
모델 레지스트리	중앙 집중식 모델 수명 주기 관리를 사용하여 모델 버전, 승인 및 배포를 관리합니다.
Lakeflow 작업	ML 데이터 처리를 위한 자동화된 워크플로 및 프로덕션 준비 ETL 파이프라인을 빌드합니다.
Databricks의 Ray	대규모 모델 학습 및 유추를 위해 분산 컴퓨팅을 사용하여 ML 워크로드 크기를 조정합니다.
MLOps 워크플로	자동화된 학습, 테스트 및 배포 파이프라인을 사용하여 엔드 투 엔드 MLOps를 구현합니다.
Git 통합	원활한 Git 통합 및 공동 개발로 ML 코드 및 Notebook을 버전 제어합니다.