Azure Databricks LLM(대규모 언어 모델), 기본 모델 및 배포된 에이전트를 쿼리하는 여러 가지 방법을 제공합니다. 워크플로에 따라 대화형 UI, SQL, REST API 또는 클라이언트 라이브러리를 선택합니다.
AI 플레이그라운드
AI Playground는 AZURE DATABRICKS 작업 영역에서 LLM을 프롬프트하고 비교하기 위한 코드 없는 채팅 환경입니다. 코드로 이동하기 전에 프롬프트를 실험하고, 온도 및 최대 토큰과 같은 매개 변수를 조정하고, 프로토타입 도구 호출 에이전트 및 질문 답변 봇을 나란히 사용합니다.
파운데이션 모델
Azure Databricks는 Unity AI 게이트웨이를 통해 모델 API(모델 서비스)로 기본 모델을 제공합니다. 모든 계정 사용자는 설정 없이 스키마 내에서 system.ai 토큰당 지불 모델을 호출할 수 있습니다. 필요에 맞는 모델 API를 선택하세요:
-
시스템 제공 모델 API
system.ai: Azure Databricks가 네이티브로 제공하는 모델, OpenAI 호환 SDK, 네이티브 제공자 API 또는ai_query. 쿼리 모델 API(모델 서비스)를 참조하세요. - 커스텀 모델 API: 기본 모델을 넘어서 모델이 필요하거나 부하 분산 및 백업 설정을 위해 직접 만들 수 있습니다.
쿼리 에이전트
에이전트를 빌드하고 배포한 후 애플리케이션에서 에이전트를 쿼리 합니다. 에이전트는 Databricks 앱 또는 모델 서비스 엔드포인트에서 호스트할 수 있습니다. Azure Databricks 세 가지 쿼리 메서드를 지원합니다.
- Databricks OpenAI 클라이언트: 새로운 애플리케이션에 추천되며, 네이티브 스트리밍과 완전한 기능 지원이 제공됩니다.
- OpenAI 호환 REST API: 언어에 구애받지 않으며, 이미 OpenAI API를 사용하는 모든 플랫폼에서 작동합니다.
-
ai_query: SQL에서 모델 서빙 엔드포인트에 호스팅된 레거시 에이전트를 쿼리합니다.
AI Functions를 사용하여 데이터 보강
AI 함수는 AZURE DATABRICKS 저장된 데이터에 LLM 및 기타 모델을 적용하는 기본 제공 SQL 함수입니다. Databricks SQL, 노트북, Lakeflow 파이프라인 또는 워크플로에서 이를 실행해 지원 티켓을 분류하고, 문서에서 개체를 추출하고, 콘텐츠를 요약하거나, 텍스트를 대규모 일괄 처리로 번역할 수 있습니다.
다음 두 가지 함수 스타일 중에서 선택합니다.
-
작업별 함수는
ai_classify,ai_extract,ai_parse_document와 같이 단일 작업에 최적화되어 있으며 Azure Databricks에서 관리하고 연구로 뒷받침되는 시스템을 사용합니다. -
ai_query는 범용 함수입니다. 자신만의 프롬프트를 만들고 지원되는 기초 모델을 선택하세요. 사용ai_query을 참조하세요.
엔드 투 엔드 예제는 AI Functions를 사용하여 고객 리뷰 분석을 참조하세요.