모델 API 생성 및 관리 (모델 서비스)

Unity 카탈로그에서 자신만 의 모델 API (모델 서비스)를 생성, 공유, 관리할 수 있습니다.

Tip

스키마 내 system.ai 시스템 제공 모델 API는 설정 없이 쿼리할 준비가 되어 있습니다. 추가 모델을 관리하거나 커스텀 엔드포인트를 노출하고 싶을 때만 자체 모델 API를 만드세요.

Requirements

  • Azure Databricks 작업 영역은 유니티 AI 게이트웨이 지원 지역.
  • 작업 영역에서 Unity 카탈로그가 사용하도록 설정되었습니다. Unity 카탈로그에 작업 영역 사용을 참조하세요.
  • 모델 서비스를 만들려면 다음이 있어야 합니다.
    • 모델 서비스를 생성하는 카탈로그 및 스키마에서의 USE CATALOG, USE SCHEMA, CREATE SERVICE
    • EXECUTE 모델 서비스에서 대상으로 참조하는 각 모델에 대해 설명합니다.
    • EXECUTE, USE CATALOG 및 USE SCHEMA는 모델 서비스가 대상으로 참조하는 각 모델 제공자 서비스에 있습니다.
    • 유추 로깅을 사용하도록 설정한 경우, 유추 테이블이 생성되는 카탈로그 및 스키마에서의 USE CATALOG, USE SCHEMA, 및 CREATE TABLE

모델 서비스 만들기

Unity AI 게이트웨이 UI 또는 카탈로그 탐색기에서 모델 서비스를 만들 수 있습니다.

모델 서비스 및 모델 공급자 서비스는 Unity 카탈로그 스키마 내에서 단일 네임스페이스를 공유합니다. 스키마의 모델 공급자 서비스가 이미 사용하는 경우 모델 서비스의 이름을 사용할 수 없으며 그 반대의 경우도 마찬가지입니다.

UI 사용

  1. 다음 중 하나를 수행합니다.
    • 작업 영역 사이드바에서 AI 게이트웨이를 클릭한 다음 만들기를 클릭합니다.
    • 카탈로그 탐색기에서 모델 서비스를 만들 스키마로 이동한 다음서비스>모델 서비스>를 클릭합니다.
  2. 모델 서비스의 이름을 입력하고 카탈로그와 스키마를 선택하여 만듭니다. 카탈로그 탐색기에서 시작하는 경우 카탈로그 탐색기는 카탈로그와 스키마를 미리 입력합니다.
  3. 주요 목적지를 선택해 서비스를 제공하세요. 이 대상은 사용자가 EXECUTE하고 Unity AI Gateway에서 제공할 수 있는 Databricks 호스팅 모델일 수도 있고, 사용자가 , EXECUTE, USE CATALOG한 USE SCHEMA일 수도 있습니다.
  4. 만들기를 클릭합니다.

모델 서비스를 만든 후 Azure Databricks 개요 페이지를 엽니다. 여기서 유추 로깅과 같은 추가 기능을 시작하거나 구성할 수 있습니다.

모델 서비스에 대한 액세스 권한 부여

다른 사용자가 모델 서비스에 쿼리를 실행할 수 있도록 하려면 모델 서비스에는 EXECUTE, 해당 카탈로그와 스키마에는 USE CATALOG 및 USE SCHEMA 권한을 부여합니다. 모델 서비스가 유추 테이블에 로그하는 경우 테이블에 부여 SELECT 하여 기록된 요청 및 응답을 읽을 수 있도록 합니다.

카탈로그 탐색기에서 액세스 권한을 부여하려면 다음을 수행합니다.

  1. 카탈로그 탐색기에서 모델 서비스를 엽니다.
  2. 사용 권한 탭에서 권한 부여를 클릭합니다.
  3. 액세스 권한을 부여할 사용자 또는 그룹을 선택하고 권한을 선택한 EXECUTE 다음 권한 부여를 클릭합니다.

동일한 보안 주체에도 모델 서비스의 카탈로그와 스키마에서 USE CATALOG 및 USE SCHEMA이(가) 부여되어 있는지 확인하세요. 기록된 요청과 응답을 읽을 수 있도록 하려면 추론 테이블의 SELECT 탭에서 권한을 부여하세요.

액세스 권한을 부여하고 검색하는 방법에 대한 자세한 내용은 모델 서비스 관리를 참조하세요.

모델 서비스에서 기능 구성

Unity AI Gateway 엔드포인트에서 구성하는 것과 동일한 방식으로 Unity AI Gateway UI에서 모델 서비스에서 속도 제한, 유추 로깅 및 가드레일과 같은 기능을 구성합니다. See:

추론 로깅

유추 로깅을 사용하도록 설정하면 Azure Databricks 지정한 위치에 미리 정의된 스키마를 사용하여 비어 있는 새 Unity 카탈로그 테이블을 만듭니다. 다음 사항에 유의하세요.

  • 대상 카탈로그와 스키마에 대해 USE CATALOG, USE SCHEMA, CREATE TABLE 권한이 있어야 합니다.
  • 모델 서비스의 작성자는 유추 테이블의 소유자입니다. 사용자가 권한을 부여하지 않는 한 다른 사용자는 액세스할 수 없습니다.
  • 지정한 위치에 테이블이 이미 있는 경우 모델 서비스를 만들지 못합니다.
  • 유추 테이블에는 모델 서비스의 독립적인 수명 주기가 있습니다. 테이블을 삭제하면 모델 서비스가 계속 작동하지만 로깅을 중지합니다.

추론 테이블에 대해 더 알고 싶다면, 추론 테이블에 대한 로그 요청 및 응답을 참조하세요.

모델 서비스 삭제

모델 서비스를 삭제하려면 최소한 MANAGE 모델 서비스에 대한 권한이 있어야 합니다. 소유자는 MANAGE의 상위 집합을 갖고 있습니다.

모델 서비스를 삭제하려면 카탈로그 탐색기에서 열고 케밥 메뉴에서 삭제 를 선택합니다.

시스템 제공 모델 서비스는 system.ai 삭제할 수 없습니다.

다음 단계

  • Last updated on