Ingestion Jobs - Create

참조

서비스:: Azure AI Services

API 버전:: 2024-05-01-preview

지정된 작업 ID를 사용하여 수집 작업을 만듭니다.

PUT {endpoint}/openai/ingestion/jobs/{job-id}?api-version=2024-05-01-preview

URI 매개 변수

Name	In(다음 안에)	필수	형식	Description
endpoint	path	True	string url	지원되는 Cognitive Services 엔드포인트(프로토콜 및 호스트 이름( 예: https://aoairesource.openai.azure.com. "aoairesource"를 Azure OpenAI 계정 이름으로 대체).
job-id	path	True	string	만들 작업의 ID입니다.
api-version	query	True	string	요청된 API 버전입니다.

요청 헤더

Name	필수	형식	Description
mgmt-user-token		string	작업 영역에 액세스하는 데 사용되는 토큰입니다(사용자 컴퓨팅 작업에만 필요).
aml-user-token		string	작업 영역의 작업 내에서 리소스에 액세스하는 데 사용되는 토큰입니다(사용자 컴퓨팅 작업에만 필요).

요청 본문

요청 본문은 다음 중 하나가 될 수 있습니다.

Name	Description
IngestionJobSystemCompute
IngestionJobUserCompute

IngestionJobSystemCompute

Name	필수	형식	Description
kind	True	string: SystemCompute	IngestionJobType 작업 유형입니다.
completionAction		IngestionJobCompletionAction	완료 작업입니다.
dataRefreshIntervalInHours		integer
datasource		SystemComputeDatasource: SystemComputeStorage SystemComputeUrl	SystemComputeDatasource
jobId		string
searchServiceConnection		BaseConnection: EndpointKeyConnection ConnectionStringConnection EndpointMIConnection WorkspaceConnection DeploymentConnection	BaseConnection 리소스에 대한 연결입니다.

IngestionJobUserCompute

Name	필수	형식	Description
kind	True	string: UserCompute	IngestionJobType 작업 유형입니다.
workspaceId	True	string
compute		JobCompute: ServerlessCompute CustomCompute	JobCompute 작업의 컴퓨팅 설정입니다.
dataRefreshIntervalInHours		integer
datasource		UserComputeDatasource: UserComputeDataset UserComputeUrl	UserComputeDatasource
jobId		string
target		TargetIndex: AzureAISearchIndex CosmosDBIndex PineconeIndex	TargetIndex 만들 인덱스 정보입니다.

응답

Name	형식	Description
200 OK	IngestionJob: IngestionJobSystemCompute IngestionJobUserCompute	성공
Other Status Codes	ErrorResponse	오류가 발생했습니다.

보안

api-key

API 키 인증

형식: apiKey
In(다음 안에): header

OAuth2Auth

OAuth2 인증

형식: oauth2
Flow: implicit
권한 부여 URL: https://login.microsoftonline.com/common/oauth2/v2.0/authorize

범위

Name	Description
https://cognitiveservices.azure.com/.default

예제

Create a system-compute ingestion job

Create a user-compute ingestion job

Create a system-compute ingestion job

샘플 요청

HTTP

PUT {endpoint}/openai/ingestion/jobs/ingestion-job?api-version=2024-05-01-preview

{
  "kind": "SystemCompute",
  "searchServiceConnection": {
    "kind": "EndpointWithManagedIdentity",
    "endpoint": "https://aykame-dev-search.search.windows.net"
  },
  "datasource": {
    "kind": "Storage",
    "connection": {
      "kind": "EndpointWithManagedIdentity",
      "endpoint": "https://mystorage.blob.core.windows.net/",
      "resourceId": "/subscriptions/1234567-abcd-1234-5678-1234abcd/resourceGroups/my-resource/providers/Microsoft.Storage/storageAccounts/mystorage"
    },
    "containerName": "container",
    "chunking": {
      "maxChunkSizeInTokens": 2048
    },
    "embeddings": [
      {
        "connection": {
          "kind": "RelativeConnection"
        },
        "deploymentName": "Ada"
      }
    ]
  },
  "dataRefreshIntervalInHours": 24,
  "completionAction": "keepAllAssets"
}

샘플 응답

상태 코드:: 200

operation-location: https://aoairesource.openai.azure.com/openai/ingestion/jobs/ingestion-job/runs/72a2792ef7d24ba7b82c7fe4a37e379f?api-version=2024-05-01-preview

{
  "kind": "SystemCompute",
  "jobId": "ingestion-job",
  "searchServiceConnection": {
    "kind": "EndpointWithManagedIdentity",
    "endpoint": "https://aykame-dev-search.search.windows.net"
  },
  "datasource": {
    "kind": "Storage",
    "connection": {
      "kind": "EndpointWithManagedIdentity",
      "endpoint": "https://mystorage.blob.core.windows.net/",
      "resourceId": "/subscriptions/1234567-abcd-1234-5678-1234abcd/resourceGroups/my-resource/providers/Microsoft.Storage/storageAccounts/mystorage"
    },
    "containerName": "container",
    "chunking": {
      "maxChunkSizeInTokens": 2048
    },
    "embeddings": [
      {
        "connection": {
          "kind": "RelativeConnection"
        },
        "deploymentName": "Ada"
      }
    ]
  },
  "dataRefreshIntervalInHours": 24,
  "completionAction": "keepAllAssets"
}

Create a user-compute ingestion job

샘플 요청

HTTP

PUT {endpoint}/openai/ingestion/jobs/ingestion-job?api-version=2024-05-01-preview

{
  "kind": "UserCompute",
  "workspaceId": "/subscriptions/f375b912-331c-4fc5-8e9f-2d7205e3e036/resourceGroups/adrama-copilot-demo/providers/Microsoft.MachineLearningServices/workspaces/adrama-rag-dev",
  "compute": {
    "kind": "ServerlessCompute"
  },
  "target": {
    "kind": "AzureAISearch",
    "connectionId": "/subscriptions/f375b912-331c-4fc5-8e9f-2d7205e3e036/resourceGroups/adrama-copilot-demo/providers/Microsoft.MachineLearningServices/workspaces/adrama-rag-dev/connections/search-connection"
  },
  "datasource": {
    "kind": "Dataset",
    "datasetId": "azureml://locations/centraluseuap/workspaces/83317fe6-efa6-4e4a-b020-d0edd11ec382/data/PlainText/versions/1",
    "datasetType": "uri_folder"
  }
}

샘플 응답

상태 코드:: 200

operation-location: https://aoairesource.openai.azure.com/openai/ingestion/jobs/ingestion-job/runs/72a2792ef7d24ba7b82c7fe4a37e379f?api-version=2024-05-01-preview

{
  "kind": "UserCompute",
  "jobId": "ingestion-job",
  "workspaceId": "/subscriptions/f375b912-331c-4fc5-8e9f-2d7205e3e036/resourceGroups/adrama-copilot-demo/providers/Microsoft.MachineLearningServices/workspaces/adrama-rag-dev",
  "compute": {
    "kind": "ServerlessCompute"
  },
  "target": {
    "kind": "AzureAISearch",
    "connectionId": "/subscriptions/f375b912-331c-4fc5-8e9f-2d7205e3e036/resourceGroups/adrama-copilot-demo/providers/Microsoft.MachineLearningServices/workspaces/adrama-rag-dev/connections/search-connection"
  },
  "datasource": {
    "kind": "Dataset",
    "datasetId": "azureml://locations/centraluseuap/workspaces/83317fe6-efa6-4e4a-b020-d0edd11ec382/data/PlainText/versions/1",
    "datasetType": "uri_folder"
  }
}

정의

Name	Description
AzureAISearchIndex	Azure AI Search 인덱스.
ChunkingSettings	ChunkingSettings
ComputeType	컴퓨팅 유형입니다.
ConnectionStringConnection	연결 문자열 연결입니다.
ConnectionType	연결 유형입니다.
CosmosDBIndex	CosmosDB 인덱스입니다.
CrawlingSettings	CrawlingSettings
CustomCompute	사용자 지정 컴퓨팅.
DeploymentConnection	상대 배포 연결입니다.
EndpointKeyConnection	엔드포인트 키 연결입니다.
EndpointMIConnection	엔드포인트 관리 ID 연결입니다.
Error	오류
ErrorCode	ErrorCode
ErrorResponse	ErrorResponse
GenericEmbeddingSettings	ConnectionEmbeddingSettings
IngestionJobCompletionAction	완료 작업입니다.
IngestionJobSystemCompute
IngestionJobType	IngestionJobType
IngestionJobUserCompute
InnerError	InnerError
InnerErrorCode	InnerErrorCode
PineconeIndex	Pinecone 인덱스입니다.
ServerlessCompute	서버리스 컴퓨팅.
SystemComputeDatasourceType	데이터 원본 형식입니다.
SystemComputeStorage	SystemComputeStorage
SystemComputeUrl	SystemComputeUrl
TargetType	대상 형식입니다.
UserComputeDataset	UserComputeStorage
UserComputeDatasourceType	데이터 원본 형식입니다.
UserComputeUrl	UserComputeUrl
WorkspaceConnection	AML 작업 영역 연결입니다.
WorkspaceConnectionEmbeddingSettings	WorkspaceConnectionEmbeddingSettings

AzureAISearchIndex

Azure AI Search 인덱스.

Name	형식	Description
connectionId	string	Azure AI Search 인덱스(Index)를 가리키는 연결의 ID입니다.
kind	string: AzureAISearch	대상 형식입니다.

ChunkingSettings

Name	형식	Description
maxChunkSizeInTokens	integer

ComputeType

컴퓨팅 유형입니다.

Name	형식	Description
CustomCompute	string	사용자 지정 사용자 컴퓨팅.
ServerlessCompute	string	서버리스 사용자 컴퓨팅.

ConnectionStringConnection

연결 문자열 연결입니다.

Name	형식	Description
connectionString	string	연결 문자열
kind	string: ConnectionString	연결 유형입니다.

ConnectionType

연결 유형입니다.

Name	형식	Description
ConnectionString	string	연결 문자열입니다.
EndpointWithKey	string	엔드포인트 및 키 연결.
EndpointWithManagedIdentity	string	엔드포인트 및 관리 ID.
RelativeConnection	string	상대 배포
WorkspaceConnection	string	AML 작업 영역 연결입니다.

CosmosDBIndex

CosmosDB 인덱스입니다.

Name	형식	Description
collectionName	string	cosmos DB 컬렉션의 이름입니다.
connectionId	string	cosmos DB를 가리키는 연결의 ID입니다.
databaseName	string	cosmos DB 데이터베이스의 이름입니다.
kind	string: CosmosDB	대상 형식입니다.

CrawlingSettings

Name	형식	Description
maxCrawlDepth	integer
maxCrawlTimeInMins	integer
maxDownloadTimeInMins	integer
maxFileSize	integer
maxFiles	integer
maxRedirects	integer

CustomCompute

사용자 지정 컴퓨팅.

Name	형식	Description
computeId	string	사용자 지정 컴퓨팅의 ID
kind	string: CustomCompute	컴퓨팅 유형입니다.

DeploymentConnection

상대 배포 연결입니다.

Name	형식	Description
kind	string: RelativeConnection	연결 유형입니다.

EndpointKeyConnection

엔드포인트 키 연결입니다.

Name	형식	Description
endpoint	string	끝점
key	string	열쇠
kind	string: EndpointWithKey	연결 유형입니다.

EndpointMIConnection

엔드포인트 관리 ID 연결입니다.

Name	형식	Description
endpoint	string	끝점
kind	string: EndpointWithManagedIdentity	연결 유형입니다.
resourceId	string	리소스 ID

Error

오류

Name	형식	Description
code	ErrorCode	ErrorCode Microsoft REST 지침(https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses)에 정의된 오류 코드입니다.
details	Error[]	사용 가능한 경우 오류 세부 정보입니다.
innererror	InnerError	InnerError Microsoft REST 지침(https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses)에 정의된 내부 오류입니다.
message	string	이 오류의 메시지입니다.
target	string	사용 가능한 경우 오류가 발생한 위치입니다.

ErrorCode

Name	형식	Description
conflict	string	요청된 작업이 현재 리소스 상태와 충돌합니다.
contentFilter	string	안전 시스템의 결과로 이미지 생성에 실패했습니다.
fileImportFailed	string	파일을 가져오지 못했습니다.
forbidden	string	현재 사용자/api 키에는 작업이 금지되어 있습니다.
internalFailure	string	내부 오류입니다. 다시 시도하세요.
invalidPayload	string	요청 데이터가 이 작업에 유효하지 않습니다.
itemDoesAlreadyExist	string	항목이 이미 있습니다.
jsonlValidationFailed	string	jsonl 데이터의 유효성 검사에 실패했습니다.
notFound	string	리소스를 찾을 수 없습니다.
quotaExceeded	string	할당량을 초과했습니다.
serviceUnavailable	string	현재 서비스를 사용할 수 없습니다.
tooManyRequests	string	요청이 너무 많습니다. 나중에 다시 시도하세요.
unauthorized	string	현재 사용자/api 키는 작업에 대한 권한이 없습니다.
unexpectedEntityState	string	현재 리소스의 상태에서는 작업을 실행할 수 없습니다.

ErrorResponse

Name	형식	Description
error	Error	오류 Microsoft REST 지침(https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses)에 정의된 오류 콘텐츠입니다.

GenericEmbeddingSettings

ConnectionEmbeddingSettings

Name	형식	Description
connection	BaseConnection: ConnectionStringConnection DeploymentConnection EndpointKeyConnection EndpointMIConnection WorkspaceConnection	BaseConnection 리소스에 대한 연결입니다.
deploymentName	string
modelName	string

IngestionJobCompletionAction

완료 작업입니다.

Name	형식	Description
cleanUpTempAssets	string	수집 프로세스 중에 만든 중간 자산을 정리합니다.
keepAllAssets	string	수집 프로세스 중에 만든 중간 자산을 정리하지 않습니다.

IngestionJobSystemCompute

Name	형식	Description
completionAction	IngestionJobCompletionAction	완료 작업입니다.
dataRefreshIntervalInHours	integer
datasource	SystemComputeDatasource: SystemComputeStorage SystemComputeUrl	SystemComputeDatasource
jobId	string
kind	string: SystemCompute	IngestionJobType 작업 유형입니다.
searchServiceConnection	BaseConnection: ConnectionStringConnection DeploymentConnection EndpointKeyConnection EndpointMIConnection WorkspaceConnection	BaseConnection 리소스에 대한 연결입니다.

IngestionJobType

Name	형식	Description
SystemCompute	string	서비스 소유 리소스에서 실행되는 작업입니다.
UserCompute	string	사용자 소유 작업 영역에서 실행되는 작업입니다.

IngestionJobUserCompute

Name	형식	Description
compute	JobCompute: CustomCompute ServerlessCompute	JobCompute 작업의 컴퓨팅 설정입니다.
dataRefreshIntervalInHours	integer
datasource	UserComputeDatasource: UserComputeDataset UserComputeUrl	UserComputeDatasource
jobId	string
kind	string: UserCompute	IngestionJobType 작업 유형입니다.
target	TargetIndex: AzureAISearchIndex CosmosDBIndex PineconeIndex	TargetIndex 만들 인덱스 정보입니다.
workspaceId	string

InnerError

Name	형식	Description
code	InnerErrorCode	InnerErrorCode Microsoft REST 지침(https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses)에 정의된 내부 오류 코드입니다.
innererror	InnerError	InnerError Microsoft REST 지침(https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses)에 정의된 내부 오류입니다.

InnerErrorCode

Name	형식	Description
invalidPayload	string	요청 데이터가 이 작업에 유효하지 않습니다.

PineconeIndex

Pinecone 인덱스입니다.

Name	형식	Description
connectionId	string	파인콘을 가리키는 연결의 ID입니다.
kind	string: Pinecone	대상 형식입니다.

ServerlessCompute

서버리스 컴퓨팅.

Name	형식	Description
instanceCount	integer	작업을 실행할 인스턴스 수입니다.
kind	string: ServerlessCompute	컴퓨팅 유형입니다.
sku	string	SKU 수준

SystemComputeDatasourceType

데이터 원본 형식입니다.

Name	형식	Description
Storage	string	Azure Storage 계정.
Urls	string	URL.

SystemComputeStorage

Name	형식	Description
chunking	ChunkingSettings	ChunkingSettings 청크 설정
connection	BaseConnection: ConnectionStringConnection DeploymentConnection EndpointKeyConnection EndpointMIConnection WorkspaceConnection	BaseConnection 리소스에 대한 연결입니다.
containerName	string	컨테이너 이름
embeddings	GenericEmbeddingSettings[]	ConnectionEmbeddingSettings 연결 포함 설정
kind	string: Storage	데이터 원본 형식입니다.

SystemComputeUrl

Name	형식	Description
chunking	ChunkingSettings	ChunkingSettings 청크 설정
connection	BaseConnection: ConnectionStringConnection DeploymentConnection EndpointKeyConnection EndpointMIConnection WorkspaceConnection	BaseConnection 리소스에 대한 연결입니다.
containerName	string	컨테이너 이름
crawling	CrawlingSettings	CrawlingSettings 크롤링 설정
embeddings	GenericEmbeddingSettings[]	ConnectionEmbeddingSettings 연결 포함 설정
kind	string: Urls	데이터 원본 형식입니다.
urls	string[]

TargetType

대상 형식입니다.

Name	형식	Description
AzureAISearch	string	Azure AI Search 인덱스.
CosmosDB	string	CosmosDB 인덱스입니다.
Pinecone	string	Pinecone 인덱스입니다.

UserComputeDataset

UserComputeStorage

Name	형식	Description
chunking	ChunkingSettings	ChunkingSettings 청크 설정
datasetId	string
datasetType	string
embeddings	WorkspaceConnectionEmbeddingSettings[]	WorkspaceConnectionEmbeddingSettings 포함 모델에 대한 연결 ID
kind	string: Dataset	데이터 원본 형식입니다.

UserComputeDatasourceType

데이터 원본 형식입니다.

Name	형식	Description
Dataset	string	작업 영역 데이터 세트입니다.
Urls	string	URL.

UserComputeUrl

Name	형식	Description
chunking	ChunkingSettings	ChunkingSettings 청크 설정
crawling	CrawlingSettings	CrawlingSettings 크롤링 설정
embeddings	WorkspaceConnectionEmbeddingSettings[]	WorkspaceConnectionEmbeddingSettings 포함 모델에 대한 연결 ID
kind	string: Urls	데이터 원본 형식입니다.
urls	string[]

WorkspaceConnection

AML 작업 영역 연결입니다.

Name	형식	Description
connectionId	string	ConnectionId
kind	string: WorkspaceConnection	연결 유형입니다.

WorkspaceConnectionEmbeddingSettings

Name	형식	Description
connectionId	string
deploymentName	string
modelName	string

다음을 통해 공유

Ingestion Jobs - Create

URI 매개 변수

요청 헤더

요청 본문

IngestionJobSystemCompute

IngestionJobUserCompute

응답

보안

api-key

OAuth2Auth

범위

예제

Create a system-compute ingestion job

샘플 요청

샘플 응답

Create a user-compute ingestion job

샘플 요청

샘플 응답

정의

AzureAISearchIndex

ChunkingSettings

ComputeType

ConnectionStringConnection

ConnectionType

CosmosDBIndex

CrawlingSettings

CustomCompute

DeploymentConnection

EndpointKeyConnection

EndpointMIConnection

Error

ErrorCode

ErrorResponse

GenericEmbeddingSettings

IngestionJobCompletionAction

IngestionJobSystemCompute

IngestionJobType

IngestionJobUserCompute

InnerError

InnerErrorCode

PineconeIndex

ServerlessCompute

SystemComputeDatasourceType

SystemComputeStorage

SystemComputeUrl

TargetType

UserComputeDataset

UserComputeDatasourceType

UserComputeUrl

WorkspaceConnection

WorkspaceConnectionEmbeddingSettings

추가 리소스