Ingestion Jobs - Create

Ссылка

Служба:: Azure AI Services

Версия API:: 2024-05-01-preview

Создает задание приема с указанным идентификатором задания.

PUT {endpoint}/openai/ingestion/jobs/{job-id}?api-version=2024-05-01-preview

Параметры URI

Имя	В	Обязательно	Тип	Описание
endpoint	path	True	string url	Поддерживаемые конечные точки Cognitive Services (протокол и имя узла, например: https://aoairesource.openai.azure.com. Замените aoairesource именем учетной записи Azure OpenAI.
job-id	path	True	string	Идентификатор создаваемого задания.
api-version	query	True	string	Запрошенная версия API.

Заголовок запроса

Имя	Обязательно	Тип	Описание
api-key	True	string	Укажите ключ учетной записи Cognitive Services Azure OpenAI здесь.
mgmt-user-token		string	Маркер, используемый для доступа к рабочей области (требуется только для пользовательских заданий вычислений).
aml-user-token		string	Маркер, используемый для доступа к ресурсам в задании в рабочей области (требуется только для пользовательских заданий вычислений).

Текст запроса

Текст запроса может быть таким:

Имя	Описание
IngestionJobSystemCompute
IngestionJobUserCompute

IngestionJobSystemCompute

Имя	Обязательно	Тип	Описание
kind	True	string: system	IngestionJobType Тип задания.
completionAction		IngestionJobCompletionAction	Действие завершения.
dataRefreshIntervalInHours		integer
datasource		SystemComputeDatasource: SystemComputeStorage SystemComputeUrl	SystemComputeDatasource
jobId		string
searchServiceConnection		BaseConnection: EndpointKeyConnection ConnectionStringConnection EndpointMIConnection WorkspaceConnection DeploymentConnection	BaseConnection Подключение к ресурсу.

IngestionJobUserCompute

Имя	Обязательно	Тип	Описание
kind	True	string: user	IngestionJobType Тип задания.
workspaceId	True	string
compute		JobCompute: ServerlessCompute CustomCompute	JobCompute Параметры вычислений задания.
dataRefreshIntervalInHours		integer
datasource		UserComputeDatasource: UserComputeDataset UserComputeUrl	UserComputeDatasource
jobId		string
target		TargetIndex: ACSIndex CosmosDBIndex PineconeIndex	TargetIndex Сведения о создаваемом индексе.

Ответы

Имя	Тип	Описание
200 OK	IngestionJob: IngestionJobSystemCompute IngestionJobUserCompute	Успешное завершение
Other Status Codes	ErrorResponse	Произошла ошибка.

Безопасность

api-key

Укажите ключ учетной записи Cognitive Services Azure OpenAI здесь.

Тип: apiKey
В: header

Примеры

Create a system-compute ingestion job

Create a user-compute ingestion job

Create a system-compute ingestion job

Образец запроса

HTTP

PUT {endpoint}/openai/ingestion/jobs/{job-id}?api-version=2024-05-01-preview

{
  "kind": "SystemCompute",
  "searchServiceConnection": {
    "kind": "EndpointWithManagedIdentity",
    "endpoint": "https://aykame-dev-search.search.windows.net"
  },
  "datasource": {
    "kind": "Storage",
    "storageAccountConnection": {
      "kind": "EndpointWithManagedIdentity",
      "endpoint": "https://mystorage.blob.core.windows.net/",
      "resourceId": "ResourceId=/subscriptions/1234567-abcd-1234-5678-1234abcd/resourceGroups/my-resource/providers/Microsoft.Storage/storageAccounts/mystorage"
    },
    "containerName": "container",
    "chunkingSettings": {
      "maxChunkSizeInTokens": 2048
    },
    "embeddingsSettings": [
      {
        "embeddingResourceConnection": {
          "kind": "RelativeConnection"
        },
        "modelProvider": "AOAI",
        "deploymentName": "Ada"
      }
    ]
  },
  "dataRefreshIntervalInHours": 24,
  "completionAction": 0
}

Пример ответа

Код состояния:: 200

operation-location: https://aoairesource.openai.azure.com/openai/ingestion/jobs/ingestion-job/runs/72a2792ef7d24ba7b82c7fe4a37e379f?api-version=2024-05-01-preview

{
  "kind": "SystemCompute",
  "jobId": "ingestion-job",
  "searchServiceConnection": {
    "kind": "EndpointWithManagedIdentity",
    "endpoint": "https://aykame-dev-search.search.windows.net"
  },
  "datasource": {
    "kind": "Storage",
    "storageAccountConnection": {
      "kind": "EndpointWithManagedIdentity",
      "endpoint": "https://mystorage.blob.core.windows.net/",
      "resourceId": "ResourceId=/subscriptions/1234567-abcd-1234-5678-1234abcd/resourceGroups/my-resource/providers/Microsoft.Storage/storageAccounts/mystorage"
    },
    "containerName": "container",
    "chunkingSettings": {
      "maxChunkSizeInTokens": 2048
    },
    "embeddingsSettings": [
      {
        "embeddingResourceConnection": {
          "kind": "RelativeConnection"
        },
        "modelProvider": "AOAI",
        "deploymentName": "Ada"
      }
    ]
  },
  "dataRefreshIntervalInHours": 24,
  "completionAction": 0
}

Create a user-compute ingestion job

Образец запроса

HTTP

PUT {endpoint}/openai/ingestion/jobs/{job-id}?api-version=2024-05-01-preview

{
  "kind": "UserCompute",
  "workspaceId": "/subscriptions/f375b912-331c-4fc5-8e9f-2d7205e3e036/resourceGroups/adrama-copilot-demo/providers/Microsoft.MachineLearningServices/workspaces/adrama-rag-dev",
  "compute": {
    "kind": "ServerlessCompute"
  },
  "target": {
    "kind": "AzureAISearch",
    "connectionId": "/subscriptions/f375b912-331c-4fc5-8e9f-2d7205e3e036/resourceGroups/adrama-copilot-demo/providers/Microsoft.MachineLearningServices/workspaces/adrama-rag-dev/connections/search-connection"
  },
  "datasource": {
    "kind": "Dataset",
    "datasetId": "azureml://locations/centraluseuap/workspaces/83317fe6-efa6-4e4a-b020-d0edd11ec382/data/PlainText/versions/1",
    "datasetType": "uri_folder"
  }
}

Пример ответа

Код состояния:: 200

operation-location: https://aoairesource.openai.azure.com/openai/ingestion/jobs/ingestion-job/runs/72a2792ef7d24ba7b82c7fe4a37e379f?api-version=2024-05-01-preview

{
  "kind": "UserCompute",
  "jobId": "ingestion-job",
  "workspaceId": "/subscriptions/f375b912-331c-4fc5-8e9f-2d7205e3e036/resourceGroups/adrama-copilot-demo/providers/Microsoft.MachineLearningServices/workspaces/adrama-rag-dev",
  "compute": {
    "kind": "ServerlessCompute"
  },
  "target": {
    "kind": "AzureAISearch",
    "connectionId": "/subscriptions/f375b912-331c-4fc5-8e9f-2d7205e3e036/resourceGroups/adrama-copilot-demo/providers/Microsoft.MachineLearningServices/workspaces/adrama-rag-dev/connections/search-connection"
  },
  "datasource": {
    "kind": "Dataset",
    "datasetId": "azureml://locations/centraluseuap/workspaces/83317fe6-efa6-4e4a-b020-d0edd11ec382/data/PlainText/versions/1",
    "datasetType": "uri_folder"
  }
}

Определения

Имя	Описание
ACSIndex	Индекс ACS.
BaseConnection	BaseConnection
ChunkingSettings	ChunkingSettings
ComputeType	Тип вычислений.
ConnectionStringConnection	Подключение к строке подключения.
ConnectionType	Тип подключения.
CosmosDBIndex	Индекс CosmosDB.
CrawlingSettings	CrawlingSettings
CustomCompute	Пользовательские вычисления.
DatasourceType	Тип источника данных.
DeploymentConnection	Относительное подключение к развертыванию.
EndpointKeyConnection	Подключение к ключу конечной точки.
EndpointMIConnection	Подключение к управляемому удостоверению конечной точки.
Error	Ошибка
ErrorCode	ErrorCode
ErrorResponse	ErrorResponse
GenericEmbeddingSettings	ConnectionEmbeddingSettings
IngestionJobCompletionAction	Действие завершения.
IngestionJobSystemCompute
IngestionJobType	IngestionJobType
IngestionJobUserCompute
InnerError	InnerError
InnerErrorCode	InnerErrorCode
PineconeIndex	Индекс Пайнконе.
ServerlessCompute	Бессерверные вычисления.
SystemComputeDatasource	SystemComputeDatasource
SystemComputeStorage	SystemComputeStorage
SystemComputeUrl	SystemComputeUrl
TargetType	Тип целевого объекта.
UserComputeDataset	UserComputeStorage
UserComputeUrl	UserComputeUrl
WorkspaceConnection	Подключение к рабочей области AML.
WorkspaceConnectionEmbeddingSettings	WorkspaceConnectionEmbeddingSettings

ACSIndex

Индекс ACS.

Имя	Тип	Описание
connectionId	string	Идентификатор соединения, указывающего на индекс ACS.
kind	string: acs	Тип целевого объекта.

BaseConnection

Имя	Тип	Описание
kind	ConnectionType	Тип подключения.

ChunkingSettings

Имя	Тип	Описание
maxChunkSizeInTokens	integer

ComputeType

Тип вычислений.

Имя	Тип	Описание
custom	string	Пользовательские вычислительные ресурсы.
serverless	string	Бессерверные пользовательские вычисления.

ConnectionStringConnection

Подключение к строке подключения.

Имя	Тип	Описание
connectionString	string	строку подключения.
kind	ConnectionType	Тип подключения.

ConnectionType

Тип подключения.

Имя	Тип	Описание
connectionString	string	Строка подключения.
endpointKey	string	Подключение к конечной точке и ключу.
endpointMI	string	Конечная точка и управляемое удостоверение.
workspace	string	Подключение к рабочей области AML.

CosmosDBIndex

Индекс CosmosDB.

Имя	Тип	Описание
collectionName	string	Имя коллекции cosmos DB.
connectionId	string	Идентификатор соединения, указывающего на cosmos DB.
databaseName	string	Имя базы данных cosmos DB.
kind	string: cosmosdb	Тип целевого объекта.

CrawlingSettings

Имя	Тип	Описание
maxCrawlDepth	integer
maxCrawlTimeInMins	integer
maxDownloadTimeInMins	integer
maxFileSize	integer
maxFiles	integer
maxRedirects	integer

CustomCompute

Пользовательские вычисления.

Имя	Тип	Описание
computeId	string	Идентификатор пользовательского вычисления
kind	string: custom	Тип вычислений.

DatasourceType

Тип источника данных.

Имя	Тип	Описание
storage	string	Учетная запись хранения Azure.
urls	string	URL-адреса.

DeploymentConnection

Относительное подключение к развертыванию.

Имя	Тип	Описание
kind	ConnectionType	Тип подключения.

EndpointKeyConnection

Подключение к ключу конечной точки.

Имя	Тип	Описание
endpoint	string	Конечная точка
key	string	Ключ
kind	ConnectionType	Тип подключения.

EndpointMIConnection

Подключение к управляемому удостоверению конечной точки.

Имя	Тип	Описание
endpoint	string	Конечная точка
kind	ConnectionType	Тип подключения.

Error

Ошибка

Имя	Тип	Описание
code	ErrorCode	ErrorCode Коды ошибок, определенные в рекомендациях Microsoft REST (https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses).
details	Error[]	Сведения об ошибке, если они доступны.
innererror	InnerError	InnerError Внутренняя ошибка, определенная в рекомендациях Microsoft REST (https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses).
message	string	Сообщение об этой ошибке.
target	string	Расположение, в котором произошла ошибка, если она доступна.

ErrorCode

Имя	Тип	Описание
conflict	string	Запрошенная операция конфликтует с текущим состоянием ресурса.
contentFilter	string	Создание образа завершилось сбоем из-за нашей системы безопасности.
fileImportFailed	string	Сбой импорта файла.
forbidden	string	Операция запрещена для текущего ключа пользователя или API.
internalFailure	string	Внутренняя ошибка. Повторите попытку.
invalidPayload	string	Недопустимые данные запроса для этой операции.
itemDoesAlreadyExist	string	Элемент уже существует.
jsonlValidationFailed	string	Сбой проверки данных JSONL.
notFound	string	Ресурс не найден.
quotaExceeded	string	Превышена квота.
serviceUnavailable	string	Служба в настоящее время недоступна.
tooManyRequests	string	Слишком много запросов. Повторите попытку позже.
unauthorized	string	Текущий ключ пользователя или API не авторизован для операции.
unexpectedEntityState	string	Операция не может быть выполнена в текущем состоянии ресурса.

ErrorResponse

Имя	Тип	Описание
error	Error	Ошибка Содержимое ошибки, как определено в рекомендациях Microsoft REST (https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses).

GenericEmbeddingSettings

ConnectionEmbeddingSettings

Имя	Тип	Описание
connection	BaseConnection: ConnectionStringConnection DeploymentConnection EndpointKeyConnection EndpointMIConnection WorkspaceConnection	BaseConnection Подключение к ресурсу.
deploymentName	string
modelName	string

IngestionJobCompletionAction

Действие завершения.

Имя	Тип	Описание
cleanUpAssets	string	Очищает промежуточные ресурсы, созданные в процессе приема.
keepAllAssets	string	Не будет очищать промежуточные ресурсы, созданные в процессе приема.

IngestionJobSystemCompute

Имя	Тип	Описание
completionAction	IngestionJobCompletionAction	Действие завершения.
dataRefreshIntervalInHours	integer
datasource	SystemComputeDatasource: SystemComputeStorage SystemComputeUrl	SystemComputeDatasource
jobId	string
kind	string: system	IngestionJobType Тип задания.
searchServiceConnection	BaseConnection: ConnectionStringConnection DeploymentConnection EndpointKeyConnection EndpointMIConnection WorkspaceConnection	BaseConnection Подключение к ресурсу.

IngestionJobType

Имя	Тип	Описание
system	string	Задания, выполняемые на ресурсах, принадлежащих службе.
user	string	Задания, выполняемые в рабочей области, принадлежащей пользователю.

IngestionJobUserCompute

Имя	Тип	Описание
compute	JobCompute: CustomCompute ServerlessCompute	JobCompute Параметры вычислений задания.
dataRefreshIntervalInHours	integer
datasource	UserComputeDatasource: UserComputeDataset UserComputeUrl	UserComputeDatasource
jobId	string
kind	string: user	IngestionJobType Тип задания.
target	TargetIndex: ACSIndex CosmosDBIndex PineconeIndex	TargetIndex Сведения о создаваемом индексе.
workspaceId	string

InnerError

Имя	Тип	Описание
code	InnerErrorCode	InnerErrorCode Внутренние коды ошибок, определенные в рекомендациях Microsoft REST (https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses).
innererror	InnerError	InnerError Внутренняя ошибка, определенная в рекомендациях Microsoft REST (https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses).

InnerErrorCode

Имя	Тип	Описание
invalidPayload	string	Недопустимые данные запроса для этой операции.

PineconeIndex

Индекс Пайнконе.

Имя	Тип	Описание
connectionId	string	Идентификатор соединения, указывающего на pinecone.
kind	string: pinecone	Тип целевого объекта.

ServerlessCompute

Бессерверные вычисления.

Имя	Тип	Описание
instanceCount	integer	Количество экземпляров, на которые выполняется задание.
kind	string: serverless	Тип вычислений.
sku	string	Уровень SKU

SystemComputeDatasource

Имя	Тип	Описание
kind	DatasourceType	Тип источника данных.

SystemComputeStorage

Имя	Тип	Описание
chunking	ChunkingSettings	ChunkingSettings Параметры фрагментирования
connection	BaseConnection: ConnectionStringConnection DeploymentConnection EndpointKeyConnection EndpointMIConnection WorkspaceConnection	BaseConnection Подключение к ресурсу.
containerName	string	container name
embeddings	GenericEmbeddingSettings[]	ConnectionEmbeddingSettings Параметры внедрения подключения
kind	DatasourceType	Тип источника данных.

SystemComputeUrl

Имя	Тип	Описание
chunking	ChunkingSettings	ChunkingSettings Параметры фрагментирования
connection	BaseConnection: ConnectionStringConnection DeploymentConnection EndpointKeyConnection EndpointMIConnection WorkspaceConnection	BaseConnection Подключение к ресурсу.
containerName	string	container name
crawling	CrawlingSettings	CrawlingSettings Параметры обхода контента
embeddings	GenericEmbeddingSettings[]	ConnectionEmbeddingSettings Параметры внедрения подключения
kind	DatasourceType	Тип источника данных.
urls	string[]

TargetType

Тип целевого объекта.

Имя	Тип	Описание
acs	string	Индекс поиска ИИ Azure.
cosmosdb	string	Индекс CosmosDB.
pinecone	string	Индекс Пайнконе.

UserComputeDataset

UserComputeStorage

Имя	Тип	Описание
chunking	ChunkingSettings	ChunkingSettings Параметры фрагментирования
datasetId	string
datasetType	string
embeddings	WorkspaceConnectionEmbeddingSettings[]	WorkspaceConnectionEmbeddingSettings Идентификатор подключения к модели внедрения
kind	string: dataset	Тип источника данных.

UserComputeUrl

Имя	Тип	Описание
chunking	ChunkingSettings	ChunkingSettings Параметры фрагментирования
crawling	CrawlingSettings	CrawlingSettings Параметры обхода контента
embeddings	WorkspaceConnectionEmbeddingSettings[]	WorkspaceConnectionEmbeddingSettings Идентификатор подключения к модели внедрения
kind	string: urls	Тип источника данных.
urls	string[]

WorkspaceConnection

Подключение к рабочей области AML.

Имя	Тип	Описание
connectionId	string	ConnectionId
kind	ConnectionType	Тип подключения.

WorkspaceConnectionEmbeddingSettings

Имя	Тип	Описание
connectionId	string
deploymentName	string
modelName	string

Поделиться через

Ingestion Jobs - Create

Параметры URI

Заголовок запроса

Текст запроса

IngestionJobSystemCompute

IngestionJobUserCompute

Ответы

Безопасность

api-key

Примеры

Create a system-compute ingestion job

Образец запроса

Пример ответа

Create a user-compute ingestion job

Образец запроса

Пример ответа

Определения

ACSIndex

BaseConnection

ChunkingSettings

ComputeType

ConnectionStringConnection

ConnectionType

CosmosDBIndex

CrawlingSettings

CustomCompute

DatasourceType

DeploymentConnection

EndpointKeyConnection

EndpointMIConnection

Error

ErrorCode

ErrorResponse

GenericEmbeddingSettings

IngestionJobCompletionAction

IngestionJobSystemCompute

IngestionJobType

IngestionJobUserCompute

InnerError

InnerErrorCode

PineconeIndex

ServerlessCompute

SystemComputeDatasource

SystemComputeStorage

SystemComputeUrl

TargetType

UserComputeDataset

UserComputeUrl

WorkspaceConnection

WorkspaceConnectionEmbeddingSettings

Дополнительные ресурсы