Microsoft.MachineLearningServices workspaces/datasets
Определение ресурса Bicep
Тип ресурса workspaces/datasets можно развернуть с помощью операций, предназначенных для:
- Группы ресурсов — см. команды развертывания группы ресурсов.
Список измененных свойств в каждой версии API см. в журнале изменений.
Формат ресурсов
Чтобы создать ресурс Microsoft.MachineLearningServices/workspaces/datasets, добавьте следующий Bicep в шаблон.
resource symbolicname 'Microsoft.MachineLearningServices/workspaces/datasets@2020-05-01-preview' = {
name: 'string'
parent: resourceSymbolicName
datasetType: 'string'
parameters: {
header: 'string'
includePath: bool
partitionFormat: 'string'
path: {
dataPath: {
datastoreName: 'string'
relativePath: 'string'
}
httpUrl: 'string'
}
query: {
datastoreName: 'string'
query: 'string'
}
separator: 'string'
sourceType: 'string'
}
registration: {
description: 'string'
name: 'string'
tags: {}
}
skipValidation: bool
timeSeries: {
coarseGrainTimestamp: 'string'
fineGrainTimestamp: 'string'
}
}
Значения свойств
рабочие области и наборы данных
Имя | Описание | Значение |
---|---|---|
name | имя ресурса. Узнайте, как задать имена и типы для дочерних ресурсов в Bicep. |
строка (обязательно) |
родитель | В Bicep можно указать родительский ресурс для дочернего ресурса. Это свойство необходимо добавить только в том случае, если дочерний ресурс объявлен вне родительского ресурса. Дополнительные сведения см. в разделе Дочерний ресурс за пределами родительского ресурса. |
Символьное имя ресурса типа: workspaces |
datasetType | Указывает тип набора данных. | "file" "табличный" (обязательный) |
параметры | DatasetCreateRequestParameters (обязательно) | |
регистрация | DatasetCreateRequestRegistration (обязательно) | |
skipValidation | Пропустите проверку, которая гарантирует, что данные можно загрузить из набора данных перед регистрацией. | bool |
timeSeries (временной ряд) | DatasetCreateRequestTimeSeries |
DatasetCreateRequestParameters
Имя | Описание | Значение |
---|---|---|
заголовок | Тип заголовка. | "all_files_have_same_headers" "combine_all_files_headers" "no_headers" "only_first_file_has_headers" |
includePath | Логическое значение для сохранения сведений о пути в виде столбца в наборе данных. Значение по умолчанию — False. Это удобно, если при считывании нескольких файлов необходимо иметь возможность определить, из какого файла поступила определенная запись, или сохранить полезную информацию в пути к файлу. | bool |
partitionFormat | Сведения о разделах для каждого пути данных будут извлечены в столбцы на основе указанного формата. Часть формата "{column_name}" создает строковый столбец, а "{column_name: гггг/ММ/дд/ЧЧ/мм/сс}" создает столбец datetime, где "гггг", "ММ", "дд", "ЧЧ", "мм" и "сс" используются для извлечения года, месяца, дня, часа, минуты и секунды для типа datetime. Формат должен начинаться с расположения первого ключа секции до конца пути к файлу. Например, при указании пути ".. /США/2019/01/01/data.parquet', где раздел находится по стране/региону и времени, partition_format='/{CountryOrRegion}/{PartitionDate:yyyy/MM/dd}/data.csv" создает строковый столбец CountryOrRegion со значением "США" и столбец даты и времени "PartitionDate" со значением "2019-01-01.01". | строка |
path | DatasetCreateRequestParametersPath | |
query | DatasetCreateRequestParametersQuery | |
separator | Разделитель, используемый для разделения столбцов для sourceType delimited_files. | строка |
sourceType | Тип источника данных. | "delimited_files" "json_lines_files" "parquet_files" |
DatasetCreateRequestParametersPath
Имя | Описание | Значение |
---|---|---|
dataPath | DatasetCreateRequestParametersPathDataPath | |
httpUrl | URL-адрес HTTP. | строка |
DatasetCreateRequestParametersPathDataPath
Имя | Описание | Значение |
---|---|---|
datastoreName | Имя хранилища данных. | строка |
relativePath | Путь в хранилище данных. | строка |
DatasetCreateRequestParametersQuery
Имя | Описание | Значение |
---|---|---|
datastoreName | Имя хранилища данных SQL/PostgreSQL/MySQL. | строка |
query | SQL Quey. | строка |
DatasetCreateRequestRegistration
Имя | Описание | Значение |
---|---|---|
description | Описание набора данных. | строка |
name | Имя набора данных. | строка |
tags | Теги, связанные с набором данных. | объект |
DatasetCreateRequestTimeSeries
Имя | Описание | Значение |
---|---|---|
coarseGrainTimestamp | Имя столбца, используемого в качестве метки Типа CoarseGrainTimestamp. Может использоваться только в том случае, если указан параметр fineGrainTimestamp и не может совпадать с параметром fineGrainTimestamp. | строка |
fineGrainTimestamp | Имя столбца для использования в качестве метки FineGrainTimestamp | строка |
Шаблоны быстрого запуска
Следующие шаблоны быстрого запуска развертывают этот тип ресурса.
Шаблон | Описание |
---|---|
Создание файлового набора данных из относительного пути в хранилище данных |
Этот шаблон создает набор данных файлов из относительного пути в хранилище данных в рабочей области Машинного обучения Azure. |
Создание файлового набора данных в рабочей области AML из веб-URL-адреса |
Этот шаблон создает набор данных файла из веб-URL-адреса в рабочей области Машинного обучения Azure. |
Создание табличного набора данных из относительного пути в хранилище данных |
Этот шаблон создает табличный набор данных из относительного пути в хранилище данных в рабочей области Машинного обучения Azure. |
Создание табличного набора данных из хранилища данных SQL,PostgreSQL/MySQL |
Этот шаблон создает табличный набор данных из SQL-запроса в хранилище данных SQL,PostgreSQL/MySQL в рабочей области Машинного обучения Azure. |
Создание табличного набора данных в рабочей области AML из веб-URL-адреса |
Этот шаблон создает табличный набор данных из URL-адреса веб-сайта в рабочей области Машинного обучения Azure. |
Создание рабочей области AML с несколькими наборами данных & хранилищами данных |
Этот шаблон создает рабочую область Машинного обучения Azure с несколькими наборами данных & хранилищами данных. |
Определение ресурса шаблона ARM
Тип ресурса workspaces/datasets можно развернуть с помощью операций, предназначенных для:
- Группы ресурсов — см. команды развертывания групп ресурсов.
Список измененных свойств в каждой версии API см. в журнале изменений.
Формат ресурсов
Чтобы создать ресурс Microsoft.MachineLearningServices/workspaces/datasets, добавьте следующий код JSON в шаблон.
{
"type": "Microsoft.MachineLearningServices/workspaces/datasets",
"apiVersion": "2020-05-01-preview",
"name": "string",
"datasetType": "string",
"parameters": {
"header": "string",
"includePath": "bool",
"partitionFormat": "string",
"path": {
"dataPath": {
"datastoreName": "string",
"relativePath": "string"
},
"httpUrl": "string"
},
"query": {
"datastoreName": "string",
"query": "string"
},
"separator": "string",
"sourceType": "string"
},
"registration": {
"description": "string",
"name": "string",
"tags": {}
},
"skipValidation": "bool",
"timeSeries": {
"coarseGrainTimestamp": "string",
"fineGrainTimestamp": "string"
}
}
Значения свойств
рабочие области и наборы данных
Имя | Описание | Значение |
---|---|---|
тип | Тип ресурса | Microsoft.MachineLearningServices/workspaces/datasets |
версия_API | Версия API ресурсов | '2020-05-01-preview' |
name | имя ресурса. Узнайте, как задать имена и типы для дочерних ресурсов в шаблонах JSON ARM. |
string (обязательно) |
datasetType | Указывает тип набора данных. | 'file' "табличный" (обязательно) |
параметры | DatasetCreateRequestParameters (обязательно) | |
регистрация | DatasetCreateRequestRegistration (обязательно) | |
skipValidation | Пропустите проверку, которая гарантирует возможность загрузки данных из набора данных перед регистрацией. | bool |
timeSeries (временной ряд) | DatasetCreateRequestTimeSeries |
DatasetCreateRequestParameters
Имя | Описание | Значение |
---|---|---|
заголовок | Тип заголовка. | 'all_files_have_same_headers' 'combine_all_files_headers' 'no_headers' 'only_first_file_has_headers' |
includePath | Логическое значение для сохранения сведений о пути в виде столбца в наборе данных. Значение по умолчанию — False. Это удобно, если при считывании нескольких файлов необходимо иметь возможность определить, из какого файла поступила определенная запись, или сохранить полезную информацию в пути к файлу. | bool |
partitionFormat | Сведения о разделах для каждого пути данных будут извлечены в столбцы на основе указанного формата. Часть формата "{column_name}" создает строковый столбец, а "{column_name: гггг/ММ/дд/ЧЧ/мм/сс}" создает столбец datetime, где "гггг", "ММ", "дд", "ЧЧ", "мм" и "сс" используются для извлечения года, месяца, дня, часа, минуты и секунды для типа datetime. Формат должен начинаться с расположения первого ключа секции до конца пути к файлу. Например, при указании пути '.. /США/2019/01/01/data.parquet', где раздел находится по стране или региону и времени, partition_format='/{CountryOrRegion}/{PartitionDate:yyyy/MM/dd}/data.csv" создает строковый столбец "CountryOrRegion" со значением "США" и столбец даты и времени PartitionDate со значением "2019-01-01". | строка |
path | DatasetCreateRequestParametersPath | |
query | DatasetCreateRequestParametersQuery | |
separator | Разделитель, используемый для разделения столбцов для sourceType "delimited_files". | строка |
sourceType | Тип источника данных. | 'delimited_files' 'json_lines_files' 'parquet_files' |
DatasetCreateRequestParametersPath
Имя | Описание | Значение |
---|---|---|
dataPath | DatasetCreateRequestParametersPathDataPath | |
httpUrl | URL-адрес HTTP. | строка |
DatasetCreateRequestParametersPathDataPath
Имя | Описание | Значение |
---|---|---|
datastoreName | Имя хранилища данных. | строка |
relativePath | Путь в хранилище данных. | строка |
DatasetCreateRequestParametersQuery
Имя | Описание | Значение |
---|---|---|
datastoreName | Имя хранилища данных SQL,PostgreSQL/MySQL. | строка |
query | SQL Quey. | строка |
DatasetCreateRequestRegistration
Имя | Описание | Значение |
---|---|---|
description | Описание набора данных. | строка |
name | Имя набора данных. | строка |
tags | Теги, связанные с набором данных. | object |
DatasetCreateRequestTimeSeries
Имя | Описание | Значение |
---|---|---|
coarseGrainTimestamp | Имя столбца, используемого в качестве метки Типа CoarseGrainTimestamp. Может использоваться только в том случае, если указан параметр fineGrainTimestamp и не может совпадать с параметром fineGrainTimestamp. | строка |
fineGrainTimestamp | Имя столбца для использования в качестве метки FineGrainTimestamp | строка |
Шаблоны быстрого запуска
Следующие шаблоны быстрого запуска развертывают этот тип ресурса.
Шаблон | Описание |
---|---|
Создание файлового набора данных из относительного пути в хранилище данных |
Этот шаблон создает набор данных файлов из относительного пути в хранилище данных в рабочей области Машинного обучения Azure. |
Создание файлового набора данных в рабочей области AML из веб-URL-адреса |
Этот шаблон создает набор данных файла из веб-URL-адреса в рабочей области Машинного обучения Azure. |
Создание табличного набора данных из относительного пути в хранилище данных |
Этот шаблон создает табличный набор данных из относительного пути в хранилище данных в рабочей области Машинного обучения Azure. |
Создание табличного набора данных из хранилища данных SQL,PostgreSQL/MySQL |
Этот шаблон создает табличный набор данных из SQL-запроса в хранилище данных SQL,PostgreSQL/MySQL в рабочей области Машинного обучения Azure. |
Создание табличного набора данных в рабочей области AML из веб-URL-адреса |
Этот шаблон создает табличный набор данных из URL-адреса веб-сайта в рабочей области Машинного обучения Azure. |
Создание рабочей области AML с несколькими наборами данных & хранилищами данных |
Этот шаблон создает рабочую область Машинного обучения Azure с несколькими наборами данных & хранилищами данных. |
Определение ресурса Terraform (поставщик AzAPI)
Тип ресурса workspaces/datasets можно развернуть с помощью операций, предназначенных для:
- Группы ресурсов
Список измененных свойств в каждой версии API см. в журнале изменений.
Формат ресурсов
Чтобы создать ресурс Microsoft.MachineLearningServices/workspaces/datasets, добавьте следующую terraform в шаблон.
resource "azapi_resource" "symbolicname" {
type = "Microsoft.MachineLearningServices/workspaces/datasets@2020-05-01-preview"
name = "string"
parent_id = "string"
body = jsonencode({
datasetType = "string"
parameters = {
header = "string"
includePath = bool
partitionFormat = "string"
path = {
dataPath = {
datastoreName = "string"
relativePath = "string"
}
httpUrl = "string"
}
query = {
datastoreName = "string"
query = "string"
}
separator = "string"
sourceType = "string"
}
registration = {
description = "string"
name = "string"
tags = {}
}
skipValidation = bool
timeSeries = {
coarseGrainTimestamp = "string"
fineGrainTimestamp = "string"
}
})
}
Значения свойств
рабочие области и наборы данных
Имя | Описание | Значение |
---|---|---|
тип | Тип ресурса | Microsoft.MachineLearningServices/workspaces/datasets@2020-05-01-preview |
name | имя ресурса. | строка (обязательно) |
parent_id | Идентификатор ресурса, который является родительским для этого ресурса. | Идентификатор ресурса типа: workspaces |
datasetType | Указывает тип набора данных. | "file" "табличный" (обязательный) |
параметры | DatasetCreateRequestParameters (обязательно) | |
регистрация | DatasetCreateRequestRegistration (обязательно) | |
skipValidation | Пропустите проверку, которая гарантирует, что данные можно загрузить из набора данных перед регистрацией. | bool |
timeSeries (временной ряд) | DatasetCreateRequestTimeSeries |
DatasetCreateRequestParameters
Имя | Описание | Значение |
---|---|---|
заголовок | Тип заголовка. | "all_files_have_same_headers" "combine_all_files_headers" "no_headers" "only_first_file_has_headers" |
includePath | Логическое значение для сохранения сведений о пути в виде столбца в наборе данных. Значение по умолчанию — False. Это удобно, если при считывании нескольких файлов необходимо иметь возможность определить, из какого файла поступила определенная запись, или сохранить полезную информацию в пути к файлу. | bool |
partitionFormat | Сведения о разделах для каждого пути данных будут извлечены в столбцы на основе указанного формата. Часть формата "{column_name}" создает строковый столбец, а "{column_name: гггг/ММ/дд/ЧЧ/мм/сс}" создает столбец datetime, где "гггг", "ММ", "дд", "ЧЧ", "мм" и "сс" используются для извлечения года, месяца, дня, часа, минуты и секунды для типа datetime. Формат должен начинаться с расположения первого ключа секции до конца пути к файлу. Например, при указании пути ".. /США/2019/01/01/data.parquet', где раздел находится по стране/региону и времени, partition_format='/{CountryOrRegion}/{PartitionDate:yyyy/MM/dd}/data.csv" создает строковый столбец CountryOrRegion со значением "США" и столбец даты и времени "PartitionDate" со значением "2019-01-01.01". | строка |
path | DatasetCreateRequestParametersPath | |
query | DatasetCreateRequestParametersQuery | |
separator | Разделитель, используемый для разделения столбцов для sourceType delimited_files. | строка |
sourceType | Тип источника данных. | "delimited_files" "json_lines_files" "parquet_files" |
DatasetCreateRequestParametersPath
Имя | Описание | Значение |
---|---|---|
dataPath | DatasetCreateRequestParametersPathDataPath | |
httpUrl | URL-адрес HTTP. | строка |
DatasetCreateRequestParametersPathDataPath
Имя | Описание | Значение |
---|---|---|
datastoreName | Имя хранилища данных. | строка |
relativePath | Путь в хранилище данных. | строка |
DatasetCreateRequestParametersQuery
Имя | Описание | Значение |
---|---|---|
datastoreName | Имя хранилища данных SQL/PostgreSQL/MySQL. | строка |
query | SQL Quey. | строка |
DatasetCreateRequestRegistration
Имя | Описание | Значение |
---|---|---|
description | Описание набора данных. | строка |
name | Имя набора данных. | строка |
tags | Теги, связанные с набором данных. | object |
DatasetCreateRequestTimeSeries
Имя | Описание | Значение |
---|---|---|
coarseGrainTimestamp | Имя столбца, используемого в качестве метки Типа CoarseGrainTimestamp. Может использоваться только в том случае, если указан параметр fineGrainTimestamp и не может совпадать с параметром fineGrainTimestamp. | строка |
fineGrainTimestamp | Имя столбца для использования в качестве метки FineGrainTimestamp | строка |