Поделиться через

Microsoft.MachineLearningServices workspaces/datasets 2020-05-01-preview

  • Статья

Определение ресурса Bicep

Тип ресурса workspaces/datasets можно развернуть с помощью операций, предназначенных для:

Список измененных свойств в каждой версии API см. в журнале изменений.

Формат ресурсов

Чтобы создать ресурс Microsoft.MachineLearningServices/workspaces/datasets, добавьте следующий Bicep в шаблон.

resource symbolicname 'Microsoft.MachineLearningServices/workspaces/datasets@2020-05-01-preview' = {
  name: 'string'
  parent: resourceSymbolicName
  datasetType: 'string'
  parameters: {
    header: 'string'
    includePath: bool
    partitionFormat: 'string'
    path: {
      dataPath: {
        datastoreName: 'string'
        relativePath: 'string'
      }
      httpUrl: 'string'
    }
    query: {
      datastoreName: 'string'
      query: 'string'
    }
    separator: 'string'
    sourceType: 'string'
  }
  registration: {
    description: 'string'
    name: 'string'
    tags: {}
  }
  skipValidation: bool
  timeSeries: {
    coarseGrainTimestamp: 'string'
    fineGrainTimestamp: 'string'
  }
}

Значения свойств

рабочие области и наборы данных

Имя Описание Значение
name имя ресурса.

Узнайте, как задать имена и типы для дочерних ресурсов в Bicep.		 строка (обязательно)
родитель В Bicep можно указать родительский ресурс для дочернего ресурса. Это свойство необходимо добавить только в том случае, если дочерний ресурс объявлен вне родительского ресурса.

Дополнительные сведения см. в разделе Дочерний ресурс за пределами родительского ресурса.		 Символьное имя ресурса типа: workspaces
datasetType Указывает тип набора данных. "file"
"табличный" (обязательный)
параметры DatasetCreateRequestParameters (обязательно)
регистрация DatasetCreateRequestRegistration (обязательно)
skipValidation Пропустите проверку, которая гарантирует, что данные можно загрузить из набора данных перед регистрацией. bool
timeSeries (временной ряд) DatasetCreateRequestTimeSeries

DatasetCreateRequestParameters

Имя Описание Значение
заголовок Тип заголовка. "all_files_have_same_headers"
"combine_all_files_headers"
"no_headers"
"only_first_file_has_headers"
includePath Логическое значение для сохранения сведений о пути в виде столбца в наборе данных. Значение по умолчанию — False. Это удобно, если при считывании нескольких файлов необходимо иметь возможность определить, из какого файла поступила определенная запись, или сохранить полезную информацию в пути к файлу. bool
partitionFormat Сведения о разделах для каждого пути данных будут извлечены в столбцы на основе указанного формата. Часть формата "{column_name}" создает строковый столбец, а "{column_name: гггг/ММ/дд/ЧЧ/мм/сс}" создает столбец datetime, где "гггг", "ММ", "дд", "ЧЧ", "мм" и "сс" используются для извлечения года, месяца, дня, часа, минуты и секунды для типа datetime. Формат должен начинаться с расположения первого ключа секции до конца пути к файлу. Например, при указании пути ".. /США/2019/01/01/data.parquet', где раздел находится по стране/региону и времени, partition_format='/{CountryOrRegion}/{PartitionDate:yyyy/MM/dd}/data.csv" создает строковый столбец CountryOrRegion со значением "США" и столбец даты и времени "PartitionDate" со значением "2019-01-01.01". строка
path DatasetCreateRequestParametersPath
query DatasetCreateRequestParametersQuery
separator Разделитель, используемый для разделения столбцов для sourceType delimited_files. строка
sourceType Тип источника данных. "delimited_files"
"json_lines_files"
"parquet_files"

DatasetCreateRequestParametersPath

Имя Описание Значение
dataPath DatasetCreateRequestParametersPathDataPath
httpUrl URL-адрес HTTP. строка

DatasetCreateRequestParametersPathDataPath

Имя Описание Значение
datastoreName Имя хранилища данных. строка
relativePath Путь в хранилище данных. строка

DatasetCreateRequestParametersQuery

Имя Описание Значение
datastoreName Имя хранилища данных SQL/PostgreSQL/MySQL. строка
query SQL Quey. строка

DatasetCreateRequestRegistration

Имя Описание Значение
description Описание набора данных. строка
name Имя набора данных. строка
tags Теги, связанные с набором данных. объект

DatasetCreateRequestTimeSeries

Имя Описание Значение
грубое значениеGrainTimestamp Имя столбца, используемого в качестве столбца, который будет использоваться как Столбец Времени. Может использоваться только в том случае, если указан параметр fineGrainTimestamp и не может совпадать с fineGrainTimestamp. строка
fineGrainTimestamp Имя столбца, используемого в качестве FineGrainTimestamp строка

Шаблоны быстрого запуска

Следующие шаблоны быстрого запуска развертывают этот тип ресурса.

Шаблон Описание
Создание файлового набора данных из относительного пути в хранилище данных

Развертывание в Azure 		Этот шаблон создает набор данных файла из относительного пути в хранилище данных в рабочей области Машинного обучения Azure.
Создание файлового набора данных в рабочей области AML из URL-адреса веб-сайта

Развертывание в Azure 		Этот шаблон создает набор данных файла из URL-адреса веб-сайта в рабочей области Машинного обучения Azure.
Создание табличного набора данных из относительного пути в хранилище данных

Развертывание в Azure 		Этот шаблон создает табличный набор данных из относительного пути в хранилище данных в рабочей области Машинного обучения Azure.
Создание табличного набора данных из хранилища данных SQL,PostgreSQL/MySQL

Развертывание в Azure 		Этот шаблон создает табличный набор данных из SQL-запроса в хранилище данных SQL,PostgreSQL/MySQL в рабочей области Машинного обучения Azure.
Создание табличного набора данных в рабочей области AML из URL-адреса веб-сайта

Развертывание в Azure 		Этот шаблон создает табличный набор данных из URL-адреса веб-сайта в рабочей области Машинного обучения Azure.
Создание рабочей области AML с несколькими наборами данных & хранилищами данных

Развертывание в Azure 		Этот шаблон создает рабочую область Машинного обучения Azure с несколькими наборами данных & хранилищами данных.

Определение ресурса шаблона ARM

Тип ресурса workspaces/datasets можно развернуть с помощью операций, предназначенных для:

Список измененных свойств в каждой версии API см. в журнале изменений.

Формат ресурсов

Чтобы создать ресурс Microsoft.MachineLearningServices/workspaces/datasets, добавьте следующий код JSON в шаблон.

{
  "type": "Microsoft.MachineLearningServices/workspaces/datasets",
  "apiVersion": "2020-05-01-preview",
  "name": "string",
  "datasetType": "string",
  "parameters": {
    "header": "string",
    "includePath": "bool",
    "partitionFormat": "string",
    "path": {
      "dataPath": {
        "datastoreName": "string",
        "relativePath": "string"
      },
      "httpUrl": "string"
    },
    "query": {
      "datastoreName": "string",
      "query": "string"
    },
    "separator": "string",
    "sourceType": "string"
  },
  "registration": {
    "description": "string",
    "name": "string",
    "tags": {}
  },
  "skipValidation": "bool",
  "timeSeries": {
    "coarseGrainTimestamp": "string",
    "fineGrainTimestamp": "string"
  }
}

Значения свойств

рабочие области и наборы данных

Имя Описание Значение
тип Тип ресурса Microsoft.MachineLearningServices/workspaces/datasets
версия_API Версия API ресурсов '2020-05-01-preview'
name имя ресурса.

Узнайте, как задать имена и типы для дочерних ресурсов в шаблонах JSON ARM.		 строка (обязательно)
datasetType Указывает тип набора данных. "file"
"табличный" (обязательный)
параметры DatasetCreateRequestParameters (обязательно)
регистрация DatasetCreateRequestRegistration (обязательно)
skipValidation Пропустите проверку, которая гарантирует, что данные можно загрузить из набора данных перед регистрацией. bool
timeSeries (временной ряд) DatasetCreateRequestTimeSeries

DatasetCreateRequestParameters

Имя Описание Значение
заголовок Тип заголовка. "all_files_have_same_headers"
"combine_all_files_headers"
"no_headers"
"only_first_file_has_headers"
includePath Логическое значение для сохранения сведений о пути в виде столбца в наборе данных. Значение по умолчанию — False. Это удобно, если при считывании нескольких файлов необходимо иметь возможность определить, из какого файла поступила определенная запись, или сохранить полезную информацию в пути к файлу. bool
partitionFormat Сведения о разделах для каждого пути данных будут извлечены в столбцы на основе указанного формата. Часть формата "{column_name}" создает строковый столбец, а "{column_name: гггг/ММ/дд/ЧЧ/мм/сс}" создает столбец datetime, где "гггг", "ММ", "дд", "ЧЧ", "мм" и "сс" используются для извлечения года, месяца, дня, часа, минуты и секунды для типа datetime. Формат должен начинаться с расположения первого ключа секции до конца пути к файлу. Например, при указании пути '.. /США/2019/01/01/data.parquet', где раздел находится по стране или региону и времени, partition_format='/{CountryOrRegion}/{PartitionDate:yyyy/MM/dd}/data.csv" создает строковый столбец "CountryOrRegion" со значением "США" и столбец даты и времени PartitionDate со значением "2019-01-01". строка
path DatasetCreateRequestParametersPath
query DatasetCreateRequestParametersQuery
separator Разделитель, используемый для разделения столбцов для sourceType "delimited_files". строка
sourceType Тип источника данных. 'delimited_files'
'json_lines_files'
'parquet_files'

DatasetCreateRequestParametersPath

Имя Описание Значение
dataPath DatasetCreateRequestParametersPathDataPath
httpUrl URL-адрес HTTP. строка

DatasetCreateRequestParametersPathDataPath

Имя Описание Значение
datastoreName Имя хранилища данных. строка
relativePath Путь в хранилище данных. строка

DatasetCreateRequestParametersQuery

Имя Описание Значение
datastoreName Имя хранилища данных SQL,PostgreSQL/MySQL. строка
query SQL Quey. строка

DatasetCreateRequestRegistration

Имя Описание Значение
description Описание набора данных. строка
name Имя набора данных. строка
tags Теги, связанные с набором данных. object

DatasetCreateRequestTimeSeries

Имя Описание Значение
coarseGrainTimestamp Имя столбца, используемого в качестве метки Типа CoarseGrainTimestamp. Может использоваться только в том случае, если указан параметр fineGrainTimestamp и не может совпадать с параметром fineGrainTimestamp. строка
fineGrainTimestamp Имя столбца для использования в качестве метки FineGrainTimestamp строка

Шаблоны быстрого запуска

Следующие шаблоны быстрого запуска развертывают этот тип ресурса.

Шаблон Описание
Создание файлового набора данных из относительного пути в хранилище данных

Развертывание в Azure 		Этот шаблон создает набор данных файлов из относительного пути в хранилище данных в рабочей области Машинного обучения Azure.
Создание файлового набора данных в рабочей области AML из веб-URL-адреса

Развертывание в Azure 		Этот шаблон создает набор данных файла из веб-URL-адреса в рабочей области Машинного обучения Azure.
Создание табличного набора данных из относительного пути в хранилище данных

Развертывание в Azure 		Этот шаблон создает табличный набор данных из относительного пути в хранилище данных в рабочей области Машинного обучения Azure.
Создание табличного набора данных из хранилища данных SQL,PostgreSQL/MySQL

Развертывание в Azure 		Этот шаблон создает табличный набор данных из SQL-запроса в хранилище данных SQL,PostgreSQL/MySQL в рабочей области Машинного обучения Azure.
Создание табличного набора данных в рабочей области AML из веб-URL-адреса

Развертывание в Azure 		Этот шаблон создает табличный набор данных из URL-адреса веб-сайта в рабочей области Машинного обучения Azure.
Создание рабочей области AML с несколькими наборами данных & хранилищами данных

Развертывание в Azure 		Этот шаблон создает рабочую область Машинного обучения Azure с несколькими наборами данных & хранилищами данных.

Определение ресурса Terraform (поставщик AzAPI)

Тип ресурса workspaces/datasets можно развернуть с помощью операций, предназначенных для:

  • Группы ресурсов

Список измененных свойств в каждой версии API см. в журнале изменений.

Формат ресурсов

Чтобы создать ресурс Microsoft.MachineLearningServices/workspaces/datasets, добавьте следующую terraform в шаблон.

resource "azapi_resource" "symbolicname" {
  type = "Microsoft.MachineLearningServices/workspaces/datasets@2020-05-01-preview"
  name = "string"
  parent_id = "string"
  body = jsonencode({
    datasetType = "string"
    parameters = {
      header = "string"
      includePath = bool
      partitionFormat = "string"
      path = {
        dataPath = {
          datastoreName = "string"
          relativePath = "string"
        }
        httpUrl = "string"
      }
      query = {
        datastoreName = "string"
        query = "string"
      }
      separator = "string"
      sourceType = "string"
    }
    registration = {
      description = "string"
      name = "string"
      tags = {}
    }
    skipValidation = bool
    timeSeries = {
      coarseGrainTimestamp = "string"
      fineGrainTimestamp = "string"
    }
  })
}

Значения свойств

рабочие области и наборы данных

Имя Описание Значение
тип Тип ресурса "Microsoft.MachineLearningServices/workspaces/datasets@2020-05-01-preview"
name имя ресурса. string (обязательно)
parent_id Идентификатор ресурса, который является родительским для этого ресурса. Идентификатор ресурса типа: workspaces
datasetType Указывает тип набора данных. "file"
"табличный" (обязательный)
параметры DatasetCreateRequestParameters (обязательно)
регистрация DatasetCreateRequestRegistration (обязательно)
skipValidation Пропустите проверку, которая гарантирует возможность загрузки данных из набора данных перед регистрацией. bool
timeSeries (временной ряд) DatasetCreateRequestTimeSeries

DatasetCreateRequestParameters

Имя Описание Значение
заголовок Тип заголовка. "all_files_have_same_headers"
"combine_all_files_headers"
"no_headers"
"only_first_file_has_headers"
includePath Логическое значение для сохранения сведений о пути в виде столбца в наборе данных. Значение по умолчанию — False. Это удобно, если при считывании нескольких файлов необходимо иметь возможность определить, из какого файла поступила определенная запись, или сохранить полезную информацию в пути к файлу. bool
partitionFormat Сведения о разделах для каждого пути данных будут извлечены в столбцы на основе указанного формата. Часть формата "{column_name}" создает строковый столбец, а "{column_name: гггг/ММ/дд/ЧЧ/мм/сс}" создает столбец datetime, где "гггг", "ММ", "дд", "ЧЧ", "мм" и "сс" используются для извлечения года, месяца, дня, часа, минуты и секунды для типа datetime. Формат должен начинаться с расположения первого ключа секции до конца пути к файлу. Например, при указании пути '.. /США/2019/01/01/data.parquet', где раздел находится по стране или региону и времени, partition_format='/{CountryOrRegion}/{PartitionDate:yyyy/MM/dd}/data.csv" создает строковый столбец "CountryOrRegion" со значением "США" и столбец даты и времени PartitionDate со значением "2019-01-01". строка
path DatasetCreateRequestParametersPath
query DatasetCreateRequestParametersQuery
separator Разделитель, используемый для разделения столбцов для sourceType "delimited_files". строка
sourceType Тип источника данных. "delimited_files"
"json_lines_files"
"parquet_files"

DatasetCreateRequestParametersPath

Имя Описание Значение
dataPath DatasetCreateRequestParametersPathDataPath
httpUrl URL-адрес HTTP. строка

DatasetCreateRequestParametersPathDataPath

Имя Описание Значение
datastoreName Имя хранилища данных. строка
relativePath Путь в хранилище данных. строка

DatasetCreateRequestParametersQuery

Имя Описание Значение
datastoreName Имя хранилища данных SQL,PostgreSQL/MySQL. строка
query SQL Quey. строка

DatasetCreateRequestRegistration

Имя Описание Значение
description Описание набора данных. строка
name Имя набора данных. строка
tags Теги, связанные с набором данных. объект

DatasetCreateRequestTimeSeries

Имя Описание Значение
грубое значениеGrainTimestamp Имя столбца, используемого в качестве столбца, который будет использоваться как Столбец Времени. Может использоваться только в том случае, если указан параметр fineGrainTimestamp и не может совпадать с fineGrainTimestamp. строка
fineGrainTimestamp Имя столбца, используемого в качестве FineGrainTimestamp строка