Фильтрация содержимого

Внимание

Система фильтрации контента не применяется к запросам и завершениям, обрабатываемым моделью Whisper в службе Azure OpenAI. Дополнительные сведения о модели Whisper в Azure OpenAI.

Служба Azure OpenAI включает систему фильтрации содержимого, которая работает вместе с основными моделями. Эта система работает, выполняя запрос и завершение с помощью ансамбля моделей классификации, направленных на обнаружение и предотвращение вывода вредного содержимого. Система фильтрации содержимого обнаруживает и принимает меры по определенным категориям потенциально вредного содержимого как в запросах ввода, так и в завершении выходных данных. Изменения в конфигурациях API и дизайне приложения могут повлиять на завершение и, следовательно, на поведение фильтрации.

Модели фильтрации содержимого для категорий ненависти, сексуального насилия и самоповредения были специально обучены и проверены на следующих языках: английский, немецкий, японский, испанский, французский, итальянский, португальский и китайский. Однако служба может работать на многих других языках, но качество может отличаться. В любом случае вам следует провести собственное тестирование, чтобы убедиться, что она работает для вашего приложения.

Помимо системы фильтрации содержимого служба Azure OpenAI выполняет мониторинг для обнаружения содержимого и (или) поведения, которые позволяют использовать службу таким образом, чтобы нарушать применимые условия продукта. Дополнительные сведения о понимании и устранении рисков, связанных с приложением, см. в заметке о прозрачности для Azure OpenAI. Дополнительные сведения о том, как данные обрабатываются для фильтрации содержимого и мониторинга злоупотреблений, см. в статье "Данные, конфиденциальность и безопасность azure OpenAI Service".

В следующих разделах содержатся сведения о категориях фильтрации содержимого, уровнях серьезности фильтрации и их настройке, а также сценариях API, которые следует учитывать в разработке и реализации приложений.

Категории фильтрации содержимого

Система фильтрации содержимого, интегрированная в службу Azure OpenAI, содержит следующее:

• Нейронные модели классификации с несколькими классами, направленные на обнаружение и фильтрацию вредного содержимого; Модели охватывают четыре категории (ненависти, сексуального насилия и самоповредения) на четырех уровнях серьезности (безопасных, низких, средних и высоких). Контент, обнаруженный на "безопасном" уровне серьезности, помечается в аннотациях, но не подлежит фильтрации и не подлежит настройке.
• Другие необязательные модели классификации, направленные на обнаружение риска в тюрьме и известное содержимое для текста и кода; эти модели представляют собой двоичные классификаторы, которые помечают, является ли поведение пользователя или модели квалифифицирующимися как атака в виде атаки на джейл-брейк или соответствует известному тексту или исходному коду. Использование этих моделей является необязательным, но использование защищенной модели материального кода может потребоваться для покрытия обязательств по защите авторских прав клиента.

Категории вреда

Категория	Description
Ненависть и справедливость	Вред, связанный с ненавистью и справедливостью, относится к любому содержимому, которое нападает или использует дискриминационный или дискриминационный язык со ссылкой на человека или группы удостоверений на основе определенных различных атрибутов этих групп, включая, но не ограничивается расой, этнической принадлежностью, национальностью, группами гендерной идентификации и выражением, сексуальной ориентацией, религией, иммиграционным статусом, статусом, личным появлением, и размер тела.  Справедливость связана с обеспечением того, чтобы системы искусственного интеллекта относились ко всем группам людей справедливо, не внося вклад в существующие социальные неравенства. Как и в случае с ненавистной речью, справедливость, связанные с вредом, зависят от разрозненного обращения с группами удостоверений.
Сексуальной	Сексуальный описывает язык, связанный с анатомическими органами и гениталиями, романтические отношения, действия, изображаемые в эротических или ласковых терминах, беременности, физических сексуальных актах, включая те, которые изображаются как нападение или принудительный сексуальный насильственный акт против воли, проституции, порнографии и злоупотреблений.
Насилие	Насилие описывает язык, связанный с физическими действиями, предназначенными для того, чтобы повредить, ранить, повредить или убить кого-то или что-то; описывает оружие, оружие и связанные с ними сущности, такие как производство, ассоциации, законодательство и т. д.
Самоповредение	Самоповреждение описывает язык, связанный с физическими действиями, предназначенными для намеренного повреждения, травмы, повреждения тела или убийства себя.
Риск взлома тюрьмы	Атаки в тюрьме — это запросы пользователей, предназначенные для того, чтобы спровоцировать модель генерированного ИИ на отображение поведения, которое было обучено, чтобы избежать или нарушить набор правил, заданных в системном сообщении. Такие атаки могут отличаться от сложной роли до тонкой подражания цели безопасности.
Защищенный материал для текста*	Защищенный текст материала описывает известное текстовое содержимое (например, текст песни, статьи, рецепты и выбранное веб-содержимое), которое можно выводить большими языковыми моделями.
Защищенный материал для кода	Защищенный материальный код описывает исходный код, соответствующий набору исходного кода из общедоступных репозиториев, которые можно выводить большими языковыми моделями без надлежащей ссылки на исходные репозитории.

^* Если вы являетесь владельцем текстового материала и хотите отправить текстовое содержимое для защиты, отправьте запрос.

Текстовое содержимое

Предупреждения

Предупреждение

Вкладка "Определения серьезности" в этом документе содержит примеры вредного содержимого, которое может беспокоить некоторых читателей.

Определения серьезности

Уровни серьезности ненависти и справедливости

Степень серьезности	Description	Пример текста
Safe	Содержимое безопасно, но может содержать термины ненависти и справедливости, используемые в универсальных и безопасных контекстах, таких как: Образование Средства массовой информации Официальная статистика Журнал Медицина Наука Другие аналогичные контексты	"Black people should not be killed by police or mistreated just because of their skin color."
Низкая	Содержимое, содержащее положительную характеризацию или защиту групп удостоверений, отображает дискриминацию, стереотипы и предрассудки, суждения или мнения или мнения, связанные с речью ненависти или целевыми группами личности. В том числе: Slurs в исследовательских документах, словарях или средствах массовой информации с прямой цитатой Общая речь о ненависти, предназначенной для объектов, отдельных лиц или групп Ограниченная речь о ненависти или изображение негативных тональности в вымышленных контекстах (например, игры, фильмы, литература)	"I don't like [identity group] because they are all so aggressive. They attacked us over and over again for no reason at all."
Средняя	Содержимое, содержащее оскорбления, издевательства, запугивание, де-гуманизацию или дерогацию отдельных лиц или групп. К ним относятся: Язык, который высмеивает и имитирует атрибуты групп удостоверений Описание отдельных лиц или групп как неполноценных или несовестных Запрет или унижание групп удостоверений Тексты, отрицающие исторические, хорошо документированные и насильственные события, такие как Холокост, рабство или колония	"The [real world event] is a fraud. What we've discovered is that sources have been lying about the number of victims. Here is proof."
Высокая	Содержимое, содержащее речь о ненависти в качестве пропаганды, угрожающей или призывающей к насилию против групп удостоверений, радикализует, вербовцев или призывает людей присоединиться к экстремистским усилиям или распространить речь о ненависти. К ним относятся: Зажигательные, оскорбительные и вульгарные языки, предназначенные для конкретных лиц или групп удостоверений Претензии на превосходство, чтобы оправдать дискриминацию, сегрегацию или исключение Тексты, содержащие любую форму славы нацистского и СС символизма, KKK и конфедератного флага за пределами исторических, образовательных или художественных параметров Тексты, которые показывают подготовку преступлений ненависти, похвалу и славу насилия против групп удостоверений, или что похвала, слава, или одобрение геноцида	"Millions of [identity group] were wiped out because they were the inferior race. Murdering them continues to be right and honorable because…"

Уровни сексуальной серьезности

Степень серьезности	Description	Пример текста
Safe	Содержимое безопасно, но может содержать термины сексуального характера, используемые в универсальных и безопасных контекстах, таких как: Образования Носителя Официальная статистика Журнал Медицины Наука Упоминания о семейных или романтических отношениях	"Fewer young adults are having sex than in previous generations."
Низкая	Содержание, которое выражает предубежденные, сужденные или мнения мнения о сексуальных темах или упоминание сексуально связанных терминов в вымышленных или реальных опытах, которые не являются чрезвычайно графическими. К ним относятся: Упоминания о сексуальной анатомии или сексуальных сценах в вымышленных и художественных контекстах Медицинские рецепты и диагноз Личный опыт, сексуальные проблемы и травмы с некоторыми графическим контентом, включая механизмы и ресурсы	"We made out for a while, and he started to feel me up. I felt a bulge in his pants."
Средняя	Контент, описывающий сексуальное возбуждение и активность в явном и графическом терминах, включает фантазии о сексе и сексуальном насилии. К ним относятся: Упоминания о сексуальной стимуляции и мастурбации Порнография ограничена бизнесом и проституцией, эскортом и т. д. в качестве карьеры без секс-сцен Реклама для взрослых продуктов, таких как секс-игрушки Личные опыты и описания, связанные с сексуальным, эротические или тантрические массажи, стрип-клубы, эротические шоу, атрибуты И практики BDSM	"We both climaxed at the same time."
Уровень 7	Содержание, описывающее запрос сексуальных коммерческих услуг, содержащее подробные описания сексуальной активности, насильственных сексуальных злоупотреблений и изнасилований, а также неконсенсуальные обмены властью, злоупотребление и voyeurism. Это также включает в себя содержимое, которое используется для поощрения, одобрения или славы экстремальных или незаконных сексуальных актов. К ним относятся: Любое изображение материала о сексуальном насилии с детьми (CSAM), включая любую явную или потенциальную ссылку на несовершеннолетним сексом Уход за детьми, жестокое обращение с детьми и другая эксплуатация детей Явные или потенциальные ссылки на инцест, зоофилию, некрофилию и т. д. Вербовка людей в торговле сексом, включая манипуляцию жертвой	"I was abused as a child by my uncle and I liked it. Nowadays, I make money by producing child pornography with my neighbor’s 6 year old son."

Уровни серьезности насилия

Степень серьезности	Description	Пример текста
Safe	Содержимое безопасно, но может содержать термины, связанные с насилием, используемым в универсальных и безопасных контекстах, таких как: Образования Носителя Официальная статистика Истории Медицины Науки Общие объекты, которые не используются в качестве оружия Охота или стрельба спорт и технические спецификации оружия	"Carnivores such as lions and tigers are prone to killing one another. Death occurs at the paws, claws, jaws, or tusks that might fatally gore one another during fights."
Низкая	Содержимое в вымышленных контекстах (например, игры, литература, искусство), которые изображают насильственные или графические сцены без славения, одобрения или неправильного намерения. К ним относятся: Личный опыт насилия (без насильственного намерения) Предвзятые, предубежденные, сужденные или мнения о насилии Упоминания о насильственных актах и смерти с низкой интенсивностью	"Some people just need to be slapped."
Средняя	Содержимое, содержащее графическое изображение насилия и смерти на средней интенсивности, а также фантазии о насильственных действиях или угрозах. К ним относятся: Тексты, положив жертву на ошибку или изображающие преступников в положительном свете Исторические ссылки на геноцид и Холокост без одобрения или славы Ссылки на известные массовые стрельбы без одобрения или славы Ссылки на террористические и насильственные экстремистские группы и события без одобрения или славы Тексты, которые ищут советы или рекомендации или тексты, которые предоставляют инструкции по выполнению насильственных действий против животного, человека, группы лиц или объекта или инфраструктуры, которые могут привести к индивидуальному или массовому ущербу Издевательства и запугивание	"Go to another state or another city and kill any stranger; for example, shoot them with a silencer gun. Since you have not any connection with him, you will not get caught."
Высокая	Содержание, содержащее террористическую или насильственные экстремистские пропаганду и насильственные идеологии в Интернете, описывающее, похвалы, поддерживает, поддерживает или прославляет убийства в рамках террористической деятельности, помогает террористическим организациям или причинам. К ним относятся: Тексты, которые ищут инструкции по принадлежности к террористическим и насильственным экстремистским группам Тексты, предоставляющие инструкции о том, как набирать последователей, влиять на людей в сторону террористической причины или экстремистской идеологии, принимать радикальные взгляды или предоставлять учебные материалы о том, как работают террористические и насильственные экстремистские группы, или предоставлять информацию о своих лидерах и членах Тексты, которые планируют и координирует нападения на отдельных лиц или групп людей, включая события стрельбы, использование бомб и взрывчатых веществ в гражданской инфраструктуре, или нападения на оружие, совершенные некомбатантами или не-террористами Содержимое, ссылающееся на принудительные труды, включая детей, домашний сервитуд, преследования и принудительные медицинские процедуры	"Let's call and threaten to explode the hospital during the weekend. I've got the explosives ready, and will have them installed tonight."

Уровни серьезности самоповредения

Степень серьезности	Description	Пример текста
Safe	Содержимое безопасно, но может содержать термины, связанные с самоповредением, используемым в универсальных и безопасных контекстах, таких как: Официальная статистика Образования Носителя Медицинских Действия, описывающие случайное самоповредение, советы по первой помощи и т. д.	"Binging and purging may be a warning sign for people with a history of extreme weight loss."
Низкая	Содержимое, содержащее ссылки на персонажи планирования или совершения самоубийства в вымышленном контексте (например, литературы, фильмов) или содержит изображения актов самоповреждения или самоубийства с низкой интенсивностью. К ним относятся: Личные предвзятые, предубежденные, сужденные или мнения о самовосхищении Ассоциации с расстройствами питания, поиск или предоставление инструкций для резкой и нездоровой потери веса Личный опыт, связанный с самоображением, включая поиск профессиональной помощи	"I'm really struggling with self-loathing and thoughts of self-harm to relieve my distress after my friend took his own life last month. Please can someone give me any useful advice?"
Средняя	Содержимое, которое высмеивает жертв или выживших в себе вреда, таких как расстройства питания или самоубийство, а также издевательства и запугивания, которые разжигают и способствуют самоповреждения актов. К ним относятся: Самостоятельное повреждение, представленное в качестве решения проблемы Фантазии, желание, желание или личный опыт о самоубийц или самоубийстве Тексты, которые ищут или дают советы, инструкции или рекомендации по выполнению самостоятельного вреда Издевательства и запугивание, которые подстрекают и способствуют самоповреждениям актов	"Go kill yourself, you are worthless."
Высокая	Содержимое, включающее исследования для консультаций или предоставляет инструкции и методы о том, как участвовать в самостоятельном вреде, что приводит к смерти или как совершить самоубийство, а также славить и одобрение самоубийства, или другие тяжелые типы самоповредения. К ним относятся: Тексты, которые указывают, как написать доброе сообщение вашей семье Самозаглавление Сжигание живых	"Get a shotgun and blow your brains out. It won't even hurt. And you'll be remembered for ages, like Kurt Cobain or Ernest Hemingway. There's nothing bad about suicide. Actually it's noble."

Содержимое изображения

Предупреждения

Предупреждение

Вкладка "Определения серьезности" в этом документе содержит примеры вредного содержимого, которое может беспокоить некоторых читателей.

Определения серьезности

Уровни серьезности ненависти и справедливости

Степень серьезности	Description	Пример изображения
Уровень 0 — Сейф	Содержимое безопасно, но может содержать ненавидимые и справедливые изображения без тональности или нейтральных тональности в недискриминационных способах в следующих контекстах или аналогичных: Журналистской Архив Медицинское обслуживание Юридические услуги Образование География	Неконфедератные флаги, например флаги стран или государств, которые пересекают флаги. Изображение флага Союза Джека Великобритании Изображение эмансипации порабощенных людей в США на исторических фотографиях
Уровень 2 — низкий	Содержимое, содержащее либо положительные тональности, ложные положительные настроения, либо отрицательные, предвзятые настроения, отличающие группы личности от других. Это содержимое предназначено для активации эмоционального ответа. В том числе: Защита Нацистский символизм, конфедератный флаг, символизм Ku Klux Klan Стереотипов Дискриминация по трудоустройству	Представления движения "Ненавидимая речь" представления деприоритизованных кандидатов на работу, таких как кандидаты с ограниченными возможностями в параметрах собеседования
Уровень 4 — средний	Содержимое, содержащее негативное действие тональности в отношении групп удостоверений и других, что приводит к продвижению действий в отношении групп удостоверений и тональности превосходства. В том числе: Оскорбление, изоляция, высмеивание Нацистский флаг, конфедератный флаг, и ЛГБТКЯ+ вариации и товары	Изображение, которое способствует социальному избеганию [групп удостоверений] Образы, изображающие теорию расового улучшения и евгенику
Уровень 6 — высокий	Содержимое, содержащее негативные настроения и ненавидительную речь в отношении групп удостоверений, ведущих к созданию речи ненависти или преступлениям ненависти. В том числе: Расизма Нападения на ЛГБТКЯ+ Отключение Дискриминация по признаку пола Славный нацистский символизм, флаг Конфедерации, символизм Ku Klux Klan Насильственный флаг конфедерации	Антиземитическое изображение изображения , изображающее "Южный крест", который имеет синий соленый (диагонали крест) с принадлежностью к очевидному насилию (например, оружие в отображении или использовании)

Уровни сексуальной серьезности

Степень серьезности	Description	Пример изображения
Уровень 0 — Сейф	Содержимое безопасно, но содержит сексуально связанные изображения, используемые в общем смысле. В том числе: Семейные и романтические отношения Несексуальная нагота Clothing Общие объекты Неполовая поза или активность Матирование животных Сексуальное здоровье	Представления обнимать или делать несексуальные физические контакты Представления, изображающие физическое отображение любви, такие как поцелуй без языка и без наготы
Уровень 2 — низкий	Содержимое, содержащее сексуальное предложение поведения или действия. В том числе: Личный опыт Моделирование моды Нагота в произведении искусства Искусство тела Отображение Racy	Изображения людей
Уровень 4 — средний	Содержимое, содержащее коммерческое и любительское эротические и /или порнографическое содержимое без визуального фотографического проникновения и обнаженных участников, участвующих в сексуальных сценах, предназначенных для сексуального пробуждения. В том числе: Сексуальное моделирование Мягкая нагота в произведении искусства Секс-задания или магазины Скрытная сексуальная активность Порно производство backstage Танцы на полюсе	Изображение полового акта, которое может быть частично окклудировано, но по-прежнему ясно присутствует на изображении
Уровень 6 — высокий	Содержание, содержащее явное подробное изображение сексуальных органов и сексуальных актов, включая незаконные акты. В том числе: Любительская мягко-ядровая и жестко-ядровая порнография Сексуальное вымогательство Вуайеризм Секс в произведении искусства BDSM без согласия или изнасилования Сексуальная эксплуатация и жестокое обращение с детьми Уход за детьми Инцест	Изображение участия в сексуальной деятельности с животными или трупами

Уровни серьезности насилия

Степень серьезности	Description	Пример изображения
Уровень 0 — Сейф	Содержимое безопасно, но содержит связанные с насилием изображения, используемые в общем смысле. В том числе: Спящий или лежащий позу Общие объекты Ненасильственная деятельность Веревки не как петлю Лезвие инструментов, используемых в кухне или шитье Раны, шрамы и хирургическое лечение Охота и стрельба спорта Тома и притворяться пушками Боевые практики Повреждение объектов и вандализм Символизм террористов, не являющихся фирменной символикой	Изображение нереалистичного оружия и лезвийных инструментов
Уровень 2 — низкий	Содержимое, содержащее насилие, связанное с изображениями и действиями в реальном мире или вымышленных контекстах с низким горем. В том числе: Оружие, оружие и лезвие средства в отображении и использовании Нереалистичное труп Нереалистичное насилие Анимированное оружие Легкие травмы и личный опыт Веревки как петуха Смерть в исторических, образовательных или веселых параметрах Нереалистичная террористическая символика Корриды	Изображение флагов ИГИЛ/Аль-Каиды
Уровень 4 — средний	Содержимое, содержащее умеренное графическое насилие и насильственные акты, направленные на идентифицированный целевой объект. В том числе: Вскрытие Преступление или место смерти Смерть животных (естественная или охота), жертва животными, злоупотребление животными Порабощения Геноцид и массовые убийства в исторических, образовательных учреждениях Скотобойне Насилие в семье и физическое насилие Издевательства Оружие и оружие в использовании против цели	Изображение использования силы и принуждения агрессивно доминировать или запугать человека
Уровень 6 — высокий	Содержимое, содержащее явное подробное изображение насилия и насильственных действий в высоком горке. В том числе: Графические травмы и смерть Расчленение, обезглавление, сжигание живых Декомпозиция трупа Терроризм, террористические группы и флаги Принудительный труд и рабство, принудительные медицинские процедуры Преследование Труп в терроризме и военном преступлении Событие съемки Другие экстремизма	Изображение смерти при выполнении террористическими группами, определяемыми флагами и символами ИГИЛ

Уровни серьезности самоповредения

Степень серьезности	Description	Пример изображения
Уровень 0 — Сейф	Содержимое безопасно, но содержит самоопасное изображение, используемое в общем смысле. В том числе: Низкий жир тела Не-самоухронный акт Случайное повреждение тела	Изображение прыжка с парашютом из плоскости
Уровень 2 — низкий	Содержимое, содержащее самоповреждение, связанное с изображением и действует в реальном мире или вымышленном контексте с низким гором. В том числе: Шрамы Травмы самовредения в восстановлении Нереалистичное самоповречение Истощенные лица или животные	Представления действий, связанных с самовредностью, инструментами, травмами и эмоциональным состоянием
Уровень 4 — средний	Содержимое, содержащее умеренное графическое изображение, связанное с самоубийцом и самоубийством. В том числе: Вскрытие Преступление или место смерти Издевательства	Представления об использовании силы и принуждения агрессивно доминировать или запугать человека в самовосхиждение
Уровень 6 — высокий	Содержимое, содержащее явное подробное изображение самоубийца и самоубийства в высоком горке. В том числе: Неминуемая самовредение акт Акты самовосхиждения Самоубийство	Изображение преднамеренного самоубийства, где человек совершил самоубийство, прыгнув с высоты здания

Настройка (предварительная версия)

Конфигурация фильтрации содержимого по умолчанию используется для фильтрации по порогу средней серьезности для всех четырех категорий вреда содержимого для запросов и завершения. Это означает, что содержимое, обнаруженное на уровне серьезности среднего или высокого уровня, фильтруется, а содержимое, обнаруженное на низком уровне серьезности, не фильтруется фильтрами содержимого. Функция настройки доступна в предварительной версии и позволяет клиентам настраивать параметры отдельно для запросов и завершения, чтобы фильтровать содержимое для каждой категории контента на разных уровнях серьезности, как описано в таблице ниже:

Фильтрация серьезности	Настраиваемая для запросов	Настраиваемая для завершения	Descriptions
Низкий, средний, высокий	Да	Да	Самая строгая конфигурация фильтрации. Содержимое, обнаруженное на уровнях серьезности, низком, среднем и высоком, фильтруется.
Средний, высокий	Да	Да	Значение по умолчанию. Содержимое, обнаруженное на низком уровне серьезности, не фильтруется, содержимое на среднем и высоком уровне фильтруется.
Высокая	Да	Да	Содержимое, обнаруженное на уровнях серьезности, не фильтруется. Фильтруется только содержимое на высоком уровне серьезности.
Фильтры отсутствуют.	Если утверждено*	Если утверждено*	Содержимое не фильтруется независимо от уровня серьезности. Требуется утверждение*.

^* Только клиенты, которые были утверждены для фильтрации измененного содержимого, имеют полный элемент управления фильтрацией содержимого и могут частично или полностью отключить фильтры содержимого. Управление фильтрацией содержимого не применяется к фильтрам содержимого для DALL-E (предварительная версия) или GPT-4 Turbo с Vision (предварительная версия). Применить к измененным фильтрам содержимого с помощью этой формы: Azure OpenAI Limited Access Review: Modified Content Filtering (microsoft.com).

Клиенты отвечают за обеспечение соответствия приложений, интегрирующих Azure OpenAI кодексу поведения.

Конфигурации фильтрации содержимого создаются в ресурсе в Azure AI Studio и могут быть связаны с развертываниями. Дополнительные сведения о настройке см. здесь.

Подробности сценария

Когда система фильтрации содержимого обнаруживает вредное содержимое, по вызову API появляется сообщение об ошибке, если запрос был признан неуместным, или finish_reason ответ будет content_filter иметь значение для обозначения того, что некоторые из завершения были отфильтрованы. При создании приложения или системы необходимо учитывать эти сценарии, в которых содержимое, возвращаемое API завершения, фильтруется, что может привести к неполному содержимому. То, как вы работаете с этой информацией, будет зависеть от конкретного приложения. Поведение можно свести к сведению в следующих пунктах:

• Запросы, классифицированные по отфильтрованной категории и уровню серьезности, возвращают ошибку HTTP 400.
• Вызовы завершения без потоковой передачи не возвращают содержимое при фильтрации содержимого. Для finish_reason параметра будет задано значение content_filter. В редких случаях с более длинными ответами может быть возвращен частичный результат. В таких случаях finish_reason обновляется.
• Для вызовов завершения потоковой передачи сегменты будут возвращены пользователю по мере их завершения. Служба будет продолжать потоковую передачу до достижения маркера остановки, длины или при обнаружении содержимого, классифицированного по отфильтрованной категории и уровня серьезности.

Сценарий: вы отправляете вызов завершения без потоковой передачи, запрашивающий несколько выходных данных; содержимое не классифицируется по отфильтрованной категории и уровню серьезности

В таблице ниже описаны различные способы фильтрации содержимого:

Код ответа HTTP	Реакция на событие при ответе
200	В случаях, когда все поколения передают фильтры как настроенные, в ответ не добавляются сведения о кон режим палатки раций. Для finish_reason каждого поколения будет либо остановка, либо длина.

Пример полезных данных запроса:

{
    "prompt":"Text example", 
    "n": 3,
    "stream": false
}

Пример ответа JSON:

{
    "id": "example-id",
    "object": "text_completion",
    "created": 1653666286,
    "model": "davinci",
    "choices": [
        {
            "text": "Response generated text",
            "index": 0,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Сценарий. Вызов API запрашивает несколько ответов (N>1) и по крайней мере один из ответов фильтруется

Код ответа HTTP	Реакция на событие при ответе
200	Поколения, которые были отфильтрованы, будут иметь finish_reason значение content_filter.

Пример полезных данных запроса:

{
    "prompt":"Text example",
    "n": 3,
    "stream": false
}

Пример ответа JSON:

{
    "id": "example",
    "object": "text_completion",
    "created": 1653666831,
    "model": "ada",
    "choices": [
        {
            "text": "returned text 1",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null
        },
        {
            "text": "returned text 2",
            "index": 1,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Сценарий: недопустимый запрос ввода отправляется в API завершения (для потоковой или непотоковой передачи)

Код ответа HTTP	Реакция на событие при ответе
400	Вызов API завершается сбоем, когда запрос активирует фильтр содержимого, как настроено. Измените запрос и повторите попытку.

Пример полезных данных запроса:

{
    "prompt":"Content that triggered the filtering model"
}

Пример ответа JSON:

"error": {
    "message": "The response was filtered",
    "type": null,
    "param": "prompt",
    "code": "content_filter",
    "status": 400
}

Сценарий: вызов завершения потоковой передачи; Содержимое выходных данных не классифицируется по отфильтрованной категории и уровню серьезности

Код ответа HTTP	Реакция на событие при ответе
200	В этом случае вызов будет выполняться обратно с полным поколением и finish_reason будет иметь значение "длина" или "остановка" для каждого созданного ответа.

Пример полезных данных запроса:

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

Пример ответа JSON:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670914,
    "model": "ada",
    "choices": [
        {
            "text": "last part of generation",
            "index": 2,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Сценарий. Вызов завершения потоковой передачи запрашивает несколько завершений и по крайней мере часть выходного содержимого фильтруется

Код ответа HTTP	Реакция на событие при ответе
200	Для заданного индекса поколения последний блок поколения включает ненулевое finish_reason значение. Значение заключается в content_filter том, когда поколение было отфильтровано.

Пример полезных данных запроса:

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

Пример ответа JSON:

 {
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670515,
    "model": "ada",
    "choices": [
        {
            "text": "Last part of generated text streamed back",
            "index": 2,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Сценарий: система фильтрации содержимого не выполняется при завершении

Код ответа HTTP	Реакция на событие при ответе
200	Если система фильтрации содержимого отключена или не может завершить операцию вовремя, запрос по-прежнему завершится без фильтрации содержимого. Вы можете определить, что фильтрация не была применена, найдите сообщение об ошибке в объекте content_filter_result .

Пример полезных данных запроса:

{
    "prompt":"Text example",
    "n": 1,
    "stream": false
}

Пример ответа JSON:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1652294703,
    "model": "ada",
    "choices": [
        {
            "text": "generated text",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null,
            "content_filter_result": {
                "error": {
                    "code": "content_filter_error",
                    "message": "The contents are not filtered"
                }
            }
        }
    ]
}

Заметки

Фильтры содержимого

Если заметки включены, как показано в приведенном ниже фрагменте кода, следующие сведения возвращаются через API для категорий ненависти и справедливости, сексуального, насилия и вреда для себя:

• категория фильтрации содержимого (ненависть, сексуальное насилие, self_harm)
• уровень серьезности (безопасный, низкий, средний или высокий) в каждой категории содержимого
• состояние фильтрации (true или false).

Необязательные модели

Необязательные модели можно включить в анотации (возвращает сведения, когда содержимое помечено, но не отфильтровано) или режим фильтра (возвращает сведения, когда содержимое помечено и отфильтровано).

Если заметки включены, как показано в фрагменте кода ниже, следующие сведения возвращаются API для необязательных моделей: риск взлома, защищенный текст материала и защищенный код материала:

• категория (джейл-брейк, protected_material_text, protected_material_code);
• обнаружен (true или false),
• фильтруется (true или false).

Для модели защищенного кода материалов следующие дополнительные сведения возвращаются API:

• Пример ссылки на общедоступный репозиторий GitHub, в котором найден фрагмент кода
• лицензия репозитория.

При отображении кода в приложении настоятельно рекомендуется также отобразить пример ссылки на заметки. Соответствие приведенной лицензии также может потребоваться для покрытия обязательств по защите авторских прав клиента.

Заметки в настоящее время доступны в общедоступной версии 2024-02-01 API и во всех предварительных версиях, начиная с 2023-06-01-preview завершения и завершения чата (модели GPT). В следующем фрагменте кода показано, как использовать заметки:

OpenAI Python 1.x

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
from openai import AzureOpenAI
client = AzureOpenAI(
    api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
    api_version="2024-03-01-preview",
    azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT") 
    )

response = client.completions.create(
    model="gpt-35-turbo-instruct", # model = "deployment_name".
    prompt="{Example prompt where a severity level of low is detected}" 
    # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.
)

print(response.model_dump_json(indent=2))

Выходные данные

{ 
  "choices": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "protected_material_code": { 
          "citation": { 
            "URL": " https://github.com/username/repository-name/path/to/file-example.txt", 
            "license": "EXAMPLE-LICENSE" 
          }, 
          "detected": true,
          "filtered": false 
        }, 
        "protected_material_text": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "finish_reason": "stop", 
      "index": 0, 
      "message": { 
        "content": "Example model response will be returned ", 
        "role": "assistant" 
      } 
    } 
  ], 
  "created": 1699386280, 
  "id": "chatcmpl-8IMI4HzcmcK6I77vpOJCPt0Vcf8zJ", 
  "model": "gpt-35-turbo-instruct", 
  "object": "text.completion",
  "usage": { 
    "completion_tokens": 40, 
    "prompt_tokens": 11, 
    "total_tokens": 417 
  },  
  "prompt_filter_results": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "jailbreak": { 
          "detected": false, 
          "filtered": false 
        }, 
        "profanity": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "prompt_index": 0 
    } 
  ]
} 

OpenAI Python 0.28.1

Примечание.

Версия 0.28.1 библиотеки OpenAI Python устарела. Рекомендуем использовать 1.x. Ознакомьтесь с нашим руководством по миграции, чтобы получить информацию о переходе из 0.28.1 .1.x

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT") 
openai.api_version = "2024-03-01-preview" # API version required to use Annotations
openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")

response = openai.Completion.create(
    engine="gpt-35-turbo-instruct", # engine = "deployment_name".
    messages=[{"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "Example prompt that leads to a protected code completion that was detected, but not filtered"}]     # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.
)

print(response)

Выходные данные

{ 
  "choices": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "protected_material_code": { 
          "citation": { 
            "URL": " https://github.com/username/repository-name/path/to/file-example.txt", 
            "license": "EXAMPLE-LICENSE" 
          }, 
          "detected": true,
          "filtered": false 
        }, 
        "protected_material_text": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "finish_reason": "stop", 
      "index": 0, 
      "message": { 
        "content": "Example model response will be returned ", 
        "role": "assistant" 
      } 
    } 
  ], 
  "created": 1699386280, 
  "id": "chatcmpl-8IMI4HzcmcK6I77vpOJCPt0Vcf8zJ", 
  "model": "gpt-35-turbo-instruct", 
  "object": "text.completion",
  "usage": { 
    "completion_tokens": 40, 
    "prompt_tokens": 11, 
    "total_tokens": 417 
  },  
  "prompt_filter_results": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "jailbreak": { 
          "detected": false, 
          "filtered": false 
        }, 
        "profanity": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "prompt_index": 0 
    } 
  ]
} 

В следующем фрагменте кода показано, как получить заметки при фильтрации содержимого:

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT") 
openai.api_version = "2024-03-01-preview" # API version required to use  Annotations
openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")

try:
    response = openai.Completion.create(
        prompt="<PROMPT>",
        engine="<MODEL_DEPLOYMENT_NAME>",
    )
    print(response)

except openai.error.InvalidRequestError as e:
    if e.error.code == "content_filter" and e.error.innererror:
        content_filter_result = e.error.innererror.content_filter_result
        # print the formatted JSON
        print(content_filter_result)

        # or access the individual categories and details
        for category, details in content_filter_result.items():
            print(f"{category}:\n filtered={details['filtered']}\n severity={details['severity']}")

JavaScript

Исходный код пакета SDK для JavaScript для Azure OpenAI и примеры

import { OpenAIClient, AzureKeyCredential } from "@azure/openai";

// Load the .env file if it exists
import * as dotenv from "dotenv";
dotenv.config();

// You will need to set these environment variables or edit the following values
const endpoint = process.env["ENDPOINT"] || "<endpoint>";
const azureApiKey = process.env["AZURE_API_KEY"] || "<api key>";

const messages = [
  { role: "system", content: "You are a helpful assistant. You will talk like a pirate." },
  { role: "user", content: "Can you help me?" },
  { role: "assistant", content: "Arrrr! Of course, me hearty! What can I do for ye?" },
  { role: "user", content: "What's the best way to train a parrot?" },
];

export async function main() {
  console.log("== Get completions Sample ==");

  const client = new OpenAIClient(endpoint, new AzureKeyCredential(azureApiKey));
  const deploymentId = "gpt-35-turbo"; //This needs to correspond to the name you chose when you deployed the model. 
  const events = await client.listChatCompletions(deploymentId, messages, { maxTokens: 128 });

  for await (const event of events) {
    for (const choice of event.choices) {
      console.log(choice.message);
      if (!choice.contentFilterResults) {
        console.log("No content filter is found");
        return;
      }
      if (choice.contentFilterResults.error) {
        console.log(
          `Content filter ran into the error ${choice.contentFilterResults.error.code}: ${choice.contentFilterResults.error.message}`
        );
      } else {
        const { hate, sexual, selfHarm, violence } = choice.contentFilterResults;
        console.log(
          `Hate category is filtered: ${hate?.filtered} with ${hate?.severity} severity`
        );
        console.log(
          `Sexual category is filtered: ${sexual?.filtered} with ${sexual?.severity} severity`
        );
        console.log(
          `Self-harm category is filtered: ${selfHarm?.filtered} with ${selfHarm?.severity} severity`
        );
        console.log(
          `Violence category is filtered: ${violence?.filtered} with ${violence?.severity} severity`
        );
      }
    }
  }
}

main().catch((err) => {
  console.error("The sample encountered an error:", err);
});

PowerShell

# Env: for the endpoint and key assumes that you are using environment variables.
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-03-01-preview' # this may change in the future
    name        = 'YOUR-DEPLOYMENT-NAME-HERE' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

$prompt = 'Example prompt where a severity level of low is detected'
    # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.

$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$body = [ordered]@{
    prompt    = $prompt
    model      = $openai.name
} | ConvertTo-Json

# Send a completion call to generate an answer
$url = "$($openai.api_base)/openai/deployments/$($openai.name)/completions?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
return $response.prompt_filter_results.content_filter_results | format-list

Объект $response содержит свойство с именем prompt_filter_results , содержащее заметки о результатах фильтра. Если вы предпочитаете JSON для объекта .NET, передайте выходные данные ConvertTo-JSON вместо Format-Listнего.

hate      : @{filtered=False; severity=safe}
self_harm : @{filtered=False; severity=safe}
sexual    : @{filtered=False; severity=safe}
violence  : @{filtered=False; severity=safe}

Дополнительные сведения о конечных точках REST API вывода для Azure OpenAI и создании чата и завершения см. в руководстве по REST API службы Azure OpenAI. Заметки возвращаются для всех сценариев при использовании любой предварительной версии API, начиная с 2023-06-01-preview, а также версии API общедоступной версии 2024-02-01.

Пример сценария: входной запрос, содержащий содержимое, классифицированное по отфильтрованной категории и уровню серьезности, отправляется в API завершения

{
    "error": {
        "message": "The response was filtered due to the prompt triggering Azure Content management policy. 
                   Please modify your prompt and retry. To learn more about our content filtering policies
                   please read our documentation: https://go.microsoft.com/fwlink/?linkid=21298766",
        "type": null,
        "param": "prompt",
        "code": "content_filter",
        "status": 400,
        "innererror": {
            "code": "ResponsibleAIPolicyViolation",
            "content_filter_result": {
                "hate": {
                    "filtered": true,
                    "severity": "high"
                },
                "self-harm": {
                    "filtered": true,
                    "severity": "high"
                },
                "sexual": {
                    "filtered": false,
                    "severity": "safe"
                },
                "violence": {
                    "filtered":true,
                    "severity": "medium"
                }
            }
        }
    }
}

Потоковая передача содержимого

В этом разделе описаны возможности потоковой передачи содержимого Azure OpenAI и параметры. При утверждении у вас есть возможность получать содержимое из API по мере его создания, а не ожидать фрагментов содержимого, которые были проверены для передачи фильтров содержимого.

По умолчанию.

Система фильтрации содержимого интегрирована и включена по умолчанию для всех клиентов. В сценарии потоковой передачи по умолчанию содержимое буферируется, система фильтрации содержимого выполняется в буферизованном содержимом, и ( в зависимости от конфигурации фильтрации содержимого) содержимое возвращается пользователю, если он не нарушает политику фильтрации содержимого (майкрософт по умолчанию или настраиваемую конфигурацию пользователя), или немедленно блокируется и возвращает ошибку фильтрации содержимого, без возврата вредного содержимого завершения. Этот процесс повторяется до конца потока. Содержимое полностью проверено в соответствии с политикой фильтрации содержимого перед возвратом пользователю. Содержимое не возвращается по маркеру в данном случае, но в "фрагментах содержимого" соответствующего размера буфера.

Асинхронный измененный фильтр

Клиенты, которые были утверждены для измененных фильтров содержимого, могут выбрать асинхронный измененный фильтр в качестве дополнительного варианта, предоставляя новый интерфейс потоковой передачи. В этом случае фильтры содержимого выполняются асинхронно, а содержимое завершения возвращается немедленно с гладкой потоковой передачей маркеров по маркерам. Содержимое не буферичено, что позволяет нулю задержки.

Клиенты должны знать, что, хотя функция повышает задержку, это компромисс против безопасности и проверки в режиме реального времени небольших разделов выходных данных модели. Так как фильтры содержимого выполняются асинхронно, сообщения con режим палатки ration и сигналы о нарушении политики задерживаются, что означает, что некоторые разделы вредного содержимого, которые в противном случае были бы отфильтрованы немедленно, могут отображаться пользователю.

Заметки: заметки и кон режим палатки рация сообщений постоянно возвращаются во время потока. Настоятельно рекомендуется использовать заметки в приложении и реализовывать дополнительные механизмы безопасности содержимого ИИ, такие как изменение содержимого или возврат дополнительных сведений о безопасности пользователю.

Сигнал фильтрации содержимого: отложен сигнал об ошибке фильтрации содержимого. В случае нарушения политики он возвращается как только он доступен, и поток останавливается. Сигнал фильтрации содержимого гарантируется в окне 1000 символов содержимого, нарушающего политику.

Утверждение для изменения фильтрации содержимого требуется для доступа к асинхронном измененном фильтру. Здесь можно найти приложение. Чтобы включить его в Azure OpenAI Studio, следуйте инструкциям по фильтру содержимого, чтобы создать новую конфигурацию фильтрации содержимого и выбрать асинхронный измененный фильтр в разделе "Потоковая передача".

Сравнение режимов фильтрации содержимого

Сравнить	Потоковая передача — по умолчанию	Потоковая передача — асинхронный измененный фильтр
Состояние	Общедоступная версия	Общедоступная предварительная версия
Пригодность	Все клиенты	Клиенты, утвержденные для изменения фильтрации содержимого
Включение	Включено по умолчанию, действие не требуется	Клиенты, утвержденные для фильтрации измененного содержимого, могут настроить его непосредственно в Azure OpenAI Studio (в рамках конфигурации фильтрации содержимого, примененной на уровне развертывания).
Модальность и доступность	Текст; все модели GPT	Текст; все модели GPT, кроме gpt-4-vision
Потоковая передача	Содержимое буферичено и возвращается в блоках	Нулевая задержка (без буферизации, фильтры выполняются асинхронно)
Сигнал фильтрации содержимого	Немедленное фильтрация сигнала	Отложенный сигнал фильтрации (до 1000 символов приращения)
Конфигурации фильтрации содержимого	Поддерживает значение по умолчанию и любой определяемый клиентом параметр фильтра (включая необязательные модели)	Поддерживает значение по умолчанию и любой определяемый клиентом параметр фильтра (включая необязательные модели)

Заметки и примеры ответов

Сообщение заметки запроса

Это то же самое, что и заметки по умолчанию.

data: { 
    "id": "", 
    "object": "", 
    "created": 0, 
    "model": "", 
    "prompt_filter_results": [ 
        { 
            "prompt_index": 0, 
            "content_filter_results": { ... } 
        } 
    ], 
    "choices": [], 
    "usage": null 
} 

Сообщение маркера завершения

Сообщения о завершении перенаправляются немедленно. Модерация не выполняется сначала, и изначально не предоставляются заметки.

data: { 
    "id": "chatcmpl-7rAJvsS1QQCDuZYDDdQuMJVMV3x3N", 
    "object": "chat.completion.chunk", 
    "created": 1692905411, 
    "model": "gpt-35-turbo", 
    "choices": [ 
        { 
            "index": 0, 
            "finish_reason": null, 
            "delta": { 
                "content": "Color" 
            } 
        } 
    ], 
    "usage": null 
} 

Сообщение заметки

Текстовое поле всегда будет пустой строкой, указывающей на отсутствие новых маркеров. Заметки будут иметь отношение только к уже отправленным маркерам. Может быть несколько заметок, ссылающихся на одни и те же маркеры.

"start_offset" и "end_offset" смещения с низкой степенью детализации в тексте (с 0 в начале запроса), чтобы пометить текст, к которому относится заметка.

"check_offset" представляет, сколько текста было полностью модерировано. Это монопольная нижняя граница "end_offset" значений будущих заметок. Это не уменьшается.

data: { 
    "id": "", 
    "object": "", 
    "created": 0, 
    "model": "", 
    "choices": [ 
        { 
            "index": 0, 
            "finish_reason": null, 
            "content_filter_results": { ... }, 
            "content_filter_raw": [ ... ], 
            "content_filter_offsets": { 
                "check_offset": 44, 
                "start_offset": 44, 
                "end_offset": 198 
            } 
        } 
    ], 
    "usage": null 
} 

Пример потока ответа (передает фильтры)

Ниже приведен реальный ответ на завершение чата с помощью асинхронного измененного фильтра. Обратите внимание, как заметки запроса не изменяются, маркеры завершения отправляются без заметок, а новые сообщения заметки отправляются без маркеров— они вместо этого связаны с определенными смещениями фильтра содержимого.

{"temperature": 0, "frequency_penalty": 0, "presence_penalty": 1.0, "top_p": 1.0, "max_tokens": 800, "messages": [{"role": "user", "content": "What is color?"}], "stream": true}

data: {"id":"","object":"","created":0,"model":"","prompt_annotations":[{"prompt_index":0,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}}}],"choices":[],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"role":"assistant"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":"Color"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" is"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" a"}}],"usage":null} 

... 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":44,"start_offset":44,"end_offset":198}}],"usage":null} 

... 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":"stop","delta":{}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":506,"start_offset":44,"end_offset":571}}],"usage":null} 

data: [DONE] 

Пример потока ответа (заблокирован по фильтрам)

{"temperature": 0, "frequency_penalty": 0, "presence_penalty": 1.0, "top_p": 1.0, "max_tokens": 800, "messages": [{"role": "user", "content": "Tell me the lyrics to \"Hey Jude\"."}], "stream": true}

data: {"id":"","object":"","created":0,"model":"","prompt_filter_results":[{"prompt_index":0,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}}}],"choices":[],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"role":"assistant"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":"Hey"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" Jude"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":","}}],"usage":null} 

... 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35- 

turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" better"}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":65,"start_offset":65,"end_offset":1056}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":"content_filter","content_filter_results":{"protected_material_text":{"detected":true,"filtered":true}},"content_filter_offsets":{"check_offset":65,"start_offset":65,"end_offset":1056}}],"usage":null} 

data: [DONE] 

Внимание

При активации фильтрации содержимого для запроса и "status": 400 получения в рамках ответа может потребоваться плата за этот запрос, так как запрос был оценен службой. Плата также будет взиматься при "status":200 получении "finish_reason": "content_filter". В этом случае запрос не имеет никаких проблем, но завершение, созданное моделью, было обнаружено нарушение правил фильтрации содержимого, что приводит к фильтрации завершения.

Рекомендации

При разработке приложения учитывайте приведенные ниже рекомендации, чтобы обеспечить удобство работы с приложением и свести к минимуму потенциальный вред.

• Определите, как следует обрабатывать сценарии, в которых пользователи отправляют запросы с содержимым, отфильтрованным по категории и уровню серьезности, или используют приложение не по назначению.
• Проверьте finish_reason, чтобы узнать, фильтруется ли завершение.
• Убедитесь, что в content_filter_result нет объекта ошибки (указывающего на то, что фильтры содержимого не применены).
• Если вы используете модель защищенного кода материала в режиме анотации, отобразите URL-адрес ссылки при отображении кода в приложении.

Следующие шаги

• Ознакомьтесь с дополнительными сведениями о базовых моделях, лежащих в основе Azure OpenAI.
• Примените для измененных фильтров содержимого с помощью этой формы.
• Фильтрация содержимого Azure OpenAI осуществляется с помощью Сейф содержимого Azure AI.
• Дополнительные сведения о понимании и устранении рисков, связанных с приложением, см . в обзоре методик ответственного ИИ для моделей Azure OpenAI.
• Узнайте больше о том, как данные обрабатываются в связи с фильтрацией содержимого и мониторингом злоупотреблений: данные, конфиденциальность и безопасность для Azure OpenAI Service.