Share via

Rychlý start: Začínáme používat GPT-4 Turbo s vision na obrázcích a videích v Azure AI Studiu

  • Článek

Důležité

Některé funkce popsané v tomto článku můžou být dostupné jenom ve verzi Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.

V tomto článku můžete začít používat Azure AI Studio k nasazení a otestování modelu GPT-4 Turbo s vision.

GPT-4 Turbo s vision a Azure AI Vision nabízejí pokročilé funkce, mezi které patří:

  • Optické rozpoznávání znaků (OCR): Extrahuje text z obrázků a kombinuje ho s výzvou uživatele a obrázkem k rozbalení kontextu.
  • Uzemnění objektů: Doplňuje GPT-4 Turbo s textovou odezvou zpracování obrazu s objektem uzemnění a obrysy objektů ve vstupních obrázcích.
  • Video prompts: GPT-4 Turbo with Vision může odpovídat na otázky načtením snímků videa, které jsou pro výzvu uživatele nejrelevantní.

Při použití GPT-4 Turbo s vision a funkcí Azure AI Vision se můžou účtovat další poplatky za využití.

Požadavky

  • Předplatné Azure – Vytvořte si ho zdarma.
  • Přístup k Azure OpenAI je udělován v požadovaném předplatném Azure. V současné době je přístup k této službě udělován pouze aplikací. Pokud chcete získat přístup k Azure OpenAI, vyplňte formulář na adrese https://aka.ms/oai/access. Pokud máte problém, otevřete problém v tomto úložišti a kontaktujte nás.
  • Jakmile budete mít předplatné Azure, vytvořte prostředek Azure OpenAI .
  • Centrum AI Studio s prostředkem Azure OpenAI přidaným jako připojení.

Příprava médií

K dokončení rychlých startů image potřebujete obrázek. Tento ukázkový obrázek nebo jakýkoli jiný obrázek, který máte k dispozici, můžete použít.

Fotka nehody auta, která se dá použít k dokončení rychlého startu

V případě výzev k videu potřebujete video, které je delší než tři minuty.

Nasazení modelu GPT-4 Turbo s využitím vision

  1. Přihlaste se k Azure AI Studiu a vyberte centrum, ve které chcete pracovat.
  2. V levé navigační nabídce vyberte Služby AI. Vyberte panel Vyzkoušet GPT-4 Turbo .
  3. Na stránce gpt-4 vyberte Nasadit. V zobrazeném okně vyberte prostředek Azure OpenAI. Vyberte vision-preview jako verzi modelu.
  4. Vyberte Nasadit.
  5. Pak přejděte na stránku nového modelu a vyberte Otevřít v dětském hřišti. V chatovacím hřišti by mělo být v rozevíracím seznamu Nasazení vybrané nasazení GPT-4, které jste vytvořili.

V této chatové relaci dáváte asistentovi pokyn, aby pomohl pochopit obrázky, které zadáte.

  1. V textovém poli Systémová zpráva na kartě Systémová zpráva zadejte tuto výzvu k vedení asistenta: "You're an AI assistant that helps people find information." Můžete přizpůsobit výzvu k vašemu obrázku nebo scénáři.
  2. Výběrem možnosti Použít změny uložte provedené změny.
  3. V podokně relace chatu vyberte tlačítko přílohy a pak nahrajte obrázek. Zvolte svůj obrázek.
  4. Do pole chatu přidejte následující otázku: "Describe this image"a pak vyberte ikonu šipky vpravo, kterou chcete odeslat.
  5. Ikona šipky vpravo je nahrazena tlačítkem Zastavit. Pokud ho vyberete, pomocník vaši žádost přestane zpracovávat. V tomto rychlém startu nechte asistenta dokončit odpověď.
  6. Asistent odpoví popisem obrázku.
  7. Položte následnou otázku související s analýzou vašeho obrázku. Mohl bys vstoupit, "What should I highlight about this image to my insurance company?".
  8. Měla by se zobrazit relevantní odpověď podobná této: 
    When reporting the incident to your insurance company, you should highlight the following key points from the image:  

1. **Location of Damage**: Clearly state that the front end of the car, particularly the driver's side, is damaged. Mention the crumpled hood, broken front bumper, and the damaged left headlight.  

2. **Point of Impact**: Indicate that the car has collided with a guardrail, which may suggest that no other vehicles were involved in the accident.  

3. **Condition of the Car**: Note that the damage seems to be concentrated on the front end, and there is no visible damage to the windshield or rear of the car from this perspective.  

4. **License Plate Visibility**: Mention that the license plate is intact and can be used for identification purposes.  

5. **Environment**: Report that the accident occurred near a roadside with a guardrail, possibly in a rural or semi-rural area, which might help in establishing the accident location and context.  

6. **Other Observations**: If there were any other circumstances or details not visible in the image that may have contributed to the accident, such as weather conditions, road conditions, or any other relevant information, be sure to include those as well.  

Remember to be factual and descriptive, avoiding speculation about the cause of the accident, as the insurance company will conduct its own investigation.

Zobrazení a export kódu

V libovolném okamžiku chatové relace můžete povolit přepínač Zobrazit nezpracovaný JSON v horní části okna chatu a zobrazit konverzaci formátovanou ve formátu JSON. Tady je, jak vypadá na začátku chatové relace rychlého startu:

[
	{
		"role": "system",
		"content": [
			"You are an AI assistant that helps people find information."
		]
	},
]

Vyčištění prostředků

Abyste se vyhnuli zbytečným nákladům na Azure, měli byste odstranit prostředky, které jste vytvořili v tomto rychlém startu, pokud už nejsou potřeba. Ke správě prostředků můžete použít Azure Portal.

Další kroky