Rychlý start: Použití GPT-4 Turbo s vision na obrázcích a videích se službou Azure OpenAI - Azure OpenAI

Začněte zkoumat GPT-4 Turbo s možnostmi zpracování obrazu s využitím přístupu bez kódu prostřednictvím nástroje Azure OpenAI Studio.

Požadavky

Předplatné Azure. Vytvořte si ho zdarma.
Přístup k Azure OpenAI je udělován v požadovaném předplatném Azure. V současné době je přístup k této službě udělován pouze aplikací. Pokud chcete získat přístup k Azure OpenAI, vyplňte formulář na adrese https://aka.ms/oai/access. Pokud máte problém, otevřete problém v tomto úložišti a kontaktujte nás.
Prostředek služby Azure OpenAI s nasazeným modelem GPT-4 Turbo s vision. Dostupnost modelů GPT-4 a GPT-4 Turbo Preview najdete v dostupných oblastech. Další informace o vytváření prostředků najdete v průvodci nasazením prostředků.
Vylepšení zpracování obrazu (volitelné): Prostředek Azure Počítačové zpracování obrazu ve stejné oblasti jako prostředek Azure OpenAI na placené úrovni (S1).

Poznámka:

V současné době není podporováno vypnutí filtrování obsahu pro model GPT-4 Turbo s obrazem.

Přechod na Azure OpenAI Studio

Přejděte do Azure OpenAI Studia a přihlaste se pomocí přihlašovacích údajů přidružených k vašemu prostředku Azure OpenAI. Během nebo po přihlášení vyberte příslušný adresář, předplatné Azure a prostředek Azure OpenAI.

V části Správa vyberte Nasazení a Vytvořit GPT-4 Turbo s nasazením vision výběrem názvu modelu: gpt-4 a verze modelu vision-preview. Další informace o nasazení modelu najdete v tématu Průvodce nasazením prostředku.

V části Dětské hřiště vyberte Chat.

Hřiště

Na této stránce můžete rychle iterovat a experimentovat s možnostmi modelu.

Obecná pomoc s nastavením pomocníka, relacemi chatu, nastavením a panely najdete v rychlém startu chatu.

Zahájení chatovací relace pro analýzu obrázků nebo videa

V této chatové relaci dáváte asistentovi pokyn, aby porozuměl obrázkům, které zadáte.

Začněte tím, že v rozevíracím seznamu vyberete svůj GPT-4 Turbo s nasazením vision.
V podokně nastavení Pomocníka zadejte systémovou zprávu, která provede asistenta. Výchozí systémová zpráva je: "Jste asistent umělé inteligence, který pomáhá lidem najít informace." Systémovou zprávu můžete přizpůsobit obrázku nebo scénáři, který nahráváte.

Poznámka:

Doporučuje se aktualizovat systémovou zprávu tak, aby byla specifická pro úlohu, aby se zabránilo neužitečné odpovědi z modelu.
Uložte změny a po zobrazení výzvy k potvrzení aktualizace systémové zprávy vyberte Pokračovat.
V podokně relace chatu zadejte textovou výzvu, například "Popsat tento obrázek", a nahrajte obrázek s tlačítkem přílohy. Pro případ použití můžete použít jinou textovou výzvu. Pak vyberte Odeslat.
Prohlédněte si zadaný výstup. Pokud se chcete dozvědět víc, zvažte kladení následných otázek souvisejících s analýzou obrázku.

Vyčištění prostředků

Pokud chcete vyčistit a odebrat prostředek Azure OpenAI, můžete odstranit prostředek nebo skupinu prostředků. Odstraněním skupiny prostředků se odstraní také všechny ostatní prostředky, které jsou k ní přidružené.

V tomto článku můžete začít používat rozhraní REST API Azure OpenAI k nasazení a použití modelu GPT-4 Turbo s vision.

Požadavky

Předplatné Azure. Vytvořte si ho zdarma.
Přístup k Azure OpenAI je udělován v požadovaném předplatném Azure. V současné době je přístup k této službě udělován pouze aplikací. Pokud chcete získat přístup k Azure OpenAI, vyplňte formulář na adrese https://aka.ms/oai/access. Pokud máte problém, otevřete problém v tomto úložišti a kontaktujte nás.
Python 3.8 nebo novější verze
Následující knihovny Pythonu: requests, json.
Prostředek služby Azure OpenAI s nasazeným modelem GPT-4 Turbo s vision. Dostupnost modelů GPT-4 a GPT-4 Turbo Preview najdete v dostupných oblastech. Další informace o vytváření prostředků najdete v průvodci nasazením prostředků.
Vylepšení zpracování obrazu (volitelné): Prostředek Azure Počítačové zpracování obrazu ve stejné oblasti jako prostředek Azure OpenAI na placené úrovni (S1).

Poznámka:

V současné době není podporováno vypnutí filtrování obsahu pro model GPT-4 Turbo s obrazem.

Načtení klíče a koncového bodu

K úspěšnému volání rozhraní API Azure OpenAI potřebujete následující informace o prostředku Azure OpenAI:

Proměnná	Jméno	Hodnota
Endpoint	`api_base`	Hodnota koncového bodu se nachází v části Klíče a koncový bod vašeho prostředku na webu Azure Portal. Případně můžete tuto hodnotu najít v nabídce Azure OpenAI Studio>Hřiště>Zobrazení kódu. Ukázkový koncový bod je: `https://docs-test-001.openai.azure.com/`.
Klíč	`api_key`	Hodnota klíče se nachází také v části Klíče a koncový bod vašeho prostředku na webu Azure Portal. Azure vygeneruje dva klíče pro váš prostředek. Můžete použít kteroukoli hodnotu.

Na webu Azure Portal přejděte ke svému prostředku. V navigačním podokně vyberte v části Správa prostředků klíče a koncový bod. Zkopírujte hodnotu koncového bodu a hodnotu přístupového klíče. Můžete použít hodnotu KLÍČ 1 nebo KLÍČ 2 . Díky dvěma klíčům můžete bezpečně otáčet a znovu vygenerovat klíče, aniž by to způsobilo přerušení služeb.

Vytvoření nové aplikace v Pythonu

Vytvořte nový soubor Pythonu s názvem quickstart.py. V preferovaném editoru nebo integrovaném vývojovém prostředí (IDE) otevřete nový soubor.

Obsah quickstart.py nahraďte následujícím kódem.

# Packages required:
import requests 
import json 

api_base = '<your_azure_openai_endpoint>' 
deployment_name = '<your_deployment_name>'
API_KEY = '<your_azure_openai_key>'

base_url = f"{api_base}openai/deployments/{deployment_name}" 
headers = {   
    "Content-Type": "application/json",   
    "api-key": API_KEY 
} 

# Prepare endpoint, headers, and request body 
endpoint = f"{base_url}/chat/completions?api-version=2023-12-01-preview" 
data = { 
    "messages": [ 
        { "role": "system", "content": "You are a helpful assistant." }, 
        { "role": "user", "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url",
                "image_url": {
                    "url": "<image URL>"
                }
            }
        ] } 
    ], 
    "max_tokens": 2000 
}   

# Make the API call   
response = requests.post(endpoint, headers=headers, data=json.dumps(data))   

print(f"Status Code: {response.status_code}")   
print(response.text)

Proveďte následující změny:
1. Do příslušných polí zadejte adresu URL a klíč koncového bodu.
2. Do příslušného pole zadejte název nasazení GPT-4 Turbo s názvem nasazení Vision.
3. Změňte hodnotu "image" pole na adresu URL obrázku.
  
  Tip
  
  Místo adresy URL můžete použít také základní data obrázků s kódováním 64. Další informace najdete v průvodci postupy GPT-4 Turbo s obrazem.
Spusťte aplikaci pomocí python příkazu:
```
python quickstart.py
```

GPT-4 Turbo with Vision poskytuje exkluzivní přístup k vylepšením přizpůsobeným službám Azure AI. V kombinaci s Azure AI Vision vylepšuje vaše prostředí chatu tím, že model chatu poskytuje podrobnější informace o viditelném textu na obrázku a umístění objektů.

Integrace optického rozpoznávání znaků (OCR) umožňuje modelu vytvářet vysoce kvalitní odpovědi na zhuštěný text, transformované obrázky a finanční dokumenty náročné na čísla. Zahrnuje také širší škálu jazyků.

Integrace uzemnění objektů přináší novou vrstvu pro analýzu dat a interakci uživatelů, protože tato funkce dokáže vizuálně rozlišit a zvýraznit důležité prvky v obrázcích, které zpracovává.

Upozornění

Vylepšení Azure AI pro GPT-4 Turbo s vision se budou účtovat odděleně od základních funkcí. Každé konkrétní vylepšení Azure AI pro GPT-4 Turbo s vision má své vlastní odlišné poplatky. Podrobnosti najdete v informacích o speciálních cenách.

Obsah quickstart.py nahraďte následujícím kódem.

# Packages required:
import requests 
import json 

api_base = '<your_azure_openai_endpoint>' 
deployment_name = '<your_deployment_name>'
API_KEY = '<your_azure_openai_key>'

base_url = f"{api_base}openai/deployments/{deployment_name}" 
headers = {   
    "Content-Type": "application/json",   
    "api-key": API_KEY 
} 

# Prepare endpoint, headers, and request body 
endpoint = f"{base_url}/extensions/chat/completions?api-version=2023-12-01-preview" 
data = {
    "model": "gpt-4-vision-preview",
    "enhancements": {
        "ocr": {
          "enabled": True
        },
        "grounding": {
          "enabled": True
        }
    },
    "dataSources": [
    {
        "type": "AzureComputerVision",
        "parameters": {
            "endpoint": "<your_computer_vision_endpoint>",
            "key": "<your_computer_vision_key>"
        }
    }],
    "messages": [ 
        { "role": "system", "content": "You are a helpful assistant." }, 
        { "role": "user", 
        "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url", 
                "image_url": {
                    "url" : "<image URL>"
                }
            }
        ]} 
    ], 
    "max_tokens": 2000 
}   

# Make the API call   
response = requests.post(endpoint, headers=headers, data=json.dumps(data))   

print(f"Status Code: {response.status_code}")   
print(response.text)

Proveďte následující změny:
1. Do příslušného pole zadejte název nasazení GPT-4 Turbo s názvem nasazení Vision.
2. Do příslušných polí zadejte adresu URL a klíč koncového bodu Počítačové zpracování obrazu.
3. Změňte hodnotu "image" pole na adresu URL obrázku.
  
  Tip
  
  Místo adresy URL můžete použít také základní data obrázků s kódováním 64. Další informace najdete v průvodci postupy GPT-4 Turbo s obrazem.
Spusťte aplikaci pomocí python příkazu:
```
python quickstart.py
```

Vyčištění prostředků

Pokud chcete vyčistit a odebrat prostředek Azure OpenAI, můžete odstranit prostředek nebo skupinu prostředků. Odstraněním skupiny prostředků se odstraní také všechny ostatní prostředky, které jsou k ní přidružené.

V tomto článku můžete začít používat sadu Azure OpenAI Python SDK k nasazení a použití modelu GPT-4 Turbo s obrazem.

Balíček zdrojového kódu | knihovny (PyPi) |

Požadavky

Předplatné Azure. Vytvořte si ho zdarma.
Přístup k Azure OpenAI je udělován v požadovaném předplatném Azure. V současné době je přístup k této službě udělován pouze aplikací. Pokud chcete získat přístup k Azure OpenAI, vyplňte formulář na adrese https://aka.ms/oai/access. Pokud máte problém, otevřete problém v tomto úložišti a kontaktujte nás.
Python 3.8 nebo novější verze
Následující knihovny Pythonu: os
Prostředek služby Azure OpenAI s nasazeným modelem GPT-4 Turbo s vision. Dostupnost modelů GPT-4 a GPT-4 Turbo Preview najdete v dostupných oblastech. Další informace o vytváření prostředků najdete v průvodci nasazením prostředků.
Vylepšení zpracování obrazu (volitelné): Prostředek Azure Počítačové zpracování obrazu ve stejné oblasti jako prostředek Azure OpenAI na placené úrovni (S1).

Nastavení

Nainstalujte klientskou knihovnu OpenAI Pythonu pomocí:

pip install openai

Poznámka:

Tuto knihovnu udržuje OpenAI a aktuálně je ve verzi Preview. Informace o nejnovějších aktualizacích knihovny najdete v historii vydaných verzí nebo historii potvrzení version.py.

Načtení klíče a koncového bodu

K úspěšnému volání azure OpenAI potřebujete koncový bod a klíč.

Název proměnné	Hodnota
`ENDPOINT`	Tuto hodnotu najdete v části Klíče a koncový bod při zkoumání prostředku na webu Azure Portal. Případně můžete hodnotu najít v zobrazení kódu Azure OpenAI Studio>Playground>. Ukázkový koncový bod je: `https://docs-test-001.openai.azure.com/`.
`API-KEY`	Tuto hodnotu najdete v části Klíče a koncový bod při zkoumání prostředku na webu Azure Portal. Použít můžete předponu `KEY1` nebo `KEY2`.

Na webu Azure Portal přejděte ke svému prostředku. Oddíl Klíče a koncový bod najdete v části Správa prostředků. Zkopírujte koncový bod a přístupový klíč, protože budete potřebovat obojí pro ověřování volání rozhraní API. Použít můžete předponu KEY1 nebo KEY2. Vždy mít dva klíče vám umožní bezpečně otáčet a znovu vygenerovat klíče, aniž by to způsobilo přerušení služeb.

Proměnné prostředí

Vytvořte a přiřaďte trvalé proměnné prostředí pro klíč a koncový bod.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE"

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')
[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE"
export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE"

Vytvoření nové aplikace v Pythonu

Vytvořte nový soubor Pythonu s názvem quickstart.py. V preferovaném editoru nebo integrovaném vývojovém prostředí (IDE) otevřete nový soubor.

Obsah quickstart.py nahraďte následujícím kódem.

from openai import AzureOpenAI

api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
api_key= os.getenv("AZURE_OPENAI_API_KEY")
deployment_name = '<your_deployment_name>'
api_version = '2023-12-01-preview' # this might change in the future

client = AzureOpenAI(
    api_key=api_key,  
    api_version=api_version,
    base_url=f"{api_base}/openai/deployments/{deployment_name}"
)

response = client.chat.completions.create(
    model=deployment_name,
    messages=[
        { "role": "system", "content": "You are a helpful assistant." },
        { "role": "user", "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url",
                "image_url": {
                    "url": "<image URL>"
                }
            }
        ] } 
    ],
    max_tokens=2000 
)

print(response)

Proveďte následující změny:
1. Do příslušného pole zadejte název vašeho GPT-4 Turbo s nasazením Vision.
2. Změňte hodnotu "url" pole na adresu URL obrázku.
  
  Tip
  
  Místo adresy URL můžete použít také základní data obrázků s kódováním 64. Další informace najdete v průvodci postupy GPT-4 Turbo s obrazem.
Spusťte aplikaci pomocí python příkazu:
```
python quickstart.py
```

GPT-4 Turbo with Vision poskytuje exkluzivní přístup k vylepšením přizpůsobeným službám Azure AI. V kombinaci s Azure AI Vision vylepšuje vaše prostředí chatu tím, že model chatu poskytuje podrobnější informace o viditelném textu na obrázku a umístění objektů.

Integrace optického rozpoznávání znaků (OCR) umožňuje modelu vytvářet vysoce kvalitní odpovědi na zhuštěný text, transformované obrázky a finanční dokumenty náročné na čísla. Zahrnuje také širší škálu jazyků.

Integrace uzemnění objektů přináší novou vrstvu pro analýzu dat a interakci uživatelů, protože tato funkce dokáže vizuálně rozlišit a zvýraznit důležité prvky v obrázcích, které zpracovává.

Upozornění

Vylepšení Azure AI pro GPT-4 Turbo s vision se budou účtovat odděleně od základních funkcí. Každé konkrétní vylepšení Azure AI pro GPT-4 Turbo s vision má své vlastní odlišné poplatky. Podrobnosti najdete v informacích o speciálních cenách.

Obsah quickstart.py nahraďte následujícím kódem.

from openai import AzureOpenAI

api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
api_key= os.getenv("AZURE_OPENAI_API_KEY")
deployment_name = '<your_deployment_name>'
api_version = '2023-12-01-preview' # this might change in the future

client = AzureOpenAI(
    api_key=api_key,  
    api_version=api_version,
    base_url=f"{api_base}/openai/deployments/{deployment_name}/extensions",
)

response = client.chat.completions.create(
    model=deployment_name,
    messages=[
        { "role": "system", "content": "You are a helpful assistant." },
        { "role": "user", "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url",
                "image_url": {
                    "url": "<image URL>"
                }
            }
        ] } 
    ],
    extra_body={
        "dataSources": [
            {
                "type": "AzureComputerVision",
                "parameters": {
                    "endpoint": "<your_computer_vision_endpoint>",
                    "key": "<your_computer_vision_key>"
                }
            }],
        "enhancements": {
            "ocr": {
                "enabled": True
            },
            "grounding": {
                "enabled": True
            }
        }
    },
    max_tokens=2000
)

print(response)

Proveďte následující změny:
1. Do příslušného pole zadejte název nasazení GPT-4 Turbo s názvem nasazení Vision.
2. Do příslušných polí zadejte adresu URL a klíč koncového bodu Počítačové zpracování obrazu.
3. Změňte hodnotu "url" pole na adresu URL obrázku.
  
  Tip
  
  Místo adresy URL můžete použít také základní data obrázků s kódováním 64. Další informace najdete v průvodci postupy GPT-4 Turbo s obrazem.
Spusťte aplikaci pomocí python příkazu:
```
python quickstart.py
```

Vyčištění prostředků

Pokud chcete vyčistit a odebrat prostředek Azure OpenAI, můžete odstranit prostředek nebo skupinu prostředků. Odstraněním skupiny prostředků se odstraní také všechny ostatní prostředky, které jsou k ní přidružené.

Rychlý start: Použití obrázků v chatech AI

Upgrade modelu GPT-4 Turbo

Rozdíly mezi modely OpenAI a Azure OpenAI GPT-4 Turbo GA

Rozdíly od gpt-4 vision-preview

Spravovaná dostupnost zřízená pomocí GPT-4 Turbo

Regionální dostupnost

Nasazení GPT-4 Turbo s ga vision

Požadavky

Přechod na Azure OpenAI Studio

Hřiště

Zahájení chatovací relace pro analýzu obrázků nebo videa

Vyčištění prostředků

Požadavky

Načtení klíče a koncového bodu

Vytvoření nové aplikace v Pythonu

Vyčištění prostředků

Požadavky

Nastavení

Načtení klíče a koncového bodu

Proměnné prostředí

Vytvoření nové aplikace v Pythonu

Vyčištění prostředků

Další kroky

Další materiály