Uwaga
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Zestaw narzędzi AI Toolkit for VS Code (AI Toolkit) to rozszerzenie VS Code, które umożliwia pobieranie, testowanie, dostosowywanie i wdrażanie modeli sztucznej inteligencji za pomocą aplikacji lub w chmurze. Aby uzyskać więcej informacji, zobacz omówienie zestawu narzędzi AI Toolkit.
Jedną z kluczowych funkcji zestawu narzędzi AI Toolkit jest Konstruktor monitów. Prompt Builder to narzędzie, które ułatwia tworzenie, edytowanie i testowanie poleceń do modeli sztucznej inteligencji. Zapewnia przyjazny dla użytkownika interfejs do tworzenia monitów i umożliwia:
- Tworzenie, edytowanie i testowanie monitów
- Tworzenie monitów generowanych przez sztuczną inteligencję
- Generowanie danych wyjściowych o ustalonej strukturze dla aplikacji przy użyciu wstępnie zdefiniowanego modelu
- Generowanie kodu dla interakcji z monitami na podstawie zapytania i modelu w przestrzeni roboczej
Uwaga / Notatka
Dodatkowa dokumentacja i samouczki dotyczące zestawu narzędzi AI Toolkit for VS Code są dostępne w VS Code dokumentacji: AI Toolkit for Visual Studio Code. Znajdziesz wskazówki dotyczące placu zabaw, pracy z modelami sztucznej inteligencji, dostrajaniem modeli lokalnych i opartych na chmurze i nie tylko.
W tym artykule dowiesz się, jak:
- Pobieranie, ładowanie i praca z lokalnym modelem małego języka (SLM) opartym na procesorze Phi 3.5 Mini
- Tworzenie, edytowanie i testowanie monitów przy użyciu modelu lokalnego
- Tworzenie danych wyjściowych ze strukturą przy użyciu wstępnie zdefiniowanego schematu
- Generowanie kodu w języku Python w celu uruchomienia modelu przy użyciu podanych monitów
Wymagania wstępne
- VS Code należy zainstalować. Aby uzyskać więcej informacji, zobacz Pobieranie VS Code i rozpoczynanie pracy z VS Codeprogramem .
Podczas korzystania z funkcji sztucznej inteligencji zalecamy zapoznanie się z tematem Tworzenie odpowiedzialnych aplikacji i funkcji generatywnej sztucznej inteligencji w systemie Windows.
Instalowanie
Zobacz Rozpoczęcie pracy z zestawem narzędzi AI Toolkit — instrukcje dotyczące instalacji.
Wybieranie modelu lokalnego
W tej sekcji dowiesz się, jak załadować model SLM oparty na procesorze Phi 3.5 Mini. Zestaw narzędzi AI Toolkit dla VS Code obsługuje modele lokalne, które są uruchamiane na komputerze lokalnym oraz modele oparte na chmurze, które są hostowane w chmurze.
Otwórz widok AI Toolkit (VS Code Zestaw narzędzi AI), wybierając ikonę AI Toolkit (Zestaw narzędzi AI) na pasku działań po stronie okna.
W widoku AI Toolkit (Zestaw narzędzi AI) wybierz element Prompt Builder w sekcji Narzędzia w okienku po lewej stronie.
W widoku Konstruktor monitów wybierz przycisk Przeglądaj modele , aby otworzyć katalog modeli.
Wyszukaj wartość Phi 3.5 w katalogu modeli. Model Phi 3.5 Mini (CPU — Mały, Szybki, Dokładny) powinien pojawić się na liście w sekcji Modele ONNX .
Wybierz przycisk Dodaj , aby dodać model do obszaru roboczego. Model zostanie pobrany i dodany do sekcji Moje modele w okienku po lewej stronie.
Po zakończeniu pobierania modelu wróć do widoku Prompt Builder .
Wprowadź następujący monit w polu tekstowym Monit systemowy :
You are a professor of marine biology at a respected university. Answer the following questions as best you can.Wprowadź następujący monit w polu tekstowym Monit użytkownika :
Please provide a concise list of 10 types of marine mammals that live in the Pacific Ocean.Wybierz przycisk Uruchom , aby uruchomić model z podanymi monitami.
Model wygeneruje odpowiedź na podstawie podanych monitów. Odpowiedź zostanie wyświetlona w polu tekstowym Odpowiedź .
Jeśli chcesz uściślić wyniki, masz kilka opcji:
- Zmodyfikuj monit systemowy lub monit użytkownika i uruchom ponownie zapytanie dotyczące modelu.
- Wybierz pozycję Dodaj monit , aby dodać nowy monit do pola tekstowego Monit użytkownika . Pozwoli to utworzyć bardziej złożone zapytanie z wieloma monitami.
- Wybierz Użyj odpowiedzi jako monitu asystenta, aby użyć jako kontekst, aby wspomóc prowadzenie zachowania modelu.
- Powtórz dowolną kombinację powyższych kroków, dopóki nie uzyskasz żądanych wyników.
Wybierz przycisk Wyświetl kod , aby wygenerować kod języka Python, który używa zestawu SDK do uruchomienia modelu z podanymi monitami. Wygenerowany kod zostanie wyświetlony na nowej karcie edytora. Kod będzie wyglądać podobnie do następującego:
"""Run this model in Python > pip install openai """ from openai import OpenAI client = OpenAI( base_url = "http://localhost:5272/v1/", api_key = "unused", # required for the API but not used ) response = client.chat.completions.create( messages = [ { "role": "system", "content": "You are a professor of marine biology at a university", }, { "role": "user", "content": [ { "type": "text", "text": "Please provide a concise list of 10 types of marine mammals that live in the Pacific Ocean.", }, ], }, ], model = "Phi-3.5-mini-cpu-int4-awq-block-128-acc-level-4-onnx", max_tokens = 256, frequency_penalty = 1, ) print(response.choices[0].message.content)Jeśli chcesz uruchomić wygenerowany kod, upewnij się, że masz zainstalowane wymagane zależności. Wymagane zależności można zainstalować przy użyciu pip.
Wygenerowany kod można uruchomić w środowisku języka Python. Aby uzyskać więcej informacji na temat instalowania i rozpoczynania pracy z językiem Python w systemie Windows, zobacz Wprowadzenie do języka Python w systemie Windows dla początkujących.
Narzędzie Prompt Builder to zaawansowane narzędzie do tworzenia i udoskonalania monitów dotyczących modeli sztucznej inteligencji. Służy do szybkiego iterowania monitów i testowania różnych odmian w celu znalezienia najlepszych wyników. Aby uzyskać bardziej szczegółowe omówienie narzędzia Prompt Builder i jego funkcji, zobacz Prompt engineering in AI Toolkit.