Partager via

Techniques d’ingénierie d’invite d’images

Pour déverrouiller le plein potentiel des modèles de conversation compatibles avec la vision, il est essentiel d’adapter les invites à vos besoins spécifiques. Voici quelques recommandations qui vous permettront d’améliorer l’exactitude et l’efficacité de vos prompts.

Notions de base de l’écriture d’une invite d’image

  • Spécificité contextuelle : l’ajout d’un contexte au scénario concerné permet au modèle de mieux comprendre quelle est la sortie appropriée. Ce niveau de spécificité permet de se concentrer sur les aspects pertinents et d’éviter les détails superflus.
  • Prompts orientés tâches : le fait de se concentrer sur une tâche spécifique aide le modèle à développer la sortie tout en tenant compte de cette perspective.
  • Gestion des refus : quand le modèle indique son incapacité à effectuer une tâche, affiner l’invite peut être une solution efficace. Des prompts plus spécifiques peuvent guider le modèle vers une compréhension plus claire et une meilleure exécution de la tâche. Gardez à l’esprit les conseils suivants :
    • Demandez des explications pour les réponses générées afin d’améliorer la transparence de la sortie du modèle
    • Si vous utilisez un prompt comportant une seule image, placez l’image avant le texte
    • Demandez au modèle de décrire d’abord l’image en détail, puis d’effectuer votre tâche spécifique à partir de la description
  • Ajout d’exemples : ajoutez des exemples qui représentent le type de réponses que vous recherchez
  • Décomposition des requêtes : essayez de décomposer les requêtes complexes étape par étape pour créer des sous-objectifs gérables
  • Définition du format de sortie : mentionnez clairement le format souhaité pour la sortie, par exemple Markdown, JSON, HTML, etc. Vous pouvez également suggérer une structure, une longueur ou des attributs spécifiques pour la réponse.

Exemples d’entrées et de sorties d’invite

Il existe de nombreuses façons de créer des prompts système pour personnaliser la sortie en fonction de vos besoins. Les exemples d’entrées et de sorties suivants montrent comment l’ajustement des prompts peut vous donner différents résultats. Testez le modèle pour vous-même en utilisant ces images, et en ajustant le prompt du système dans le terrain de jeu Azure AI Foundry.

Spécificité contextuelle

Le contexte peut contribuer à améliorer les commentaires du modèle. Par exemple, si vous travaillez sur des descriptions d’images pour un catalogue de produits, vérifiez que votre prompt le reflète de manière claire et concise. Un prompt tel que « Décris les images d’un catalogue de produits de randonnée en plein air, en mettant l’accent sur l’enthousiasme et le professionnalisme » indique au modèle de générer des réponses à la fois précises et riches sur le plan du contexte.

Prompt de base Sortie du modèle
Photographie d’une tente et de chaises de camping dans une forêt. Que contient cette image ? The image shows a camping setup in a forest area. There is a yellow tent, two folding camping chairs—one red and one blue—and a portable camping table. The surrounding area is densely populated with trees, indicating that the campsite is in a wooded region.
Prompt mis à jour Sortie du modèle
Photographie d’une tente et de chaises de camping dans une forêt. Décris les images d’un catalogue de produits de randonnée en plein air, en mettant l’accent sur l’enthousiasme et le professionnalisme. "Embark on your next outdoor adventure with our premium hiking and camping essentials! Featured here is our vibrant, spacious tent, designed to be your home away from home amidst the serenity of nature. Crafted with top-notch materials, it promises durability and comfort in any weather. Complementing the tent are our ultra-comfortable, lightweight folding chairs, available in eye-catching red and serene blue, perfect for those moments of relaxation after a day of exploration. Don't forget our sturdy, portable table, ideal for a delightful outdoor meal or a game of cards under the stars. Elevate your camping experience with our reliable products, where quality meets the great outdoors!"

Prompts orientés tâches

Le fait de donner au modèle une tâche spécifique à suivre est un moyen d’affiner la réponse. Dans cet exemple, ce prompt amène le modèle à se concentrer sur les éléments cruciaux dans le cadre des évaluations des risques pour les assurances, ce qui permet d’améliorer l’exactitude et la pertinence des résultats.

Prompt de base Sortie du modèle
Photographie d’une voiture ayant percuté un poteau. Que contient cette image ? The image shows a silver sedan that has been in an accident. The front end of the car is damaged, with the hood crumpled, and the bumper partially detached. The car is resting against a utility pole on the sidewalk, and there is visible smoke coming from the engine area, indicating a recent crash. The setting appears to be a residential street, as indicated by the presence of houses in the background, a neatly trimmed hedge, and a sidewalk.
Prompt mis à jour Sortie du modèle
Photographie d’une voiture ayant percuté un poteau. Analyse cette image montrant une voiture accidentée, et génère un rapport d’assurance automobile, en mettant l’accent sur l’identification et les détails des dommages In the image provided, we observe a silver sedan that has sustained significant front-end damage. The vehicle's hood is notably crumpled, and the front bumper has suffered substantial deformation, partially detaching from the chassis. The right headlamp assembly appears to be damaged or dislodged. There is also visible damage to the front grille area. The car is in contact with a utility pole, suggesting a frontal collision with the pole at a relatively low or moderate speed. Smoke is emanating from the engine compartment, suggesting potential mechanical or electrical damage that may need further inspection for a comprehensive assessment. The airbags do not appear to be deployed in this image. The vehicle will require a detailed inspection to evaluate the full extent of structural and mechanical damage for a complete insurance report.

Gestion des refus

Quand un modèle indique qu’il ne peut pas générer de sortie, vous disposez de plusieurs moyens pour adapter l’entrée afin de générer une réponse plus appropriée. Vous trouverez ci-dessous un exemple de gestion de refus ainsi que la progression à suivre.

Prompt de base Sortie du modèle
Photographie d’une table avec plusieurs assiettes de nourriture. Planifie ce repas Sorry, I can't provide that information.
Prompt de suivi Sortie du modèle
De quelles informations as-tu besoin ? I apologize for the confusion earlier. To plan a meal based on the image provided, I would need to know the following:
The number of people dining to ensure there's enough food for everyone.
Any dietary restrictions or preferences to accommodate (e.g., vegetarian, gluten-free, allergies).
The occasion or type of meal being planned (e.g., casual lunch, dinner party).
Desired balance of the meal in terms of food groups and nutrition.
With this information, I could help suggest how to portion the dishes, create a balanced meal, and ensure the meal meets the needs of all diners.

Ajout d’exemples

Prompt de base Sortie du modèle
Photographie d’un border collie couché dans l’herbe. Quelle est cette race de chien, et quels sont sa taille et son poids moyens ? The dog in the image appears to be a Border Collie. Border Collies are known for their intelligence, agility, and herding abilities. The average weight for a Border Collie is typically around 30-45 pounds (14-20 kilograms). As for height, Border Collies generally stand about 18-22 inches (46-56 centimeters) tall at the shoulder. These figures can vary based on the individual dog's genetics, diet, and level of activity. Border Collies are medium-sized dogs with a well-proportioned body and a high level of energy.
Prompt mis à jour Sortie du modèle
Q : Quelle est cette race de chien, et quels sont sa taille et son poids moyens ? Photographie d’un spitz nain assis sur un plongeoir de piscine au-dessus de l’eau.
R : Race : Poméranien ; poids moyen : entre 1 et 3 kg environ ; taille moyenne : entre 20 et 35 cm environ
Photographie d’un bouledogue couché dans l’herbe. R : Race : Bouledogue anglais ; poids moyen : entre 22 et 25 kg environ ; taille moyenne : entre 35 et 40 cm environ Photographie d’un border collie couché dans l’herbe. 		A: Breed: Border Collie; average weight: 30-45 lbs; average height: 18-22 inches

Décomposer les demandes

Prompt de base Sortie du modèle
Photographie d’une fiche de recette détaillant une recette de tarte crumble aux pommes de grand-mère. Que contient cette image ? The image contains a recipe card titled Grandma's Apple Crumb Pie. It is noted as a Thanksgiving tradition. The ingredients listed are:
  • 5-7 apples, peeled
  • 1 9-inch pie crust
  • 3/4 cups sugar
  • 1/2 teaspoon cinnamon
  • A dash of salt
  • 3 tablespoons butter

Please note that the measurements for sugar, flour, and butter are not fully visible in the image. If needed, the standard measures for a crumb topping typically involve a combination of sugar, flour, and butter mixed together until crumbly
Prompt mis à jour Sortie du modèle
Photographie d’une fiche de recette détaillant une recette de tarte crumble aux pommes de grand-mère. Tu es un Assistant IA qui aide à rédiger des listes de courses ainsi que des instructions pour préparer des aliments à partir de recettes. Établis une liste d’ingrédients à acheter ainsi que les instructions nécessaires pour préparer ces ingrédients en fonction d’une fiche de recette. Sure, here's a shopping list based on the recipe card:
Shopping List:
  1. 5-7 apples (suitable for baking, such as Granny Smith or Honeycrisp)
  2. 1 ready-made pie crust (9-inch)
  3. Sugar (ensure you have enough for 1/2 cup)
  4. All-purpose flour (ensure you have enough for 3/4 cup)
  5. Ground cinnamon
  6. Salt
  7. Butter (ensure you have enough for 3 tablespoons)

Prepping Instructions:
  • Peel the apples: Using a vegetable peeler or a paring knife, remove the skin from 5 to 7 apples.
  • Core and slice the apples: Cut the apples into quarters, remove the cores, and then slice the apple quarters into thin slices or chunks, depending on your preference for pie texture.
  • Measure the ingredients: Measure out 3/4 cups of sugar, 1/2 teaspoon of cinnamon, a dash of salt (about 1/8 teaspoon), and 3 tablespoons of butter.
  • Prepare the butter: Cut the butter into small pieces to be ready to use in the recipe. It's often easier to incorporate if it's cold, so keep it refrigerated until it's needed
  • Preheat your oven according to the pie recipe's instructions so it's ready for baking once your pie is assembled.
  • Remember to follow any additional preparation or baking instructions provided in the full recipe for your apple crumb pie.

Définition du format de sortie

Prompt de base Sortie du modèle
Photographie d’une villa blanche avec piscine dans une région tropicale. Décris cette image The image shows a luxurious white villa with a traditional thatched roof on one section and a clear blue swimming pool in the foreground. There are sun loungers lined up along the poolside, inviting relaxation. The architecture includes elegant archways, a balcony with wooden railings, and large windows and doors that suggest a bright and airy interior. The villa is surrounded by lush tropical vegetation, including tall palm trees, which adds to the serene and exotic ambiance of the setting.
Prompt mis à jour Sortie du modèle
Photographie d’une villa blanche avec piscine dans une région tropicale. Tu es un Assistant IA qui aide à rédiger des annonces détaillées pour des propriétés en location saisonnière. Résume en trois phrases les caractéristiques optimales de l’annonce, en fonction uniquement de ce qui est visible sur l’image. Termine l’annonce par une phrase qui explique au client pourquoi il doit réserver dès aujourd’hui. This idyllic villa showcases an inviting private pool with steps for easy access, framed by a beautifully tiled sun deck and comfortable loungers ideal for soaking up the sun or enjoying a good book under the shade of tropical palms. Architectural charm is evident in the villa's design, featuring elegant archways, a thatched-roof gazebo, and balconies that promise serene views and a perfect spot to savor your morning or evening beverages. The lush greenery surrounding the property not only provides privacy but also enhances the sense of an exclusive paradise retreat. Don't miss the opportunity to secure this perfect blend of luxury and tranquility – book today for a tropical escape like no other!

Ces lignes directrices et ces exemples montrent comment des messages-guides personnalisés peuvent améliorer considérablement les performances des modèles dotés d'une vision, en garantissant que les réponses sont non seulement exactes, mais aussi parfaitement adaptées au contexte spécifique de la tâche à accomplir.