A/B-experimenten voor AI-toepassingen

Belangrijk

Items die in dit artikel zijn gemarkeerd (preview) zijn momenteel beschikbaar als openbare of persoonlijke preview. Deze preview wordt aangeboden zonder een service level agreement en we raden deze niet aan voor productieworkloads. Bepaalde functies worden mogelijk niet ondersteund of hebben mogelijk beperkte mogelijkheden. Voor meer informatie, zie Aanvullende Gebruiksvoorwaarden voor Microsoft Azure Previews.

Op het gebied van ai-toepassingsontwikkeling is A/B-experimenten ontstaan als een kritieke praktijk. Het maakt continue evaluatie van AI-toepassingen mogelijk, waarbij de impact, het risico en de kosten van het bedrijf in balans worden gebracht. Hoewel offline- en online evaluaties enkele inzichten bieden, moeten ze worden aangevuld met A/B-experimenten om ervoor te zorgen dat de juiste metrische gegevens worden gebruikt voor het meten van succes. A/B experimenten omvat het vergelijken van twee versies van een functie, prompt of model met behulp van functievlagmen of dynamische configuratie om te bepalen welke prestaties beter presteren. Deze methode is om verschillende redenen essentieel:

• Door modelprestaties te verbeteren : met A/B-experimenten kunnen ontwikkelaars systematisch verschillende versies van AI-modellen, algoritmen of functies testen om de meest effectieve versie te identificeren. Met gecontroleerde experimenten kunt u het effect van wijzigingen op belangrijke prestatiegegevens meten, zoals nauwkeurigheid, gebruikersbetrokkenheid en reactietijd. Met dit iteratieve proces kunt u het beste model identificeren, zodat u het beste kunt afstemmen en ervoor kunt zorgen dat uw modellen de best mogelijke resultaten leveren.
• Het verminderen van vooroordelen en het verbeteren van billijkheid : AI-modellen kunnen per ongeluk vooroordelen introduceren, wat leidt tot oneerlijke resultaten. Met A/B-experimenten kunt u deze vooroordelen identificeren en beperken door de prestaties van verschillende modelversies in verschillende gebruikersgroepen te vergelijken. Dit zorgt ervoor dat de AI-toepassingen eerlijk en billijk zijn en consistente prestaties bieden voor alle gebruikers.
• Het versnellen van innovatie - A/B experimenten bevordert een cultuur van innovatie door continue experimenten en leren te stimuleren. U kunt snel nieuwe ideeën en functies valideren, waardoor u minder tijd en resources besteedt aan onproductieve benaderingen. Dit versnelt de ontwikkelingscyclus en stelt teams in staat om innovatieve AI-oplossingen sneller op de markt te brengen.
• Gebruikerservaring optimaliseren - Gebruikerservaring is van cruciaal belang in AI-toepassingen. Met A/B-experimenten kunt u experimenteren met verschillende ontwerpen van gebruikersinterfaces, interactiepatronen en persoonlijke instellingen. Door feedback en gedrag van gebruikers te analyseren, kunt u de gebruikerservaring optimaliseren, waardoor AI-toepassingen intuïtiever en aantrekkelijker worden.
• Data-Driven Besluitvorming - A/B-experimenten biedt een robuust kader voor gegevensgestuurde besluitvorming. In plaats van te vertrouwen op intuïtieve of veronderstellingen, kunt u uw beslissingen baseren op empirisch bewijs. Dit leidt tot meer geïnformeerde en effectieve strategieën voor het verbeteren van AI-toepassingen.

Hoe past A/B-experimenten in de levenscyclus van de AI-toepassing?

A/B experimenten en offline evaluatie zijn beide essentiële onderdelen in de ontwikkeling van AI-toepassingen, die elk unieke doeleinden dienen die elkaar aanvullen.

Offline-evaluatie omvat het testen van AI-modellen met behulp van testgegevenssets om hun prestaties te meten op verschillende metrische gegevens, zoals fluency en coherentie. Nadat u een model hebt geselecteerd in de Azure AI Model Catalog of GitHub Model Marketplace, is offline evaluatie van preproductie cruciaal voor de eerste modelvalidatie tijdens integratietests, zodat u potentiële problemen kunt identificeren en verbeteringen kunt aanbrengen voordat u het model of de toepassing in productie implementeert.

Offline-evaluatie heeft echter de beperkingen. Het kan de complexe interacties die zich voordoen in praktijkscenario's niet volledig vastleggen. Dit is waar A/B experimenten in het spel komen. Door verschillende versies van het AI-model of UX-functies te implementeren voor live gebruikers, biedt A/B-experimenten inzicht in hoe het model en de toepassing in echte omstandigheden presteert. Dit helpt u inzicht te hebben in het gedrag van gebruikers, onvoorziene problemen te identificeren en de impact van wijzigingen op metrische gegevens voor modelevaluatie, operationele metrische gegevens (bijvoorbeeld latentie) en metrische gegevens van het bedrijf (bijvoorbeeld aanmeldingen van accounts, conversies, enzovoort) te meten.

Zoals wordt weergegeven in het diagram, is offline evaluatie essentieel voor de eerste modelvalidatie en verfijning, biedt A/B-experimenten de echte test die nodig is om ervoor te zorgen dat de AI-toepassing effectief en redelijk in de praktijk presteert. Samen vormen ze een uitgebreide benadering voor het ontwikkelen van robuuste, veilige en gebruiksvriendelijke AI-toepassingen.

AI-toepassingen schalen met Azure AI-evaluaties en online A/B-experimenten met behulp van CI/CD-werkstromen

We vereenvoudigen het evaluatie- en A/B-experimentenproces aanzienlijk met GitHub Actions die naadloos kunnen worden geïntegreerd in bestaande CI/CD-werkstromen in GitHub. In uw CI-werkstromen kunt u nu onze Azure AI Evaluation GitHub Action gebruiken om handmatige of geautomatiseerde evaluaties uit te voeren nadat wijzigingen zijn doorgevoerd met behulp van de Azure AI Evaluation SDK om metrische gegevens te berekenen, zoals samenhang en fluency.

Met behulp van de Online Experimentation GitHub Action (preview) kunt u A/B-experimenten integreren in uw werkstromen voor continue implementatie (CD). U kunt deze functie gebruiken om automatisch A/B-experimenten te maken en analyseren met ingebouwde metrische gegevens van ai-modellen en aangepaste metrische gegevens als onderdeel van uw CD-werkstromen na een geslaagde implementatie. Daarnaast kunt u de GitHub Copilot voor Azure-invoegtoepassing gebruiken om te helpen met experimenteren, metrische gegevens te maken en besluitvorming te ondersteunen.

Belangrijk

Online experimenteren is beschikbaar via beperkte toegang tot een preview. Toegang aanvragen voor meer informatie.

Azure AI-Partners

U kunt ook uw eigen A/B-experimentenprovider gebruiken om experimenten uit te voeren op uw AI-toepassingen. Er zijn verschillende oplossingen waaruit u kunt kiezen in Azure Marketplace:

Statsig

Statsig is een experimenteerplatform voor product-, engineering- en data science-teams die de functies die u bouwt, verbindt met de zakelijke metrische gegevens die u belangrijk vindt. Statsig zorgt voor automatische A/B-tests en experimenten voor web- en mobiele toepassingen, waardoor teams een uitgebreid overzicht krijgen van welke functies invloed hebben (en die niet zijn). Om het experimenteren met Azure AI te vereenvoudigen, heeft Statsig SDK's gepubliceerd die zijn gebouwd op basis van de Azure AI SDK en Deductie-API van Azure AI, waardoor Statsig-klanten gemakkelijker experimenten kunnen uitvoeren.

Andere aanbieders van A/B-experimenten

Split.io

Split.io kunt u functievlagmen instellen en veilig implementeren in productie, bepalen wie welke functies en wanneer ziet. U kunt ook elke vlag verbinden met contextuele gegevens, zodat u weet of uw functies het beter of slechter maken en zonder aarzeling handelen. Met de Microsoft-integraties van Split helpen we ontwikkelteams bij het beheren van functievlagmen, het bewaken van de releaseprestaties, het experiment en het weergeven van gegevens om doorlopende, gegevensgestuurde beslissingen te nemen.

LaunchDarkly

LaunchDarkly is een platform voor functiebeheer en experimenten dat is gebouwd met softwareontwikkelaars in gedachten. Hiermee kunt u functievlagmen op grote schaal beheren, A/B-tests en experimenten uitvoeren en geleidelijk software leveren om met vertrouwen te verzenden.

Verwante inhoud

• Azure AI Evaluation SDK