Rapporten om agentisk AI-eksperimentering

Rapporten om agentisk AI-eksperimentering

900 selskaper. 47 000 interaksjoner. Ett funn: AI sin påvirkning sitter fast på individnivå

AI tar det første kontaktpunktet.

Kjøpere sammenligner alternativer i AI-verktøy. Når noen lander på nettstedet ditt, er de allerede informerte. Klare til å kjøpe.

Det er grunnen til at hver opplevelse teller – stadig færre søk ender med et klikk.

Men å forbedre disse opplevelsene krever arbeid. Hvert eksperiment trenger research, hypotesevalidering, variasjonsutvikling, gjennomføring, overvåking og analyse. Hvert steg venter på noen.

Så du gjør kompromisser. Tester bare de største ideene. Lar mindre muligheter hope seg opp. Venter på entydige resultater.

At AI kan hjelpe er ingen nyhet. Men du har prøvd AI og har sannsynligvis støtt på en utfordring vi ser på tvers av merkevarer:

Hvordan få AI til å fungere pålitelig, i stor skala og med ansvarlighet og styring?

For å finne et svar på dette problemet med å skalere med AI analyserte vi data fra 47 000 Optimizely Opal-interaksjoner og 900 selskaper.

58.74%

av all agentbruk er eksperimentering.

Om forskningen vår

Innsiktene våre er hentet fra tre primære datakilder:

1

Interne Optimizely Opal-data: Analyserte bruksdata fra 47 000 Optimizely Opal-interaksjoner fra kunder som tok i bruk Optimizely Opal etter den offentlige lanseringen, inkludert mønstre for funksjonsadopsjon, brukeratferd og målbare prestasjonsresultater.

2

Kundehistorier fra tidlige brukere: Førstehåndsinnblikk fra nesten 900 Optimizely Opal-brukere som belyser implementeringserfaringene deres, utfordringer de har overvunnet og de konkrete resultatene som er oppnådd.

3

Bransjeundersøkelser: Tredjeparts forskning og undersøkelser fra ledende selskaper som McKinsey og Gartner, som gir ekstern kontekst rundt bredere AI-adopsjonstrender og transformasjoner innen markedsføring.

900 selskaper. 47 000 Optimizely Opal-interaksjoner.

Fungerer AI for eksperimentering?

Team som bruker agenter gjennom hele livssyklusen slipper å velge lenger. De får begge deler. Flere eksperimenter og høyere vinnrater.

+ 78,66 % opprettede eksperimenter
+ 2,38 % avsluttede eksperimenter
+ 24,05 % opprettede personaliseringskampanjer
+ 11,97 % avsluttede personaliseringskampanjer
+ 9,26 % vinnrate
+ 1,38 % konklusive rate

Hva gjør disse teamene annerledes?

De innser at den virkelige effekten av AI-eksperimentering ligger i å bruke agenter gjennom hele eksperimenteringslivssyklusen for å forbedre gjennomføringen.

  • 6,8 % oppsummeres av agenter.
  • 19,54 % er oppfølginger drevet av agentanbefalinger

Opprettelse øker først. Når team tar inn AI-agenter i gjennomføring og analyse, følger avslutningsrater og vinnrater etter.

Slik arbeider de nå

  • Topp 10 %: 60+ interaksjoner
  • Topp 1 %: 198+ interaksjoner

Bransjer: Detaljhandel (17,4 %), Programvare (11,8 %), Finansielle tjenester (9,6 %). I tillegg helsevesen, utdanning og forsikring.

Hvem gjør dette: Det er ikke alle avanserte team med sofistikerte teknologistakker. 37 % er på mellomnivå. 12 % er i en tidlig fase. De startet der du er nå.

Alle disse fantastiske resultatene, og likevel kan ikke merkevarer skalere AI-utfall. Her er grunnen.

De fleste team er én arbeidsflyt unna resultater som disse, men uten riktig system forblir hver suksess et engangsfenomen.

10.95%

av eksperimenter starter med agentgenererte ideer

Alle har AI. Få har systemet for å skalere det.

Nesten alle bruker AI. Nesten ingen kan skalere implementeringen.

80 % sitter fast i pilotprosjekter eller har ikke sett noen vesentlige fremskritt. Bare 8 % anser seg selv som avanserte med AI.

De fleste team bruker AI til enkeltoppgaver. Skrive utkast raskere. Det hjelper enkeltpersoner, men endrer ikke hvordan programmet kjøres.

Mer bruk = bedre gjennomføring, ikke bare flere starter

Dataene våre viser at oppstigningskurven for avsluttede eksperimenter er brattere enn for opprettede eksperimenter. Mer bruk betyr ikke bare flere startede tester. Det betyr flere tester som når handlingsbare resultater.

Hvorfor? Agenter håndterer de operative stegene som får tester til å stagnere midtveis i syklusen:

  • Gjøre ideer om til strukturerte planer, slik at tester ikke venter på at noen skal skrive dem opp
  • Bygge variasjoner, slik at tester ikke sitter fast i utviklingskøer
  • Oppsummere resultater og anbefale neste steg, slik at innsikt ikke dør i presentasjoner

Robinson Club bygde denne typen system. Michael Richter trente agenter til å generere produksjonsklare landingssider, revidere innhold for konsistens og sammenligne konkurrenter – og gjorde oppgaver som tok dager om til sekunder.

Resultatet: €4M+ inntekter fra eksperimentering, skalert over fem TUI-merkevarer og ti språk. Ikke ved å øke antall ansatte. Ved å bygge inn agenter i hele livssyklusen.

I samtaler med dem som bruker Agentisk AI innså vi at teamene som sliter deler tre problemer:

Teamene i disse dataene løste alle tre. De sluttet å behandle AI som et verktøy og begynte å bygge det inn i hele arbeidsflyten.

Slik ser det ut.

1

Ingen definert prosess: Agenter uten arbeidsflyter gir inkonsistente resultater. Ulike mennesker, ulike utdata. Bruken avhenger av hvem som husker å åpne verktøyet.

2

Ingen orkestrering: Verktøy som ikke er koblet sammen skaper flere overleveringer, ikke færre. Du sparer tid i ett steg, men mister den i koordineringen av det neste.

3

Ingen styring: Kvaliteten varierer avhengig av hvem som skriver promptene. Ingen kontrollpunkter. Ledelsen bekymrer seg for hva som faktisk leveres.

€4M+

dokumenterte inntekter fra eksperimentering

AI sitter fast på individuelt produktivitetsnivå

En idé kommer inn via et forespørselsskjema. Den går gjennom gjennomførbarhetssjekk. Prioriteres mot backlogen. Noen skriver eksperimentbriefingen. Utvikling tar den opp. QA sjekker den. Den lanseres. Resultater kommer inn. Noen analyserer. Bestemmer hva som skjer videre.

Hvor det stopper opp:

  • Ideer venter på den ene personen som skriver briefinger
  • Utvikling tar 2 sprintar per variasjon, pluss 2 dagers ledetid bare for å bli prioritert
  • Hver variasjon krever 0,5 timer manuell nøyaktighetssjekk
  • Analyse avhenger av hvem som har tid den uken
  • Oppfølgingsideer ligger i Slack-tråder

Hvis det ser kjent ut, vil du også kjenne igjen disse:

1

Godkjenningssirkler: Det samme leveringstilfellet går frem og tilbake. Gjennomgangskommentarer som motsier fjorukas tilbakemeldinger.

2

Eierskap som mangler: Ideer uten eiere. Resultater deles i Slack, oppfølginger opprettes aldri. Vinnende tester som ikke skaleres fordi det ikke er noens oppgave å skalere dem.

3

Inkonsistens: Samme briefing, ulike utdata avhengig av hvem som tar den opp.

4

Manglende tillit: AI-modeller kan hallusinere, mistolke kontekst og endre atferd over tid. Agentbeslutninger er vanskelige å spore, så det føles som en svart boks hver gang det kjøres.

Disse ineffektivitetene er grunnene til at AI sitter fast på individuelt produktivitetsnivå i stedet for å endre programmet.

For å løse dette orkestrerer Optimizely Opal AI-agenter nå brukstilfeller på tvers av arbeidsflytene dine og skalerer påvirkningen din uten å skalere kostnadene.

Fase Hva som skjedde Arbeidsflyttagent
Idégenerering 5–10 ideer per måned, begrenset av én persons kapasitet Ideation Agent genererer 2–5 testbare ideer per forespørsel
Briefing Dager å skrive en strukturert plan Planning Agent strukturerer på sekunder
Utvikling 2 sprintar + 2 dagers ledetid per variasjon Variation Agent bygger uten kø
QA Manuell sjekk, 0,5 timer per variasjon Review Agent flagger problemer før lansering
Analyse Venter på at noen skal skrive det opp Summary Agent anbefaler neste steg
Utforskning SQL-spørringer, analytikerbehov Data Query Agent svarer på vanlig norsk

Og slik kan du aktivere Optimizely Opal-agenter på tvers av arbeidsflyten for opplevelseoptimalisering:

Bildekilde: Optimizely

Når gjennomføring blir billig, blir klarhet mangelvare

Greg Sherwin tilbrakte tid i et partikkelfysikklaboratorium før karrieren innen eksperimentering. Han tenker på statistisk støy og usikkerhet annerledes enn de fleste i denne bransjen.

På det nylige webinaret om AI innen optimalisering la han frem en provokasjon det er verdt å tenke over.

Knapphet forsvinner ikke. Den endrer form.

Hver gang en flaskehals fjernes, dukker det opp en ny et annet sted. AI gjør det samme med eksperimentering. Den første halvdelen av syklusen er i stor grad løst. Men presset forsvinner ikke. Det forflytter seg nedstrøms.

Booking.com har kjørt tusenvis av eksperimenter parallelt i mange år. Forrige måned publiserte de et paper om det.

Ett funn skilte seg ut: 80 % av eksperimentene hadde ingen effektberegning. Fire av fem tester kjøres uten å vite om de har nok data til å oppdage noe reelt.

Utvalgsstørrelsesberegningen ingen gjennomfører. Metrikkontrollen som hoppes over. Det er de første tingene som faller bort når volumet øker. Og de er de som avgjør om noe av det var verdt å kjøre.

Programmene som leder an optimaliserer ikke for gevinster. De optimaliserer for læring. Standardiserte mål, forhåndsregistrerte hypoteser, beslutningslogger. Hastighet uten den strukturen akkumuleres ikke. Den bare hoper seg opp.

Dette er nøyaktig det problemet arbeidsflyttagenter er bygget for å løse.

Hva som gjør arbeidsflyttagenter annerledes

Du har brukt AI til å skrive en hypotese. Oppsummere et resultat. Brainstorme ideer.

Se for deg at et test avsluttes. Agenten ser det. Oppsummerer resultatet. Identifiserer mønsteret. Genererer oppfølgingsideer forankret i de historiske dataene dine. Utarbeider planer i ditt format. Setter dem i kø for gjennomgang.

Du spurte ikke. Det kjørte bare.

En chatbot svarer når du ber om det. En arbeidsflyttagent utfører. En chatbot starter på nytt hver gang. En arbeidsflyttagent husker.

Agenter støtter seg på to typer minne:

  • Øktskontekst: Den gjeldende testen. Nylige resultater. Det du har delt.
  • Organisasjonskunnskap: Rammeverkene dine. Tidligere læring. Hva som ser bra ut for teamet ditt.

Bildekilde: Optimizely

Optimizely Opal har nå innebygd eksperimenteringskontekst. Det kjenner til de eksisterende eksperimentene dine, mål, feature flags og programhistorikk.

"Jeg tror Opal har all konteksten innen Optimizely, noe som er veldig nyttig. Det vet hva eksperimentet er. Vi kan faktisk gi det nettstedet vårt, og det kan generere noen gode ideer om hvilke tester vi bør kjøre."

Anonym, Digital Personalization Manager, Globalt detaljhandelskonglomerat, klær og tilbehør

Det betyr at ideene det genererer ikke er generiske – de bygger på det du allerede har bevist. Testplanene det lager følger formatet ditt. Innsiktene det avdekker kobler til mønstre på tvers av programmet ditt, ikke bare enkeltresultater.

Lær prinsippene for å designe arbeidsflyttagenter

Uten kontekst får du generiske utdata som trenger mye redigering. Med kontekst får du resultater forankret i virksomheten din. Konsistente på tvers av teamet. Forbedres jo mer arbeid som flyter gjennom.

Opplevelseoptimalisering er bygget på sammenkoblede steg.

Og det er grunnen til at metodikken vår i Optimizely er forankret i Human Centered Design. Vi startet med å kartlegge virkelige eksperimenteringsprosesser, identifisere reelle friksjonspunkter og designe løsninger som utfyller, ikke forstyrrer eksisterende arbeidsflyter.

Siden lanseringen i mai 2025 har nesten 900 selskaper tatt i bruk Optimizely Opal for å bygge inn AI i markedsføringsarbeidsflytene sine. Topp-brukere inkluderer Diligent, Robinson Club, Elite Hotels of Sweden og Road Scholar, som representerer over 2 milliarder USD i årlige inntekter.

"Som et enpersonsteam teller hver time. Optimizely Opal sparer ikke bare tid for meg—den leverer verdifull innsikt på minutter. Ved hjelp av rammeverkene våre gir den ideer og anbefalinger som stemmer perfekt med eksperimenteringsmålene våre."

Michael Ritchter, Manager Conversion Optimization & UX | E-Commerce, TUI Hotel brands

Hvorfor dette fungerer

Eksperimenteringskontekst lever nå i Optimizely Opal. Ikke bare tidligere resultater. Aktive tester.

Hva som kjøres. Hva som ikke har blitt avsluttet. Du kan spørre:

«Hvilke tester har ikke blitt avsluttet ennå?»

«Bør vi pause denne?»

«Gi meg testideer for denne siden.»

Optimizely Opal viser det du vil se. Videre er kostnad, verdi og tillit bygget inn i systemet fra starten.

1

Kostnad: AI oppfører seg som infrastruktur, ikke som programvare. Bruken skaleres, kostnadene skaleres. Optimizely Opal er bygget for å levere verdi som er beregningskostnadene verdt, ikke samle tokens på oppgaver som ikke gjør en forskjell.

2

Verdi: Hastighet, automatisering og færre feil er ikke alltid verdileverandører. Å løse det rette problemet er det. Optimizely Opal-agenter er tilordnet reelle arbeidsflytflaskehalser i opplevelseoptimaliseringen din, ikke generiske brukstilfeller. Hvis det ikke sparer tid eller forbedrer resultater, leveres det ikke.

3

Tillit: Modeller hallusinerer. Agenter tar beslutninger som er vanskelige å spore. Tillit er ikke en innstilling du slår på. Det er beskyttelsesrekker, verifisering og menneskelige kontrollpunkter bygget inn i systemet. Du velger ditt autonominivå. Du kontrollerer hva som leveres. AI håndterer arbeidet som tar deg dit.

Vi har derfor utformet arbeidsflyttagentene våre slik at du beholder kontrollen.

Modell Hvordan det fungerer Bruk når
Agent-assisted Agenten støtter, du kontrollerer Utforske nye testområder
Human-in-the-loop Agenten fullfører steget, venter på godkjenning Strategiske beslutninger, merkevare-kritiske tester
Human-on-the-loop Agenten kjører, du overvåker Etablerte testmønstre
Full automatisering Agenten håndterer ende-til-ende Lav risiko, høyt volum (f.eks. grunnleggende personaliseringsregler)

 

50%

mer output ved å ta i bruk arbeidsflyttagenter (Optimizely Opal AI-rapport)

Arbeidsflyttagenter i praksis

De fleste AI-verktøy er utenfor arbeidsflyten din. Kopier. Lim inn. Skriv prompt. Kopier. Lim inn.

Optimizely-agenter jobber inne i verktøyene du allerede bruker. De kjenner til de tidligere testene dine. Ytelsesdataene dine. Rammeverkene dine. Når de produserer noe, er det allerede der det trenger å være.

1. Agent for eksperimentideer

Kjør flere tester uten å øke antall ansatte.

Denne agenten henter mønstre fra 127 000+ eksperimenter. Lim inn en URL, del målene dine, få ideer forankret i hva som har fungert.

18%

flere opprettede tester. 33 % raskere kjøretider.

0:00 / 0:00

Det finnes også Idea Builder. Den bor inne i selve eksperimentoppsettet. Intet separat verktøy. Ingen prompt å skrive. Den leser siden du bygger på og henter fra programmets historikk på egen hånd. Åpne oppsettskjermen, og ideene er allerede der.

2. Personaliseringsagent

Avdekk høyverdige personaliseringsmuligheter per segment.

Denne agenten analyserer atferdsmønstre. Viser deg hvilke målgrupper som responderer på hva. Identifiserer der målretting faktisk vil endre utfall.

3. Eksperimentplanleggingsagent

Fra hypotese til lanserklar plan på sekunder med planleggingsagenten.

Målgrupper. Primære og sekundære mål. Beskyttelsesrekker. Kjøretid til statistisk signifikans. Det som tidligere tok en time med koordinering mellom analytiker, PM og utvikler.

19%

raskere å starte eksperimenter. 25 % raskere til statistisk signifikans.

4. Agent for variasjonsutvikling

Slutt å vente på utvikling. Ideen din ligger i backlogen. Inntekter forblir utestet. Klikk på elementet. Beskriv hva du vil ha. Se det skrive koden.

0:00 / 0:00

Ingen kø. Ingen avhengighet. Ingen venting på neste sprint med agenten for variasjonsutvikling.

5. Eksperimentgjennomgangagent

Fang opp oppsettproblemer før du kaster bort trafikk.

Rett før lansering. Er målrettingen riktig? Er målene konfigurert korrekt? Agenten gjennomgår oppsettet ditt i sanntid. Flagger problemer. Foreslår rettelser.

0:00 / 0:00

6. Agent for resultatsammendrag

Resultatene er inne. Den eksperimentoppsummerende agenten gjennomgår målene dine. Genererer et sammendrag. Anbefaler neste steg: lansere, forlenge eller prøve noe nytt.

Ingen innsikter som samler støv i dashboards mens noen skal skrive dem opp.

7. AI-utforskningsgenerator

Still et spørsmål på vanlig norsk. Få dashbordet. 

Ingen SQL. Ingen venting på analytikeren. Bare svaret med AI i analyse.

0:00 / 0:00

Avsluttende bemerkninger

AI endrer allerede hvordan kunder finner deg. Teamene som vinner vil være de som optimaliserer opplevelser for hver besøkende som faktisk lander.

Team som bygger inn AI i hele livssyklusen kjører 78 % flere eksperimenter og ser 9 % bedre vinnrater. De kjører ikke bare flere tester. De lærer raskere enn alle andre.

Du kan fortsette å bruke AI til engångsoppgaver. Eller ta kontakt med oss for en personalisert demo for å:

1

Kartlegge AI-arbeidsflyten din og finne flaskehalsene

2

Tilpasse agenter til stegene som stopper opp

3

Starte der AI-påvirkning er høy og innsatsen er lav