Test + Lær 2025: 6 viktige lærdommer for eksperimentering og digitale team

Det er offisielt: Test + Learn 2025 var nok en suksess, og den er tilbake i 2026. I år, 17. juni, går vi dypere inn i AI-agenter i eksperimentering, med Elena Verna tilbake som hovedtaler. Save the place.

Men først, oppsummeringen av 2025. Med eksperimenteringsledere og digitale optimalisatorer fra hele verden som fulgte med, holdt årets virtuelle Test + Learn-arrangement løftet om handlingsrettede konklusjoner du kunne implementere raskere enn du kan si "3, 2, 1 ... vi har oppstart!" 🚀

Det var det alt handlet om i år; å gjøre dagens tester om til morgendagens inntekter. Vi så merkevarer som Virgin Media O2, Vimeo, Chase, Yelp, ClassPass og andre dele tips om hvordan man bygger eksperimenteringsprogrammer som ikke bare kjører tester, men driver seriøs forretningsvekst.

For de som gikk glipp av arrangementet, ønsker en oppfriskning, eller bare ikke får nok, er her de seks viktigste lærdommene fra årets økter:

1) ☄️ Eksperimenteringsstrategien din er utslitt... men her er hvordan du spiller angrep (ikke bare forsvar)

Det har vært en økning på 55 % i eksperimenter som ble kjørt i 2024 sammenlignet med for to år siden, med forbløffende 900 milliarder testvisninger på Optimizely-plattformen i fjor. Det er omtrent to testvisninger per uke for hvert menneske på jorden!

Med noen harde sannheter, Elena Verna (ja, vekstmarkedsføringseksperten) blir med president i Optimizely, Shafqat Islam, for en skikkelig prat om et banebrytende rammeverk vi alle stjeler umiddelbart: "defensiv" versus "offensiv" eksperimentering.

Defensiv testing? Det er da konverteringsraten din synker, og du kjemper for å fikse den. Offensiv analyse hjelper deg med å avdekke fremtidige nye inntekter som du ennå ikke har, ved å finne ut hvorfor høypresterende kohorter lykkes og spre denne lærdommen.

Problemet? De fleste team bruker over 90 % av tiden sin på defensiv analyse, noe som fundamentalt sett gir mye lavere løft i resultatene dine.

Videre utfordret Elena hele produktutviklingssyklusen. Tradisjonelle team «leverer for å lansere», mens eksperimenteringsteam bør «levere for å validere». Dette betyr å hoppe over unødvendige designgjennomganger og overtenke, og bare teste raskere.

Bildekilde: Optimizely

Som hun sa det: «Det handler ikke om å ta den riktige avgjørelsen. Det handler om å ta den raskeste avgjørelsen, og testen vil fortelle deg om det er den riktige eller ikke.»

➡️ Elena er tilbake på Test + Learn 2026 den 17. juni med sitt ærlige syn på AI i eksperimentering. Save the place din.

2) 🛸 AI-revolusjonen er her (og vil gjøre mennesker til bedre testere)

Ifølge Deborah O'Malley, grunnlegger av GuessTheTest, er vi på "hele randen av et paradigmeskifte" med AI i eksperimentering.

Deborah gikk gjennom alle åtte stadier av eksperimentering – fra idéutvikling til optimalisering – og forklarte hvordan AI vil forbedre hver enkelt.

Dagene med stress over statistisk signifikans? Borte. Bruker du timevis på å skrive hypoteser manuelt? Automatisert. Ligger du oppe om natten og lurer på om testimplementeringen din er buggy? AI har deg.

Den mest spennende spådommen? Vi kommer ikke lenger til å feire ynkelige konverteringsøkninger på 1–2 %. Med AI-eksperimentering som kontinuerlig optimaliserer vinnende varianter, snakker vi om potensielle forbedringer på 15–20 % på gyldige statistisk signifikante utvalg.

Det menneskelige elementet er fortsatt kritisk. Vår intuisjon, empati og etiske tilsyn vil bli våre superkrefter. Som Deborah sa det, kan vi utvikle oss fra "eksperimentering eller CRO-revisor" til "AI-atferdsarkitekt" som vil "forme etiske og emosjonelle grenser for AI-forslag."

Hennes direkte råd? Slutt å klamre deg til «det er ikke der ennå» og omfavn det som kommer. «Hvis du har en optimaliseringstankegang og hvis du er villig til å tilpasse deg endringer, lære og vokse», vil ikke AI erstatte deg; den vil styrke deg.

3) 🌠 Forvent fiasko, omfavn læring: Hvordan Virgin Media skalerte fra 50 til 600 eksperimenter

Hvem visste at det å oppdra en seks måneder gammel datter og drive et eksperimenteringsprogram hadde så mye til felles?

Som Doychin Sakutov fra Virgin Media O2 sa det: «Alt med henne er et eksperiment. Du prøver noe, det fungerer, og så prøver du det samme, det fungerer ikke.» Utvalgsstørrelsen er for liten til å trekke konklusjoner! 👶

Gif-kilde: Lage en gif punktum com

Virgin Medias eksperimenthistorie fortjener sin egen Netflix-serie. For fem år siden? Triste 40–50 tester årlig, og finanssektoren krevde godkjenning for eksperimenter (skrekken!). I dag? De knuser det med 600 varianter i 2024 og allerede 200 bare i første kvartal 2025.

Deres "Automation Intelligence"-algoritme (ja, Doychins varemerkebeskytter den) for produktanbefalinger er den perfekte advarselen. Den presterte utmerket på én side, og matchet menneskelig handel. Naturligvis utvidet de den til flere sider og ... fullstendig fiasko! Algoritmen kunne ikke håndtere start/slutt av salgsperioder og oppførte seg ulikt på tvers av enheter.

Men her er innsikten fra Doychin: «Du går ikke dit for å vinne første gang. Du prøver bare og sørger for at du lærer hver eneste gang.»

4) 💫 Hvem bryr seg om klikk hvis det ikke siver ned til salg?

Madison Hajeb fra Tapestry (det globale merkevarehuset bak Coach, Kate Spade og Stuart Weitzman) la nettopp frem noen fantastiske innsikter om å koble data til inntekter.

Tidligere kunne teamet hennes si at «konverteringsraten gikk opp med to prosent», men kunne ikke si hva det gjorde med virksomheten som helhet. Nå, med warehouse-native analytics, kan teamet hennes nå gå direkte inn i datavarehuset deres for å se hvordan digitale eksperimenter påvirker alt fra returrater til atferd i butikk.

Når de for eksempel tester raskere fraktalternativer, kan de nå ikke bare se konverteringseffekten, men også leveringskostnader: "Var denne endringen spesifikt nyttig for bedriften, eller skadet den bedriften?"

Det beste? Ingen flere manuelle SQL-rapporter. "Før var vi forventet på tester med veldig høy synlighet ... folk vil vite 24 timer etter at det ble lansert, vi vil vite at det ikke faller utfor et stup." Nå oppdateres den automatisk hvert 15. minutt, noe som frigjør Madisons team til å utforske testing i fysiske butikker og andre innovasjoner.

Hennes råd til alle som starter sin lagerbaserte reise?

"Forstå nyansene i dataene dine ... men ikke bli skremt. Det var plug and play for oss på mange måter ... Hvis du ser før du hopper, hopper du noen ganger aldri."

5) 🪐 Fra forfengelighetsmålinger til forretningspåvirkning: Hva ClassPass og Chase UK måler nå

Når det gjelder målinger som betyr noe, Nina Bayatti (ClassPass) og Alexander Bock (Chase UK) delte hvordan programmene deres utviklet seg fra overfladiske målinger til reelle målinger av forretningsmessig effekt.

Bildekilde: Optimizely

Chase UKs reise hadde tydelige faser: Det første året handlet om kundeanskaffelse, det andre året utvidet seg til å spørre «gjør disse kundene nå de handlingene vi ønsker at de skal gjøre?», og det tredje året fokuserte på å «generere gode muligheter for dem ... som fører til at vi når våre kommersielle mål.»

ClassPass gjennomgikk et lignende skifte, og utviklet seg fra et markedsføringsfokusert program som testet «optimal meldingsgivning og bilder» til å jobbe med produkt-, ingeniør-, pris-, lager- og kundeopplevelsesteam. Nå bruker de SQL til å analysere «nedstrømsmålinger» som viser produktbruk og inntektspåvirkning etter registrering.

Alexander understreket viktigheten av standardisering: «Vi endte opp med å lage vårt eget interne statistikkbibliotek ... lage vårt eget metrikkbibliotek som er standardisert på en måte som gjør at vi kan ha et enkelt overblikk over de riktige metrikkdefinisjonene.» Hvorfor? «Så snart du begynner å bruke forskjellige definisjoner og rapportere forskjellige tall, oppstår det forvirring.»

Nina delte også sin tilnærming: «Vi har gått fra å fokusere på hvor mange tester vi kan kjøre ... til nå er det mange virkelig gjennomtenkte oppgaver som leder direkte tilbake til hva som er selskapets mål. Og hvis det ikke er det, spør vi oss selv hvorfor vi gjør det?»

6) 🚀 10 kraftfulle grep for å transformere eksperimenteringsprogrammet ditt (som du kan bruke i dag)

Sid Arora, leder for produkteksperimentering hos Yelp, ga 10 kraftige tips for å transformere eksperimenteringsprogrammet ditt fra statisk til strategisk.

Her er de:

1. «Gjør det alltid enkelt å kjøre eksperimenter.» Hvis teamet ditt synes testing er vanskelig, vil de ikke gjøre det.
2. «Mål det som betyr noe.» Sørg for at teamet ditt ikke jager forfengelighet eksperimenteringsmålinger.
3. «Knytt alltid eksperimenter til større bedriftsmål.» Hver test bør svare på «hva prøver vi å bevege oss på?»
4. «Start med en historie, ikke med statistikk.» Spør deg selv: «Hvilken historie vil dette eksperimentet hjelpe oss med å fortelle?»
5. «Bygg organisasjonens eksperimentminne.» Før en logg over hva som fungerte og hva som ikke gjorde det.
6. «La det alltid handle om læring.» Eksperimenter er ikke ment å bevise at du har rett – de handler om å bli smartere.
7. «Design for beslutninger.» Kjør bare tester hvis de vil bidra til å ta en klar og god beslutning.
8. "Gjør alltid miljøet ditt transparent og trygt for å ta feil." Team vil ikke ta risikoer hvis feil betyr skyld.
9. "Gjør 'Jeg tror' til 'la oss teste'." Dette dreper meninger og fokuserer på fakta.
10. "Lær team å stoppe dårlige tester tidlig." Hvis en test er ødelagt eller uklar, stopp den umiddelbart.

Sid spår tre store endringer med AI fremover: å gå fra enkel A/B til kompleks multivariat testing, bruke AI som en "eksperimenteringsstrateg" for å skanne tidligere tester for mønstre, og flytte fokus fra testhastighet til hvilket team som kan "lære raskest og sammensette disse lærdommene over tid."

Test + Lær 2026 er her

Årets arrangement lander 17. juni. To timer, fem økter, hvert trinn i eksperimenteringsreisen akselerert av AI. Elena Verna er tilbake i hovedtalen, sammen med team fra BBC, Salesforce, Huel, ASOS og Kingfisher.

Save din plass