Testa + Lär 2025: 6 viktiga lärdomar för experimenterande och digitala team

Det är officiellt: Test + Learn 2025 var ännu en succé, och det är tillbaka 2026. I år, den 17 juni, går vi djupare in på AI-agenter inom experiment, med Elena Verna som återvänder som huvudtalare. Boka din plats.

Men först, sammanfattningen av 2025. Med experimentledare och digitala optimerare från hela världen som tittade på, höll årets virtuella Test + Learn-evenemang sitt löfte om handlingsbara slutsatser som du kunde implementera snabbare än du kan säga "3, 2, 1... vi har liftoff!" 🚀

Det var vad det handlade om i år; att förvandla dagens tester till morgondagens intäkter. Vi såg varumärken som Virgin Media O2, Vimeo, Chase, Yelp, ClassPass och andra dela tips om hur man bygger experimentprogram som inte bara kör tester utan driver seriös affärstillväxt.

För er som missade evenemanget, vill ha en uppfriskning eller bara inte kan få nog, här är de sex viktigaste lärdomarna från årets sessioner:

1) ☄️ Er experimentstrategi är utsliten... men så här spelar ni offensivt (inte bara försvar)

Det har skett en ökning med 55 % av experiment som kördes 2024 jämfört med för två år sedan, med otroliga 900 miljarder testvisningar på Optimizely-plattformen förra året. Det är ungefär två testvisningar per vecka för varje människa på jorden!

Med några bistra sanningar, Elena Verna (ja, proffset för tillväxtmarknadsföring) ansluter sig till VD för Optimizely, Shafqat Islam, för ett riktigt samtal om ett banbrytande ramverk som vi alla stjäl omedelbart: "defensiv" kontra "offensiv" experimentering.

Defensiv testning? Det är då din konverteringsfrekvens sjunker och du kämpar för att fixa den. Offensiv analys hjälper dig att upptäcka framtida nya intäkter som du ännu inte har genom att ta reda på varför högpresterande kohorter lyckas och sprida dessa lärdomar.

Problemet? De flesta team spenderar 90%+ av sin tid på defensiv analys, vilket i grunden skapar en mycket lägre ökning av dina resultat.

Vidare utmanade Elena hela produktutvecklingscykeln. Traditionella team "levererar för att släppa" medan experimentteam borde "leverera för att validera". Detta innebär att hoppa över onödiga designgranskningar och övertänka och bara testa snabbare.

Bildkälla: Optimizely

Som hon uttryckte det: "Det handlar inte om att fatta rätt beslut. Det handlar om att fatta det snabbaste beslutet, och testet kommer att berätta om det är rätt eller inte."

➡️ Elena är tillbaka på Test + Learn 2026 den 17 juni med sin ärliga syn på AI i experiment. Spara din plats.

2) 🛸 AI-revolutionen är här (och kommer att göra människor till bättre testare)

Enligt Deborah O'Malley, grundare av GuessTheTest, är vi på "gränsen till ett paradigmskifte" med AI inom experiment.

Deborah gick igenom alla åtta steg av experiment – ​​från idégenerering till optimering – och förklarade hur AI kommer att förbättra vart och ett.

Dagarna då vi stressade över statistisk signifikans? Borta. Lägga timmar på att manuellt skriva hypoteser? Automatisera. Ligga uppe på natten och undra om din testimplementering är buggig? AI har dig.

Den mest spännande förutsägelsen? Vi kommer inte längre att fira ynka 1-2% konverteringsökningar. Med AI-experimentation som kontinuerligt optimerar vinnande varianter, talar vi om potentiella förbättringar på 15-20% på giltiga statistiskt signifikanta stickprov.

Den mänskliga faktorn är dock fortfarande avgörande. Vår intuition, empati och etiska tillsyn kommer att bli våra superkrafter. Som Deborah uttryckte det, kan vi utvecklas från "experimenterande eller CRO-revisor" till "AI-beteendearkitekt" som kommer att "forma etiska och emotionella gränser för AI-förslag."

Hennes raka råd? Sluta klamra dig fast vid "det är inte där än" och omfamna det som kommer. "Om du har ett optimeringsinriktat tankesätt och om du är villig att anpassa dig till förändringar och lära dig och växa", kommer AI inte att ersätta dig; det kommer att ge dig kraft.

3) 🌠 Förvänta dig misslyckanden, omfamna lärande: Hur Virgin Media skalade från 50 till 600 experiment

Vem kunde ana att det hade så mycket gemensamt att uppfostra en sex månader gammal dotter och driva ett experimentprogram?

Som Doychin Sakutov från Virgin Media O2 uttryckte det: "Allt med henne är ett experiment. Du provar något, det fungerar, och sedan provar du samma sak, det fungerar inte." Urvalsstorleken är för liten för att dra slutsatser! 👶

Gif-källa: Make a gif dot com

Virgin Medias experimenthistoria förtjänar en egen Netflix-serie. För fem år sedan? Sorgliga 40-50 tester årligen med finanssektorn som kräver godkännande för experiment (skräcken!). Idag? De krossar det med 600 varianter under 2024 och redan 200 bara under första kvartalet 2025.

Deras "Automation Intelligence"-algoritm (ja, Doychins varumärkesskyddade den) för produktrekommendationer är den perfekta varningssagan. Den presterade utmärkt på en sida, vilket matchade mänsklig handel. Naturligtvis utökade de den till fler sidor och... totalt misslyckande! Algoritmen kunde inte hantera försäljningsperioder som började/slutade och betedde sig olika mellan olika enheter.

Men här är insikten från Doychin: "Du går inte dit för att vinna första gången. Du försöker bara och ser till att du lär dig varje gång."

4) 💫 Vem bryr sig om klickfrekvensen om den inte leder till försäljning?

Madison Hajeb från Tapestry (det globala varumärkeshuset bakom Coach, Kate Spade och Stuart Weitzman) släppte just några fantastiska insikter om att koppla data till intäkter.

Tidigare kunde hennes team säga att "konverteringsfrekvensen ökade med två procent", men kunde inte säga vad det gjorde med verksamheten som helhet. Nu, med warehouse-native analytics, kan hennes team direkt få tillgång till deras datalager för att se hur digitala experiment påverkar allt från returfrekvenser till beteende i butik.

När de testar snabbare leveransalternativ kan de nu inte bara se konverteringseffekten utan även leveranskostnaderna: "Gynnade den här förändringen specifikt verksamheten eller skadade den verksamheten?"

Det bästa? Inga fler manuella SQL-rapporter. "Tidigare förväntades vi oss riktigt högvisibla tester... folk vill veta 24 timmar efter att det lanserats, vi vill veta att det inte faller utför ett stup." Nu uppdateras den automatiskt var 15:e minut, vilket frigör Madisons team för att utforska tester i fysiska butiker och andra innovationer.

Hennes råd till alla som börjar sin lagerbaserade resa?

"Förstå nyanserna i dina data... men bli inte skrämd. Det var plug and play för oss på många sätt... Om du ser innan du hoppar, hoppar du ibland aldrig."

5) 🪐 Från fåfänga-mått till affärspåverkan: Vad ClassPass och Chase UK mäter nu

När det gäller viktiga mätvärden, Nina Bayatti (ClassPass) och Alexander Bock (Chase UK) delade med sig av hur deras program utvecklades från ytliga mätvärden till verkliga mätningar av affärspåverkan.

Bildkälla: Optimizely

Chase UKs resa hade tydliga faser: första året handlade helt om kundförvärv, andra året utvidgades till att fråga "gör dessa kunder nu de åtgärder som vi vill att de ska göra?", och det tredje året fokuserade på att "generera bra möjligheter för dem... som leder till att vi uppnår våra kommersiella mål."

ClassPass genomgick en liknande förändring och utvecklades från ett marknadsföringsfokuserat program som testade "optimala budskap och bilder" till att arbeta med produkt-, teknik-, prissättnings-, lager- och kundupplevelseteam. Nu använder de SQL för att analysera "mätvärden nedåt i tratten" som visar produktanvändning och intäktspåverkan efter registrering.

Alexander betonade vikten av standardisering: "Vi skapade slutligen vårt eget interna statistikbibliotek... skapade vårt eget mätvärdesbibliotek som är standardiserat på ett sätt som gör att vi kan ha en enda bild av rätt mätvärdesdefinitioner." Varför? "Så fort man börjar använda olika definitioner och rapportera olika siffror uppstår förvirring."

Nina delade också med sig av sin strategi: "Vi har gått från att fokusera på hur många tester vi kan köra... till att det nu är många riktigt genomtänkta uppgifter som leder direkt tillbaka till vad företagets mål är. Och om det inte är det, frågar vi oss varför vi gör det?"

6) 🚀 10 kraftfulla tips för att omvandla ditt experimentprogram (som du kan använda idag)

Sid Arora, chef för produktexperiment på Yelp, gav 10 kraftfulla tips för att omvandla ditt experimentprogram från statiskt till strategiskt.

Här är de:

1. "Gör det alltid enkelt att köra experiment." Om ditt team tycker att testning är svårt kommer de inte att göra det.
2. "Mät det som är viktigt." Se till att ditt team inte jagar fåfänga experimentstatistik.
3. "Koppla alltid experiment till större företagsmål." Varje test bör svara på "vad försöker vi åstadkomma?"
4. "Börja med en berättelse, inte med statistik." Fråga dig själv: "Vilken berättelse kommer detta experiment att hjälpa oss att berätta?"
5. "Bygg organisationens experimentminne." För en logg över vad som fungerade och vad som inte gjorde det.
6. "Gör det alltid till en fråga om lärande." Experiment är inte avsedda att bevisa att du har rätt – de handlar om att bli smartare.
7. "Designa för beslut." Kör bara tester om de hjälper till att fatta ett tydligt och bra beslut.
8. "Gör alltid din miljö transparent och säker att ha fel." Team tar inte risker om misslyckande innebär att man skyller på dem.
9. "Förvandla 'Jag tror' till 'låt oss testa'." Detta dödar åsikter och fokuserar på fakta.
10. "Lär team att stoppa dåliga tester tidigt." Om ett test är trasigt eller oklart, stoppa det omedelbart.

Sid förutspår tre stora förändringar med AI framöver: att gå från enkel A/B till komplex multivariat testning, använda AI som en "experimentstrateg" för att skanna tidigare tester efter mönster, och flytta fokus från testhastighet till vilket team som kan "lära sig snabbast och komplettera dessa lärdomar över tid".

Test + Learn 2026 är här

Årets evenemang landar den 17 juni. Två timmar, fem sessioner, varje steg av experimentresan accelereras av AI. Elena Verna återvänder till huvudanförandet, tillsammans med team från BBC, Salesforce, Huel, ASOS och Kingfisher.

Boka din plats