En ovanligt stark första vecka kan göra det svårt att bedöma en ny kampanj i ChatGPT. Klickvolymen ser lovande ut och organisationen vill snabbt veta vilken budget kanalen förtjänar. Men den första responsen kan innehålla nyfikenhet på annonsen, intresse för ett tillfälligt erbjudande och köpbehov som redan fanns före lanseringen.
Nyhetseffekt är en möjlig förklaring till att responsen förändras när något blir bekant. Den är inte en diagnos som kan läsas direkt ur en fallande CTR-kurva. Här beskriver vi ett rekommenderat internt arbetssätt för att avgöra vilka observationer som behöver kompletteras innan en tidig framgång används som långsiktig prognos.
Skriv vad som faktiskt är nytt
Nyheten kan vara kanalen, annonsens budskap, produkten eller erbjudandet. Om allt introduceras samtidigt går det inte att veta vilken del som skapade den första responsen. Dokumentera därför vad kunden kunde möta före lanseringen och vad kampanjen tillförde.
Beskriv också den tänkta varaktigheten. En annons för en tidsbegränsad lansering kan vara framgångsrik även om effekten försvinner när erbjudandet löper ut. Ett beslut om löpande annonsering kräver däremot underlag från mer normala förhållanden. Det är olika affärsfrågor och bör få olika utvärderingsperioder.
Microsoft Research diskuterar hur experimentresultat kan förändras över tid. Den allmänna metodfrågan är relevant här: ett uppmätt resultat under en period är inte automatiskt en säker prognos för framtida kunder. Källan beskriver inte resultat från ChatGPT-annonser.
Följ affärsresponsen bredvid klickkurvan
Välj ett utfall som motsvarar budgetbeslutet, exempelvis kvalificerade förfrågningar eller genomförda köp efter returer. Klick kan hjälpa teamet förstå vad som händer, men hög aktivitet behöver inte innebära att fler relevanta kunder går vidare. En otydlig annons kan också ge nyfikna klick som inte leder till affär.
Anta hypotetiskt att tre veckor vardera ger 20 000 annonsvisningar. Klickantalet är 600, 400 och 300. CTR blir 3,0, 2,0 respektive 1,5 procent. Under lika långa uppföljningsfönster innehåller veckornas definierade klickkohorter 30, 28 och 27 kvalificerade leads.
Klickresponsen har halverats mellan första och tredje veckan, medan antalet kvalificerade leads minskat med 10 procent. Det motiverar en annan undersökning än påståendet att kampanjen tappat hälften av sin affärsnytta. Samtidigt kan tre veckor och små antal inte fastställa en stabil effekt. Exemplet är konstruerat för att skilja måtten åt, inte för att visa ett verkligt resultat.
Nyfikenhet och affärsrespons kan röra sig olika
- Vecka 1
600 klick ger 3 % CTR. 30 kvalificerade leads i den definierade kohorten.
- Vecka 2
400 klick ger 2 % CTR. 28 kvalificerade leads med samma bedömningsregel.
- Vecka 3
300 klick ger 1,5 % CTR. 27 kvalificerade leads, men osäkerheten återstår.
Jämför lika gamla kohorter
Ge varje grupp samma tid att hinna köpa eller kvalificeras. Om första veckans leads bedömts i två veckor och den senaste veckans bara i två dagar blir en nedgång delvis skapad av arbetsflödet. Spara både datum för första kontakt och datum för det affärsutfall som räknas.
Använd en tydlig regel för vilken kohort en person eller order tillhör och hur dubbletter hanteras. En återkommande besökare ska inte räknas som ny bara för att ett nytt rapportuttag görs. Kohorter för konverteringsgrad ger stöd för den avgränsningen.
OpenAI beskriver konverteringsspårning, men en spårad händelse är inte i sig ett bevis på varaktig påverkan. Vår rekommendation är att komplettera attribuerade utfall med företagets konsekventa regler för kvalitet och kundstatus. Var tydlig med vilka bedömningar som görs i ett eget CRM eller ordersystem.
Leta efter andra förändringar innan du förklarar kurvan
Kontrollera budget, bud, erbjudande, destination, lager och faktisk leverans. En högre budget kan föra in andra besökare. Ett ändrat formulär kan påverka leadkvaliteten. En långsam sida kan sänka konverteringen utan att annonsen blivit mindre intressant. Varje förklaring behöver egen dokumentation.
Granska även säsong och samtidiga händelser. Ett fall efter en lönehelg skiljer sig från att samma personer gradvis reagerar mindre på ett bekant budskap. En aggregerad veckorapport kan sällan avgöra vilken mekanism som gäller.
Undvik påståenden om exponering per individ om den nödvändiga informationen inte finns. Kalenderveckor sedan kampanjstart är inte samma sak som hur många gånger en viss person sett annonsen. Artikeln förutsätter ingen åtkomst till individuella exponeringshistoriker, frekvenskontroller eller inbyggd segmentering efter första annonskontakt.
Bestäm observationstiden före den första toppen
Ange i planen vilken inledande period som granskas för drift och vilken period som ska bära budgetbeslutet. Perioderna måste motiveras av köpresa, datamognad och rimliga kalendercykler. Det finns inget universellt antal dagar som gör nyhetseffekten färdig eller garanterar stabil respons.
En planerad separat analys av den första perioden kan vara användbar. Att efteråt ta bort de första dagarna för att en jämnare kurva ser mer trovärdig ut är däremot ett ändrat analysval. Bevara helheten och märk sådana omarbetningar som utforskande. Ett kvarvarande positivt medelvärde blir inte automatiskt kausalt.
Vid ett verkligt experiment behöver även precisionen för den senare perioden bedömas. En studie som dimensionerats för hela perioden kan sakna statistisk styrka för en mindre delmängd. Ett brett intervall kring den senare effekten betyder att frågan fortfarande är öppen, även om totalresultatet är positivt.
Välj nästa beslut utan att överdriva säkerheten
Spara jämförbara rapportuttag och skriv vad som talar för respektive emot en varaktig respons. Om leveransen varit stabil men affärsutfallet ännu är omoget kan nästa steg vara längre uppföljning. Om miljön förändrats behöver ett nytt test definiera den nya situationen.
En planerad upprepning av testet kan pröva om slutsatsen återkommer under relevanta förhållanden. Gör inte om alla delar samtidigt och kalla liknande totalsiffror en replikation. Det användbara slutbeskedet anger vilken respons som observerats, under vilken tid och vad som fortfarande måste visas innan budgeten byggs på den.
Källor och avgränsning
Skilja en möjlig tillfällig lanseringsrespons från en hållbar affärsrespons och välja vad som behöver följas upp före större budgetbeslut.
- OpenAI Ads: reportingLäst
- OpenAI Ads: conversion trackingLäst
- Microsoft Research: External Validity of Online ExperimentsLäst
- Microsoft Research: Patterns of Trustworthy Experimentation, During-Experiment StageLäst
Arbetsmetoder och exempel är redaktionella förslag. Kontrollera aktuella plattformsvillkor och funktioner inför genomförandet.