Ett annonstest kan ge fler klick, färre köp och större genomsnittliga order samtidigt. Om teamet först efteråt väljer vilket av dessa resultat som ska avgöra framgången blir slutsatsen beroende av vad som såg bäst ut. För annonser i ChatGPT rekommenderar vi därför ett kort, daterat mätprotokoll innan testets utfall blir tillgängliga. Protokollet ska göra det möjligt för en annan analytiker att förstå vilket beslut testet faktiskt skulle stödja.
Detta är en intern rekommenderad arbetsmetod. Texten beskriver ingen inbyggd funktion för förregistrering eller slumpmässig fördelning i ChatGPT Ads. Center for Open Science beskriver förregistrering som ett sätt att skilja förutbestämda analyser från analyser som uppstår efter att data har undersökts. Här tillämpar vi den principen på ett praktiskt annonsbeslut.
Börja med beslutet som måttet ska bära
Skriv först vad teamet kan tänkas ändra. Ett företag kanske ska välja mellan två versioner av bokningssidan efter ett klick på en annons i ChatGPT. Då är en bokningsrelaterad huvudfråga rimlig. Om testet i stället gäller själva annonsbudskapet måste måttet också fånga att budskapet kan förändra vilka personer som klickar. Konverteringsgrad bland klickare besvarar då en snävare fråga än effekten på hela den tilldelade målgruppen.
Fråga också vad ett positivt utfall ska leda till. Att behålla en billig textändring kräver ett annat affärsunderlag än att byta erbjudande, öka budgeten eller bygga om en bokningsprocess. Skriv den praktiskt betydelsefulla förbättringen i protokollet. Den ekonomiska gränsen behöver inte vara samma som den statistiska gränsen, och en liten statistiskt tydlig skillnad kan fortfarande sakna värde för verksamheten.
Gör måttet möjligt att räkna på ett enda sätt
Ett namn som ”kvalificerade leads” lämnar för mycket öppet. Ange vad som räknas som en kvalificering, vem som bedömer den, när bedömningen sker och hur ett redan känt företag behandlas. Ange även nämnaren. Andel tilldelade besökare med minst en kvalificerad förfrågan är ett annat mått än antal kvalificerade förfrågningar per klick.
OpenAI definierar post-click CVR som konverteringar delat med klick i rapporteringsdokumentationen. Det gör inte måttet till en andel unika personer. Om samma person klickar flera gånger, eller om flera händelser kan räknas, behöver er statistiska analys ta hänsyn till det. Bestäm måttet utifrån den data ni faktiskt har rätt och möjlighet att analysera.
Ange händelsens identitet, dedupliceringsregeln, eventuella undantag och den exporterade datakälla som ska användas. Konverteringsspårningens dokumentation förklarar hur konverteringshändelser kopplas till kampanjer. Er interna definition behöver dessutom beskriva vad verksamheten menar med ett giltigt utfall. Använd en gemensam begreppslista för rapportmått så att säljteam och analytiker inte omedvetet använder olika regler.
Ett hypotetiskt protokoll för en bokningssida
Anta att en annonsör själv kan genomföra ett korrekt randomiserat test på sin webbplats efter annonsklicket. Det är ett uttryckligt antagande i exemplet, inte en utlovad annonsfunktion. Varje behörig, ny besökare får en bestående tilldelning till sida A eller B. Primärt utfall är andelen tilldelade besökare med minst en bekräftad bokning inom sju dygn från första tilldelningen.
Protokollet säger att interna testbesök utesluts med en regel som fastställts före starten. Återkommande besök behåller ursprunglig tilldelning. Varje person kan bidra med högst ett positivt utfall. Analysen jämför B minus A i procentenheter, använder ett förutbestämt tvåsidigt intervall och väntar tills den sista inkluderade besökaren haft hela observationsfönstret. Sju dygn är ett hypotetiskt internt val, inte en uppgift om OpenAI:s attribueringsfönster.
Om A senare har 32 bokande av 800 tilldelade besökare är andelen 4 procent. Om B har 40 av 800 är den 5 procent. Skillnaden är 1 procentenhet och den relativa ökningen 25 procent. Dessa beräkningar avgör inte på egen hand om bytet är välgrundat. Protokollet styr vilket osäkerhetsintervall och vilken affärsgräns som ska användas, enligt arbetssättet för konfidensintervall i annonstester.
Från bokningsmål till låst definition
- Välj enhet
En tilldelad besökare får högst ett positivt bokningsutfall.
- Bestäm fönstret
Sju dygn från tilldelning är exemplet, inte ett plattformsfönster.
- Räkna samma utfall
32/800 = 4 %. 40/800 = 5 %. Skillnad: 1 procentenhet.
- Bedöm enligt planen
Jämför osäkerhetsintervallet och affärsgränsen innan införande.
Bestäm vad de andra måtten får säga
Klick, avbrutna formulär och sidladdningstid kan hjälpa teamet förstå en förändring. Skriv att dessa mått är diagnostiska om de inte ska avgöra huvudfrågan. Ange också vilka skyddsmått som kan stoppa ett införande, exempelvis felaktiga bokningar eller en oacceptabel belastning på säljarna. Ett skyddsmått ska ha ett bestämt syfte, inte fungera som ett extra sätt att utropa vinnare.
Undvik att kalla flera mått primära utan en tydlig analysplan. Om både antal bokningar, bokningsvärde och kvalificerade bokningar får ge en positiv slutsats behöver beslutsregeln hantera flera prövningar. En enkel rekommendation för ett litet team är att välja ett primärt utfall och beskriva resten öppet som kompletterande information. Det gör avvägningen begriplig även för den som inte har skrivit analysen.
Lås versionen, inte möjligheten att lära
Spara protokollet med tidpunkt, ansvarig, underlag och en versionsbeteckning som finns kvar. En redigerbar fil utan historik visar inte vad teamet bestämde före resultaten. Låt gärna någon som inte producerar annonserna läsa definitionerna och försöka räkna ett litet syntetiskt exempel. Två olika svar avslöjar en oklarhet innan den kostar testbudget.
Om en spårningsbugg upptäcks ska den rättas. Dokumentera då vad som var fel, vilken data som redan setts och hur rättningen påverkar huvudanalysen. Skriv inte över den gamla planen och låtsas att allt var bestämt från början. Ett oförutsett mönster kan vara värdefullt, men det blir en ny hypotes som behöver prövas med nya data.
Vid resultatmötet ska protokollet ligga bredvid rapporten. Redovisa det planerade utfallet även om ett annat mått är mer tilltalande. Beskriv därefter avvikelser, kompletterande fynd och det faktiska affärsbeslutet. Då kan teamet både lära av annonseringen och se vilka slutsatser som var planerade innan utfallet var känt.
Källor och avgränsning
Välja och dokumentera ett primärt utfall innan ett avgränsat test av annonsering i ChatGPT börjar.
- OpenAI Ads: ReportingLäst
- OpenAI Ads: Conversion TrackingLäst
- Center for Open Science: PreregistrationLäst
Arbetsmetoder och exempel är redaktionella förslag. Kontrollera aktuella plattformsvillkor och funktioner inför genomförandet.