En ny kampanjansvarig öppnar en rapport märkt ”test slutligt”. Där finns en grön procentsats men ingen förklaring av vad som ändrades, varför några dagar saknas eller vilken sida som faktiskt visades. Det är då svårt att använda resultatet för nästa kampanj med annonser i ChatGPT. En experimentlogg ska göra beslutets underlag begripligt även för någon som inte deltog i mötena.
Loggen kan ligga i ett internt dokument, kalkylblad eller annat system som teamet redan använder. Strukturen här är vår rekommendation, inte en utlovad funktion i ChatGPT Ads eller AthillyAds. Målet är att nästa ansvariga ska kunna följa vägen från avsikt till observation och handling utan att behöva gissa.
Ge experimentet en identitet utanför kampanjen
Skapa ett bestående test-ID, exempelvis EXP-2026-014, och håll det skilt från kampanjnamnet. Ett test kan beröra flera kampanjobjekt, och en kampanj kan finnas kvar under flera efterföljande undersökningar. Namnet ”ny rubrik” är för otydligt för att skilja dessa förlopp åt efter några månader.
Koppla test-ID:t till aktuella konto-, kampanj-, annonsgrupps- och annons-ID:n där de behövs. OpenAI rekommenderar stabila ID:n i dokumentationen om kampanjhantering. Lägg även till destinationens version och identifieraren för eventuellt separat testverktyg. Den senare kopplingen ska inte antyda att annonsplattformen har gjort randomiseringen.
Skriv vem som äger frågan och vem som får fatta beslut. Det kan vara olika personer. Ange också vem som kan återställa sidan, ändra kampanjens status och förklara datan. En logg som bara har en författare men saknar ansvar för nästa steg lämnar över ett dokument, inte ett färdigt arbetssätt.
Bevara planen som den såg ut före start
Planposten ska beskriva en konkret förändring, jämförelsealternativet och varför skillnaden kan påverka det valda utfallet. Ange population, tilldelningsenhet och analysenhet. Om regioner tilldelas behandling men tusentals visningar registreras ska loggen inte låta visningarna framstå som tusentals oberoende tilldelningar.
Spara huvudmåttets täljare och nämnare med ord, inte bara förkortningen CVR. ”Kvalificerade företag delat med tilldelade företag” är något annat än ”registreringar delat med klick”. Beskriv observationstid, exkluderingar, affärströskel, stoppregel och planerad analys. Hänvisa till en längre plan om den finns, men låt nyckeldefinitionerna stå i loggen.
Ge den låsta planen ett versionsnummer och en tidpunkt. Senare ändringar ska få nya poster med skäl och konsekvens. Skriv inte över det ursprungliga framgångskriteriet när ni sett resultatet. Det måste gå att upptäcka om en slutsats följde den ursprungliga planen eller bygger på en senare, utforskande analys.
Låt varje datauttag kunna identifieras
För varje analysunderlag behövs uttagstidpunkt, källsystem, rapportperiod, tidszon, filter, nivå och vilka fält som hämtades. Vid konverteringsanalys ska även vald tidsgrund, attributionsfönster och utfallsdefinition framgå. OpenAI:s rapporteringsdokumentation är referensen för rapportens begrepp. Dokumentera era faktiska inställningar i stället för att skriva ”standard”.
Behåll råuttaget tillsammans med den bearbetade tabellen och beräkningsversionen. Spara en tydlig sökväg eller intern länk, filformat och ansvarig för åtkomsten. En bild av en totalsiffra räcker inte om nästa person behöver undersöka ett filterfel. Undvik samtidigt att samla personuppgifter som inte behövs för frågan; loggens beviskedja kan ofta beskrivas med aggregerade data och interna referenser.
Anta ett hypotetiskt fall där första uttaget innehåller 48 tillskrivna utfall och ett senare uttag 54 för samma rapportdefinition. Skillnaden är sex utfall, vilket motsvarar 12,5 procent av det första antalet. Det är en datarevision. Den visar inte att annonseringen förbättrades med 12,5 procent mellan analystillfällena. Bevara båda uttagen och förklara vilket som användes i beslutet.
Fyra poster som bevarar beslutets sammanhang
- Plan före start
Lås fråga, enhet, huvudmått, tröskel och analysversion under ett test-ID.
- Första datauttag
Snapshot A innehåller 48 utfall och tidpunkten då de hämtades.
- Spårbar revision
Snapshot B innehåller 54: 6 fler, eller 12,5 %. Behåll båda versionerna.
- Beslut och ansvar
Knyt beslutet till A eller B och namnge vem som genomför nästa steg.
Registrera avvikelser medan minnet är färskt
En avvikelsepost behöver tid, berörda objekt, verifierad händelse och möjlig påverkan. Exempel är en felaktig destination, en ändrad kvalificeringsregel eller en rabatt som av misstag nådde kontrollgruppen. Håll observation och tolkning i olika fält. ”Formulärfältet saknades mellan två publiceringar” är mer konkret än ”dålig trafik”.
Om grupperna blandades ska posten länka till bedömningen av testkontaminering. Spara även händelser som inte ändrade analysen och varför de bedömdes sakna betydelse. Då slipper nästa person återupptäcka och ompröva samma incident utan tillgång till den ursprungliga motiveringen.
För konverteringshändelser är det värdefullt att notera vilken affärshändelse integrationen representerade. OpenAI:s konverteringsdokumentation hjälper med de tekniska begreppen, medan er logg behöver ange exempelvis om ett lead betydde inskickat formulär eller internt godkänd förfrågan. Den definitionen avgör vilka slutsatser utfallet kan stödja.
Separera resultat, beslut och återstående arbete
Resultatposten ska ange skattning, osäkerhet, population och analysversion. Beslutsposten ska säga vad teamet gör och varför. Samma osäkra resultat kan leda till olika handlingar beroende på införandekostnad och risk. Hänvisa vid behov till beslut vid oklara resultat eller hantering av negativa resultat.
Lägg till en ansvarig, en tidpunkt och ett verifierbart avslut för nästa åtgärd. ”Återställ sidan till version 3 och kontrollera destinationen” går att följa upp. ”Optimera vidare” gör det inte. Registrera även villkoret för en eventuell omprövning, så att samma idé inte återkommer utan ny motivering.
Testa slutligen överlämningen med en kollega som inte deltagit. Be personen hitta den ursprungliga frågan, den använda dataversionen, den viktigaste begränsningen och den beslutade åtgärden. Om något kräver en muntlig förklaring saknas det fortfarande i loggen. Ett begripligt nej eller ett tydligt kvarvarande frågetecken är lika värdefullt att bevara som ett lyckat införande.
Källor och avgränsning
Utforma ett internt experimentregister som gör genomförande, dataversioner och beslut möjliga att återskapa efter ett personalbyte.
Arbetsmetoder och exempel är redaktionella förslag. Kontrollera aktuella plattformsvillkor och funktioner inför genomförandet.