Mere test, mindre mavefornemmelse: En simpel guide til at kvalificere dit arbejde

Vi adfærdsøkonomer slår ret hårdt på tromme for test. Men hvad betyder det egentlig, når vi proklamerer, at løsninger skal testes? Hvorfor er det vigtigt, og hvordan kommer man i gang? Det skal det handle om nu. Og selvom der er langt til bunden af indlægget, så er det i adfærdsteoretiske øjne en simpel guide, der indeholder de vigtigste overvejelser, du skal gøre dig, når du gerne vil teste løsninger og idéer i din organisation.

Lev eller dø

Lad os starte med et eksempel fra dengang adfærdsøkonomien var spæd:

Alvorligt syge patienter skulle træffe en beslutning om, hvorvidt de skulle takke ja til et risikofyldt indgreb eller ej. Lægerne gav dem én af følgende informationer:

• A: ”Der er 25 % risiko for, at behandlingen går galt, og du ikke overlever indgrebet”.

• B: ”Der er 75 % chance for, at behandlingen går godt, og du bliver kureret af indgrebet”.

Du har nok allerede gættet det: Lægernes formulering af samme information som hhv. et tab og en gevinst havde stor betydning for, om patienterne valgte indgrebet eller ej. Og havde man ikke testet det, kunne man ikke tage hensyn til framingen af informationen i lignende situationer fremadrettet. Teoretisk set burde de to typer information nemlig ikke påvirke valget.

Hvad vil det sige at teste?

En test, eller effektmåling om man vil, har til formål at dokumentere, om en given indsats virker efter hensigten. Tester man korrekt, sikrer man sig, at den udvikling, man måler på, også er et resultat af det nye tiltag – og ikke af tilfældigheder uden for eller internt i organisationen. Hvis tests bliver brugt rigtigt, validerer du altså idéer og tiltag i virksomheden, samtidig med at du får data, du kan bygge videre på.

Svært at sige nej til, ik’?

Test betaler sig

Tests og effektmålinger er på mange måder rygraden af adfærdsøkonomien. For teoretikerne havde ikke kunnet tydeliggøre menneskers irrationalitet, hvis ikke de havde testet solen sort. Hvis alle mennesker gjorde, som de fik besked på, ville der ikke være brug for at teste. Så kunne man regne med, at nye interne procedurer ville blive fulgt til punkt og prikke.

Men som praktiker ved du om nogen, hvor ofte medarbejderes eller kunders adfærd ikke sirligt følger interne skrivelser, processer eller metoder. Og derfor kan netop du få gavn af at arbejde systematisk med testtilgangen som et værktøj til at kvalitetstjekke dit arbejde. Det er meget dyrere at rulle en løsning tilbage, som endte med at have en uønsket eller slet ingen effekt, end det er at trykteste undervejs.

Og hermed er det blevet tid til den simple guides fire trin: De absolut vigtigste overvejelser du skal gøre dig, når du vil arbejde med test, fordi du har en idé til en indsats eller løsning på et problem i din organisation.

Trin 1: Hvad forventer du, at testen vil vise?

Gør dig nogle overvejelser om, hvad du forventer af din test, inden du går i gang. Med et videnskabsteoretisk ord kaldes det at opstille en hypotese, og det er den antagelse, du arbejder ud fra. Det behøver dog hverken være videnskabeligt funderet eller svært: Det kan koges ned til dit bedste gæt på baggrund af din erfaring og tidligere observationer.

Måske tror du, at medarbejderne i en travl hverdag glemmer at tage stilling til, om dokumenter indeholder fortroligt materiale, når de står ved printeren. Derfor opstiller du denne hypotese: ”Jeg tror, at flere medarbejdere vil sortere makuleringsmateriale korrekt, hvis den almindelige papirkurv markeres med teksten ’Er dokumentet fortroligt? ’ og en pil mod makuleringskurven”. Så har du grundstenen at bygge din test på.

Overvej derefter, hvor stor en effekt du forventer din indsats vil have, og hvor meget du forventer, at data vil variere. De to spørgsmål giver dig et pænt praj om, hvor meget data du skal indsamle.

Det lyder måske kringlet, men betyder bare, at hvis du fx tæller forkert sorteret makuleringsmateriale hver dag i to uger, og det er den samme mængde, der havner i den forkerte affaldsbøtte dag efter dag, så behøver du ikke samle ret meget data ind for at kunne se en tendens. Er der derimod stor forskel fra dag til dag, kræver det, at du indsamler mere data, før du kan drage nogle større konklusioner på din test.

Du kan finde en simpel beregner til minimummet af datapunkter (fx de dage, du tæller makuleringsmateriale) lige her.

Trin 2: Hvad skal du tælle eller måle på?

Det kan være udfordrende at finde en måde at måle den adfærd på, som du gerne vil vide noget om. Mit bedste råd er at bryde problematikken ned i konkret adfærd. Tæller du fx, hvor mange stykker affald der er havnet i den forkerte affaldscontainer, eller får du it-afdelingen til at sende en falsk phishing-mail ud for at måle, hvor mange medarbejdere der falder i og trykker på linket? Ved at konkretisere adfærden finder du din afhængige variabel – den, du gerne vil påvirke med din indsats.

For ikke at drage forkerte konklusioner er det også vigtigt, at du på forhånd gør dig tanker om, hvad du kan sige ud fra den data, du måler på, og hvad du ikke kan sige. Hvis du gerne vil vide, om en ny kampagne får folk til at udføre en konkret handling – fx køre mere hensigtsmæssigt i bil – kan du ikke bruge delinger og likes på Facebook til at verificere, at det får målgruppen til at ændre adfærd. Et like er langt fra den faktiske adfærdsvirkelighed, specielt hvis den ønskede adfærd foregår uden for de sociale medier. Likes er en gode måde at se på, om et budskab skaber opmærksomhed og bliver delt, men du må aldrig forveksle det med konkret adfærd.

Trin 3: Hvad er dit sammenligningsgrundlag?

For at kunne teste skal du sikre, at din test har et sammenligningsgrundlag. Ellers kan du ikke se, om der er sket en udvikling i det problem, du gerne vil løse.

Du kan skabe sammenligningsgrundlag på forskellige måder. Måske har du hørt om før-og-efter-test, eller baselinemåling og effektmåling, hvilket er samme test med forskellige navne. Her indsamler du først data på den adfærd, du gerne vil flytte, hvorefter du indfører det nye tiltag og måler den samme adfærd igen.

Du kan også i stedet vælge at teste med en kontrolgruppe som sammenligningsgrundlag. Det betyder, at du opererer med to grupper: en der bliver udsat for det nye tiltag, og en der ikke gør. Vigtigst her er, at det skal være tilfældigt, hvilke medarbejdere eller kunder der havner i hvilken gruppe. Du kan få hjælp til korrekt randomisering (som det så fint hedder) på siden www.random.org.

Efter indsatsen sammenligner du den afhængige variabel (den konkrete adfærd) for de to grupper.

Hvis du vil lege ekspert, så bruger du både en effektmåling og en kontrolgruppe. På den måde er du nemlig sikker på, at før-målingen ikke var forskellig for de to grupper. Men den slags forbeholder sig mest af alt til kliniske tests og videnskabelige studier, så ikke mere om det lige her.

Trin 4: Analyse af data

Til sidst skal du analysere dit data. Det behøver ikke være svært eller kræve større statistiske regneprogrammer.

Begynd med at beskrive data for dine to målinger. Hvis du har talt, hvor mange makuleringsdokumenter der er havnet i den forkerte affaldsbøtte, kan du se, hvor stor en procentdel den forkerte sortering udgør. Du kan også se på gennemsnitsværdien og typetallet (det tal, der forekommer flest gange), hvis du fx har talt, hvor mange gange dine kunder har videresendt noget materiale til andre. Det er første spadestik til at se, om der er sket en ønsket ændring.

Dernæst kan du se på, hvor stor ændringen er, og hvad det fx vil betyde for din virksomhed i kroner og ører. Du skal dog være lidt varsom, for uanset om der er en stor eller lille ændring, afhænger resultatet af, hvor meget data du har samlet, og hvor meget dit data varierer. For lidt data eller for stor variation kan nemlig gøre, at du konkluderer på en effekt, der er falsk eller helt tilfældig. Det var præcis derfor, du skulle gøre dig nogle overvejelser om forventninger i trin 1.

Mere end en mavefornemmelse

Er du i tvivl om, hvor stærke konklusioner du kan drage på baggrund at dit data, kan du forsøge at samle mere data eller teste igen. Hvis du vælger den sidste model og begynder forfra på trin 1, så har du nu endnu bedre forudsætninger for at opstille din hypotese – og du kan bryste dig med en systematisk tilgang til test. Voila!

Og husk så endelig på, at tests med lidt data er bedre til at underbygge initiativer og satsninger end en blind mavefornemmelse. Selv en test, der viser mere varierende resultater end forventet, er en læring, du kan bygge videre på, og som helt sikkert har gjort dig klogere.

Hjælp til selvhjælp

Hvis du vil nørde statistik og være mere sikker på dine konklusioner, kan du beregne, om effekten er statistisk signifikant. Det betyder, at du undersøger sandsynligheden for, hvorvidt den målte forskel er tilfældig eller ej. Det kunne vi skrive adskillige blogindlæg om, men her vil vi nøjes med at henvise den flittige læser til UCLAs hjælpeside.

Du kan også tage fat i mig, hvis du vil komme godt i gang med at teste. Det kan du i øvrigt også lære på vores uddannelse i adfærdsdesign. Og hvis du vil nørde mere test og adfærd – så tilmeld dig vores gratis online-kursus i adfærdsdesign.