Innhold
Forskere i de tidlige dagene av vitenskapelig undersøkelse brukte ofte veldig enkle tilnærminger til eksperimentering. En vanlig tilnærming ble kjent som "én faktor om gangen" (eller OFAT) og innebar å endre en variabel i et eksperiment og observere resultatene, og deretter gå videre til neste enkeltvariabel. Moderne forskere bruker mer sofistikerte metoder for å utføre studier der de vurderer forskjellige kilder til variasjon som kan påvirke resultatene.
Eksperimentdesign
Prosessen med eksperimentdesign er en metode for å sette sammen tester som gir mest mulig informasjon. Typisk er et designet eksperiment ment for å finne virkningene av varierende faktorer på resultatet av en prosess. Forskere setter sammen eksperimenter som vil vise om variasjonen mellom personer utsatt for forskjellige faktorer er større enn variasjonen innen grupper av personer som alle er utsatt for samme faktor. Noen designede eksperimenter kan også vise om det er noen interaksjoner mellom ulike faktorer.
Innen fag
Innenfor fagvariasjon i et eksperiment refererer det til variasjonen sett i en gruppe av personer som alle blir behandlet på samme måte. Hvis en lege tester tre medisiner for å se etter en forskjell i effektiviteten, og også er interessert i forskjeller mellom kjønn, kan hun skille mannlige forsøkspersoner i tre grupper og behandle hver med en annen medisin, og deretter gjøre det samme med tre kvinnelige grupper. Selv innen en gruppe av personer (samme kjønn, samme medisin), vil imidlertid forskjellige pasienter ha forskjellige svar. Dette er variasjonen innen faget.
Mellom fag
Den andre typen variasjoner i et eksperiment er mellom emne. Dette er forskjellen mellom forskjellige grupper utsatt for forskjellige faktorer. I eksempelet med legetestene ville hun se på forskjellen i gjennomsnittlig restitusjonstid mellom mannlige og kvinnelige grupper, og også mellom hver av gruppene som tar en av de tre medisinene. I hvert tilfelle vil det sannsynligvis være forskjeller mellom gruppene. Oppgaven til det designet eksperimentet er å se om denne forskjellen er statistisk signifikant.
ANOVA
En forsker vil bruke ANOVA, variansanalyse, statistikk for å sammenligne innen og mellom emnevariasjon. ANOVA-testen ratio mellom "innen" og "mellom" variasjonene. Hvis det er betydelig variasjon i de samme gruppene, antyder dette at testen i seg selv har en lang rekke resultater. Hvis variasjonen "innen" er på nivå med variasjonen "mellom", vil ANOVA-testen konkludere med at forskeren ikke kan si at faktorene hadde en effekt, siden eventuelle tilsynelatende effekter bare kan skyldes den tilfeldige variasjonen som ble sett innenfor testgrupper. En mer sofistikert tilnærming, kjent som toveis ANOVA, kan også oppdage interaksjoner mellom faktorer.