Normering og bias i test, når vægtningen af kriteriet ikke giver mere mangfoldighed
En ny artikel i Journal of Applied Psychology efterprøver det klassiske råd om at vægte kontekstuel præstation tungere for at mindske adverse impact. Ifølge abstractet forbedrer det typisk ikke mangfoldigheden, skader sandsynligvis validiteten og overgås ofte af Pareto-optimal prædiktorvægtning. Artiklen gennemgår, hvad det betyder, når HR læser testdokumentation.
Et klassisk råd bliver efterprøvet
Når en virksomhed opdager, at en test rammer nogle grupper hårdere end andre, begynder jagten på løsninger. Et af de råd, der har stået i lærebøger og oversigtsartikler i årtier, lyder, at man skal vægte den kontekstuelle præstation tungere i det kriterium, testen skal forudsige. Tanken er, at hvis succes i jobbet måles bredere end ren opgaveløsning, for eksempel med samarbejde, hjælpsomhed og initiativ, så bliver det samlede billede mere retfærdigt, og testbatteriet kan sammensættes, så forskellene mellem grupper bliver mindre.
Den 5. november 2026 udkom en artikel i Journal of Applied Psychology, hvor Jinsoo Choi og Daniel A. Newman fra University of Illinois Urbana-Champaign efterprøver netop det råd. Ifølge abstractet bygger analysen på en opdateret metaanalytisk korrelationsmatrix mellem prædiktorer og kriterier, altså sammenhængen mellem det, testene måler, og det, de skal forudsige, opgjort på tværs af mange studier.
Hvad forskerne finder
Konklusionen går imod den gængse opfattelse. Ifølge abstractet vil det typisk ikke forbedre mangfoldigheden at tillægge kontekstuel præstation mere vægt, og det vil sandsynligvis skade kriterievaliditeten, altså hvor godt udvælgelsen forudsiger præstation i jobbet. Forskerne finder desuden, at kriterievægtning ofte bliver overgået af en anden metode, nemlig Pareto-optimal prædiktorvægtning.
Det sidste punkt er værd at stoppe ved. Når forskerne holder kriterievaliditeten konstant, viser de Pareto-optimale løsninger, at mere vægt på kontekstuel præstation sandsynligvis forværrer frem for at reducere adverse impact. Det råd, der skulle gøre udvælgelsen mere fair, kan altså trække i den modsatte retning.
Artiklen præsenterer også en ny tilgang, som forfatterne kalder en Global Pareto Frontier eller outer envelope. Her optimeres vægtene på prædiktorerne og vægtene på kriterierne samtidig for at finde de bedste kombinationer af adverse impact og kriterievaliditet for et udvælgelsessystem. Forskerne beskriver også, under hvilke omstændigheder den fælles optimering gør det bedre end Pareto-optimal prædiktorvægtning alene.
Tre begreber, som er gode at kende
Adverse impact er det amerikanske begreb for, at en udvælgelsesmetode fører til markant lavere ansættelsesrater for en gruppe end for en anden. Abstractet nævner udtrykkeligt racemæssig lighed i ansættelsesrater som rammen for forskningen. Det er en amerikansk kontekst, men den underliggende mekanik, at forskellige test giver forskellige gruppeforskelle, gælder også for danske arbejdsgivere.
Kriterievægtning handler om, hvad man definerer som succes i jobbet. Hvis samarbejde og hjælpsomhed tæller tungere end opgaveløsning i definitionen af god præstation, ændrer det, hvilke test der ser ud til at forudsige bedst, og dermed hvilke test der ender i batteriet.
Pareto-optimal vægtning er en matematisk metode, hvor man ikke leder efter én bedste løsning, men efter alle de kombinationer af testvægte, hvor mangfoldigheden ikke kan forbedres uden at tabe validitet, og omvendt. Beslutningstageren kan så vælge et punkt på den kurve, der passer til organisationens prioriteter.
Hvad det betyder, når du læser testdokumentation
For en HR-afdeling, der vurderer en test eller et testbatteri, giver artiklen tre konkrete spørgsmål til leverandøren.
Det første spørgsmål er, hvordan kriteriet er defineret i valideringsstudiet. Hvis dokumentationen fremhæver, at testen forudsiger bred eller kontekstuel præstation, og samtidig bruger det som argument for mindre bias, er det netop den sammenhæng, Choi og Newman sår tvivl om.
Det andet spørgsmål er, hvordan vægtene mellem testene i batteriet er fastsat. Er de valgt ud fra en Pareto-analyse, ud fra tradition eller ud fra, hvad der var nemmest at implementere? Abstractet peger på, at prædiktorvægtning er det sted, hvor indsatsen typisk giver mest.
Det tredje spørgsmål er, om gruppeforskelle og validitet er rapporteret sammen. En leverandør, der kun viser det ene tal, giver ikke grundlag for at vurdere afvejningen mellem de to.
Forbehold
Det er vigtigt at læse artiklen for det, den er. Abstractet beskriver en analyse baseret på metaanalytiske korrelationer, ikke et nyt feltstudie i en enkelt virksomhed. Resultaterne gælder typisk og sandsynligvis, som forfatterne selv formulerer det, og den fulde artikel vil indeholde de forudsætninger, der ligger bag. For danske læsere er det desuden værd at huske, at den juridiske ramme er en anden end i USA, selv om de statistiske sammenhænge er de samme. Endelig er det værd at overveje, om en Pareto-analyse overhovedet er praktisk mulig for en mindre virksomhed med få ansættelser, fordi metoden kræver data om både gruppeforskelle og jobpræstation.
Kilde: https://doi.org/10.1037/apl0001426