Presisjon og dekning

I mønstergjenkjenning, informasjonsattfinning og klassifisering innan maskinlæring er presisjon og dekning ytingsmål som gjeld data henta frå ei samling, eit korpus eller utvalsrom.

Presisjon er kor mange av treffa som var relevante instansar, mens dekning (òg kjend som sensitivitet) er kor mange av dei relevante instansane som blei funne. Både presisjon og dekning er derfor basert på relevans.

Tenk på eit dataprogram som skal gjenkjenna hundar (det relevante elementet) i eit digitalt fotografi. Det behandlar eit bilde med ti kattar og tolv hundar og klassifiserer åtte dyr som hundar. Av dei åtte dyra identifisert som hundar er fem faktiske hundar (ekte positivar), mens tre andre er kattar (falske positivar). Sju hundar manglar (falske negativar) og sju kattar var korrekt ekskludert (ekte negativar). Presisjonen til programmet er dermed 5/8 (ekte positivar / valde element) mens dekning er 5/12 (ekte positivar / relevante element).

Når ein søkemotor gir oss 30 sider, der berre 20 er relevante, men utelet 40 andre relevante sider, er presisjonen 20/30 = 2/3, som seier noko om kor gyldige resultata er, mens dekningen er 20/60 = 1/3, som seier noko om kor fullstendige resultata er.

Viss me samanliknar med hypotesetesting i statistikken kan me seia at der nullhypotesen er at eit element er irrelevant (ikkje ein hund) vil mangel på type I og type II-feil bety perfekt presisjon (ingen falske positivar) og perfekt dekning (ingen falske negativar).

Generelt kan me altså seia at dekning er komplementet av type II-feilraten, altså éin minus type II-feilraten. Presisjon er relatert til type I-feilraten, men på ein litt meir komplisert måte, sidan den òg avheng av sannsynsfordelinga a priori av det å sjå eit relevant vs irrelevant element. Katt-og-hund-dømet over hadde 8 - 5 = 3 feil av type I, som gir ein type I-feilrate på 3/10 (nemnaren er her antall kattar, ikkje valde element som ved presisjon). Dømet hadde 12 - 5 = 7 feil av type II, som gir ein type II-feilrate på 7/12 (komplementet av dekninga, som var 5/12).

Definisjon (i konteksten av informasjonsattfinning)

I informasjonsattfinning er presisjon og dekning definert ved mengda av dokument som er henta (t.d. lista av dokument som ein søkemotor gir for ein spørjefrase) og mengda av relevante dokument (t.d. lista med alle dokument på Internett som er relevante for eit visst tema), jf. relevans.^[1]

Presisjon

I informasjonsattfinning er presisjon kor mange henta dokument som er relevante for søketermen: ${\text{presisjon}}={\frac {|\{{\text{relevante dokument}}\}\cap \{{\text{henta dokument}}\}|}{|\{{\text{henta dokument}}\}|}}$

Dekning

I informasjonsattfinning er dekning kor mange av alle dei relevante dokumenta som er henta: ${\text{dekning}}={\frac {|\{{\text{relevante dokument}}\}\cap \{{\text{henta dokument}}|}{|\{{\text{relevante dokument}}\}|}}$ I binær klassifikasjon blir dekning kalla sensitivitet, sannsynet for at eit relevant dokument er henta med den søketermen.

Det er trivielt å få 100% dekning ved å berre returnera alle dokument for alle søketermar. Derfor kan ikkje dekning aleine brukast som eit kvalitetsmål.

Kjelder

↑ Kent, Allen; Berry, Madeline M.; Luehrs, Jr., Fred U.; Perry, J.W. (1955). «Machine literature searching VIII. Operational criteria for designing information retrieval systems». American Documentation 6 (2): 93. doi:10.1002/asi.5090060209.

Denne artikkelen bygger på «Precision and recall» frå Wikipedia på engelsk, den 30. november 2021.

Bakgrunnsstoff

[1] Kent, Allen; Berry, Madeline M.; Luehrs, Jr., Fred U.; Perry, J.W. (1955). «Machine literature searching VIII. Operational criteria for designing information retrieval systems». American Documentation 6 (2): 93. doi:10.1002/asi.5090060209.

[1]