Precisió i reclam

En reconeixement de patrons, recuperació d'informació i classificació (aprenentatge automàtic), la precisió és la fracció de casos veritablement positius entre els casos seleccionats com a positius. El reclam (també anomenat sensibilitat, quan es compara amb l'especificitat) és la fracció de casos veritablement positius entre els casos rellevants. Tant la precisió com el reclam són mesures de la rellevància.

Precisió i reclam

Suposem que un programa d'ordinador per a reconèixer gossos en fotografies identifica 8 gossos a una fotografia que conté 12 gossos i alguns gats. Dels 8 identificats com a gossos, 5 són realment gossos (veritables positius), mentre que la resta són gats (falsos positius). La precisió del programa és 5/8 i el reclam és 5/12. O suposem un motor de cerca que retorna 30 pàgines. D'aquestes, només 20 són rellevants, mentre que en falten 40 de rellevants per retornar. La precisió del motor és 20/30 = 2/3 i el reclam és 20/60 = 1/3. Així doncs, en aquest cas, la precisió és "quant d'útils són els resultats" i el reclam és "quant de complets són els resultats".

Definició

En contextos de recuperació d'informació, la precisió i el reclam es defineixen en termes d'un conjunt de documents recuperats (per exemple, la llista de documents produïts per un motor de cerca a una consulta) i un conjunt de documents rellevants (per exemple, la llista de tots els documents a Internet que són rellevants per un tema). Les mesures van ser definides a Kent et al. (1955).

Precisió

Al camp de la recuperació d'informació, la precisió és la fracció de documents recuperats que són rellevants per la consulta:$${\text{precisió}}={\frac {|\{{\text{documents rellevants}}\}\cap \{{\text{documents recuperats}}\}|}{|\{{\text{documents recuperats}}\}|}}$$Per exemple, per una cerca de text a un conjunt de documents, la precisió és el nombre de resultats correctes dividits pel nombre de resultats retornats.

La precisió té en compte tots els documents recuperats, però també es pot avaluar a un punt de tall n donat, considerant només els n primers resultats retornats pel sistema. Aquesta mesura s'anomena precisió a n.

La precisió s'utilitza juntament amb el reclam, el percentatge de tots els documents rellevants que són recuperats per la recerca. Les dues mesures són de vegades utilitzades juntes a la puntuació F1 (o mesura F) per tal de proporcionar una sola mesura per tot el sistema.

Observi's que el significat de precisió al camp de la recuperació d'informació difereix de la definició d'exactitud i precisió d'altres branques científiques i tecnològiques.

Reclam

En el camp de la recuperació d'informació, el reclam és la fracció dels documents rellevants que són recuperats per la consulta:$${\text{reclam}}={\frac {|\{{\text{documents rellevants}}\}\cap \{{\text{documents recuperats}}\}|}{|\{{\text{documents rellevants}}\}|}}$$Per exemple, per una cerca de text a un conjunt de documents, el reclam és el nombre de resultats correctes dividits pel nombre de resultats que s'haurien d'haver retornat.

En classificació binària, el reclam s'anomena sensibilitat. Pot ser vist com la probabilitat que un document rellevant sigui recuperat per la consulta.

És trivial d'aconseguir un reclam del 100% si es retornen tots els documents en resposta a qualsevol consulta. Per això, el reclam per si sol no és una mesura prou bona, sinó que cal considerar també el nombre de documents no rellevants, calculant la precisió, per exemple.

Mesura F

Una mesura que combina la precisió i el reclam és la seva mitjana harmònica, anomenada mesura F o puntuació F equilibrada:$$F=2\cdot {\frac {\mathrm {precisio} \cdot \mathrm {reclam} }{\mathrm {precisio} +\mathrm {reclam} }}$$Aquesta mesura és aproximadament la mitjana de la precisió i el reclam quan els valors són propers. Més generalment, és la mitjana harmònica de la precisió i el reclam, que és el quadrat de la mitjana geomètrica dividida per l'aritmètica. La puntuació F pot ser criticada per diverses raons en circumstàncies particulars a causa del seu biaix com a avaluació mètrica.

És el cas particular $F_{1}$ de la mesura general $F_{\beta }$ (per valors reals no negatius de $\beta$):$$F_{\beta }=(1+\beta ^{2})\cdot {\frac {\mathrm {precisio} \cdot \mathrm {reclam} }{\beta ^{2}\cdot \mathrm {precisio} +\mathrm {reclam} }}$$Dues mesures $F$ utilitzades sovint són la mesura $F_{2}$, que posa més de pes al reclam que a la precisió, i la mesura $F_{0.5}$, que posa més d'èmfasi a la precisió que al reclam.

La mesura $F$ va ser derivada per van Rijsbergen (1979) de manera que $F_{\beta }$ mesurés "l'efectivitat de recuperació respecte un usuari que considera $\beta$ cops més important el reclam que la precisió". Es basa en la mesura d'efectivitat de van Rijsbergen $E_{\alpha }=1-{\frac {1}{{\frac {\alpha }{P}}+{\frac {1-\alpha }{R}}}}$, on el segon terme és la mitjana harmònica ponderada de la precisió i el reclam amb pesos $(\alpha ,1-\alpha )$. La relació és $F_{\beta }=1-E_{\alpha }$ on $\alpha ={\frac {1}{1+\beta ^{2}}}$.

Bibliografia

• Kent, Allen; Berry, Madeline M.; Luehrs, Jr.; Fred, U.; Perry, J. W. «Machine literature searching VIII. Operational criteria for designing information retrieval systems» (en anglès). American Documentation, 6, 2, 1955, pàg. 93. DOI: 10.1002/asi.5090060209.