Genauigkeit und Fehlerraten H�¤ufig wird - auch von Experten - die Genauigkeit mit der Sicherheit verwechselt. Unter der G�¼te eines biometrischen Identifikationssystems ist die Performance, Pr�¤zision oder Genauigkeit zu verstehen. Man spricht in diesem Zusammenhang von dem Individualit�¤tsproblem. Eine typische Formulierung des Individualit�¤tsproblems ist:
- die Feststellung der Wahrscheinlichkeit, dass zwei Individuen innerhalb einer Population hinreichend �¤hnliche biometrische Merkmale aufweisen;
- die Ermittlung der Wahrscheinlichkeit, bei einem gegebenen biometrischen Datensatz einen hinreichend �¤hnlichen anderen biometrischen Datensatz innerhalb der Zielpopulation aufzufinden.
Das Individualit�¤tsproblem f�¼hrt schlie�Ÿlich zur Wahrscheinlichkeit einer falschen Zuordnung von biometrischen Datens�¤tzen. Da es sich um Ja/Nein bzw. bin�¤re Aussagen handelt, k�¶nnen folgende L�¶sungen unter den Nebenbedingungen max AA, max RE, min AE, min RA vorkommen:
- Akzeptanz der authentischen Person (AA)
- Akzeptanz eines Eindringlings (AE)
- R�¼ckweisung einer authentischen Person (RA)
- R�¼ckweisung eines Eindringlings (RE)
Das 1. und 4. Ergebnis ist erw�¼nscht, das 2. und 3. Ergebnis hingegen nicht. Folglich sollen das 1. und 4. L�¶sungsergebnis maximiert werden, der Fehler 2 und 3 hingegen minimiert werden. Die vier Zust�¤nde sind in Abbildung 6 noch einmal dargestellt. Figure 6: Generisches biometrisches System 8#8 Neben diesen Fehlerraten treten bei biometrischen Verfahren die folgenden Eigenschaften auf:
- Je l�¤nger der redundanzfreie Referenzdatensatz, desto h�¶her kann die Trennsch�¤rfe zwischen zwei Referenzdatens�¤tzen, die zwei unterschiedlichen Personen zuzuordnen sind, angesehen werden.
- Aus dem fundamentalen Prinzip der Mustererkennung folgt, dass biometrische Identifikation nur dann zuverl�¤ssig ist, wenn die Disparit�¤t der biometrischen Charakteristika zwischen Personen signifikant h�¶her liegt als die zeitliche oder andere Varianz einer gegebenen Person.
- Ein optimales biometrisches Merkmal soll eine maximale Merkmalsvarianz unter verschiedenen Individuen haben, aber eine minimale Merkmalsvarianz f�¼r eine Person in Bezug auf Zeit und Umgebung[*]. Das bedeutet, die Merkmale sollen eine m�¶glichst hohe Inter-Klassen-Variabilit�¤t und eine m�¶glichst niedrige Intra-Klassen-Variabilit�¤t aufweisen.
- Einer der Hauptfaktoren, der die Genauigkeit in der Identifikation beeinfluÃ?Ÿt, ist die GrÃ?¶Ã?Ÿe der Datenbank bzw. der Population. Je umfangreicher die Datenbank, desto hÃ?¶her die Ã?Å?berlappungswahrscheinlichkeit von KÃ?¶rpermerkmalen bei verschiedenen Personen.
Da biometrische Identifikationsverfahren lediglich heuristische und keine exakten Verfahren sind, werden die erfassten Messdaten nie 100%ig mit den hinterlegten Referenzdaten Ã?¼bereinstimmen, sondern nur eine gewisse "Ã?â??hnlichkeit" erreichen. Falschakzeptanzrate (FAR) und FalschrÃ?¼ckweisungsrate (FRR) Im Gegensatz zu Methoden, die auf Wissen oder Besitz wie PINs/PasswÃ?¶rter oder Token basieren, funktionieren biometrische Systeme auf der Basis von Wahrscheinlichkeiten. Biometrische Daten sind variant, da sie ein Rauschen bei der Messung zur Folge haben - die KÃ?¶rperhaltung einer Person wird nie vÃ?¶llig identisch sein. Ausserdem wird die Aufnahme der biometrischen Daten durch Schwankungen der MerkmalsausprÃ?¤gung, andere Umweltbedingungen und technische Toleranzen zwischen verschiedenen Sensoren beeinflusst. Biometrische Systeme stellen deshalb keine exakten bzw. eindeutigen Methoden dar. HÃ?¤ufig treten bei biometrischen Systemen Schwierigkeiten hinsichtlich der Genauigkeit auf, die von SchwÃ?¤chen des AufnahmegerÃ?¤tes oder der Erkennungsalgorithmen herrÃ?¼hren. Es muss immer wieder erneut hingenommen werden, dass eine Person fÃ?¤lschlicherweise akzeptiert oder abgelehnt wird. Diese BeschrÃ?¤nkungen fÃ?¼hren zu zwei Problemen, welche als "Falsche Akzeptanzen" und "Falsche RÃ?¼ckweisungen" bekannt sind. Die Falschakzeptanzrate (FAR) ist die Erfolgswahrscheinlichkeit dafÃ?¼r, dass eine unautorisierte Person bzw. eine Person, die nicht in der Datenbank existiert, fÃ?¤lschlicherweise als korrekt registriert erkannt wird. Die Falschakzeptanzrate bezeichnet die relative HÃ?¤ufigkeit der akzeptierten Anfragen eines falschen Nutzers. Im Kontext von biometrischen Verfahren hat eine Ja/Nein-Entscheidung also die folgenden ErgebnismÃ?¶glichkeiten: Entweder ist das biometrische "Sample" gleich dem Referenzdatensatz oder nicht, oder aber die Entscheidung des Algorithmus ist richtig oder falsch. Dies fÃ?¼hrt zu vier mÃ?¶glichen Entscheidungsergebnissen:
- Falsche Akzeptanz / Annahme[*] (Fehler erster Art)
- Korrekte Akzeptanz / Annahme
- Falsche R�¼ckweisung[*] (Fehler zweiter Art)
- Korrekte R�¼ckweisung
Die Falschr�¼ckweisungsrate bezeichnet die relative H�¤ufigkeit der abgewiesenen Anfragen eines richtigen Nutzers (Fehler zweiter Art). Die beiden Qualit�¤tsparameter h�¤ngen stark von der Me�Ÿmethodik, dem verwendeten Verfahren und der Grundgesamtheit der Merkmalsdaten ab. Der Falsch-Akzeptanz-Fehler wird auch als Fehler erster Ordnung, der Falschr�¼ckweisungsfehler als Fehler zweiter Ordnung definiert. Die Werte f�¼r die Falschr�¼ckweisungsrate und die Falschakzeptanzrate k�¶nnen nicht theoretisch hergeleitet werden, sondern m�¼ssen immer statistisch auf der Basis aufwendiger Tests ermittelt werden. Falschakzeptanzen kommen �¼blicherweise nur bei der Identifikation, nicht aber bei der Verifikation vor. Sie m�¼ssen bei der Verifikation explizit durch ein falsches bzw. nicht registriertes biometrisches Merkmal provoziert werden. Ein geringer Toleranzschwellwert f�¼r den Vergleich biometrischer Daten f�¼hrt zu einer h�¶heren Falschakzeptanzrate und gleichzeitig zu einer niedrigeren Falschr�¼ckweisungsrate (FRR). Ein hoher Toleranzschwellwert f�¼hrt somit zu einer niedrigen Falschakzeptanzrate und gleichzeitig zu einer hohen Falschr�¼ckweisungsrate. Die Toleranzschwellwerte k�¶nnen die Ergebnisse eines biometrischen Systems signifikant ver�¤ndern, je nachdem wie die Sensitivit�¤t des Mechanismus, der die biometrischen Daten vergleicht, justiert ist. Die Falschakzeptanzrate und die Falschr�¼ckweisungsrate weisen eine negative Korrelation auf. Sichere Systeme zielen auf eine niedrige Falschakzeptanzrate ab und nehmen daf�¼r eine h�¶here Falschr�¼ckweisungsrate in Kauf, w�¤hrend bequemere Systeme auf Kosten einer h�¶heren Falschakzeptanzrate auf eine niedrige Falschr�¼ckweisungsrate ausgerichtet sind. Die Falschr�¼ckweisungsrate f�¼hrt zu Unbequemlichkeiten f�¼r den Benutzer, der Falsch-Akzeptanz-Fehler hingegen zu einer Gefahr f�¼r die Systemsicherheit. Bei einer hohen Falsch-R�¼ckweisungsrate m�¼ssen die Benutzer meist mehrere Versuche starten, um vom System akzeptiert zu werden (�¤hnlich wie bei schlechten Magnetkartenlesern, bei denen eine Karte mehrfach durchgezogen werden muss). F�¼r Anwendungen, bei denen die Bequemlichkeit und die generelle Benutzerakzeptanz eine �¼bergeordnete Rolle spielen, muss auf einen niedrigeren Toleranzschwellwert zur�¼ckgegriffen werden, um die Falschr�¼ckweisungsrate zu reduzieren und dem Benutzer stets den Zugang zu erm�¶glichen. Der Nachteil einer niedrigen Falschr�¼ckweisungsrate ist die h�¶here Wahrscheinlichkeit, dass eine unautorisierte Person Zugang oder Zugriff auf das System erh�¤lt. Zur Beurteilung der Erkennungsleistung eines biometrischen Systems m�¼ssen immer beide Werte - also die Falschakzeptanzrate und die Falschr�¼ckweisungsrate angegeben werden, da diese negativ korrelieren. Die Angaben �¼ber diese Fehlerraten der Hersteller sind kaum �¼berpr�¼fbar und auch nicht in allen F�¤llen nachvollziehbar. Aus Erfahrung weiss man, dass die Falschr�¼ckweisungsrate bez�¼glich eines unerfahrenen Benutzers nach einigen Wochen Systembenutzung signifikant sinkt. Dies wird mit "Kennenlernproblemen" und einem sogenannten Eingew�¶hnungseffekt bezeichnet. Die Falschakzeptanzrate wird neben der Falschr�¼ckweisungsrate im Allgemeinen als der wichtigste Parameter f�¼r Sicherheitsanwendungen angesehen. Die Fehlerraten k�¶nnen nicht berechnet oder theoretisch hergeleitet werden, sondern m�¼ssen statistisch anhand einer Testdatenbank von biometrischen Daten gesch�¤tzt werden. F�¼r eine statistisch relevante Aussagef�¤higkeit dieser Fehlerraten ist eine gro�Ÿe Zahl von Messungen erforderlich. Die Raten FAR und FRR werden in Prozent angegeben. Die Berechnung geschieht wie folgt:
In der Literatur werden h�¤ufig auch die Begriffe false match und false non-match anstelle der Falschr�¼ckweisungs- und der Falschakzeptanzrate verwendet. Dabei bedeutet false match, dass zwei verschiedene Merkmale irrt�¼mlich als gleich gewertet werden, und false non-match bezeichnet, dass zwei gleiche Merkmale irrt�¼mlich als verschieden vom biometrischen System gewertet werden. Die Falschr�¼ckweisungsrate ist dabei mit der false non-match rate und die Falschakzeptanzrate mit der false match rate gleichzusetzen. Gleichfehlerrate (EER) Das Niveau, auf welchem die Falschakzeptanzrate und die Falschr�¼ckweisungsrate den gleichen Wert aufweisen, bezeichnet man als die Gleichfehlerrate (EER). Die Gleichfehlerrate ist ein Ma�Ÿ f�¼r die Trennf�¤higkeit zwischen biometrischen Merkmalen verschiedener Personen. Falls der Toleranzschwellwert f�¼r eine erfolgreiche Verifikation derart gew�¤hlt wurde, dass sich die Werte f�¼r die Falschakzeptanzrate und die Falschr�¼ckweisungsrate auf dem gleichen Niveau befinden, spricht man von der Equal-Error-Rate (EER). Diese Equal-Error-Rate ist auch unter dem Namen Cross-Over-Rate (CER) bekannt.
Gleichfehlerrate (EER) symbolisiert die G�¼te des biometrischen Erkennungssystems. Je niedriger die Gleichfehlerrate, desto h�¶her ist die Pr�¤zision des biometrischen Systems. Die Gleichfehlerrate ist diejenige Rate, bei dem die FRR und die FAR den gleichen Wert aufweisen, also FAR(t)=FRR(t) bzw. FNMR(t) = FMR(t) gilt. Dies ist jedoch nicht alles, worauf es bei der G�¼te eines biometrischen Systems ankommt. Vielmehr ist auch die sogenannte Trennf�¤higkeit ausschlaggebend, die Steigung der Kurve in der N�¤he des Schnittpunktes. Eine gleiche EER zweier biometrischer Systeme f�¼hrt nicht zwangsl�¤ufig zu einer gleichen Erkennungsg�¼te. Wichtig ist, dass die Steigung nahe des Schnittpunktes der FAR- und FRR-Kurve berechnet wird und in den Vergleich der Systemparameter miteinflie�Ÿt. An dem Beispiel in Abbildung 7 und Abbildung 8 weisen die beiden linken Kurven eine h�¶here und die beiden rechten Kurven eine niedrigere Steigung um den Schnittpunkt auf. Ideal w�¤re eine EER von ann�¤hernd 0% bei einer Steigung von ann�¤hernd Null.
Da die EER alleine nicht sehr aussagekr�¤ftig f�¼r die G�¼te des biometrischen Systems ist und nur Aufschluss �¼ber die Verfahrensg�¼te f�¼r einen einzigen speziellen Schwellwert liefert, ist eine weitere Kennzahl w�¼nschenswert, die auch f�¼r andere Schwellwerteinstellungen R�¼ckschl�¼sse auf die Qualit�¤t liefert. Ein derartiges Ma�Ÿ ist die sogenannte Trennf�¤higkeit, die sich definiert als die Fl�¤che, die von den beiden Fehlerkurven sowie der Waagrechten y = EER + 5% eingeschlossen wird. Die Fl�¤che ist umso gr�¶�Ÿer, je flacher die beiden Kurven um ihren gemeinsamen Schnittpunkt herum abfallen bzw. ansteigen. Je gr�¶�Ÿer die schraffierte Fl�¤che ist, desto gr�¶�Ÿer ist auch die Trennf�¤higkeit des Systems. Bei zwei biometrischen Verfahren, die eine gleiche EER aufweisen, hat dasjenige mit der gr�¶�Ÿeren Fl�¤che die bessere Trennsch�¤rfe. Der Zusammenhang zwischen FAR, FRR, EER und der Fl�¤che ist in Abbildung 9 skizziert. Bei dem Systemmodus der Identifikation h�¤ngt die Gesamtfehlertoleranz erheblich von der Anzahl der Referenzdatens�¤tze ab, bez�¼glich derer die Identifikation durchgef�¼hrt wird. Eine Qualit�¤tssicherung w�¤hrend des Personalisierungsprozesses, das Sicherheitsniveau und das Zusammenspiel der Systemkomponenten nehmen auf die interdependenten Fehler von biometrischen Systemen einen gro�Ÿen Einfluss. Failure-to-Enroll Rate Die Erkennungsgenauigkeit eines einzelnen Referenzdatensatzes h�¤ngt stark von der Qualit�¤t der w�¤hrend der Personalisierung erstellten Referenzdaten ab. Das bedeutet zum einen die Qualit�¤t der Merkmalsauspr�¤gung und zum anderen die Genauigkeit und die Sorgfalt, mit der das Merkmal aufgenommen wurde. Das kann bei der Fingerbilderkennung die Gr�¶�Ÿe und der Kontrast der aufgenommenen Bildfl�¤che sein oder bei der Gesichtserkennung mit den Beleuchtungsverh�¤ltnissen oder der Bildsch�¤rfe zusammenh�¤ngen. Qualitativ geringwertige Referenzdaten f�¼hren zu erh�¶hten Fehlerraten. So k�¶nnen beispielsweise wenige sehr schlechte Referenzdaten bei einem anschlie�Ÿenden Identifikationsmodus innerhalb einer Datenbank die Gesamtfehlerrate stark erh�¶hen. Eine gute Merkmalsaufnahme und hohe Qualit�¤t der Referenzdaten sowie eine m�¶glichst kleine FER ist eine der Grundvoraussetzungen f�¼r eine niedrige FAR und FRR. Aus diesen Gr�¼nden finden bei der Personalisierung Qualit�¤tskontrollen statt, so dass beispielsweise bei einem Fingerbild eine Mindestbildfl�¤che oder bei einem Gesicht eine Mindestbildhelligkeit vorhanden sein muss. Wird dieser Mindestschwellwert nicht erreicht, dann f�¼hrt dies zu einer Falscherfassung und die Person kann nicht personalisiert werden. Die Failure-to-Enroll Rate ist derjenige Prozentsatz, der angibt, bei wievielen Nutzern das Enrollment nicht erfolgreich durchgef�¼hrt werden kann. M�¶gliche Ursachen f�¼r ein Nicht-Funktionieren des Enrollments k�¶nnen folgende Aspekte sein:
- es fehlt das Merkmal (Finger, Auge, Hand);
- es liegt eine Einschr�¤nkung in der Erfassung vor (Brille, Kontaktlinsen, schwache Merkmalsauspr�¤gung wie "schlechte" Finger);
- das technische Verst�¤ndnis des Anwenders fehlt oder ist unzureichend;
- es gibt Systemprobleme (Sensorqualit�¤t, Algorithmen);
- die Akzeptanz des Verfahrens (z.B. aus gesundheitlichen Bedenken) liegt nicht vor.
