HauptseiteTechnologieGrundlagenGenauigkeit und Fehlerraten

Genauigkeit und Fehlerraten

Genauigkeit und Fehlerraten Häufig wird - auch von Experten - die Genauigkeit mit der Sicherheit verwechselt. Unter der Güte eines biometrischen Identifikationssystems ist die Performance, Präzision oder Genauigkeit zu verstehen. Man spricht in diesem Zusammenhang von dem Individualitätsproblem. Eine typische Formulierung des Individualitätsproblems ist:

  • die Feststellung der Wahrscheinlichkeit, dass zwei Individuen innerhalb einer Population hinreichend ähnliche biometrische Merkmale aufweisen;
  • die Ermittlung der Wahrscheinlichkeit, bei einem gegebenen biometrischen Datensatz einen hinreichend ähnlichen anderen biometrischen Datensatz innerhalb der Zielpopulation aufzufinden.

Das Individualitätsproblem führt schließlich zur Wahrscheinlichkeit einer falschen Zuordnung von biometrischen Datensätzen. Da es sich um Ja/Nein bzw. binäre Aussagen handelt, können folgende Lösungen unter den Nebenbedingungen max AA, max RE, min AE, min RA vorkommen:

  1. Akzeptanz der authentischen Person (AA)
  2. Akzeptanz eines Eindringlings (AE)
  3. Rückweisung einer authentischen Person (RA)
  4. Rückweisung eines Eindringlings (RE)

Das 1. und 4. Ergebnis ist erwünscht, das 2. und 3. Ergebnis hingegen nicht. Folglich sollen das 1. und 4. Lösungsergebnis maximiert werden, der Fehler 2 und 3 hingegen minimiert werden. Die vier Zustände sind in Abbildung 6 noch einmal dargestellt. Figure 6: Generisches biometrisches System 8#8 Neben diesen Fehlerraten treten bei biometrischen Verfahren die folgenden Eigenschaften auf:

  • Je länger der redundanzfreie Referenzdatensatz, desto höher kann die Trennschärfe zwischen zwei Referenzdatensätzen, die zwei unterschiedlichen Personen zuzuordnen sind, angesehen werden.
  • Aus dem fundamentalen Prinzip der Mustererkennung folgt, dass biometrische Identifikation nur dann zuverlässig ist, wenn die Disparität der biometrischen Charakteristika zwischen Personen signifikant höher liegt als die zeitliche oder andere Varianz einer gegebenen Person.
  • Ein optimales biometrisches Merkmal soll eine maximale Merkmalsvarianz unter verschiedenen Individuen haben, aber eine minimale Merkmalsvarianz für eine Person in Bezug auf Zeit und Umgebung[*]. Das bedeutet, die Merkmale sollen eine möglichst hohe Inter-Klassen-Variabilität und eine möglichst niedrige Intra-Klassen-Variabilität aufweisen.
  • Einer der Hauptfaktoren, der die Genauigkeit in der Identifikation beeinflußt, ist die Größe der Datenbank bzw. der Population. Je umfangreicher die Datenbank, desto höher die Überlappungswahrscheinlichkeit von Körpermerkmalen bei verschiedenen Personen.

Da biometrische Identifikationsverfahren lediglich heuristische und keine exakten Verfahren sind, werden die erfassten Messdaten nie 100%ig mit den hinterlegten Referenzdaten übereinstimmen, sondern nur eine gewisse "Ähnlichkeit" erreichen. Falschakzeptanzrate (FAR) und Falschrückweisungsrate (FRR) Im Gegensatz zu Methoden, die auf Wissen oder Besitz wie PINs/Passwörter oder Token basieren, funktionieren biometrische Systeme auf der Basis von Wahrscheinlichkeiten. Biometrische Daten sind variant, da sie ein Rauschen bei der Messung zur Folge haben - die Körperhaltung einer Person wird nie völlig identisch sein. Ausserdem wird die Aufnahme der biometrischen Daten durch Schwankungen der Merkmalsausprägung, andere Umweltbedingungen und technische Toleranzen zwischen verschiedenen Sensoren beeinflusst. Biometrische Systeme stellen deshalb keine exakten bzw. eindeutigen Methoden dar. Häufig treten bei biometrischen Systemen Schwierigkeiten hinsichtlich der Genauigkeit auf, die von Schwächen des Aufnahmegerätes oder der Erkennungsalgorithmen herrühren. Es muss immer wieder erneut hingenommen werden, dass eine Person fälschlicherweise akzeptiert oder abgelehnt wird. Diese Beschränkungen führen zu zwei Problemen, welche als "Falsche Akzeptanzen" und "Falsche Rückweisungen" bekannt sind. Die Falschakzeptanzrate (FAR) ist die Erfolgswahrscheinlichkeit dafür, dass eine unautorisierte Person bzw. eine Person, die nicht in der Datenbank existiert, fälschlicherweise als korrekt registriert erkannt wird. Die Falschakzeptanzrate bezeichnet die relative Häufigkeit der akzeptierten Anfragen eines falschen Nutzers. Im Kontext von biometrischen Verfahren hat eine Ja/Nein-Entscheidung also die folgenden Ergebnismöglichkeiten: Entweder ist das biometrische "Sample" gleich dem Referenzdatensatz oder nicht, oder aber die Entscheidung des Algorithmus ist richtig oder falsch. Dies führt zu vier möglichen Entscheidungsergebnissen:

  • Falsche Akzeptanz / Annahme[*] (Fehler erster Art)
  • Korrekte Akzeptanz / Annahme
  • Falsche Rückweisung[*] (Fehler zweiter Art)
  • Korrekte Rückweisung

Die Falschrückweisungsrate bezeichnet die relative Häufigkeit der abgewiesenen Anfragen eines richtigen Nutzers (Fehler zweiter Art). Die beiden Qualitätsparameter hängen stark von der Meßmethodik, dem verwendeten Verfahren und der Grundgesamtheit der Merkmalsdaten ab. Der Falsch-Akzeptanz-Fehler wird auch als Fehler erster Ordnung, der Falschrückweisungsfehler als Fehler zweiter Ordnung definiert. Die Werte für die Falschrückweisungsrate und die Falschakzeptanzrate können nicht theoretisch hergeleitet werden, sondern müssen immer statistisch auf der Basis aufwendiger Tests ermittelt werden. Falschakzeptanzen kommen üblicherweise nur bei der Identifikation, nicht aber bei der Verifikation vor. Sie müssen bei der Verifikation explizit durch ein falsches bzw. nicht registriertes biometrisches Merkmal provoziert werden. Ein geringer Toleranzschwellwert für den Vergleich biometrischer Daten führt zu einer höheren Falschakzeptanzrate und gleichzeitig zu einer niedrigeren Falschrückweisungsrate (FRR). Ein hoher Toleranzschwellwert führt somit zu einer niedrigen Falschakzeptanzrate und gleichzeitig zu einer hohen Falschrückweisungsrate. Die Toleranzschwellwerte können die Ergebnisse eines biometrischen Systems signifikant verändern, je nachdem wie die Sensitivität des Mechanismus, der die biometrischen Daten vergleicht, justiert ist. Die Falschakzeptanzrate und die Falschrückweisungsrate weisen eine negative Korrelation auf. Sichere Systeme zielen auf eine niedrige Falschakzeptanzrate ab und nehmen dafür eine höhere Falschrückweisungsrate in Kauf, während bequemere Systeme auf Kosten einer höheren Falschakzeptanzrate auf eine niedrige Falschrückweisungsrate ausgerichtet sind. Die Falschrückweisungsrate führt zu Unbequemlichkeiten für den Benutzer, der Falsch-Akzeptanz-Fehler hingegen zu einer Gefahr für die Systemsicherheit. Bei einer hohen Falsch-Rückweisungsrate müssen die Benutzer meist mehrere Versuche starten, um vom System akzeptiert zu werden (ähnlich wie bei schlechten Magnetkartenlesern, bei denen eine Karte mehrfach durchgezogen werden muss). Für Anwendungen, bei denen die Bequemlichkeit und die generelle Benutzerakzeptanz eine übergeordnete Rolle spielen, muss auf einen niedrigeren Toleranzschwellwert zurückgegriffen werden, um die Falschrückweisungsrate zu reduzieren und dem Benutzer stets den Zugang zu ermöglichen. Der Nachteil einer niedrigen Falschrückweisungsrate ist die höhere Wahrscheinlichkeit, dass eine unautorisierte Person Zugang oder Zugriff auf das System erhält. Zur Beurteilung der Erkennungsleistung eines biometrischen Systems müssen immer beide Werte - also die Falschakzeptanzrate und die Falschrückweisungsrate angegeben werden, da diese negativ korrelieren. Die Angaben über diese Fehlerraten der Hersteller sind kaum überprüfbar und auch nicht in allen Fällen nachvollziehbar. Aus Erfahrung weiss man, dass die Falschrückweisungsrate bezüglich eines unerfahrenen Benutzers nach einigen Wochen Systembenutzung signifikant sinkt. Dies wird mit "Kennenlernproblemen" und einem sogenannten Eingewöhnungseffekt bezeichnet. Die Falschakzeptanzrate wird neben der Falschrückweisungsrate im Allgemeinen als der wichtigste Parameter für Sicherheitsanwendungen angesehen. Die Fehlerraten können nicht berechnet oder theoretisch hergeleitet werden, sondern müssen statistisch anhand einer Testdatenbank von biometrischen Daten geschätzt werden. Für eine statistisch relevante Aussagefähigkeit dieser Fehlerraten ist eine große Zahl von Messungen erforderlich. Die Raten FAR und FRR werden in Prozent angegeben. Die Berechnung geschieht wie folgt: 

In der Literatur werden häufig auch die Begriffe false match und false non-match anstelle der Falschrückweisungs- und der Falschakzeptanzrate verwendet. Dabei bedeutet false match, dass zwei verschiedene Merkmale irrtümlich als gleich gewertet werden, und false non-match bezeichnet, dass zwei gleiche Merkmale irrtümlich als verschieden vom biometrischen System gewertet werden. Die Falschrückweisungsrate ist dabei mit der false non-match rate und die Falschakzeptanzrate mit der false match rate gleichzusetzen. Gleichfehlerrate (EER) Das Niveau, auf welchem die Falschakzeptanzrate und die Falschrückweisungsrate den gleichen Wert aufweisen, bezeichnet man als die Gleichfehlerrate (EER). Die Gleichfehlerrate ist ein Maß für die Trennfähigkeit zwischen biometrischen Merkmalen verschiedener Personen. Falls der Toleranzschwellwert für eine erfolgreiche Verifikation derart gewählt wurde, dass sich die Werte für die Falschakzeptanzrate und die Falschrückweisungsrate auf dem gleichen Niveau befinden, spricht man von der Equal-Error-Rate (EER). Diese Equal-Error-Rate ist auch unter dem Namen Cross-Over-Rate (CER) bekannt.

Gleichfehlerrate (EER) symbolisiert die Güte des biometrischen Erkennungssystems. Je niedriger die Gleichfehlerrate, desto höher ist die Präzision des biometrischen Systems. Die Gleichfehlerrate ist diejenige Rate, bei dem die FRR und die FAR den gleichen Wert aufweisen, also FAR(t)=FRR(t) bzw. FNMR(t) = FMR(t) gilt. Dies ist jedoch nicht alles, worauf es bei der Güte eines biometrischen Systems ankommt. Vielmehr ist auch die sogenannte Trennfähigkeit ausschlaggebend, die Steigung der Kurve in der Nähe des Schnittpunktes. Eine gleiche EER zweier biometrischer Systeme führt nicht zwangsläufig zu einer gleichen Erkennungsgüte. Wichtig ist, dass die Steigung nahe des Schnittpunktes der FAR- und FRR-Kurve berechnet wird und in den Vergleich der Systemparameter miteinfließt. An dem Beispiel in Abbildung 7 und Abbildung 8 weisen die beiden linken Kurven eine höhere und die beiden rechten Kurven eine niedrigere Steigung um den Schnittpunkt auf. Ideal wäre eine EER von annähernd 0% bei einer Steigung von annähernd Null.

Da die EER alleine nicht sehr aussagekräftig für die Güte des biometrischen Systems ist und nur Aufschluss über die Verfahrensgüte für einen einzigen speziellen Schwellwert liefert, ist eine weitere Kennzahl wünschenswert, die auch für andere Schwellwerteinstellungen Rückschlüsse auf die Qualität liefert. Ein derartiges Maß ist die sogenannte Trennfähigkeit, die sich definiert als die Fläche, die von den beiden Fehlerkurven sowie der Waagrechten y = EER + 5% eingeschlossen wird. Die Fläche ist umso größer, je flacher die beiden Kurven um ihren gemeinsamen Schnittpunkt herum abfallen bzw. ansteigen. Je größer die schraffierte Fläche ist, desto größer ist auch die Trennfähigkeit des Systems. Bei zwei biometrischen Verfahren, die eine gleiche EER aufweisen, hat dasjenige mit der größeren Fläche die bessere Trennschärfe. Der Zusammenhang zwischen FAR, FRR, EER und der Fläche ist in Abbildung 9 skizziert. Bei dem Systemmodus der Identifikation hängt die Gesamtfehlertoleranz erheblich von der Anzahl der Referenzdatensätze ab, bezüglich derer die Identifikation durchgeführt wird. Eine Qualitätssicherung während des Personalisierungsprozesses, das Sicherheitsniveau und das Zusammenspiel der Systemkomponenten nehmen auf die interdependenten Fehler von biometrischen Systemen einen großen Einfluss. Failure-to-Enroll Rate Die Erkennungsgenauigkeit eines einzelnen Referenzdatensatzes hängt stark von der Qualität der während der Personalisierung erstellten Referenzdaten ab. Das bedeutet zum einen die Qualität der Merkmalsausprägung und zum anderen die Genauigkeit und die Sorgfalt, mit der das Merkmal aufgenommen wurde. Das kann bei der Fingerbilderkennung die Größe und der Kontrast der aufgenommenen Bildfläche sein oder bei der Gesichtserkennung mit den Beleuchtungsverhältnissen oder der Bildschärfe zusammenhängen. Qualitativ geringwertige Referenzdaten führen zu erhöhten Fehlerraten. So können beispielsweise wenige sehr schlechte Referenzdaten bei einem anschließenden Identifikationsmodus innerhalb einer Datenbank die Gesamtfehlerrate stark erhöhen. Eine gute Merkmalsaufnahme und hohe Qualität der Referenzdaten sowie eine möglichst kleine FER ist eine der Grundvoraussetzungen für eine niedrige FAR und FRR. Aus diesen Gründen finden bei der Personalisierung Qualitätskontrollen statt, so dass beispielsweise bei einem Fingerbild eine Mindestbildfläche oder bei einem Gesicht eine Mindestbildhelligkeit vorhanden sein muss. Wird dieser Mindestschwellwert nicht erreicht, dann führt dies zu einer Falscherfassung und die Person kann nicht personalisiert werden. Die Failure-to-Enroll Rate ist derjenige Prozentsatz, der angibt, bei wievielen Nutzern das Enrollment nicht erfolgreich durchgeführt werden kann. Mögliche Ursachen für ein Nicht-Funktionieren des Enrollments können folgende Aspekte sein:

  • es fehlt das Merkmal (Finger, Auge, Hand);
  • es liegt eine Einschränkung in der Erfassung vor (Brille, Kontaktlinsen, schwache Merkmalsausprägung wie "schlechte" Finger);
  • das technische Verständnis des Anwenders fehlt oder ist unzureichend;
  • es gibt Systemprobleme (Sensorqualität, Algorithmen);
  • die Akzeptanz des Verfahrens (z.B. aus gesundheitlichen Bedenken) liegt nicht vor.


Fingerabdruckschloss L2000

Biometrische Zutrittskontrolle ohne PC mit dem digiID IV zum Preis von 799,00 EUR zzgl. Versandkosten. Direkt zum Shop

BioLite Solo

Biometrische Zutrittskontrolle ohne PC mit dem BioLite Solo zum Preis von 590,00 EUR zzgl. Versandkosten. Direkt zum Shop