summaryrefslogtreecommitdiff
path: root/updates/2018
diff options
context:
space:
mode:
author46halbe <46halbe@berlin.ccc.de>2018-10-13 08:46:09 +0000
committer46halbe <46halbe@berlin.ccc.de>2020-05-23 13:40:16 +0000
commitcb1fd4dac219b5e19533407977d43fe9e20f4171 (patch)
treee74012d0c32b48d9e1cf622a88ea110955b2d5d1 /updates/2018
parentb779de8fe42f887271644e4df74548795675c497 (diff)
committing page revision 1
Diffstat (limited to 'updates/2018')
-rw-r--r--updates/2018/debakel-am-suedkreuz.md230
1 files changed, 230 insertions, 0 deletions
diff --git a/updates/2018/debakel-am-suedkreuz.md b/updates/2018/debakel-am-suedkreuz.md
new file mode 100644
index 00000000..5d766ce5
--- /dev/null
+++ b/updates/2018/debakel-am-suedkreuz.md
@@ -0,0 +1,230 @@
1title: Biometrische Videoüberwachung: Der Südkreuz-Versuch war kein Erfolg
2date: 2018-10-13 08:46:09
3updated: 2018-10-13 08:46:09
4author: erdgeist
5tags: update, pressemitteilung
6
7Die Ergebnisse im Abschlussbericht nach dem monatelangen Test der biometrischen Gesichtserkennung sind nicht überzeugend und absichtlich geschönt worden. Solche Testergebnisse können nicht als Grund dafür herhalten, Biometrietechnik nun flächendeckend einführen zu wollen. Risiken und rechtliche Probleme werden im Bericht gar nicht erst angesprochen.
8
9<!-- TEASER_END -->
10
11Diese Woche hat die Bundespolizei den bereits im September erstellten
12Abschlussbericht \[1\] zur biometrischen Gesichtserkennung am Berliner
13Bahnhof Südkreuz veröffentlicht. Zu den Kosten des monatelangen Versuchs
14sind keine Angaben enthalten. Eine zeitgleich bekanntgegebene Meldung
15preist die Ergebnisse der drei erprobten Systeme als „erfolgreich“ und
16spricht von einem „enormen Mehrwert“ der Biometriesoftware für die
17Polizei.
18
19Jedoch zeigen die wenigen Zahlen aus dem Bericht, dass die getesteten
20Systeme – anders als behauptet – keine akzeptablen Ergebnisse
21erbrachten. Zudem erweist sich, dass die Ergebnisse manipuliert wurden,
22um sie nicht ganz so desaströs aussehen zu lassen.
23
24Der Chaos Computer Club (CCC) fordert im Lichte dieses Debakels, das
25unnütze und teure Sicherheitstheater unverzüglich einzustellen. Die
26Gesichter aller Passanten sind keine biometrische Ressource zum Scannen
27nach Belieben.
28
29Die biometrische Videoüberwachung ist mit zahlreichen technischen
30Problemen behaftet und erweist sich erneut als untauglich. Aber das weit
31größere Problem für jeden Passanten, dessen Gesicht gescannt wird, liegt
32in der Technologie selbst: Menschen werden nicht wie mit anderen
33Videosystemen einfach nur beobachtet, sondern während der Überwachung
34durch ihre Körpermerkmale identifiziert. Werden solche Systeme
35ausgebaut, stehen wir vor einer anlasslosen biometrischen
36Personenüberwachung im öffentlichen Raum, die mit der heutigen
37Videoüberwachung technisch nicht vergleichbar ist.
38
39 
40
41###
42
43### Angaben zu durchschnittlichen Ergebnissen
44
45Das Innenministerium betont die angeblich hohe Anzahl an Treffern: Die
46Trefferrate gibt laut dem Bericht die Wahrscheinlichkeit an, mit der
47eine Person von einem getesteten System korrekt identifiziert wird. Über
48die angegebene Trefferrate von durchschnittlich achtzig Prozent zeigen
49sich das Innenministerium und die Autoren des Abschlussberichts
50hocherfreut. Faktisch werden bei einer solchen Rate allerdings von zehn
51gesuchten Personen eben nur acht korrekt identifiziert.
52
53Doch selbst die in der Pressemitteilung besonders hervorgehobene
54durchschnittliche Erkennungsrate von achtzig Prozent hat in Wahrheit
55keines der getesteten Systeme erreicht, sondern ist eine absichtlich
56positiv verfälschende Zahl. Sie berechnet sich laut dem Abschlussbericht
57aus den Erkennungsraten aller drei erprobten Systeme.
58
59Praktisch hieße das für die Situation am Bahnhof, dass nicht der beste
60Anbieter für die biometrische Erkennung zum Einsatz käme, sondern alle
61drei Systeme zusammen eingesetzt werden müssten, um diesen
62durchschnittlichen Wert zu erreichen. Eine solche Trefferrate des
63„logischen Gesamtsystems“ existiert nämlich nur, wenn alle drei
64getesteten Systeme die vorbeilaufenden Menschen erfassen und jeweils
65softwareseitig auswerten. Bei keinem der getesteten Anbieter wurde diese
66imaginäre durchschnittliche Zahl in Wahrheit gemessen. Tatsächlich ist
67das durchschnittliche Ergebnis des Versuchs für das beste der drei
68Testsysteme die peinliche Zahl von 68,5 Prozent, die in der ersten
69Testphase erreicht wurde. Damit ist die biometrische Technik zu
70unausgereift für den praktischen Einsatz.
71
72Erwartungsgemäß ändert auch die Positionierung der Kamera das Ergebnis
73für die Trefferquoten: Am schlechtesten schnitt dabei die Eingangskamera
74am Bahnhof ab, bei der die schwächsten Trefferleistungen gemessen
75wurden. Selbst das beste der drei getesteten Systeme kommt hier nur auf
76eine Trefferquote von 65,8 Prozent. Tagsüber konnte wegen Gegenlichts
77sogar auch beim besten der Systeme nur sechzig Prozent erreicht werden.
78Der schlechteste der drei Biometrieanbieter wies am Eingang des Bahnhofs
79sogar nur eine Trefferrate von 18,9 Prozent (tagsüber zwölf Prozent) aus
80und ist damit glatt durchgefallen.
81
82Für den geplanten Abgleich mit polizeilichen Datenbanken sind solche
83Erkennungsraten völlig unbrauchbar. Sie als Erfolg verkaufen zu wollen,
84ist schlicht unredlich. Insgesamt hält die Bundespolizei dennoch zwei
85der getesteten Systeme für den „praktischen polizeilichen Einsatz“
86geeignet und sieht selbst für das überdurchschnittlich schlechte dritte
87Testsystem noch ein „hohes Potenzial“.
88
89 
90
91###
92
93### Wissenschaftliche Standards missachtet
94
95Die zugrundeliegenden Bilder der Gesichter waren in der Phase zu Beginn
96des Tests von ausgesprochen hoher Qualität, was die Ergebnisse zugunsten
97der getesteten Systeme verzerrt. Denn die freiwilligen Probanden wurden
98in hoher Auflösung und mit guter Beleuchtung fotographiert, so dass die
99erfassten Gesichter in der ersten Testphase optimal für den Vergleich
100mit den Livebildern vorlagen.
101
102Der Abschlussbericht weist solche Verzerrungen nicht etwa aus, sondern
103beschönigt das Vorgehen noch. Generell kann die gesamte Auswertung nicht
104als wissenschaftlich angesehen, sondern muss als PR-Bericht verstanden
105werden. Vielleicht dauerte es deshalb so lange, die bereits am 31. Juli
106beendeten Tests herauszuputzen, um sie erst im Oktober im
107Abschlussbericht darzustellen.
108
109Die Wissenschaftlichkeit des Versuchs steht aber auch aus anderen
110Gründen bereits konzeptuell in Zweifel: Die Repräsentativität der
111Probanden war nicht gegeben, so dass kein aussagekräftiges Abbild der
112Bevölkerung (Alter, Geschlecht, Ethnie) oder des gesuchten
113Personenkreises getestet wurde. Zudem war die Anzahl der freiwilligen
114Tester mit 312 Menschen zu gering bemessen, sie nahm in der zweiten
115Testphase außerdem noch signifikant ab und verringerte sich auf nur 201
116Personen.
117
118*„Eine gründliche Untersuchung der realen Erkennungsleistungen der
119biometrischen Systeme hat mit dem Test am Bahnhof Südkreuz wenig
120gemeinsam. Wenn ein System der biometrischen Personenüberwachung aber
121tatsächlich eingesetzt werden sollte, genügen solche Versuche ohnehin
122nicht. Dann müsste man besser vorher darüber sprechen, ob es
123gesellschaftlich wünschenswert und überhaupt rechtlich möglich ist, von
124jedem Vorbeilaufenden biometrische Merkmale zu verarbeiten“*, sagte Dirk
125Engling, Sprecher des CCC.
126
127 
128
129###
130
131### Die zweite Versuchsphase
132
133Besonders dreist ist das Vorgehen, mit der zweiten Testphase die
134Ergebnisse nochmals absichtlich zu schönen. Der damalige Innenminister
135Thomas de Maizière hatte bei einem Besuch seines Vorzeigeprojektes noch
136angekündigt, dass in einer zweiten Phase des ursprünglich auf sechs
137Monate angelegten Versuchs realitätsnähere Bilder benutzt werden würden.
138In Wahrheit wurden in dem dann verlängerten Test unter dem Vorwand,
139angeblich Fahndungsfotos zu verwenden, tatsächlich von den getesteten
140Systemen selbst aufgezeichnete Gesichtsbilder benutzt. Diese Bilder
141hatten im ersten Versuchsteil bereits zu guten Ergebnissen geführt.
142Zudem wurde nunmehr nicht nur ein Referenzbild in den Datenbanken
143hinterlegt, sondern gleich mehrere der zuvor aufgezeichneten Fotos der
144Probanden aus den Überwachungskameras verwendet.
145
146Damit wurden nicht nur absichtlich und unzulässig die Erkennungraten
147manipuliert, vielmehr sind mit einem solchen Testvorgehen Rückschlüsse
148auf reale Szenarien in einem Bahnhof gar nicht mehr möglich. Schließlich
149hat es nichts mehr mit der Wirklichkeit zu tun, wenn die biometrischen
150Systeme Vergleiche von vorher als gut klassifizierten Gesichtsbildern
151vornehmen, die am gleichen Ort entstanden sind. So müssten in der
152Realität Fotos der Verdächtigen an allen Bahnhöfen mit allen dort
153verbauten Kameras angefertigt werden – eine vollkommmen unsinnige und
154erneut die Ergebnisse verfälschende Testannahme. Wenn solche
155Versuchsmethoden als Begründung für eine künftige Gesetzgebung zum
156flächendeckenden Einsatz herhalten sollten, sind sie nicht
157aussagekräftig für eine reale Verwendung.
158
159 
160
161###
162
163### Die Falscherkennungsrate
164
165Weiterhin sind die Zahlen zur Falscherkennungsrate (FAR) deutlich
166geschönt. So werden hier nicht etwa alle durch die Kamera erfassten
167Gesichter der Menschen analysiert, sondern ausweislich des Berichtes nur
168diejenigen, die zufälligerweise zu dem Zeitpunkt aufgenommen wurden,
169wenn eine der Testpersonen neben ihnen auf der Rolltreppe stand oder im
170Bahnhof ging und damit das System durch den Transponder aktivierte. Die
171realen Zahlen der fälschlichen Erkennung liegen also nochmals um ein
172Vielfaches höher als der in dem Bericht ausgegebene Wert. Zugleich
173bleibt auch diese Verzerrung des Ergebnisses im Bericht selbst
174unkommentiert.
175
176Für das „logische Gesamtsystem“ liegt die so ausgewiesene FAR
177durchschnittlich bei 0,67 Prozent. Bei einer durchschnittlichen Anzahl
178von etwa 90.000 Reisenden pro Tag am Bahnhof Südkreuz hieße ein solcher
179Wert, dass täglich 600 Passanten und mehr fälschlich ins Visier der
180biometrischen Installation gerieten.
181
182Weiterhin werfen die im Versuch verwendeten Verfahren Fragen auf, die in
183dem Bericht nicht adresssiert werden. Wieso wurden beispielsweise aus
184den 41.000 gespeicherten Transponder-Events nur 6.000 ausgewählt? Was
185waren die Kriterien? Und warum werden nicht in allen Diagrammen im
186Abschlussbericht die gleichen Datenpunkte verwendet? So gibt es
187beispielsweise für den November nur einen Punkt im Diagramm für die
188Falscherkennungsrate, aber ganze neun für die Trefferrate. Hier liegt
189der Verdacht nahe, dass durch die Auswahl bestimmter Ereignisse
190Fehlerkennungen unter den Tisch gekehrt werden sollten. Auch Differenzen
191in den Erkennungsraten zwischen aufeinanderfolgenden Tagen von im
192Schnitt zehn Prozent (maximal fünfzig Prozent) sollten die Herausgeber
193und die Leser der Studien stutzig machen.
194
195 
196
197###
198
199### Bedeutung der Zahlen in der Praxis
200
201Würde dieses System tatsächlich so in Betrieb genommen, würde die FAR
202noch weiter darunter leiden, dass die Zahl der Fahndungen mehr als nur
203die 200 gespeicherten Vergleichsbilder wie in Testphase 2 erzeugt. Laut
204Beispiel aus dem Bericht soll in der Praxis mit mindestens 600 Bildern
205verglichen werden. Entsprechend stiege die FAR nochmals.
206
207Doch selbst wenn die Systeme nur vier unbescholtene Bürger pro Kamera
208und Stunde fälschlich als Verbrecher erkennen und die Beamten diese dann
209von Hand aussondern müssen, kann man sich leicht vorstellen, was
210passiert, wenn nach monatelangem händischen Aussieben dann doch mal ein
211einzelner Verbrecher durchs Bild huscht und erkannt wird. Wie aufmerksam
212ein durchschnittlicher PC-Anwender die hunderste Sicherheitswarnung für
213Webseiten wegklickt, dürfte ein Gefühl für die Auswirkungen einer
214solchen Flut von Falscherkennungsmeldungen geben.
215
216Der einzige Lichtblick im Bericht ist die Beschreibung, wie man sich am
217besten gegen die biometrische Rasterfahndung schützen kann: Man drehe
218einfach das eigene Gesicht um mehr als 15 Grad von der Kamera weg. Damit
219ist eigentlich alles gesagt, was die Sinnhaftigkeit und
220Einsatztauglichkeit solcher Systeme angeht.
221
222 
223
224###
225
226### Links
227
228\[1\] [Abschlussbericht der
229Bundespolizei](https://www.bundespolizei.de/Web/DE/04Aktuelles/01Meldungen/2018/10/181011_abschlussbericht_gesichtserkennung_down.pdf;jsessionid=B00C5E4B9341D9F8733EF8508A6D9C46.2_cid324?__blob=publicationFile&v=1)
230(pdf)