Unser Computer sagt uns, Du bist ein Verbrecher!

Daten im Strafrecht: Ich bin in anderem Zusammenhang bei der Recherche zu Algorithmen auf einen schon etwas älteren, aber durchaus noch aktuellen SpiegelOnline – Artikel über Algorithmen gestoßen, die Bewerbungen bei „großen Unternehmen“ vorsortieren. Der Artikel ist sehr aufschlussreich darüber, dass man eben nicht alles gut finden sollte, nur weil es die Schlagworte „computergestützt“ und „Algorithmus“ kombiniert.  Der Titel der Artikels: „Computer says no | Warum Bewerbungen oft am Lebenslauf scheitern – und wie Sie das verhindern“.

Darin geht es um

„Bewerbermanagement-Systeme. Die durchsuchen Bewerbungen auf vordefinierte Begriffe und gleichen sie mit der Stellenanzeige ab. Haben Sie den Abschluss, der in der Anzeige gefordert wird? Wenn nicht, landet die Bewerbung vielleicht im Papierkorb, bevor ein menschlicher Mitarbeiter sie gelesen hat.

Doch nicht nur dann. Oft genügen schon kleinere Fehler – und Ihre Bewerbung wird aussortiert.“

Man beachte das Framing, also die sich aus dieser Formulierung ergebende Botschaft: Danach handelt es sich um Fehler der Bewerber. Da fragt man sich natürlich: Was sind das eigentlich für Fehler? Und man kommt aus dem Staunen nicht mehr raus: Beschrieben werden in dem Artikel eigentlich ausschließlich Fehler einer Software, die offenbar unterirdisch schlecht programmiert ist.

  • Die Software ist unfähig, BWL Studiengänge zu erkennen, wenn nicht ausdrücklich die Buchstaben „BWL“ in der Bewerbung stehen.
  • Die Software ist unfähig, eine Abschlussnote zu erkennen, wenn nicht das Wort „Abschluss“ vor der Note steht.
  • Die Software ist unfähig, die wohl als Standard anzusehenden Sprachniveaulevel (also A1, B2, C1 etc.) nach dem Gemeinsamen europäischen Referenzrahmen für Sprachen zu erkennen.
  • Die Software ist unfähig, Datumsangaben zu erfassen.
  • Die Software ist unfähig, wohl branchenübliche Abkürzungen zu erkennen.
  • Die Software ist unfähig, eine einfache Spaltenformatierung zu erkennen.

Eine entsprechende Vorwarnung durch die Unternehmen an die Bewerber (also im Sinne: „Achtung, wir setzen einen CV-Parser ein. Beachten Sie bei der Formatierung Ihres Lebenslaufs daher bitte Folgendes…“) erfolgt wohl nicht, zumindest steht im Artikel nichts davon.

Frage an die Unternehmen: Würdet Ihr derartige Fehler in einer Software tolerieren, wenn sie zum Beispiel Bestellungen oder gar Bezahlungen abwickeln sollte? Ich glaube nicht.

Vorgestellt wird uns sodann Ben Dehn. Was macht der eigentlich?

Ben Dehn hat als Mitarbeiter der Agentur Die Bewerbungsschreiber mehr als 1500 Bewerbungen geschrieben, außerdem gibt er an der Ruhr-Universität Bochum Kurse zum Thema. Er kennt sich also aus mit den Vor- und Nachteilen von Bewerbermanagement-Systemen. »Diese Systeme dienen eigentlich beiden Seiten als Hilfe«, sagt er. »Personalerinnen und Personaler müssen nicht mehrere Hundert Bewerbungen von Hand vergleichen, und Bewerberinnen und Bewerber erhalten schneller Klarheit. Doch die Programme haben ihre Tücken und scheitern beispielsweise manchmal an der Formatierung eines Lebenslaufs. Eine Fehlerquelle, die man leicht beheben kann – wenn man sie kennt.«

Leider hat der Journalist Sebastian Maas die Gelegenheit verpasst, hier mal näher nachzufragen. Wie kann es sein, dass eine Universität jemanden beschäftigt, der Studierende an die Vorgaben einer grob fehlerhaften Software anpasst? Warum beschäftigt die den nicht, damit er 100 x am Tag die entsprechende Softwarefirma auf ihre Fehler hinweist und weitere 100 x am Tag Warnungen vor dieser Software veröffentlicht? Wieso holt Maas keine Stellungnahme von der Softwarefirma ein, warum die so schlecht programmiert ist, dass sie grundlegende und verbreitete Angaben von Bewerbern nicht erkennt?

Computergestützte Ermittlungen / Daten im Strafrecht – mit Vorsicht zu genießen!

Was das mit Strafrecht zu tun hat? Nun, auch im Bereich von Ermittlungen und „Digitaler Verbrechensbekämpfung“ setzt man auf die Auswertung von Daten. Da das Schlagwort „KI“ in aller Munde ist, wird das auch eher noch zunehmen.

Und auch hier ist die Einstellung verbreitet: Der Computer lügt nicht! Das macht er aber leider eben doch.

Der Royal-Mail-Horizon-Skandal – wenn die Justiz dem Computer glaubt

So hat zum Beispiel der „Royal-Mail-Horizon“-Fall gezeigt, dass Daten im Strafrecht immer wieder hinterfragt werden müssen, bevor man auf sie Entscheidungen stützt, vor allem, wenn es sich um nachteilige Entscheidungen handelt.

Dort wurden mehr als 3500 Mitarbeiter der Post zu Unrecht beschuldigt, Unterschlagungen begangen zu haben. Es kam dabei zu über 900 Verurteilungen.

Warum? Weil das eingeführte Computersystem „Horizon“ fehlerhafte Kassenstände anzeigte. Da der Computer ja aber nicht irren konnte, musste das Geld also abhanden gekommen sein. Wie sich die Betroffenen gefühlt haben müssen, kann man sich vorstellen.

Auch hier waren offensichtlich erst die Polizei und dann die Justiz von der vermeintlichen „Unbestechlichkeit der Daten“ so fasziniert, dass sie sich blenden ließen.

Und eben diese Geisteshaltung wird durch Artikel wie den oben verlinkten aus SpiegelOnline gefördert: Wenn der Computer falsch arbeitet, dann müssen sich die Menschen anpassen.

Die Beispiele zeigen aber: Gerade den Mitarbeiter Computer muss man ganz genau kontrollieren. Denn Daten allein machen keine Wahrheit. Und Daten im Strafrecht ersetzen keine Kontrolle durch Gerichte.