June 5, 2021

Analyse: Das Gesetz der kleinen Zahl

Oder: “Je kleiner eine Stichprobe, um so unsicherer das Ergebnis.” Und welche üblen Folgen es haben kann, auch für Projektleiter und Business Analysten, wenn man dieses Gesetz ignoriert.

In seinem Bestseller Thinking, Fast and Slow schildert Daniel Kahnemann wie er am Anfang seiner wissenschaftlichen Laufbahn am “Gesetz der kleinen Zahl” schier verzweifelt ist: Er konnte in seinen Experimenten nicht reproduzieren, dass sechsjährige Mädchen im Durchschnitt einen größeren Wortschatz haben als gleichaltrigen Jungen. Mal waren die Mädchen deutlich überlegen, mal die Jungen, mal waren beiden Gruppen gleichauf. Erst als er seine Versuche mit größeren Teilnehmerzahlen durchführte, verschwanden diese statistischen Verzerrungen und er konnte die Überlegenheit der Mädchen bestätigen.

Zu kleine Stichproben verführen nicht nur Biowissenschaftler immer wieder zu Behauptungen, die ihre Kollegen nicht reproduzieren können, auch in den Sozialwissenschaften treiben sie schon lange ihr Unwesen. So hatten die Republikaner bei den US-Präsidentschaftwahlen von 2016 den größten Vorsprung in dünn besiedelten Wahlkreisen mit relative wenigen Wählern. Na klar, das sind ländliche Gebiete mit abgehängten “weißen Männern” (und Frauen), die in ihrer Frustration dem Populismus von Donald Trump erliegen. Aber das Gegenteil war auch richtig: Die Demokraten ihrerseits hatten den größten Vorsprung vor den Republikanern ebenfalls in Wahlkreisen mit wenigen Wählern, nicht in den bevölkerungsreichen.

Diese scheinbare Paradoxie kann man durch “langsames Denken” im Sinn von Kahnemann auflösen: Angenommen, in einer Urne liegen zahlreiche Kugeln, die entweder schwarz oder weiß sind. Man zieht nun blind Kugeln aus der Urne und möchte aus dieser Stichprobe darauf schließen, wie häufig die weißen Kugeln in der Urne sind. Wie viele Kugeln muss man ziehen, damit man den Anteil der weißen Kugeln mit genügender Sicherheit schätzen kann, sagen wir mit 95-prozentiger Sicherheit?

Betrachten wir zunächst die beiden Extremfälle:

  • Wenn man überhaupt keine Kugeln aus der Urne zieht, weiß man auch überhaupt nichts über deren Farbverteilung.
  • Zieht man aber alle Kugeln aus der Urne und zählt die Farben aus, weiß man mit hundertprozentiger Sicherheit, wie hoch der Anteil der weißen Kugeln ist.

Wie die Sicherheit mit dem Stichprobenumfang wächst, kann man mit statistischen Methoden berechnen (siehe z.B. “Statistik für Wirtschaftswissenschaftler” von Josef Bleymüller; Verlag Franz Vahlen; 16. Auflage 2012). Das ist zwar mühsam, aber unumgänglich für die Versuchsplanung, denn sonst weiß man nicht, wie weit man sich auf die Versuchsergebnisse verlassen kann.

Aber auch als Projektleiter oder Business Analyst sollte man sich jetzt nicht grinsend zurücklehnen, denn man ist nur allzu oft selbst in Gefahr, am “Gesetz der kleinen Zahl” Schiffbruch zu erleiden.

Beispiel Test: Wie oft ist es schon vorgekommen, dass ein System alle Tests bestanden hat und trotzdem verheerende Fehler aufgetreten sind, wenn man es produktiv nutzt? Man hat hier wieder das “Gesetz der kleinen Zahl” zu spüren bekommen, diesmal in Form einer zu kleinen Zahl von Testfällen. Die Stichprobe der durchgeführten Tests war so klein, dass man die schweren Fehler nicht bemerkt hat, die sich als wenige schwarze Kugeln in der Massen der weißen Kugeln, also der korrekten Funktionen, versteckt haben. Zwar hätte man auch mit wenigen Tests zufällig auf solche Fehler stoßen können, aber die Wahrscheinlichkeit dafür war wegen der geringen Zahl von Tests nicht hoch genug, um den positiven Testergebnissen zu vertrauen.

Analyse: Das Gesetz der kleinen Zahl Read More »

Buchtipp: “Thinking, Fast and Slow”

Von Daniel Kahnemann; Penguin Books; 2012

Daniel Kahnemann erhielt 2002 den Wirtschaftsnobelpreis für seine Forschungen zur Verhaltensökonomik, die er seit den 1970er-Jahren vor allem zusammen mit Amos Tversky durchgeführt hat. Im Zentrum dieser Forschungen steht ein Modell der menschlichen Entscheidungsfindung, das nicht nur auf einer kühlen Abwägung von Kosten und Nutzen nach Art eines völlig rationalen Home oeconomicus basiert, sondern auch zahlreiche kognitive Verzerrungen berücksichtigt, welche die Forscher bei echten Menschen in sorgfältig durchgeführten Experimenten beobachtet und nach Art der Wirtschaftswissenschaftler in mathematische Modelle gefasst haben.

Kahnemanns Buch “Thinking, Fast and Slow”, das sich rasch zu einem internationalen Bestseller entwickelt hat, beschreibt nicht nur die revolutionären Ergebnisse dieses Forschungszweigs, sondern schildert auch die Wege und Irrwege, auf denen diese Ergebnisse erzielt wurden. Das ist an sich schon sehr interessant, um so mehr aber, als man den beschriebenen kognitiven Verzerrungen nur allzu leicht selbst unterliegt und hofft, ein besseres Verständnis dieser Denkfehler könne vielleicht helfen, sie künftig zu vermeiden.

Das ist allerdings leichter gesagt als getan, wenn Kahnemann recht hat und die kognitiven Verzerrungen das Produkt weitgehend automatisierter Vorgänge sind, die uns schnelle Entscheidungen unter Ungewissheit ermöglichen und die eine lange Evolutionsgeschichte tief in uns verankert hat.

Wenn wir kognitive Verzerrungen vermeiden oder überhaupt erst einmal bemerken wollen, müssen wir dagegen die Mühsal des “langsamen Denkens” auf uns nehmen, das durch Logik, Wahrscheinlichkeitsrechnung und ähnliche Zumutungen einen ungetrübteren Blick auf die Entscheidungssituation und die verfügbaren Alternativen ermöglicht. Kahnemann illustriert das zum Beispiel am Gesetz der kleinen Zahl.

Wem das Buch von Kahnemann zu umfangreich ist, der kann viele der darin beschriebenen Denkfallen auch im kurzweiligen Buch von Rolf Dobelli finden: “Die Kunst des klaren Denkens. 52 Denkfehler, die sie besser anderen überlassen” (Hanser Verlag 2011).

Und wem das Buch von Kahnemann nicht reicht, dem sei “Rationality for Mortals” empfohlen mit dem Untertitel “How People Cope with Uncertainty” (Oxford University Press, 2008). Darin setzt sich Gerd Gigerenzer, Kognitionspsychologe und Direktor des Harding-Zentrums für Risikokompetenz an der Universität Potsdam, kritisch mit den Hypothesen Kahnemanns auseinander, indem er den adaptiven Vorteil des “schnellen Denkens” betont: Außerhalb des Labors erweisen sich laut Gigerenzer viele kognitiven Verzerrungen des “schnellen Denkens” als erstaunlich nützlich oder waren es zumindest lange Zeit während der Evolutionsgeschichte des Menschen. Auch Gigerenzer ist aber davon überzeugt, dass wir kognitive Verzerrungen möglichst vermeiden sollten, wenn wir verantwortungsbewusst Entscheidungen treffen wollen in unserer heutigen unübersichtlichen Welt.

Buchtipp: “Thinking, Fast and Slow” Read More »

Buchtipp: “Rebooting AI – Building Artificial Intelligence We Can Trust”

Von Gary Marcus und Ernest Davis; Vintage Books; August 2020.

In diesem Buch zeigen zwei renommierte KI-Experten an zahlreichen Beispielen, wie schlecht die heutige KI mit der Welt abseits von Go-Brettern und Videospielen zurecht kommt und entwickeln Vorschläge, die man diese Beschränkungen überwinden könnte.

So haben neuronale Netze, die zurzeit so überraschende Erfolge feiern, auf der anderen Seite

  • einen umgekippten Schulbus als Schneepflug klassifiziert und
  • ein Stoppschild, das Scherzbolde mit Aufklebern verziert hatten, plötzlich für eine Geschwindigkeitsbegrenzung gehalten.

Den erstaunlichen Fähigkeiten moderner KI-Algorithmen steht also oft ein mindestens ebenso erstaunliches Versagen in der realen Welt gegenüber, wo sie mitunter an Aufgaben scheitern, die selbst kleine Kinder spielend bewältigen.

Warum das so ist, untersuchen die Autoren, indem sie die Arbeitsweise von KI mit unseren kognitiven Fähigkeiten vergleichen. Wenn z.B. eine KI einen Text übersetzt, nutzt sie statistische Zusammenhänge, die sie zuvor aus ungeheuren zweisprachigen Textmassen extrahiert hat. Beim Übersetzen tauscht sie also Zeichenketten der Quellsprache aus durch statistisch passende Zeichenketten der Zielsprache. Das ist alles, und intelligent wirkt das nicht gerade.

Eine menschliche Übersetzerin muss zwar zunächst auch den Quelltext lesen, aber dann tut sie etwas Unerhörtes, jedenfalls für KI-Begriffe: Während des Lesens versucht sie, den Text zu verstehen! Sie übersetzt also nicht den Text an sich, sondern ein Stück Welt, das sie in ihrem Geist erschaffen hat aus den dürren Stichworten im Text und einer Fülle von Wissen, Erfahrungen, Gefühlen usw., über die sie als menschliches Wesen verfügt.

Die Autoren gehen natürlich etwas nüchterner an dieses Thema heran, als ich mir das hier als begeisterter Bücherwurm erlaubt habe, und tragen eine stattliche Liste von kognitiven Fähigkeiten zusammen, die wir den heutigen KI-Algorithmen voraus haben und die es uns ermöglichen, in einer Welt zu überleben, in der wir immer wieder mit Neuem konfontiert werden.

Diese Liste von kognitiven Fähigkeiten inspiriert die Autoren dazu, ein Forschungsprogramm zu skizzieren, von dem sie überzeugt sind,

  • dass es einen Weg aus der Sackgasse weist, in der die KI ihrer Ansicht nach heute steckt,
  • und das die KI nach und nach mit “common sense” und am Ende sogar einer “general intelligence” ausstatten soll,
    • der man eher vertrauen kann als den heutigen fachidotenhaften KI-Algorithmen, die beim geringsten Überschreiten ihrer Grenzen so spektakulär und überraschend scheitern können, dass man sich besser nicht blindlings auf sie verläßt.

Ob die Vorschläge der Autoren für einen Neustart der KI-Forschung am Ende zu besseren und vertrauenswürdigeren KI-Anwendungen beitragen werden, kann ich als KI-Laie nicht beurteilen. Aber lesenswert ist dieses Buch allemal für jeden, der mehr über Grenzen und Potential von KI erfahren möchte.

Buchtipp: “Rebooting AI – Building Artificial Intelligence We Can Trust” Read More »