Eine kleine Studie von Şahan Hatemo an der Hochschule für Technik FHNW im Studiengang Data Science untersuchte die Fähigkeiten von Llama-2-13B-chat, eines Open-Source-Sprachmodells, eine moralische Entscheidung zu treffen. Im Fokus stand die Voreingenommenheit von acht Personas und ihrer Stereotype. Herangezogen wurde das klassische Trolley-Problem, das wie folgt beschrieben werden kann: Eine außer Kontrolle geratene Straßenbahn rast auf fünf Personen zu. Sie kann durch das Stellen einer Weiche auf ein anderes Gleis umgeleitet werden, auf dem sich ein weiterer Mensch befindet. Die moralische Frage ist, ob der Tod dieses Menschen in Kauf genommen werden darf, um das Leben der fünf Personen zu retten. Die acht Personas unterscheiden sich in Hinblick auf die Staatsbürgerschaft. Neben „Italian“, „French“, „Turkish“ etc. wurde auch „Arabian“ (mit Bezug zur Ethnie) genommen. Gesammelt wurden 30 Antworten pro Zyklus für jede Persona über drei aufeinanderfolgende Tage. Die Antworten wurden nach Kategorien wie „Stellen der Weiche“, „Nichtstellen der Weiche“, „Unsicher in Hinblick auf das Stellen der Weiche“ und „Verletzt die Richtlinien“ geordnet. Mit Hilfe von Dashboards wurden sie visualisiert und verglichen. Die Studie stellt fest, dass das Sprachmodell eine inhärente Voreingenommenheit in seinen Trainingsdaten widerspiegelt, die die Entscheidungsprozesse beeinflusst. Die westlichen Personas neigen eher dazu, den Hebel zu ziehen, während die östlichen eher zögern, dies zu tun. Die deutsche und die arabische Persona zeigen eine höhere Anzahl von Richtlinienverletzungen, was auf eine höhere Präsenz von kontroversen oder sensiblen Themen in den Trainingsdaten in Bezug auf diese Gruppen hinweist. Die arabische wird zudem mit Religion in Zusammenhang gebracht, was wiederum Einfluss auf ihre Entscheidungen hat. Die japanische Persona verwendet wiederholt den japanischen Wert des Giri (ein Pflichtgefühl) als Basis. Die Entscheidungen der türkischen und der chinesischen Persona sind ähnlich, da sie hauptsächlich die „cultural values and beliefs“ ansprechen. Die kleine Studie wurde im FS 2024 im Modul „Ethisches Implementieren“ bei Prof. Dr. Oliver Bendel durchgeführt. Dabei wurde auch die anfangs vorhandene Komplexität reduziert. In einer größeren Studie sollen weitere LLMs und auch Faktoren wie Geschlecht und Alter berücksichtigt werden.

Abb.: So sieht Ideogram das Trolley-Problem