Die EU-Kommission schlägt einen Rechtsrahmen für den Einsatz von KI-Systemen vor. Diese werden nach ihrem vermeintlichen Risiko kategorisiert. Als inakzeptabel gilt alles, was als eindeutige Bedrohung für die EU-Bürger angesehen wird, von Social Scoring durch Regierungen bis hin zu Spielzeug mit Sprachassistenz, etwa in der Art von Hello Barbie. Zu den Bereichen mit hohem Risiko gehören kritische Infrastrukturen (z. B. des Verkehrs), die das Leben und die Gesundheit der Bürgerinnen und Bürger gefährden könnten. Damit wird das autonome Fahren – zumindest bei Ansätzen, wie sie von Tesla und Co. bevorzugt werden – einer ständigen Kontrolle unterworfen sein. Auch Operationsroboter fallen in diese Kategorie, obwohl diese heute fast ausnahmslos vom Arzt gesteuert werden. Ein begrenztes Risiko wird etwa bei Chatbots gesehen. Hier sollen lediglich minimale Transparenzpflichten gelten. So kann die Maschine deutlich machen, dass sie nur eine Maschine ist – diese Anforderung hat bereits der GOODBOT von 2013 erfüllt. Überhaupt werden Chatbots seit ca. 50 Jahren entwickelt, und die Regulierung kommt hier mit einiger Verzögerung. Ein minimales Risiko ist laut Kommission bei der Mehrheit der KI-Systeme vorhanden. Als (vielleicht nicht ganz glücklich gewählte) Beispiele werden KI-fähige Videospiele oder Spamfilter genannt. Bei den Anbietern von KI-Systemen im Hochrisikobereich sollen vier Schritte durchlaufen werden. Nach der Entwicklung finden Überprüfung und Eintrag in eine Datenbank statt. Dann wird eine Konformitätserklärung unterzeichnet und eine CE-Kennzeichnung aufgebracht. Am Ende kann das KI-System auf den Markt oder in die Anwendung gebracht werden. Die Pressemitteilung der Europäischen Kommission vom 21. April 2021 findet sich hier.
Living, working, and sleeping in small spaces next to the same people for months or years would be stressful for even the fittest and toughest astronauts. Neel V. Patel underlines this fact in a current article for MIT Technology Review. If they are near Earth, they can talk to psychologists. But if they are far away, it will be difficult. Moreover, in the future there could be astronauts in space whose clients cannot afford human psychological support. „An AI assistant that’s able to intuit human emotion and respond with empathy could be exactly what’s needed, particularly on future missions to Mars and beyond. The idea is that it could anticipate the needs of the crew and intervene if their mental health seems at risk.“ (MIT Technology Review, 14 January 2020) NASA wants to develop such an assistant together with the Australian tech firm Akin. They could build on research by Oliver Bendel. Together with his teams, he has developed the GOODBOT in 2013 and the BESTBOT in 2018. Both can detect users’ problems and react adequately to these problems. The more recent chatbot even has face recognition in combination with emotion recognition. If it detects discrepancies with what the user has said or written, it will make this a subject of discussion. The BESTBOT on Mars – it would like that.
The BESTBOT was developed at the School of Business FHNW from March to August 2018. Predecessor projects were GOODBOT (2013) and LIEBOT (2016). Prof. Dr. Oliver Bendel has been doing research in the young discipline of machine ethics for several years. In cooperation with robotics and artificial intelligence (AI), it designs and produces moral machines. At the beginning of 2018 Bendel presented his paper „From GOODBOT to BESTBOT“ at Stanford University, which laid the foundation for the BESTBOT project. David Studer programmed the chatbot in Java. Prof. Dr. Bradley Richards assisted him in technical matters. Like LIEBOT, BESTBOT is a networked system that exploits search engines and dictionaries. It analyzes the user’s text input with text-based emotion recognition software. At the same time, face recognition is used, again with emotion recognition. For example, if the user states that he is doing well but reveals something else on his face, the chatbot addresses this contradiction. It recognizes both small and big worries. Like the GOODBOT, the BESTBOT can escalate over several levels and provide a suitable emergency number. Like its predecessor, it makes it clear that it is only a machine. It is also special that it cites the source of factual allegations. The BESTBOT will be presented at conferences in 2019.
2013 wurden für eine Maschine mit natürlichsprachlichen Fähigkeiten sieben Metaregeln entwickelt, an die sie sich halten sollte. Diese sind so aktuell wie nie zuvor, seit Google Duplex durch die Medien geistert und Entwickler wie Benutzer beschäftigt. Eine Regel des GOODBOT lautete, er solle dem Benutzer klarmachen, dass er eine Maschine ist, eine andere, er solle nicht lügen. Es folgte, ebenfalls im Kontext der Maschinenethik, das LIEBOT-Projekt (2016), mit dem Erkenntnisse zu Vertrauenswürdigkeit und Verlässlichkeit, auch in Bezug auf Quellen, verbunden waren. Momentan entwickelt Oliver Bendel den BESTBOT. Alle drei Maschinen wurden im Rahmen der AAAI Spring Symposia (2016 – 2018) an der Stanford University sowie auf der ISAIM 2018 in Fort Lauderdale vorgestellt, der LÜGENBOT auch auf Konferenzen in Krakau (2016) und München (2016). Vor dem Hintergrund der bisherigen Projekte und in Anbetracht der jüngsten Entwicklungen – Google Assistant bzw. Duplex wurde erwähnt, aber auch Siri und Alexa haben neuartige Fähigkeiten – verfasste Oliver Bendel zehn Regeln (oder Metaregeln), die eine Diskussionsgrundlage sein sollen, mit Blick auf (auch moralisch) gute virtuelle Assistenten und Chatbots (die sozusagen eine Selbstverpflichtung abgeben). Sie sind insgesamt nicht erschöpfend (so wird etwa nicht auf die Stimme eingegangen), und sie sind jeweils nicht immer ausreichend, aber sie bieten Leitplanken und einen Ausgangspunkt für Richtlinien. Speziell für Sprachassistenten bietet sich das Moralmenü (MOME) an.
Machine ethics researches the morality of semiautonomous and autonomous machines. The School of Business at the University of Applied Sciences and Arts Northwestern Switzerland FHNW realized a project for implementation of a prototype called GOODBOT, a novelty chatbot and a simple moral machine. One of its meta rules was it should not lie unless not lying would hurt the user. It was a stand-alone solution, not linked with other systems and not internet- or web-based. In the LIEBOT project, the mentioned meta rule was reversed. This web-based chatbot, implemented in 2016, could lie systematically. It was an example of a simple immoral machine. A follow-up project in 2018 is going to develop the BESTBOT, considering the restrictions of the GOODBOT and the opportunities of the LIEBOT. The aim is to develop a machine that can detect problems of users of all kinds and can react in an adequate way. To achieve this, it will use approaches of face recognition. The paper „From GOODBOT to BESTBOT“ describes the preconditions and findings of the GOODBOT project and the results of the LIEBOT project and outlines the subsequent BESTBOT project. A reflection from the perspective of information ethics is included. Oliver Bendel presented his paper on 27 March 2018 at Stanford University („AI and Society: Ethics, Safety and Trustworthiness in Intelligent Agents“, AAAI 2018 Spring Symposium Series). The entire volume can be downloaded via AAAI.
Nach dem Mittagessen spannte Oliver Bendel beim Symposium „AI and Society“ den Bogen „From GOODBOT to BESTBOT“. Sein BESTBOT-Projekt, das GOODBOT und LIEBOT zusammenführt, startete eine Woche vorher an der School of Business FHNW (der mit der Implementierung beauftragte Student ist David Studer). Der BESTBOT, ein Artefakt der Maschinenethik, soll Probleme des Benutzers auch über Gesichtserkennung identifizieren, was wiederum Probleme für den Benutzer schafft, die ebenfalls diskutiert werden sollen, und zwar aus Sicht der Informationsethik. „Toward Beneficial Human-Level AI … and Beyond“ thematisierte maschinelles Bewusstsein und „superintelligence“ und das TalaMind-Projekt. Philip Jackson betonte, dieses „will help to achieve beneficial human-level AI and superintelligence“ schneller und besser als andere Methoden. Andrew Williams sprach über „The Potential Social Impact of the Artificial Intelligence Divide“. Er fragte nach den Vorurteilen und Verzerrungen, die über KI verstärkt werden. Bei der abschließenden Diskussionsrunde war ein Thema der Zusammenhang zwischen natürlicher Sprache und menschlicher und maschineller Moral, ein anderes die Entwicklung des Arbeitsmarkts angesichts der Übernahme von Arbeit durch KI-Systeme und Roboter.
Prof. Dr. Oliver Bendel was invited to give a lecture at the ISAIM special session „Formalising Robot Ethics“. „The International Symposium on Artificial Intelligence and Mathematics is a biennial meeting that fosters interactions between mathematics, theoretical computer science, and artificial intelligence.“ (Website ISAIM) Oliver Bendel will present selected prototypes of moral and immoral machines and will discuss a project planned for 2018. The GOODBOT is a chatbot that responds morally adequate to problems of the users. It’s based on the Verbot engine. The LIEBOT can lie systematically, using seven different strategies. It was written in Java, whereby AIML was used. LADYBIRD is an animal-friendly robot vacuum cleaner that spares ladybirds and other insects. In this case, an annotated decision tree was translated into Java. The BESTBOT should be even better than the GOODBOT. Technically everything is still open. The ISAIM conference will take place from 3 to 5 January 2018 in Fort Lauderdale, Florida. Further information is available at isaim2018.cs.virginia.edu.
Ende 2017 wurde an der Hochschule für Wirtschaft FHNW der Entschluss gefasst, das GOODBOT-Projekt von 2013 wiederaufzunehmen und das Dialogsystem zum BESTBOT weiterzuentwickeln. Inzwischen ist ein regelrechter Hype um Chatbots ausgebrochen. Nicht zuletzt hat das LIEBOT-Projekt von 2016 (Vorarbeiten seit 2013) gezeigt, dass mit einfachsten Mitteln größte Wirkungen zu erzielen sind. Der Chatbot war kein selbstlernendes, aber ein stark vernetztes System. Die Grundüberlegung für den BESTBOT ist, dass er noch besser als der GOODBOT Probleme des Benutzers erkennen und darauf reagieren soll. Damit liegt nahe, dass er nicht nur auf textuelle Eingaben reagiert, sondern auch auf haptische und auf visuelle Eindrücke. Es sollen Ergebnisse aus dem LIEBOT-Projekt umgesetzt werden, um Verlässlichkeit und Vertrauenswürdigkeit zu steigern. Es sollen insgesamt vorhandene Erkenntnisse und Projekte genutzt und neue Ansätze entwickelt werden, in einem weiteren Praxisprojekt, dessen Beginn für Anfang 2018 terminiert wurde. Der BESTBOT wird nach dem GOODBOT, dem LIEBOT und LADYBIRD (2017, Vorarbeiten seit 2014) das vierte Artefakt der Maschinenethik sein, das nach Ideen und Vorgaben von Oliver Bendel umgesetzt wird.
The LADYBIRD project starts in March 2017. More and more autonomous and semi-autonomous machines make decisions that have moral implications. Machine ethics as a discipline examines the possibilities and limits of moral machines. In this context, Prof. Dr. Oliver Bendel developed various design studies and thus submitted proposals for their appearance and functions. He focused on animal-friendly machines which make morally sound decisions, and chatbots with specific skills. The project is about a service robot, which shall spare beneficial insects – a vacuum cleaner called LADYBIRD. An annotated decision tree modelled for this objective and a set of sensors will be used. Three students work from March to October in the practice project at the School of Business FHNW. Since 2013, the principal Oliver Bendel published several articles on LADYBIRD and other animal-friendly machines, e.g., „Ich bremse auch für Tiere (I also brake for animals)“ in the Swiss magazine inside.it. The robot will be the third prototype in the context of machine ethics at the School of Business FHNW. The first one was the GOODBOT (2013), the second one the LIEBOT (2016). All these machines can be described as simple moral machines.
Der Artikel „So erkennen Sie Meinungsroboter“ von Teresa Sickert widmet sich dem Phänomen der Social Bots. „Social Bots sind Programme, die in sozialen Netzwerken menschliche Nutzer simulieren – etwa zur politischen Stimmungsmache. Das klappt mal mehr und mal weniger gut. Diese Tipps helfen, Bots zu entlarven.“ (Spiegel Online, 19. Januar 2017) Und weiter: „Meinungsroboter haben ein Imageproblem. Seit dem US-Wahlkampf wird lebhaft über sogenannte Social Bots diskutiert, über Accounts, die nur so wirken, als stecke ein menschlicher Nutzer dahinter. Auf Plattformen wie Twitter tweeten, liken und retweeten mittlerweile ganze Netze von automatisierten Accounts.“ (Spiegel Online, 19. Januar 2017) Zitiert wird mehrmals Oliver Bendel, der sich als Maschinenethiker mit guten und bösen Chatbots befasst und solche auch baut. 2013 ist der GOODBOT entstanden, 2016 der LÜGENBOT. Diesen rechnet er zu den Münchhausen-Maschinen. Am Rande befasst er sich mit Vervielfältigungs- und Meinungsmaschinen wie den Social Bots. Bei einem Vortrag an der Universität Zürich Ende 2016 hat er deren Chancen und Risiken skizziert. Der Artikel ist abrufbar über www.spiegel.de/netzwelt/web/social-bots-entlarven-so-erkennen-sie-meinungsroboter-a-1129539.html.
Ein sechsseitiges Interview mit Prof. Dr. Oliver Bendel ist in der Absatzwirtschaft (Sonderausgabe dmexco, 14. September 2016, S. 36 bis 41) erschienen. Der Journalist Peter Hanser ist in die Schweiz gereist und hat den Wirtschaftsinformatiker und Maschinenethiker im Au Premier im Zürcher Hauptbahnhof getroffen. Es war ein Gespräch über Technik und Ethik, in dessen Verlauf u.a. die folgenden Worte fielen: „Ich unterscheide Maschinenethik als Gestaltungsdisziplin und andere Disziplinen wie Informationsethik oder Technikethik als Reflexionsdisziplinen. In der Maschinenethik wollen wir wirklich Maschinen konzipieren und am Ende auch prototypisch bauen. Dabei arbeiten wir eng mit KI, Robotik und anderen Disziplinen zusammen. In der Informationsethik und Technikethik reflektieren wir Probleme, die sich beim Einsatz von Robotern ergeben. Es ist beides sinnvoll und notwendig. Wir haben zum ersten Mal in der Geschichte der Ethik eine Form der Ethik, die danach fragt, wie man maschinelle Moral umsetzen kann. Zugleich haben wir zunehmende Probleme durch den Einsatz von Robotern, etwa durch den Ersatz von Arbeitskräften, Kollisionen von Menschen und Maschinen und technikbezogene Sexpraktiken. Es stellt sich die Frage, was wir künftig mit Maschinen tun wollen. Damit sind dann Bereichsethiken gefordert wie Informations-, Technik-, Medizin-, Sexualethik und so weiter.“ Die Maschinen, die das Licht der Welt erblickt haben, sind der GOODBOT und der LIEBOT, und beiden wird im Artikel mit dem Titel „Vielleicht haben Maschinen eines Tages Bewusstsein“ ein Infokasten gewidmet. Das mit dem Bewusstsein hält Oliver Bendel für unwahrscheinlich, aber nicht für ausgeschlossen. Ein Weg könnte sein, auf informationstechnischen Strukturen tierische oder menschliche Hirnzellen wachsen zu lassen. Ein umgekehrter Cyborg sozusagen.
The LIEBOT project is based on preparatory works by Prof. Dr. Oliver Bendel who already initiated the GOODBOT, a chatbot which can be considered a simple moral machine. Since 2013 he has published several articles on this subject and presented automatic strategies with a view to lying. A business informatics student of the School of Business FHNW, Kevin Schwegler, was contracted early in 2016 to implement the LIEBOT (aka LÜGENBOT) as a prototype in the scope of his graduation thesis under consideration and continuance of the preparatory works. The objective of the LIEBOT project is to give practical evidence of the potential of lies and risks of natural language systems. Online media and websites create or aggregate more and more texts automatically (robo-content) and robo-journalism is growing. Natural language dialog systems are becoming very popular. The chatbot to be programmed – the LIEBOT – shall be able to produce untruths and to respond in a morally inadequate manner. This makes it a reversion of the premise applied to the development of the GOODBOT and a continuance of the corresponding work under new auspices. A simple immoral machine is born, a kind of a Munchausen machine. Further information as from autumn 2016 via luegenbot.ch and liebot.org (links no longer valid).
Aus einem Chatbot wurde ein Badbot – Tay von Microsoft entwickelte sich zum Albtraum des Unternehmens und der Gesellschaft. Der SPIEGEL schrieb am 24. März 2016: „Zuerst war Tay noch freundlich, ein bisschen zu jugendsprachlich-obercool vielleicht, manchmal etwas dämlich wirkend, aber harmlos. Dann kam der Kontakt mit der harten Realität des Netzes.“ Und dann sagte Tay: „Hitler hatte recht. Ich hasse die Juden.“ (SPON, 24. März 2016) Die Süddeutsche Zeitung widmete sich dem Thema am 1. April in der gedruckten und am 3. April in der Onlineausgabe. Sie zitierte wiederholt den Wirtschaftsinformatiker und Maschinenethiker Oliver Bendel, der selbst Chatbots konzipiert. 2013/2014 entstand an der Hochschule für Wirtschaft FHNW der GOODBOT im Rahmen eines studentischen Praxisprojekts, seit Anfang 2016 wird der LÜGENBOT oder LIEBOT von Kevin Schwegler programmiert, als spezielle Form einer Münchhausen-Maschine. Die Ergebnisse werden auf KI- und Maschinenethik-Konferenzen in den USA und in Europa vorgestellt. Der Artikel in der Onlineausgabe der Süddeutschen trägt den Titel „Rassistischer Chat-Roboter: Mit falschen Werten bombardiert“ und stammt von Bernd Graff.
Der GOODBOT, der Anfang 2014 als Prototyp das Licht der Welt erblickt hat, wandert bereits durch die Medien. Die ICTkommunikation schrieb am 23. Februar im Artikel „Studierende der FHNW entwickeln virtuellen Gesprächspartner“: „Drei Studierende der Hochschule für Wirtschaft FHNW (Fachhochschule Nordwestschweiz) haben einen Prototyp für den ‚Goodbot‘ entwickelt, einen virtuellen Gesprächspartner, der moralisch angemessen reagieren soll.“ Die Netzwoche stellte am 26. Februar einen Bezug zur Urmutter aller Plappermaschinen her: Wer schon einmal mit Eliza gesprochen habe, der wisse, „dass sich eine solche Software nicht wirklich als Gesprächspartner eignet, wenn es einem schlecht geht“ (Netzwoche Online, 26. Februar 2014). „Zwar fragt Eliza zu Beginn höflich nach dem aktuellen Befinden. Doch den positiven Eindruck, den der Chatbot damit erweckt, zerstört er gleich wieder.“ Das GOODBOT-Projekt, das von Oliver Bendel geleitet wird, soll im Juni 2014 in die nächste Phase gehen.
Ein Artikel in der UnternehmerZeitung vom 2. Juli 2013 geht auf das GOODBOT-Projekt ein, das im Juni 2013 an der Hochschule für Wirtschaft FHNW gestartet ist. Der „moralische Chatbot“ soll auch auf Selbstmorddrohungen oder Ankündigungen von Amokläufen adäquat reagieren und überhaupt ein angenehmer Zeitgenosse (und trotzdem kein Langweiler) sein. Es werden sieben Regeln genannt, die „hinsichtlich seiner Akte und Sprechakte gegenüber dem Benutzer“ gelten sollen. Dazu gehört auch eine Transparenzregel: „Der GOODBOT macht dem Benutzer klar, dass er eine Maschine ist.“ (Regel 1) Und eine Regel zur Beobachtung: „Der GOODBOT ist kein Spitzel und wertet Gespräche mit dem Benutzer nicht aus.“ (Regel 6) Für das Projekt wurden verschiedene konzeptionelle Vorleistungen wie der Regelkatalog erbracht. Von Juni 2013 bis Januar 2014 arbeiten sich drei Studierende der Hochschule in die Maschinenethik und die Roboterethik ein und entwickeln einen Prototyp. Initiator und Leiter des Projekts ist der Philosoph und Wirtschaftsinformatiker Oliver Bendel. Der Artikel ist in der siebten Ausgabe der UnternehmerZeitung auf den Seiten 30 und 31 zu finden.
