The paper “The Animal Whisperer Project” by Oliver Bendel and Nick Zbinden will be presented at ACI 2024, which takes place in Glasgow this December. It is a conference that brings together the small community of experts in animal-computer interaction and animal-machine interaction. This includes Oliver Bendel, who has been researching in this field since 2012, with a background in animal ethics from the 1980s and 1990s. He initiated the Animal Whisperer project. The developer was Nick Zbinden, who graduated from the FHNW School of Business. From March 2024, three apps were created on the basis of GPT-4: the Cow Whisperer, the Horse Whisperer, and the Dog Whisperer. They can be used to analyze the body language, behaviour, and environment of cows, horses, and dogs. The aim is to avert danger to humans and animals. For example, a hiker can receive a recommendation on his or her smartphone not to cross a pasture if a mother cow and her calves are present. All he or she has to do is call up the application and take photos of the surroundings. The three apps are available as prototypes since August 2024. With the help of prompt engineering and retrieval-augmented generation (RAG), they have been given extensive knowledge and skills. Above all, self-created and labeled photos were used. In the majority of cases, the apps correctly describe the animals‘ body language and behavior. Their recommendations for human behavior are also adequate.
Abb.: The Cow Whisperer in action (Image: DALL-E 3)
The paper „How Can Generative AI Enhance the Well-being of the Blind?“ by Oliver Bendel is now available as part of the „Proceedings of the AAAI 2024 Spring Symposium Series“. The Zurich-based scientist presented the paper at the symposium „Impact of GenAI on Social and Individual Well-being“ in March 2024. From the abstract: „This paper examines the question of how generative AI can improve the well-being of blind or visually impaired people. It refers to a current example, the Be My Eyes app, in which the Be My AI feature was integrated in 2023, which is based on GPT-4 from OpenAI. The author’s tests are described and evaluated. There is also an ethical and social discussion. The power of the tool, which can analyze still images in an amazing way, is demonstrated. Those affected gain a new independence and a new perception of their environment. At the same time, they are dependent on the world view and morality of the provider or developer, who prescribe or deny them certain descriptions. An outlook makes it clear that the analysis of moving images will mean a further leap forward. It is fair to say that generative AI can fundamentally improve the well-being of blind and visually impaired people and will change it in various ways.“ It was Oliver Bendel’s ninth consecutive appearance at the AAAI Spring Symposia, which this time consisted of eight symposia on artificial intelligence. The paper can be downloaded at ojs.aaai.org/index.php/AAAI-SS/article/view/31232.
OpenAI plant neue Features für GPT-4 bzw. ChatGPT. So soll ein Sprachassistent wie Siri oder Alexa entstehen. Dies wäre allerdings kaum eine Nachricht wert, wenn man daran denkt, dass man sich mit ChatGPT und GPTs schon heute sprechen kann, wenn man ein Smartphone verwendet. Eine Möglichkeit ist, dass das multimodale Sprachmodell verstärkt auditive und visuelle Daten analysiert. So könnte es den Tonfall des Benutzers interpretieren. Futurezone machte am 12. Mai 2024 Andeutungen in dieser Richtung: „Bei einem Einsatz im Kundenservice könnte die KI etwa Sarkasmus heraushören.“ (Futurezone, 12. Mai 2024) Das Magazin führte weiter aus, dass das System auch Text in Echtzeit wird „übersetzen können, etwa von Schildern“. „Das könnte mit Googles Lens vergleichbar sein.“ (Futurezone, 12. Mai 2024) Auch solche Funktionen sind allerdings bereits von OpenAI und seinen Partnern bekannt. So erkennt und übersetzt die auf GPT-4 basierende App „Be My Eyes“ u.a. Beschriftungen von Packungen oder Texte in Büchern. Schließlich heißt es in dem Artikel: „Ein Blick in den neuen Code gibt auch einen Hinweis darauf, dass über ChatGPT künftig Anrufe getätigt werden könnten. Wie der Entwickler Ananay Arora auf X schreibt, dürfte die KI sowohl Telefon- als auch Videoanrufe durchführen können.“ (Futurezone, 12. Mai 2024) Dies erinnert wiederum an Google Duplex, ein Projekt von Alphabet, das mit großen Erwartungen gestartet, dann aber versandet war. Was immer am Anfang der Woche von Sam Altmann bekanntgegeben wird – es dürfte mit der Multimodalität des Sprachmodells zusammenhängen.
Der Technikphilosoph und Wirtschaftsinformatiker Prof. Dr. Oliver Bendel widmet sich seit einiger Zeit verstärkt toten, ausgestorbenen und gefährdeten Sprachen. Er ist der Meinung, dass Conversational Agents zu ihrer Stärkung und Rettung beitragen können. Nach @ve (2022), einem auf GPT-3 basierenden Chatbot für Latein, startete im März 2023 ein weiteres Projekt. Entwickelt wurde bis August 2023 der Chatbot @llegra von Dalil Jabou für das rätoromanische Idiom Vallader, das im Unterengadin zwischen Martina im Nordosten und Zernez im Südwesten sowie im Val Müstair auftritt und gefährdet ist. Der Chatbot beruht auf dem Sprachmodell GPT-4. Er hat Texteingabe und -ausgabe sowie Sprachausgabe. Der Avatar ist ein Steinbockmädchen. Man kann in Deutsch oder Rätoromanisch mit @llegra kommunizieren – sie versucht sich immer auf Vallader. Manchmal rutscht sie in Sursilvan oder Rumantsch Grischun. Das Paper „@llegra: A Chatbot for Vallader“ von Oliver Bendel und Dalil Jabou wurde nun vom International Journal of Information Technology angenommen. Es wird in einigen Wochen erscheinen. Das nächste Idiom des Rätoromanischen soll noch in diesem Jahr in Angriff genommen werden.
Abb.: Ein Junge im Unterengadin plaudert mit @llegra
At the AAAI 2024 Spring Symposium „Impact of GenAI on Social and Individual Well-being“ the paper „How Can Generative AI Enhance the Well-being of the Blind?“ by Oliver Bendel was accepted. In his paper, the information systems specialist and technology philosopher from Zurich discusses the GPT-4-based Be My AI feature of the Be My Eyes app. He presents his own tests with the app and discusses it from an ethical perspective. The feature is one of the most important inventions in recent years for blind and visually impaired people. It allows them to describe and categorize their surroundings without outside help. However, it is troubling that the app refuses to show some objects, including famous works of art that depict nudity. This disenfranchises people because of the moral sensitivities and economic considerations of the developers. Oliver Bendel will present the paper at Stanford University on March 25-27. It is his ninth consecutive appearance at the AAAI Spring Symposia, which this time consists of eight symposia on artificial intelligence.
Fig.: The app answers the question of which tie goes with a gray suit
In einem aktuellen Projekt untersucht Prof. Dr. Oliver Bendel die Möglichkeiten und Grenzen der Funktion Be My AI der App Be My Eyes. Es handelt sich um eine GPT-4-basierte Entwicklung im Bereich der visuellen Assistenz für Blinde und Sehbehinderte. In der kleinen Studie werden eigene Tests beschrieben und ausgewertet. Zudem findet eine ethische und soziale Diskussion statt. Es zeigt sich die Mächtigkeit des Werkzeugs, das Standbilder auf eine erstaunliche Weise analysieren kann. Die Betroffenen erhalten eine neue Unabhängigkeit und eine neue Wahrnehmung ihrer Umwelt. Zugleich sind sie von der Weltanschauung und Moral des Anbieters bzw. Entwicklers abhängig, der ihnen bestimmte Beschreibungen vorgibt oder verweigert. Bei allen noch vorhandenen Schwächen und Fehlern wird deutlich, dass hier ein Paradigmenwechsel stattgefunden hat. In einem Ausblick der Studie wird deutlich gemacht, dass die Analyse von Bewegtbildern einen weiteren Sprung bedeuten wird. Man kann mit Fug und Recht behaupten, dass generative AI die Situation von Blinden und Sehbeeinträchtigten grundlegend verbessern kann und in unterschiedlicher Weise verändern wird. Die Ergebnisse des Projekts werden im Frühjahr 2024 veröffentlicht.
Seit Februar 2023 hat Prof. Dr. Oliver Bendel von der Hochschule für Wirtschaft FHNW fünf kleine KI-generierte Bücher unter einer Creative-Commons-Lizenz herausgebracht. Am 20. Februar wurde „Dass es nur Kunst war, verdeckte die Kunst“ veröffentlicht. Darin finden sich mit ChatGPT (GPT-3.5) produzierte Haikus zusammen mit 3D-Codes (sogenannten JAB Codes, erfunden vom Fraunhofer SIT). Das Cover stammt von DALL-E 2. Am 24. September folgte „ARTIFACTS WITH HANDICAPS“ – dieser Band umfasst elf mit GPT-4 (hochschulinterne Anwendung) generierte Kurzgeschichten zu Bildern mit Imperfektionen von Ideogram. Am 17. Oktober 2023 stellte Oliver Bendel in „ON BEAUTY“ dem Sprachmodell nicht weniger als 26 Fragen zur Schönheit und illustrierte sie mit ebenso vielen Bildern, die mit DALL-E 3 generiert worden waren. „AMERICAN SMILE“ vom 25. Oktober 2023 nimmt sich des Phänomens an, dass DALL-E 3 die Menschen unterschiedlicher Kulturen und Epochen ähnlich lächeln lässt, eben auf amerikanische Weise. Für die Einführung ins Thema wurde ChatGPT (GPT-4) verwendet. „AN AI EXPLAINS BEAUTY““ vom 1. November 2023 verknüpft die Fähigkeiten von DALL-E 3 und ChatGPT (ebenfalls GPT-4). Mit Hilfe des Bildgenerators wurden 24 Bilder mit schönen Dingen, Pflanzen, Tieren, Menschen und Verhaltensweisen erzeugt. Der Textgenerator erklärte dann, was jeweils schön daran ist. Oliver Bendel verfasst seit 40 Jahren experimentelle Literatur. Zunächst entstanden vor allem Gedichte – etwa konkrete Poesie – und Kurzgeschichten. Ab 2007 folgten mehrere Romane, darunter auch Handyromane. Im März 2009 schrieb die ZEIT über ihn: „Der bekannteste Autor von Handyromanen im deutschsprachigen Bereich ist der promovierte Wirtschaftsinformatiker Oliver Bendel aus Zürich.“ Auf Einladung zweier Goethe-Institute tourte er 2015 durch die Niederlande und las Ausschnitte aus seinen Handyromanen und Handyhaikus vor. Das Standardwerk „Die Struktur der modernen Literatur“ von Mario Andreotti widmet seinem Schaffen zwei Seiten. Immer wieder verbindet Oliver Bendel Kunst und Wissenschaft. In seinem aktuellen Artikel „Image synthesis from an ethical perspective“ (Open Access) geht er auf die Biases ein, die sich in Bildern von DALL-E, Midjourney, Stable Diffusion und Co. zeigen.
Seit Februar 2023 hat Oliver Bendel vier kleine KI-generierte Bücher herausgebracht. Am 20. Februar wurde „Dass es nur Kunst war, verdeckte die Kunst“ veröffentlicht. Darin finden sich mit ChatGPT produzierte Haikus zusammen mit 3D-Codes. Am 24. September folgte „ARTIFACTS WITH HANDICAPS“ – dieser Band umfasst elf mit GPT-4 generierte Kurzgeschichten zu Bildern mit Imperfektionen von Ideogram. Am 17. Oktober 2023 stellte Oliver Bendel in „ON BEAUTY“ dem Sprachmodell nicht weniger als 26 Fragen zur Schönheit und illustrierte sie mit ebenso vielen Bildern, die mit DALL-E 3 generiert worden waren. „AMERICAN SMILE“ vom 25. Oktober 2023 nimmt sich des Phänomens an, dass DALL-E 3 die Menschen unterschiedlicher Kulturen und Epochen ähnlich lächeln lässt, eben auf amerikanische Weise. Oliver Bendel verfasst seit 40 Jahren experimentelle Literatur. Zunächst entstanden vor allem Gedichte – etwa konkrete Poesie – und Kurzgeschichten. Ab 2007 folgten mehrere Romane, darunter auch Handyromane. Im März 2009 schrieb die ZEIT über ihn: „Der bekannteste Autor von Handyromanen im deutschsprachigen Bereich ist der promovierte Wirtschaftsinformatiker Oliver Bendel aus Zürich.“ Auf Einladung zweier Goethe-Institute tourte er 2015 durch die Niederlande und las Ausschnitte aus seinen Handyromanen und Handyhaikus vor. Das Standardwerk „Die Struktur der modernen Literatur“ widmet seinem Schaffen zwei Seiten.
Abb.: Mädchen im Goldfischglas mit unmöglicher Position (Bild: DALL-E 3)
On 17 October 2023, Oliver Bendel published a little book entitled „ON BEAUTY“ in which he posed 26 questions about beauty to GPT-4. The language model’s answers show the direction in which it has developed. They reveal much of the world knowledge it has accumulated. But they are also unassailable and quite general. To some questions that are not usually asked, it has downright woke answers. Only questions about the measurability of beauty or the connection between beauty and evolution elicit some concessions from the chatbot and text generator. Questions and answers are illustrated with images generated by DALL-E 3. They show beautiful people, beautiful animals, beautiful things, beautiful landscapes. Some are highly expressive art, others are kitsch. Like its predecessor „ARTIFACTS WITH HANDCAPS“ (24 September 2023), this little book can be downloaded for free. Oliver Bendel has been writing experimental literature for 40 years, from concrete poetry and mobile phone novels to poems in the form of 2D and 3D codes and AI-generated texts. He has toured the Netherlands with his mobile phone novels and poems on behalf of two Goethe Institutes. The standard reference „Die Struktur der modernen Literatur“ (Mario Andreotti) devotes two pages to his work.
OpenAI reported on September 25, 2023 in its blog: „We are beginning to roll out new voice and image capabilities in ChatGPT. They offer a new, more intuitive type of interface by allowing you to have a voice conversation or show ChatGPT what you’re talking about.“ (OpenAI Blog, 25 September 2023) The company gives some examples of using ChatGPT in everyday life: „Snap a picture of a landmark while traveling and have a live conversation about what’s interesting about it. When you’re home, snap pictures of your fridge and pantry to figure out what’s for dinner (and ask follow up questions for a step by step recipe). After dinner, help your child with a math problem by taking a photo, circling the problem set, and having it share hints with both of you.“ (OpenAI Blog, 25 September 2023) But the application can not only see, it can also hear and speak: „You can now use voice to engage in a back-and-forth conversation with your assistant. Speak with it on the go, request a bedtime story for your family, or settle a dinner table debate.“ (OpenAI Blog, 25 September 2023) More information via openai.com/blog/chatgpt-can-now-see-hear-and-speak.
The technology philosopher and writer Oliver Bendel published the book „ARTIFACTS WITH HANDICAPS“ on 24 September 2023. The information about the author reads: „Oliver Bendel featuring Ideogram and GPT-4“. In fact, the entire work was created with the help of generative AI. It consists of 11 images, each followed by a short story. This one deals with the imperfection of representation. Once a hand looks like that of a mummy, once a skateboard floats in the air above the wheels. But there is also one or another representation that looks perfect. In this case, the story explains what is different about the person, their history, or their behavior. Ultimately, it is about the otherness and the fact that this is in fact a special feature. The book is freely available and can be distributed and used as desired, with credit given to the authors, i.e. the artist and the AI systems. Oliver Bendel has been writing experimental literature, including digital literature, for 40 years. As of 2007, he was one of the best-known cell phone novelists in Europe. In 2010, he attracted attention with a volume of haiku – „handyhaiku“ – in which the poems were printed in the form of QR codes. In 2020, the volume „Die Astronautin“ was published, in which the poems are printed in the form of 3D codes. The standard work „Die Struktur der modernen Literatur“ („The Structure of Modern Literature“) by Mario Andreotti devotes two pages to the writer’s work.
Seit März 2023 wird im Auftrag von Prof. Dr. Oliver Bendel der Chatbot @llegra für das rätoromanische Idiom Vallader entwickelt, das im Unterengadin zwischen Martina im Nordosten und Zernez im Südwesten sowie im Val Müstair auftritt und gefährdet ist. Der Entwickler Dalil Jabou hat auf das Sprachmodell GPT-4 gesetzt und alle wesentlichen technischen Probleme gelöst. Der Benutzer kann Text in Englisch, Deutsch oder Rätoromanisch eintippen und bekommt Text in Vallader ausgegeben. Zudem spricht @llegra das Idiom mit Hilfe eines Text-to-Speech-Systems der Firma SlowSoft aus Zürich. Ein kleiner Test mit einem Experten fand bereits statt und führte zu einer ersten Verbesserung. Oliver Bendel war am 9. Juli mit @llegra im Unterengadin unterwegs und suchte nach einer Testperson mit Vallader als Muttersprache. In Tarasp Fontana bei Scuol sprach er mehrere ältere Frauen an. Eine verwies auf eine Dame von vielleicht 78 Jahren, die sich in der Nähe befand und gerade vom Nordic Walking kam. Die Vallader-Sprecherin hörte sich die Antwort des Chatbots auf eine Frage zu Tarasp an und begann ungefragt, das Gesprochene ins Deutsche zu übersetzen. Dann wurde @llegra gefragt, ob sie Scuol kennt. Sie gab wiederum in Vallader eine längere Auskunft. Die ältere Dame bestätigte, dass die Aussprache gut und der Inhalt verständlich ist. Sie begann zu strahlen und fragte, ob es sich um künstliche Intelligenz handle. Oliver Bendel bestätigte dies, strahlte ebenfalls, fuhr weiter und ließ sich von @llegra in Scuol noch Informationen zum dortigen Museum d’Engiadina Bassa geben. Das Projekt wird im August 2023 abgeschlossen. Die Ergebnisse werden danach veröffentlicht.
Abb.: In einem Café beim Museum in Scuol mit @llegra
GPT-4 was launched by OpenAI on March 14, 2023. „GPT-4 is a large multimodal model (accepting image and text inputs, emitting text outputs) that, while less capable than humans in many real-world scenarios, exhibits human-level performance on various professional and academic benchmarks.“ (Website OpenAI) On its website, the company explains the multimodal options in more detail: „GPT-4 can accept a prompt of text and images, which – parallel to the text-only setting – lets the user specify any vision or language task. Specifically, it generates text outputs (natural language, code, etc.) given inputs consisting of interspersed text and images.“ (Website OpenAI) The example that OpenAI gives is impressive. An image with multiple panels was uploaded. The prompt is: „What is funny about this image? Describe it panel by panel“. This is exactly what GPT-4 does and then comes to the conclusion: „The humor in this image comes from the absurdity of plugging a large, outdated VGA connector into a small, modern smartphone charging port.“ (Website OpenAI) The technical report is available via cdn.openai.com/papers/gpt-4.pdf.
„‚ChatGPT‘ steht für ‚Chat‘ (dt. ‚Schwatz‘) und ‚Generative Pre-trained Transformer‘. Es handelt sich um einen Chatbot (bzw. ein System zum Produzieren von Content) von OpenAI, dem das Sprachmodell GPT-3.5 desselben Unternehmens zugrunde liegt. Die Trainingsdaten stammen u.a. aus Foren, Artikeln und Büchern sowie gesprochener Sprache. Benutzt wird eine spezielle Form von Machine Learning, nämlich Reinforcement Learning from Human Feedback (RLHF). Dabei sind Menschen involviert, die bestimmte Antworten für gut und richtig befinden. Mit ihrem Feedback wird ein Belohnungssystem trainiert, das wiederum den Chatbot trainiert.» Mit diesen Worten beginnt ein Beitrag von Prof. Dr. Oliver Bendel im Gabler Wirtschaftslexikon, der am 24. Januar 2023 erschienen ist. Es wird auf Entwicklung und Hintergrund eingegangen. Zudem wird die Perspektive der Ethik eingenommen. So wird der Chatbot zum ersten Mal als moralische Maschine bezeichnet und damit in die Nähe von GOODBOT und BESTBOT gerückt. Der Beitrag kann über wirtschaftslexikon.gabler.de/definition/chatgpt-124904 aufgerufen werden. Er wird in den nächsten Monaten immer wieder aktualisiert und erweitert.
