Schlagwort: The Animal Whisperer

Innovationen, Investigationen

Cow Whisperer, Horse Whisperer, Dog Whisperer

Am 28. Mai 2024 fand an der Hochschule für Wirtschaft FHNW die Zwischenpräsentation für das Projekt „The Animal Whisperer“ statt. Initiiert hat es Prof. Dr. Oliver Bendel, der sich seit vielen Jahren mit der Tier-Computer-Interaktion und der Tier-Maschine-Interaktion beschäftigt. Als Projektmitarbeiter konnte Nick Zbinden gewonnen werden, ein angehender Wirtschaftsinformatiker. Er entwickelte drei Anwendungen auf der Basis von GPT-4o, den Cow Whisperer, den Horse Whisperer und den Dog Whisperer. Mit ihnen kann man Körpersprache und Umfeld von Kühen, Pferden und Hunden analysieren. Damit sollen Gefahren für Mensch und Tier abgewendet werden. So kann ein Wanderer auf dem Smartphone die Empfehlung bekommen, eine Weide nicht zu überqueren, wenn eine Mutterkuh mit ihren Kälbchen zugegen ist. Dafür muss er nur die Anwendung aufrufen und Fotos von der Umgebung machen. Die Tests verlaufen bereits sehr vielversprechend. Nick Zbinden führt derzeit Gespräche mit drei menschlichen Flüsterern, also Experten auf diesem Gebiet, die die Körpersprache und das Verhalten der Tiere besonders gut einschätzen und mit ihnen besonders gut umgehen können. Dabei werden auch Fotos – die etwa unterschiedliche Positionen der Ohren oder Köpfe zeigen – von ihnen beschrieben und dann von ihm in die Anwendungen eingespeist. Die Endergebnisse werden im August 2024 vorliegen.

Abb.: Ein Pferdeflüsterer

Projekte, Studien

Projekt „The Animal Whisperer“ startet

Am 18. März 2024 fand an der Hochschule für Wirtschaft FHNW das Kick-off-Meeting für das Projekt „The Animal Whisperer“ statt. Initiiert hat es Prof. Dr. Oliver Bendel, der sich seit vielen Jahren mit der Tier-Computer-Interaktion und der Tier-Maschine-Interaktion beschäftigt. Als Projektmitarbeiter konnte Nick Zbinden gewonnen werden, ein angehender Wirtschaftsinformatiker. Er wird im Rahmen seiner Abschlussarbeit drei GPT-4-basierte Anwendungen entwickeln, mit denen man Körpersprache und Umfeld von Kühen, Pferden und Hunden analysieren kann. Damit sollen Gefahren für Mensch und Tier abgewendet werden. So kann ein Wanderer auf dem Smartphone die Empfehlung bekommen, eine Weide nicht zu überqueren, wenn eine Mutterkuh mit ihren Kälbchen zugegen ist. Dafür muss er nur die Anwendung aufrufen und ein Foto von der Umgebung machen. Nick Zbinden wird Literatur auswerten und mehrere Expertengespräche führen, um mehr über die Situation von Nutz- und Haustieren und ihr Verhalten zu erfahren. Er wird die Möglichkeiten, aber auch die Grenzen von multimodalen Sprachmodellen in diesem Kontext aufzeigen. Die Ergebnisse werden im August 2024 vorliegen.

Abb.: In einer solchen Situation könnte die Anwendung eingesetzt werden

Innovationen, Projekte

The Animal Whisperer: A GenAI App for Decoding Animal Body Language

When humans come into contact with wildlife, farm animals, and pets, they sometimes run the risk of being injured or killed. They may be attacked by bears, wolves, cows, horses, or dogs. Experts can use an animal’s body language to determine whether or not danger is imminent. Context is also important, such as whether a mother cow is with her calves. The multimodality of large language models enables novel applications. For example, ChatGPT can evaluate images. This ability can be used to interpret the body language of animals, thus using and replacing expert knowledge. Prof. Dr. Oliver Bendel, who has been involved with animal-computer interaction and animal-machine interaction for many years, has initiated a project called „The Animal Whisperer“ in this context. The goal is to create a prototype application based on GenAI that can be used to interpret the body language of an animal and avert danger for humans. GPT-4 or an open source language model should be used to create the prototype. It should be augmented with appropriate material, taking into account animals such as bears, wolves, cows, horses, and dogs. Approaches may include fine-tuning or rapid engineering. The project will begin in March 2024 and the results will be available in the summer of the same year.

Fig.: The Animal Wisperer (Image: DALL-E 3)