„The Animal Whisperer Project“ at ACI

The paper “The Animal Whisperer Project” by Oliver Bendel and Nick Zbinden will be presented at ACI 2024, which takes place in Glasgow this December. It is a conference that brings together the small community of experts in animal-computer interaction and animal-machine interaction. This includes Oliver Bendel, who has been researching in this field since 2012, with a background in animal ethics from the 1980s and 1990s. He initiated the Animal Whisperer project. The developer was Nick Zbinden, who graduated from the FHNW School of Business. From March 2024, three apps were created on the basis of GPT-4: the Cow Whisperer, the Horse Whisperer, and the Dog Whisperer. They can be used to analyze the body language, behaviour, and environment of cows, horses, and dogs. The aim is to avert danger to humans and animals. For example, a hiker can receive a recommendation on his or her smartphone not to cross a pasture if a mother cow and her calves are present. All he or she has to do is call up the application and take photos of the surroundings. The three apps are available as prototypes since August 2024. With the help of prompt engineering and retrieval-augmented generation (RAG), they have been given extensive knowledge and skills. Above all, self-created and labeled photos were used. In the majority of cases, the apps correctly describe the animals‘ body language and behavior. Their recommendations for human behavior are also adequate.

Abb.: The Cow Whisperer in action (Image: DALL-E 3)

Cow Whisperer, Horse Whisperer und Dog Whisperer

Am 5. August 2024 fand an der Hochschule für Wirtschaft FHNW die Abschlusspräsentation für das Projekt „The Animal Whisperer“ statt. Initiiert hat es Prof. Dr. Oliver Bendel, der sich seit vielen Jahren mit der Tier-Computer-Interaktion und der Tier-Maschine-Interaktion beschäftigt. Als Projektmitarbeiter konnte Nick Zbinden gewonnen werden, ein angehender Wirtschaftsinformatiker. Er entwickelte ab März 2024 drei Anwendungen auf der Basis von GPT-4, den Cow Whisperer, den Horse Whisperer und den Dog Whisperer. Mit ihnen kann man Körpersprache, Verhalten und Umfeld von Kühen, Pferden und Hunden analysieren. Damit sollen Gefahren für Mensch und Tier abgewendet werden. So kann ein Wanderer auf dem Smartphone die Empfehlung bekommen, eine Weide nicht zu überqueren, wenn eine Mutterkuh mit ihren Kälbchen zugegen ist. Dafür muss er nur die Anwendung aufrufen und Fotos von der Umgebung machen. Die drei Apps liegen nun als Prototypen vor. Mit Hilfe von Prompt Engineering haben sie weitreichende Kenntnisse und Fähigkeiten erhalten. Vor allem wurden selbst erstellte und gelabelte Fotos verwendet. Die Apps beschreiben in der Mehrheit der Fälle die Körpersprache und das Verhalten der Tiere korrekt. Auch ihre Empfehlungen für das Verhalten der Menschen sind adäquat. Das Projektteam hat die Ergebnisse in einem Paper zusammengefasst und bei einer internationalen Konferenz eingereicht.

Abb.: Der Dog Whisperer im Einsatz (Bild: Ideogram)