ACI ’24 Proceedings

The „Proceedings of the International Conference on Animal-Computer Interaction 2024“ were published at the end of November 2024, a few days before the conference in Glasgow. The following papers received awards: „Wireless Tension Sensors for Characterizing Dog Frailty in Veterinary Settings“ by Colt Nichols (North Carolina State University), Yifan Wu (North Carolina State University), Alper Bozkurt, David Roberts (North Carolina State University) and Margaret Gruen (North Carolina State University): Best Paper Award; „Communication Functions in Speech Board Use by a Goffin’s Cockatoo: Implications for Research and Design“ by Jennifer Cunha (Indiana University), Corinne Renguette (Perdue University), Lily Stella (Indiana University) and Clara Mancini (The Open University): Honourable Mention Award; „Surveying The Extent of Demographic Reporting of Animal Participants in ACI Research“ by Lena Ashooh (Harvard University), Ilyena Hirskyj-Douglas (University of Glasgow) and Rebecca Kleinberger (Northeastern University): Honourable Mention Award; „Shelling Out the Fun: Quantifying Otter Interactions with Instrumented Enrichment Objects“ by Charles Ramey (Georgia Institute of Technology), Jason Jones (Georgia Aquarium), Kristen Hannigan (Georgia Aquarium), Elizabeth Sadtler (Georgia Aquarium), Jennifer Odell (Georgia Aquarium), Thad Starner (Georgia Institute of Technology) and Melody Jackson (Georgia Institute of Technology): Best Short Paper Award; „The Animal Whisperer Project“ by Oliver Bendel (FHNW School of Business) and Nick Zbinden (FHNW School of Business): Honourable Mention Short Paper Award.

Fig.: Facing a horse

„The Animal Whisperer Project“ at ACI

The paper “The Animal Whisperer Project” by Oliver Bendel and Nick Zbinden will be presented at ACI 2024, which takes place in Glasgow this December. It is a conference that brings together the small community of experts in animal-computer interaction and animal-machine interaction. This includes Oliver Bendel, who has been researching in this field since 2012, with a background in animal ethics from the 1980s and 1990s. He initiated the Animal Whisperer project. The developer was Nick Zbinden, who graduated from the FHNW School of Business. From March 2024, three apps were created on the basis of GPT-4: the Cow Whisperer, the Horse Whisperer, and the Dog Whisperer. They can be used to analyze the body language, behaviour, and environment of cows, horses, and dogs. The aim is to avert danger to humans and animals. For example, a hiker can receive a recommendation on his or her smartphone not to cross a pasture if a mother cow and her calves are present. All he or she has to do is call up the application and take photos of the surroundings. The three apps are available as prototypes since August 2024. With the help of prompt engineering and retrieval-augmented generation (RAG), they have been given extensive knowledge and skills. Above all, self-created and labeled photos were used. In the majority of cases, the apps correctly describe the animals‘ body language and behavior. Their recommendations for human behavior are also adequate.

Abb.: The Cow Whisperer in action (Image: DALL-E 3)

Cow Whisperer, Horse Whisperer und Dog Whisperer

Am 5. August 2024 fand an der Hochschule für Wirtschaft FHNW die Abschlusspräsentation für das Projekt „The Animal Whisperer“ statt. Initiiert hat es Prof. Dr. Oliver Bendel, der sich seit vielen Jahren mit der Tier-Computer-Interaktion und der Tier-Maschine-Interaktion beschäftigt. Als Projektmitarbeiter konnte Nick Zbinden gewonnen werden, ein angehender Wirtschaftsinformatiker. Er entwickelte ab März 2024 drei Anwendungen auf der Basis von GPT-4, den Cow Whisperer, den Horse Whisperer und den Dog Whisperer. Mit ihnen kann man Körpersprache, Verhalten und Umfeld von Kühen, Pferden und Hunden analysieren. Damit sollen Gefahren für Mensch und Tier abgewendet werden. So kann ein Wanderer auf dem Smartphone die Empfehlung bekommen, eine Weide nicht zu überqueren, wenn eine Mutterkuh mit ihren Kälbchen zugegen ist. Dafür muss er nur die Anwendung aufrufen und Fotos von der Umgebung machen. Die drei Apps liegen nun als Prototypen vor. Mit Hilfe von Prompt Engineering haben sie weitreichende Kenntnisse und Fähigkeiten erhalten. Vor allem wurden selbst erstellte und gelabelte Fotos verwendet. Die Apps beschreiben in der Mehrheit der Fälle die Körpersprache und das Verhalten der Tiere korrekt. Auch ihre Empfehlungen für das Verhalten der Menschen sind adäquat. Das Projektteam hat die Ergebnisse in einem Paper zusammengefasst und bei einer internationalen Konferenz eingereicht.

Abb.: Der Dog Whisperer im Einsatz (Bild: Ideogram)