Using a Wearable Device to Estimate Dog Emotions and Generate SNS Sentences from the Dog’s Perspective

2024. 03. 25

Interpreting canine emotions through physiological metrics is essential for deepening human-dog connections and promoting animal welfare. However, traditional photoplethysmograph (PPG) sensors often face limitations due to dense fur coverage, hindering accurate data collection. This thesis presents a novel, earring-style wearable device designed to measure Heart Rate Variability (HRV) at the ear—a region with sparse fur—to accurately estimate canine emotional states.

The proposed system integrates HRV analysis with environmental context to facilitate a new form of interspecies communication. By monitoring specific HRV indices, notably the standard deviation of RR intervals (SDNN) and the root mean square of successive differences (RMSSD), the device identifies shifts in the dog’s emotional state. Upon detecting significant physiological changes, the system triggers an integrated camera to capture the immediate environment. Subsequently, a Large Language Model (GPT-4 Vision) synthesizes the HRV data, visual context, and environmental variables (such as weather) to generate social media (SNS) narratives written from the dog’s perspective.

Experimental results validated the ear as a reliable anatomical site for HRV acquisition, yielding data comparable to traditional groin-based measurements. Furthermore, the system demonstrated efficacy in correlating positive HRV readings with observed behaviors and generating contextually accurate, engaging social media content. This research highlights the potential of combining non-invasive biosensing with artificial intelligence to decode canine emotions, offering owners a unique storytelling tool that fosters greater empathy and understanding of their pets’ experiences.

Hyeonkang Kim, Yoichi Ochiai, Tatsuki Fushimi

生理学的指標を通じて犬の感情を解釈することは、人と犬の絆を深め、動物福祉を促進するために極めて重要です。しかし、従来の光電容積脈波(PPG)センサーは、厚い被毛によって正確なデータ収集が妨げられるという限界に直面することが少なくありません。本論文では、被毛が比較的少ない「耳」で心拍変動(HRV)を測定することにより、犬の感情状態を正確に推定する、新しいイヤリング型のウェアラブルデバイスを提案します

提案するシステムは、HRV解析と環境コンテキスト(文脈)を統合し、新しい形の種間コミュニケーションを促進するものです。本デバイスは、特定のHRV指標、特にRR間隔の標準偏差(SDNN)と隣接するRR間隔の差の二乗平均平方根(RMSSD)をモニタリングすることで、犬の感情状態の変化を特定します。顕著な生理学的変化を検知すると、システムは統合されたカメラを起動し、周囲の環境を撮影します。その後、大規模言語モデル(GPT-4 Vision)が、HRVデータ、視覚的なコンテキスト、および環境変数(天候など)を統合し、犬の視点から書かれたソーシャルメディア(SNS)向けのナラティブ(物語)を生成します

実験の結果、耳はHRV取得のための信頼できる解剖学的部位であることが検証され、従来の鼠径部(そけいぶ)での測定に匹敵するデータが得られました。さらに、本システムは、ポジティブなHRV測定値と観察された行動との相関を示し、文脈に即した魅力的なSNSコンテンツを生成する上での有効性を実証しました。本研究は、非侵襲的な生体センシングと人工知能を組み合わせることで犬の感情を解読する可能性を強調しており、飼い主に独自のストーリーテリングツールを提供することで、ペットの体験に対するより深い共感と理解を育むことを目指しています