文楽の感情表現を用いたロボットの動作設計：音と動きの中の「序破急」に着目して（Dong et al., Advanced Robotics, 2020）
みなさんこんにちは。
微かに混じり合う教育と心理学とアートを考えていますじんぺーです。
今日も論文を読んでいきます。
文楽の感情表現を用いたロボットの動作設計：音と動きの中の「序破急」に着目して（Dong et al., Advanced Robotics, 2020）
結論から言うと、文楽の情緒的な動作をスムーズにロボットの動作設計に取り入れることができ、提案したフレームワークを用いていくつかの単純な情緒的なロボットの動作を設計することができた
背景
■人間とインタラクションするロボットの音や動作が人間の感情に与える影響については、ほとんど研究されていない
・自律型ロボットのデザインは、すべての音、動作、ストーリーをバランスよく調和させて統合する必要
■ユネスコ無形文化遺産のひとつ「人形浄瑠璃文楽」
・3人の人形遣いが1つの人形を操り、複雑な人形の感情を表現
・文楽人形の感情の動きは美しく、不気味の谷を乗り越えて劇中の文楽人形に多くの観客が共感することが広く認められている
▶文楽劇の音と動作のメカニズムを明らかにし，それをロボットの動作設計に応用することを試みている
・文楽の舞台では、太夫による謡と三味線による音楽に合わせて、複数の文楽人形が相互に動く
・私たちは、複数のロボットが魅力的な「文楽の舞台」で活躍し、ロボットが適切にデザインした音や動作、物語によって人間と共存することをコンセプトの一つとして提案
■文楽人形の先行研究
・人の人形遣いが1体の人形を操ることから、人形遣いの非言語的なコミュニケーション、いわゆる「頭」に注目した研究
・文楽人形の感情の動きのパターンを分析し、それに基づいてロボットの動作設計を検討
・本論文では、いわゆる「序破急」を用いた文楽の動作を研究
・能、人形浄瑠璃文楽、歌舞伎など、無形文化遺産の中には「序破急」を用いたものが数多くある
▶これらはすべて、序破急に基づいて感情を表現していると考えられている
■序破急
・日本では、「序破急」とは非常に広い概念であり、多くの分野や概念に適用可能
・本研究では、簡単にするために、主として「リズムの速度（すなわち、ペースまたはテンポ）の変化と中断」と定義
・序破急は主に、リズムの速さ（ペースやテンポ）の変化や中断を用いて、芝居のストーリーに対応した感情表現の一つとして使われていると仮定
・文楽の人形は、劇中のストーリーに応じて感情を表現するために、動きの中で独特のテンポの変化や中断を行うことが知られている
・人形は太夫の謡や三味線の演奏などに合わせて感情表現を行う。テンポやスピードの変化や崩れは、「浄瑠璃」のストーリーに対応している
・序破急は、日本の伝統音楽である能の舞の動作などではなく、主に能の謡曲で研究されてきた
▶序破急の模式的なパターンのように、時間とともに徐々にリズムが上がっていくことが検証
・能は9つの構造からなる形式的なリズムで構成されている一方、文楽は能のこの形式的な9つの構造を放棄している
▶文楽は、より柔軟で、より複雑な感情や物語を表現できる、より現代的な演劇構造を確立したのである
■現代のダンスにこのような動きの速度の大幅かつ複雑な変化が存在するのか
・Perfumeのモダンポップダンスを例に挙げて、この疑問に答える
・Perfumeのダンスは典型的な西洋のダンスであり，図6に示すようにテンポの大きな変化はない
▶3つの「序破急」の部分に分解できない
■ビートトラッキング
・序破急に則った文楽のモーションスピードは、芝居のストーリーに沿ってテンポを上げたり崩したりする必要がある
・破急の構造は再帰的である
・最も低い再帰レベルの最小単位の長さは「モーション・プリミティブ」（モーションの最小単位であり、音楽のビートやテンポに沿って分割することができる）
・ビートトラッキング法
1．音楽に一定のテンポが存在することを前提
2．音楽から検出された現在のビートと，想定されたビート位置との関係をこのアルゴリズムで計算
3．検出されたビート位置と想定されたビート位置の関係を計算して、正しいビート位置を決定
▶このビートトラッキング法を用いて，文楽の各動作をビートポジションを用いてセグメント化し，最小限のアクションやモーションプリミティブを抽出
■学習データ
・学習データは、「妹背山女帝」から3シーン（20分）、「傾城阿波の鳴門」から2シーン（20分）
・フレームレートは60Hz、モーションデータ数は141550
結果
■序破急文楽の動作をロボットの動作にリターゲティング
・文楽人形には、「型」と呼ばれる約50種類の美しい基本動作プリミティブがある
・本研究では、『妹背山女帝』の「お三輪」から、「歩く」、「ひざを立てる」、「立つ」、「座る」などの基本動作を中心に研究を行った
・図11より、文楽の人形の動きは、ロボットの動きにスムーズにリターゲティングされている
■式(2)を用いて、図11(i-j)の遊びや動きの速度の印象を制御する係数Kを得る
・(i)のオリジナルの頭部文楽の動きでは、K = 2.6 ± 0.3となる
・(j)のリターゲットされた頭文楽のモーションでは、K=2.2±0.3となる
▶リターゲットされたK値は0.4小さくなっている
▶モータ速度の限界により、高周波モードがHilbert-Huang変換でフィルタリングされているため。しかし、運動の変化（序破急）は保存
■序破急ルールをPerfumeダンスのモーションに適用
・現代のダンスモーションに序破急を組み込み、ロボットのモーションにリターゲット
・53秒の「Perfume」のダンスデータを入力データ
コメント
AIと芸術の絡みをサーベイしている時に見つけた論文。「序破急」に注目しているのが面白いし、Purfumeとの違いもきれいに現れていてよい！これをゼミで発表するかどうかは迷い中。
論文
Dong, R., Chen, Y., Cai, D., Nakagawa, S., Higaki, T., & Asai, N. (2020). Robot motion design using bunraku emotional expressions – focusing on Jo-Ha-Kyū in sounds and movements, Advanced Robotics, 34(5), 299-312.
https://doi.org/10.1080/01691864.2019.1703811
