パソコン・メモメモ備忘録

気の向くままパソコン関係等で気になることを書き記す。時々更新!

声のモーションキャプチャ

昨今、初音ミク鏡音リンなどの音声合成ソフトが人気を博している。かなり本当の人間が歌っているように聞こえるのだが、やはり所々合成っぽい感じがする。そこで、声のモーションキャプチャみたいなことはできないだろうか。

モーションキャプチャは、実際の人間の動きを測定して、それをバーチャルキャラクターに割り付けたりする。同じことも歌声で出来ないのだろうか。単なるボイスチェンジャーとどう違うのかと言われると困るが..

ある人の歌い声からその人固有な成分(声質、音程の基準)を排除して、純粋な歌い方を抽出。それを、バーチャルキャラクタの声に当てはめる。モーションキャプチャだと、全然人らしくないバーチャルキャラクタに動きを割り当てても、なんか人間くささが感じられる。声でも同じように、例えば、犬の鳴き声なのに、妙に人間臭い歌声になるとかならないだろうか。

リアルタイムで声のモーションキャプチャ & 合成ができれば、いろいろ使い道はあるとおもうのだが。ネカマには持って来い? オンチな人を救うには、入力したモーションキャプチャデータを整形するとか必要か。すでにそういう研究している人がいるのかなぁ。