パソコン・メモメモ備忘録

気の向くままパソコン関係等で気になることを書き記す。時々更新!

フレーム補間動画再生 SVP (60fps 化とか)

最近知ったのだが、24fps や 30fps の動画を、自動的にフレーム補間して 60fps や更には 120fps で再生する SVP という Project があり、その成果が公開されている。フルバージョンは有料になってしまっているが、フリーバージョンでのその恩恵を授かることができる。AMDGPU には Fluid Motion という、恐らくハードウェアで実現される同様の機能があるが、SVP はソフトウェアで実現されているので、自由度が高いようだ。

ということで、早速タブレット PC な Dynabook V714 にインストールしてみた。SVP 自体、いろいろなフリーソフトの集合体みたいなものらしく、色々インストールされる。なんかすでに入れているものもありそうな気がするが、動作確認されているバージョンの組み合わせが重要かもしれないので、ひとまず気にしない。それらがうまく連携して動くよう調整されたもので、パラメータの調整ができる GUI も追加されているっぽい。

インストール後、なんか負荷の計測的なものを実行するダイアログが出る。これを実行すると良さげなパラメータを調整してくれるのだろうか。今一つ良くわからないが、その後に開いた SVP コントロールでは、スライドバーの真ん中よりちょっと右になっていた。2コアの Corei7 と内蔵 GPU で、そこまで性能がありそうにないが… 計測ミスかな?

実際、手元にあった 30fps や 24fps の動画を、SVP 付属の MPC-HC で再生してみた。再生開始時に、左下に SVP のロゴと動作モードの表示的なものがオーバレイ表示される。これで SVP が効いている事がわかる。結構 CPU や GPU に負荷がかかるそうで、さすがにタブレット PC の非力さを感じてしまう。1280x720 3fps の踊ってみた系の動画を再生してみたが、フル HD モニタに全画面表示すると、音声と映像がずれてきてしまう。60fps が維持できていない。ウィンドウ表示ならなんとかなるが、スライドバーを重い方に持っていくと、厳しい。真ん中くらいが限界だろうか。

で、その効果だが、微妙な感じである。時折、オリジナル以上の滑らかさを感じる場面もあるが、全体的にはそれほどでもないような… 画面全体がスクロールするような場面は、流石に滑らかさを実感し易いが、ダンスしている腕や脚の動きは、なんか滑らかさを感じない。一時停止してコマ送りして見てみると(これで補間フレームが確認できるのかはわかっていないが)、補間で生成されたフレームは、単に前後のフレームのブレンド的になっているだけの場合もあるような。

ある画素に対して、ある程度周囲を探索して同じようなパターンがあれば、それを移動先として動きベクトルを計算するような事もしているのだと思うが、探索する範囲は余り広く無さそう。移動先が見つかなければ、単にブレンドするだけ、みたいな感じなのだろうか。

もっとパワーのある PC で試してみるべっぽい。デスクトップ PC で試してみよう。というか、リアルタイム変換でなくて、ムービーの変換機能も欲しい所。同じアルゴリズムでじっくり変換するツールもあるはず。MvTools とかかな。