Gizmodo さんの記事。小生も画像処理を勉強したこともあって、ノイズまみれの画像からノイズレスな画像を復元する難しさは多少は知っている。それをベースに考えると、この補正結果は、素晴らしすぎるレベルである。
ノイズを減らすのに、一番簡単な方法は、画像をぼやかせる事である。が、そうすると細かいディテールは消えてしまう。細かい文字とかは潰れてしまう事が多い。だが、この手法だと、細かいディテールが、全くと言っていいほど再現されている。というか、元のノイズだらけの画像を小生が見てもわからないディテールが、補正された画像には見られたり。
色が薄くなったり、ホワイトバランスがずれてしまうのも補正してくれるらしい。これは、カメラ依存なように思うが、学習自体は、カメラ毎にやっているのか、全部まとめてやってしまっているのか。
この学習済みのニューラルネットワークが、どのくらいのサイズでどのくらいの計算量が必要なのかがわからないが、これが、スマホとかデジカメに載っかったらかなり革命的な気がするのだが、どうなんだろうか。学習に使われた画像とは違う雰囲気の写真だとうまくいかないとか有るのかもしれないが。後、妙に人工的な結果が出てくる可能性も。あまりに教科書的な。
自分でも、静止物に限られるが、露光時間を長くして撮影した正解画像と、短い露光時間で撮影した画像にこの手法を適用したものを用意して見比べてみたい。ディテールが失われる事もあるらしいが、そもそもノイズに埋もれてディテールの情報自体画像には含まれてないような。ネットワークの方でそこはかとなく持っている知識で補完しているだけ？
人間の画像とか動物体は、今後の課題だそうだ。顔関係は、多数の研究があるので（一部分から全体を復元するものまで）、そんなに問題なくできそうな、そうでも無いような。顔を切り出したりはしない前提だろうし。
ここまで来たら動画でモザイクを外すのなんか簡単な事のような、って前も書いたか。はてさて。
