パソコン・メモメモ備忘録

気の向くままパソコン関係等で気になることを書き記す。時々更新!

Google 翻訳 リアルタイム画像文字翻訳

スマートフォン用の Google 翻訳アプリが更新されて、ネット上で色々と話題になっているようだ。カメラモードでは、リアルタイムに画面中の文字が抽出→認識→翻訳→置き換えされて表示される。これはかなり未来的でインパクトがある。とりあえず、上記の処理の流れのどの段階も、それぞれ自体、これまではかなり難しい課題だった。

まず、リアルタイムで撮影されている画像の中から、文字っぽい領域を抽出して、それを文字認識する。しかも1文字1文字ではなくて、ある程度単語か文レベルの塊として。それを翻訳して、元の文字の場所に置き換えて表示するのだが、その際、文字の色やフォントも近いものに合わせてくるのが凄い。というか、白抜きだと白抜きの文字になったり。ここまではやらなくてもいいんじゃ、と思うほど。これが、じっくり時間を掛けてやるんじゃなくて、リアルタイムっていうのも魔法っぽく感じるポイントだ。

ちなみにオフラインでも、リアルタイムに上記の処理が流れるようだ。サーバーに送って認識処理、とかではなくて、端末側で上記の処理が行われているらしい。なんかとんでもないものが手のひらの中に入っている感がある。

確かに、認識や翻訳の内容については、もう一歩(まだまだ?)なレベルではあるが、海外を歩いていて、看板の文字の意味を調べたり、レストランでメニューをチェックしたりには使えそうに思う。

もっと精度が上がったら、AR メガネを着けて街を歩けば、すべての文字が翻訳されて、海外にいることを忘れるような状況も、近いうちには実現しそうな気にさせるアプリである。