パソコン・メモメモ備忘録

気の向くままパソコン関係等で気になることを書き記す。毎日更新を目指す!

Intel USB スティック AI アクセラレータ 「Movidius Neural Compute Stick」

Impress さんの記事Intel さんもなかなかおもしろそうな製品を出してくる。USB に挿すだけで、AI の推論を高速化することができるとのこと。

1W で 100GFLOPS ということだが、実際何 W まで 1 本のスティックでいけるのかは書いてないが、邪推しなければ、1 本で 1 W ということか。USB3.0 自体は、その数倍は供給できそうなので、もっとパワーが出そうだが、4本のこの Movidius を、一つの USB ハブぽいものに挿している写真もあるので、そんな所か。

最新の NVidia GPU GV100 では、Tensor Core を搭載して、120T Tensor FLOPS だそうなので、流石にそれと比べるとあまりにも非力ではある。1000 倍くらい違う。また、Google の TPU も、4チップで 180TFLOPS というレベル。まぁ、目的として、DNN(Deep Neural Network)の学習に使うのではなくて、Movious は、その学習結果を利用する推論段階で使うもの、とするなら、小粒でもぴりりと辛い山椒の粒的役割は果たせそう。

TPU もそうだが、より詳細な内部構造的な情報は出ていないのだろうか。USB 3.0 接続ということで、余り大量のデータを PC 側とやり取りするのも効率が悪いので、データをまとめて送ってまとめて結果を取り出す、か、ストリーム的にデータを流し込みつつ取り出すような使い方をするのだろうか。余り、バッファとなるメモリをたくさんは積んで無さそうなので、後者の可能性が高いかな。

能力的に、どれくらいの層数とノード数の DNN がどのくらい時間で処理できるのか、もっというと、どういうアプリケーションが動かせるのか、という情報がほしいところだ。HD 解像度で、10個の顔検出が n fps でできる、みたいな。

将来的には、Pepper 君のような家庭用ロボットを一時的に知能アップしたい場合に、こういうスティックを背中にたくさん挿してパワーアップする、みたいな時代がくるのだろうか。新型のスティックが出たら、入れ替えるだけで知能アップできるなら、ロボットが陳腐化しなくていいかも。

はてさて。