東京大学大学院 情報理工学系研究科 石川・奥研究室でビジョンアーキテクチャ部門のグループリーダを務める渡辺義浩助教。専門である「計測工学」を礎に、高速で移動する物体の三次元形状をリアルタイムで取得・解析する独自の技術で、ロボティクス、検査、映像メディア、ヒューマンインタフェース、デジタルアーカイブなどさまざまな分野への応用を目指す。そんなシステムのひとつ、ぱらぱらめくりでブックスキャンができる「Book Flipping Scanning」が今、注目を集めている。海外メディアがウェブにアップした動画は、視聴数なんと60万回超。さっそく、そのブックスキャンがある実験室を訪ねた。

1秒間に1,000回という、人間の目には見えない超高速なセンシングを軸にして応用技術を開発しています。センシングというのは、世の中の現象を数量に変換する技術ですが、それをいかに速くやるかがテーマですね。人間の目が見ることができるのは秒間およそ30回。これをはるかに超える映像を取って全部見る、そして取り込んだと同時に瞬時に理解するという技術を使って、おもしろくて、今までに見たことのない応用を実現することができないか、というわけです。

そこでまず卒論の時に、回転する”ホルスタイン柄” の球体の画像データを高速に取って、10個程度の斑点の動きから、どういう回転軸と回転速度で動いているかを見ました。回転の情報が全部取れれば、たとえば野球なら「こういう回転があるということはカーブだな」というように球の性質や威力などを具体的に理解することができます。次にこれを一気に1,000個に増やして、流れる風の中にたくさんの粒を放ち、その1つ1つの動きを追跡して数値データに置き換えられるようにした。多数の物体を高速に追跡するこの技術は、検査に使えるのではないかということで、企業の方と共同開発が進みました。この他ロボットやヒューマンインタフェースへの応用など、自分の技術が何に使えるのか、技術の出口としていろんなゴールを想定し、それへ向けてさまざまな技術を集結させて、プロトタイプを世に問うということをやっています。

次にこの延長線上で、今度は三次元の形状を取ってみよう、と考えました。三次元形状というとこれまでは静止した物体をゆっくりと高密度に取得して、工業製品のデザインに使うようなニーズが中心だったわけですが、僕の場合は動いているものをリアルタイムで秒間1,000回の速度で高速に取るという手法です。その研究で曲面の形状をとっている時に「あ、本のめくる様子に似ているな」と思った。ぱらぱらめくってもこのシステムなら全部見えるのだから「このままスキャンできるじゃないか？」というふうに発展しました。一般に本のスキャンは、開いた面をなるべく平坦にして二次元で取り込みます。しかし三次元のままで取り込んで、それと同時に歪みの形状もわかっていれば、平面にギュッと戻すのに十分な情報が、既にあるんですよ。

ページめくり中に紙面の動きを止めることなく、連続的に書籍を読み取る考え方を「Book Flipping Scanning」と呼んでいます。様々な実現形態が考えられますが、いま実験室にあるシステムは、空気圧で本をめくる装置とスキャナという2つの装置から出来ています。スキャナといってもラインセンサーが走査してデータを取るのではなく、本の各ページが最もきれいに見えるタイミングを図って、高解像度カメラでそれぞれの画像を1枚ずつ撮影するしくみです。秒間500回撮影する1台の高速なカメラがずっと撮り続けていて「今だ！」という瞬間を指示するので、ベストショットを逃しません。そして、どこからどこまでが1ページかを正確に3次元で認識し、各ページの変形をリアルタイムに解析して、その結果を次々と画面に表示していきます。

ページの上にはライン状に赤い5本の光が当たっており、カメラと連動して本の形状データを取っています。たった5本なんですけれども、紙がつくる曲面は「可展面」といって、伸縮・断裂することなく平面に戻すことができるため、いったんモデルを立てれば計算が簡単になるんです。装置にセットできれば綴じていない本でもスキャンでき、A4の書籍まで対応可能です。現状は、やや大型の装置ですが、システムの要素技術はコストや規模に合わせて絞っていくことができるので、将来的にはぜひ小型化も目指していきたいと考えています。スマホを片手で持ってアルバムをめくると全部取り込めるといったことが、技術的にはおそらく数年以内に可能になってくるでしょう。そのための開発も進めています。

今回のブックスキャンがこれまでの応用と違っていた点は、やはり時代とのマッチングだろうと、強く感じます。そもそも海外のメディアが動画サイトにアップしたところから話題として広がり始めたので、伝えることがいかに重要かを感じたし、論文以外にもみんなが良し悪しを判断してくれるようなチャンネルが増えてきているということでもある。実際、それまでは一人でやっていたのが、紙や印刷の専門家が参加してくれることで開発がスピードアップしたという経緯があります。大学の研究は、いろんな人を巻き込みながらすごいスピードでやっていかなければならない──今回のシステム開発を通して、エンジニアの醍醐味といったものも感じました。

またデジタルアーカイブとは本来、単に文字情報を取るということではなくて、未来にわたって元の本をもう一度再現できる情報を残すものなんですね。今は本の表層だけを取り込んでいますが、今後はもう一つ、紙質・重さ・色、さらに汚れやシミまで、本というコンテンツを全部取り込むという方向性を考えています。スキャンということ自体も、通常はそれなりに時間がかかるので、使用目的がはっきりしていなければ通常は作業しませんね。でも一瞬で取り込めるなら、とりあえず取っておこうという発想になる。本に限らず、あらゆる現象を日常的にデジタルの世界にアーカイブするという発想が、今後強くなっていくのではないでしょうか。

特に大震災で紙の書籍が全部流されるという事態を経てからは、流されてしまってからでは遅い、と。どれが重要かの選り分けは何百年も経たなければわからないのだから、とにかく町単位で全部スキャンしておくんだという発想へ、僕らはたぶん来ている。大量のデータを集めてサービスを提供してきたグーグルも、基本的には目的意識がなくても全部取り込もうという発想に立っている部分もあると思います。それをすごいスケールで集め始めると、なんか変わってくる。速度が10倍違うというのも同じで、みんなの発想や行動様式が変わってくるはずです。

研究室の石川教授には「1を100にするタイプの仕事ではなく、0を1にするタイプの仕事に挑め」と教わりました。また、工学の分野に限った話ではありませんが、ある材料が変わったために一気にその分野自体がなくなるということも、実際に起こり得るんですね。確立された分野の中で積み上げていく研究も重要ですが、その外で、違う視点で新しいものを提案して、隠れたシーズとニーズを探っていくことも重要なのではないか、と僕は考えています。まだ特定の条件下でしか動かなくても、まずはプロトタイプをつくって世に問う。すると、アカデミックやビジネスの世界の一部では「動かないじゃないか！」と言われるんですよ、たぶん（笑）。でもその先に夢を見てくださる人たちがいれば、プロジェクトはきっと進んでいく。