富士通研究所は、紙や本など実世界にあるものを指で直接選択するだけでデータのやり取りを可能にするシステムを開発しました。

紙やいろいろな物がタッチパネルのように触って操作ができると考えています。この装置は、特別なハードウェアは一切使っていなくて、通常のWebカメラ相当のものと市販のプロジェクターのみで構成して、画像処理の技術を使ってこの機能を実現しています。

　この技術を用いることで、書類を指でなぞって必要な箇所を電子データとして取り込むことができます。

　操作対象となる実世界の物体の形状を計測し、カメラとプロジェクターと実世界の3つの座標系を自動で調整する技術により、テーブルや紙など平坦な面だけでなく、厚みのある本などの歪んだ面であってもタッチと表示を正確に合わせることが可能です。

今までの手の動きを使ったジェスチャー操作は、ジェスチャーでパソコンやいろいろな機器を操作するといったものが多かったと思いますが、こちらはパソコンの操作をするものではなくて、直接実際のものに触って、その物とICTの機器を融合させようというインタフェースになっています。

通常のテーブルの上でのアナログ的な操作の時には反応しないようにしています。1本指を出すと操作が可能になります。ということで、アナログの作業とデジタル機器への操作を融合させるようなインタフェースになっています。

　正確なタッチの検出には指先の高さを正確に検出する必要があります。特に今回使っているカメラ（320×180）では、指先の検出が1画素ずれるだけで、高さが1センチ変化してしまうため、精度の高い指先認識技術が必要です。

低解像度のWebカメラを使っていて画像が粗いんですが、それを画像処理で補間することで高精度な3次元位置を計算しています。

　また、周囲の環境光に応じた色や明るさの制御と手の色の個人差を補正する技術により、環境や個人差の影響の少ない安定した手指の抽出を実現しています。

　さらにタッチを用いない空間でのジェスチャー操作も可能です。このデモでは、握った状態の手を動かすと3次元CADデータの視点を操作できます。このような既存のジェスチャー操作と今回のタッチ操作を組み合わせたようなアプリケーションも考えられます。

例えば旅行会社のカウンターであったり、役所などで申請書を書くような場所で詳しい情報を表示したりといった用途があるかなと思います。

2014年度の製品化をめどに開発を行っています。まだデモンストレーションレベルで実際の現場で使って頂いていないので、現場の方々に実際に使って頂いて課題を抽出してユーザビリティの評価を行って、この装置に反映していきたいと思っています。