|
|
お品書き
|
|
|
研究トピック: 仮想現実感
コンピュータグラフィクス技術などの技術を用いて、仮想の空間をコンピュータの中に作り出したり(仮想現実感: Virtual Reality)、現実の空間の上に仮想の空間を重ね合わせたり(強調現実感: Augmented Reality)、現実の空間と仮想の空間を混ぜ合わせたり(融合現実感: Mixed Reality)、さらには、ネットワークを用いて複数の空間を共有したり(共有融合現実感: Distributed Mixed Reality)することで、新たな情報サービスを生み出すシステムの研究開発を行っている。主なトピックは下記の通り。
アバタ型通信
アバタとは、仮想空間上でユーザの代理を行うグラフィクスオブジェクトであり、人体の形をしていることが多い。アバタは、ネットワークゲームをはじめとする仮想空間コミュニティ等で広く利用されている。本研究では、アバタに命を吹き込むために、アバタを「動かす」ことを主眼においた研究を行っている。
- 主な研究成果
- アバタ型手話通信(黒田知宏:1994〜1998)
-
簡易型モーションキャプチャシステムを構築し、人体の身振り情報を送信して、「アバタ」と呼ばれる人体モデルをこれに併せて動かすことで、アナログ電話回線を用いた手話の双方向通信を可能とした。
- 個人の特徴を有したアバタの自動生成(真狩和歌子:1998〜2000)
-
アバタ型通信などで、モーションキャプチャデータに基づいてアバタに身振りをつける場合、アバタの体系とユーザの体系が一致していなければ、正しい身振り提示は不可能である。本研究では、ユーザの正面・側面の二枚の全身画像から個人の身体特徴を抽出し、H-ANIM Articulation level2 の標準自体に適用して、個人身体特徴を反映したアバタを自動生成する手法を開発した。
- 手形認識機能付きデータグローブStrinGlove(黒田知宏:1998〜)
-
人間が手話表現の中で意識して表出できる手のポーズは限られており、離散的に存在する。本研究では直線型リゾルバを用いた全く新しい形のデータグローブを構築し、手の22の自由度を完全に取得すると供に、手形を自動認識するデータグローブを構築した。本データグローブを用いることでコンピュータのCPU資源を浪費することなく手形認識を行うことが可能となる。
本研究は、株式会社AMITEQ、株式会社帝健、株式会社フジタとの共同研究で行われ、2005年に商品化を達成し、旭エレクトロニクス株式会社を通じて販売されている。
- 主な発表論文
- T.Kuroda, K.Sato, K.Chihara: "S-TEL: Avatar Based Sign Language Telecommunication System". International Journal of Virtual Reality, 3(4):21-17 (1998)
- T.Kuroda, W.Makari, Y.Manabe, K.Chihara: "Transformation Of Signing Avatar To Fit User's Figure". Moroccan Journal Of Control Computer Science And Signal Processing, 3(1) (2001)
- T. Kuroda, Y. Tabata, A. Goto, H. Ikuta, E. Tsushima: "Consumer Price VR-glove possesses Hand Posture Recognition". Proceedings of VSMM2004, pp.324-331 (2004)
- 主な外部資金
- 黒田知宏, 聴覚障害者間コミュニケーション支援に関する研究. 財団法人テレコム先端技術研究支援センタ, SCAT研究奨励金 (1996-1997)
- 黒田知宏, アバター型手話伝送に関する研究. 財団法人電気通信普及財団, 調査研究助成(1999-2000)
- 黒田知宏, 高度技能通信を可能とするインテリジェント手形入力システムの試作. 科学技術振興事業団, 独創的研究成果育成事業 (2002-2003)
- 黒田知宏, 人体座標系の創出 -二頭身アバタによるモーションキャプチャ-. 日本学術振興会, 科学研究費補助金 若手(A) (2005-2006)
- 主な特許
- 後藤忠敏, 黒田知宏: インテリジェント型手袋型手形入力装置. 特願平11-123062, 特開2000-31104
- 後藤忠敏,黒田知宏,田畑慶人: インテリジェント型手袋型入力装置. 特願2001-200065, 特開2003-015810
- 主な受賞
- 黒田知宏, 佐藤宏介, 千原國宏: ヒューマン・インタフェース・シンポジウム最優秀ビデオ発表賞, VR技術を応用した手話の伝送システム (1995)
- 黒田知宏: システム制御情報学会奨励賞, 顔画像と胴体モデルを組み合わせた手話通信(1998)
- 黒田知宏: ヒューマンインタフェース学会奨励賞, 手の動的拡大による手話アニメーションの可読性向上手法(2000)
- 黒田知宏: 日本エム・イー学会阿部賞, VR技術を応用したろう者間の遠隔手話コミュニケーション支援(2000)
融合現実感
融合現実感(Mixed Reality)とは、現実の空間と仮想の空間の境を取り払い、夢うつつの世界を創り出す技術である。本研究では、様々なMR空間の構築技術の開発を行っている。
- 主な研究成果
- ウェアラブルMRによるデバイスレス・インタフェース(佐々木・小島・Antoniac:1998~2005)
-
ウェアラブルコンピュータを想定したとき、顔に集中している人間の入力デバイス(目・耳)の周辺に機器を装用するのが最も効率的であるが、人間の最大の出力デバイスである手は、これらから大きく離れた位置にある。このギャップを解消するため、ビデオシースルー型HMD(Head Mounted Display: 当部搭載型ディスプレイ装置)を用いて眼前にMR空間を構築し、手の周辺に入力メニューなどを提示して表示するデバイスレスなインタフェース、てのひらいんたぁふぇいす、HandSmart、Clip-Interfaceを開発した。
- プロジェクタ型MR(末永・1998~2003)
-
本研究では、対象物体上に直接必要な情報を書き出す実世界指向の環境創り出すために、プロジェクタを用いて映像を投影するプロジェクタ型MRを提案し、遠隔医療への応用を行った。本技術を用いることで、あたかも直接対象物の上に指示を出しているかのような遠隔医療機器操作指示が可能になった。
- HMDとIPTを併用したMR空間(鎌田:2001〜2004)
-
MR環境下では、映像提示装置上で仮想像を表示することから、実物体との隠蔽(奥にあるものが手前にあるもので隠される現象)関係を正しく画像上で反映することが難しい。本研究では、HMDを用いて実物体より目に近い位置にある仮想像を提示し、IPT(Immersive Projection Technology: 没入型提示装置)を用いて実物体より遠い位置にある仮想像を提示することで、正しく隠蔽関係を表現できるMR環境を実現した。
- 主な発表論文
- 佐々木博史, 黒田知宏, 眞鍋佳嗣, 千原國宏: "『てのひらめにゅう』:ウェアラブルコンピュータ用入力インタフェース". 日本バーチャルリアリティ学会論文誌, 7(3):393-401 (2002)
- P. Antoniac, P. Pulli, T. Kuroda, D. Bendas, S. Hickey, H. Sasaki: "Wireless User Perspectives in Europe-HandSmart Mediaphone Interface". Wireless Personal Communications, 22:161-174 (2002)
- 小島佳幸, 安室喜弘, 黒田知宏, 井村誠孝, 眞鍋佳嗣, 千原國宏: "Clip-Interface: ウェアラブルPCによる3次元作業空間インタフェースの提案". 日本バーチャルリアリティ学会論文誌, 7(3):313-322 (2002)
- 末永貴俊, 飯野恵秋, 黒田知宏, 大城理, 千原國宏: 遠隔超音波画像診断におけるプローブ操作教示システム. 電子情報通信学会論文誌, J83-D-II(1): 324-334 (2000)
- K. Kamada, K. Minami, Y. Yasumuro, T. Kuroda, Y. Manabe, O. Oshiro, K. Chihara: "Visual Consistent Presentation Between a Real and Virtual Object". International Society on Virtual Systems and MultMedia pp.714-718 (2002)
- 主な外部資金
- 黒田知宏: 次世代携帯電話を用いた分散AR環境の構築. 国際コミュニケーション基金, 調査研究助成(1999~2000)
- 黒田知宏: 遠隔画像診断支援のための共有協調空間の構築. 稲盛財団. 稲盛財団助成金 (2000)
- 黒田知宏: 共有協調現実感を用いた遠隔画像診断を円滑化するための空間情報の交換に関する研究. 医科学応用財団, 調査研究助成 (2000)
- 主な特許
- 黒田知宏,佐々木博史: 身体を利用する画像入力インタフェースを備えた一体型装着型計算機. 特願2000-128778, 特開2001-312356 (2000)
- 黒田知宏,眞鍋佳嗣: 仮想空間提示装置. 特願2001-87889, 特開2002-290991 (2001)
- 主な受賞
- 末永貴俊: テレコムシステム技術学生賞 (2000)
空間共有
ネットワークを通じて仮想空間上の情報を交換できる環境を構築すれば、様々なサービスを提供することが可能になる。本研究では、空間共有の基礎技術開発から、空間共有を用いたアプリケーション実現などの研究開発を行っている。
- 主な研究成果
- 遠隔エコープローブ操作支援(末永:1998〜2001)
-
遠隔共同作業に際しては、映像や音声にとどまらず、「指示」というマルチモーダルな情報を、いかにして直感的に伝達するかが作業成功の鍵となる。本研究では、新たにプロジェクタ型MR環境構築手法を提案し、タブレットとプロジェクタという比較的安価な装置を用いて、遠隔地の実物体を対象に直接指示を出せるシステムを開発し、遠隔超音波画像診断に適用した。
- 空間共有プロトコルの開発(南:1999-2001)
-
遠隔地間で空間を共有して作業を行う場合、共有されている空間の一貫性を保つことは重要な課題である。本研究では、試行錯誤が多く発生するインテリアデザインの様なアプリケーションの場合に、空間の一貫性管理によってユーザの意図しないオブジェクトの消滅や移動禁止が発生しないよう、ネットワークの両端で一つのオブジェクトに対して違う操作がなされたときに、対象のオブジェクトを医事的に複製し、そのうち一つをユーザ同士が相談して選択する「複製=選択プロトコル」を提案し実現した。
更にくわしくは、南氏による解説を参照してください。
- 共有MRインテリアデザインシステム(南・守随・Korpipaa:1999-2004)
-
部屋の模様替えなどにさいして、家具屋に行って気に入った家具を買ってきても、自宅においてみると急に巨大化してイメージに合わないことは非常に多い。本研究では、自分自身の部屋の状態を仮想化して遠隔地のインテリアデザイナーに転送し、遠隔地のデザイナーの周りにも自分の部屋のVRコピーを作り出してその上で家具を移動してもらえば、あたかも自分の目の前にデザイナーがやってきて、漫画のように本から次々に仮想の家具を出して、実際の家の中に配置してもらうことが可能にすることを目指して行った。実現に向け、空間のための共有プロトコル(上記)、円筒形とCAVE型の異種VR空間での自然な共有空間の表出、画像描出速度の異なるプラットフォーム間で描出速度を揃えるためのLOD制御手法、現実空間から簡易に3次元仮想空間を創造するポンチ3D手法などの基礎技術の開発を行った。
- 主な発表論文
- 末永貴俊, 飯野恵秋, 黒田知宏, 大城理, 千原國宏: 遠隔超音波画像診断におけるプローブ操作教示システム. 電子情報通信学会論文誌, J83-D-II(1): 324-334 (2000)
- 南広一, TomiKorpipaa, 黒田知宏, 眞鍋佳嗣, 千原國宏: "分散デザイン作業支援のための空間管理手法". ヒューマンインタフェース学会論文誌, 4(3):159-165 (2002)
- K. Minami, T. Korpipaa, T. Shuzui, T. Kuroda, Y. Manabe, K. Chihara: "Collaborative Work Support on Networked Heterogeneous Platforms −Shared Augmented Interior Design Space−". Proceedings of HCI International 2001, 1: 524-527 (2001)
- K. Minami, T. Korpipaa, M. Imura, Y. Yasumuro, T. Kuroda, Y. Manabe, K. Chihara: "A Distributed MR Transporter for Networked Collaboration". Entertainment Computing: Technologies and Applications, Kluwer Academic Publishers, pp.495-502 (2003)
- T. Kuroda, T. Suenaga, K. Minami, T. Korpipaa, H. Sasaki, Y. Manabe, O. Oshiro, K. Chihara: "Shared Audmented Reality for Remote Work Support". Proceedings of IFAC-MIM 2000 Symposium on Manufacturing, Modeling, Management and Control, pp.357-361(2000)
- 主な外部資金
- 千原國宏: 通信放送機構奈良リサーチセンター没入型仮想融合空間の構築・提示技術プロジェクト(1999~2003)
- 黒田知宏: 遠隔画像診断支援のための共有協調空間の構築. 稲盛財団. 稲盛財団助成金 (2000)
- 黒田知宏: 共有協調現実感を用いた遠隔画像診断を円滑化するための空間情報の交換に関する研究. 医科学応用財団, 調査研究助成 (2000)
- 主な受賞
- 末永貴俊: テレコムシステム技術学生賞 (2000)
医用VR
VRの応用範囲は非常に広範にわたるが、その中でも最も産業性・社会へ与える影響が大きく注目を集めているのが、医療VRである。本研究では、弾性体のモデル表現を核として、手術シミュレーションだけに留まらず、教材作成環境、遠隔教育環境など、総合医療教育環境の構築を行っている。
京都大学医学部附属病院医療情報部医用VRプロジェクトの詳細はこちらをご覧下さい。
- 主な研究成果
- 腎臓糸球体の可視化(鎌田:1999~2001)
-
microXCT画像を用いて、微細領域である腎臓糸球体の三次元可視化を行った。
ここをクリックするとQTムービーが見られます。
- 拍動を伴う大動脈触診シミュレーション(山本:2000-2002)
-
心臓の拍動を感じることが出来る、触診シミュレータを開発した。
- 間接触診シミュレーション(黒田(嘉):2000~2005)
-
皮膚の上から臓器を探るような「柔らかいも野々下の柔らかいものを触る」ことを実時間で可能とする、反力計算手法を開発した。
- Medical VR Library(中尾・黒田(嘉):2002~)
-
医用VRで必至な、高速で高精度な弾性体(臓器)の変形・反力計算を行うライブラリを開発した。本ライブラリを適用することで、少ないコーディング量で、医用VRシミュレータを構築することが可能となる。
MVLについて詳しい説明、ダウンロードはこちらからどうぞ。
- Live Volume(中尾・渡辺:2004~)
-
柔らかい3次元ボリュームを見ながら触れるようにするために、ノートパソコン程度の計算力でも対話的にボリュームインタラクションが出来るボリューム描画手法を開発した。
Live Volumeに関する更に詳しい説明はこちらからどうぞ。
- 大規模計算機を用いた手術シミュレーション(粂:2002~)
-
現在高速で実現できる臓器操作は、触診、切開までが限界である。本研究では応力分布に従って破壊される「剥離」現象を実現でする力覚モデルを提案し、実時間でのシミュレーションの実現を目指して、クラスタコンピュータを用いた計算シミュレーション手法を検討している。
富田教授(京都大学情報学研究科)との共同研究
- 力覚を用いた手術ナビゲーション(今西:2002~2004)
-
VR環境下での手術手技を学ぶために、あるいは、安全なロボット操作を行うために、力覚を用いて危険部位を避けながら目的地に達する術具の操作支援手法を開発した。
- 遠隔共有手術教育システム(寺田:2001〜2004)
-
VRシミュレータ複数台を情報ネットワークで結びつけ、4人程度の生徒を相手に「教室型」のVR通信手術手技教育を可能とする環境を構築した。
三菱電機、三菱プレシジョンとの共同研究
- VR手術教育用アノテーション環境(Rissanen:2005~)
-
VRシミュレータ単体では、あくまでも手術の自習訓練を行うことしか出来ず、訓練の結果を客観的に評価することも出来ない。本研究では、シミュレータ操作記録をとり、これを適切にセグメンテーション、アノテーションする手法を開発し、入力された操作と、手本の差の違いを可視化するシステムの実現を目指す。
- 主な発表論文
- 山本恭弘, 中尾恵, 黒田知宏, 小山博史, 小森優, 松田哲也, 坂口元一, 米田正始, 高橋隆: "心臓血管外科における拍動を伴う大動脈触診シミュレーションシステム", 電気学会論文誌E, 123(3):85-92 (2003)
- 黒田嘉宏, 中尾恵, 黒田知宏, 小山博史, 小森優, 松田哲也, "複数臓器間の接触シミュレーションを実現する弾性体感の相互作用モデル". 日本バーチャルリアリティ学会論文誌, 8(2):155-162 (2003)
- 黒田嘉宏, 中尾恵, 黒田知宏, 小山博史, 小森優, 松田哲也: "力覚提示に基づく触診VRシミュレーションフレームワーク". VR医学, 2(1): 43-49 (2003)
- 中尾恵, 黒田知宏, 湊小太郎: "ボリュームインタラクションのためのマスキングとその実時間処理方法", 日本バーチャルリアリティ学会論文誌, 10(4):591-598 (2005)
- 粂直人, 中尾恵, 黒田知宏, 吉原博幸, 小森優: "VRシミュレータを目指した生体軟組織の剥離シミュレーション". 生体医工学, 43(1):76-84 (2005)
- 今西勁峰, 中尾恵, 黒田知宏, 小山博史: "マスタースレーブ型ロボット手術のための力覚ナビゲーション手法". 日本バーチャルリアリティ学会論文誌, 8(3):321-328 (2003)
- 黒田知宏, 原田雅之, 寺田尚史, 小山博史: "共有VR型手術シミュレータの医学体験教育への適用". VR医学, 3(1):38-43 (2004)
- M. Rissanen, N. Kume, Y. Kuroda, M. Nakao, T. Kuroda, H. Yoshihara: "Framework for Annotation of Haptic Data in Simulated Surgical Procedures". International Conference on Virtual Systems and MultiMedia, pp.647-656 (2005)
- 主な外部資金
- 小森優: 未来開拓学術研究推進事業, 外科領域を中心とするロボティックシステムの開発 (1998~2002)
- 高橋隆: 通信・放送機構 京都大学医学部マルチメディアモデル医療展開事業
- 中尾恵: 情報処理推進機構未踏ソフトウエア創造事業, 実時間力学計算手法のライブラリ化と手術シミュレータの開発 (2002)
- 黒田嘉宏: 情報処理推進機構未踏ソフトウェア創造事業, 統合型手術シミュレータの開発(2003)
- 中尾恵: 科学研究費補助金 特別研究員奨励費, ハプティクス環境における心拍動の4次元視覚・触覚表現 (2001-2002)
- 中尾恵: (財)中島記念国際交流財団 若手研究者研究補助金, 高度手術計画を目的とした人体臓器の実時間力学シミュレーション及び高精細描画に関する研究 (2004)
- 中尾恵: 文部科学省科学研究費補助金 若手研究(A)臓器力学特性の高精細可視・可触化による次世代手術計画システムの開発 (2004-2005)
- 富田眞治: 文部科学省科学研究費補助金 基盤研究(S)超高速体感型シミュレーションシステムの研究 (2004-2009)
- 主な特許
- 中尾恵, 黒田知宏: 情報処理装置およびプログラム, 特願2004-225388 (2004)
- 主な受賞
- 中尾恵: IPA未踏ソフトウェア創造事業スーパークリエータ (2002)
- 中尾恵: 情報処理学会大会奨励賞 (2003)
- 中尾恵: 日本バーチャルリアリティ学会奨励賞 (2003)
- 黒田嘉宏: 日本エム・イー学会秋季大会奨励賞 (2003)
- 中尾恵: 日本エム・イー学会奨励賞(2003)
- M Nakao, T. Kuroda, M. Komori, H. Oyama: ICAT Award of Outstanding Paper (2003)
- 黒田嘉宏, 中尾恵, 黒田知宏, 小山博史, 小森優, 松田哲也: 日本バーチャルリアリティ学会論文賞(2003)
- 黒田嘉宏, 中尾恵, 黒田知宏, 小山博史, 吉原博幸: SI2004 ベストセッション講演賞(2004)
- Mikko Rissanen, 粂直人, 黒田嘉宏, 中尾恵, 黒田知宏, 吉原博幸: 日本VR医学会奨励賞(2005)
可視化
- 主な研究成果
- エネルギー消費の三次元可視化(中村:1998~2000)
-
都市のエネルギー消費の様子を様々なレベルで可視化し、没入環境内で、レーザポインタ型インタフェースを用いて、エネルギー節約の体験ができるシステムを構築した。
辻教授(大阪大学エネルギー工学科)との共同研究
- 流れの三次元可視化(井村:1999~2000)
-
カラードップラ画像から、3次元の流体の動きの可視化を行った
Prof. Ask(Linkoeping University/Sweden)との共同研究
ここをクリックするとQT動画が見られます。
- 腎臓糸球体の可視化(鎌田:1999~2001)
-
microXCT画像を用いて、微細領域である腎臓糸球体の三次元可視化を行った。
川崎医科大学との共同研究
ここをクリックするとQTムービーが見られます。
- 主な発表論文
- T. Kuroda, A. Nakamura, Y. Kojima, Y. Manabe, K. Chihara: "Interactive Visualization of Energy Consumption using VRML". Proceedings of SPIE, 4311: 218-225, (2001)
- M. Imura, T. Kuroda, O. Oshiro, K. Chihara, J. Brandberg, P. Ask: "3-D Flow Visualization for Construction of the Model of the Blood Flow in the Heart", Japanese Journal of Applied Physics, 39(1-5B): 3246-3252 (2000)
- M. Imura, K. Kamada, T. Kuroda, O. Oshiro, K. Chihara, E. Toyota, Y. Ogasawara, F. Kajiya: "Interactive Observation of Kidney Glomeruli using Immersive Projection System". Proceedings of the IEEE-EMBS Special Topic Conference on Molecular, Cellular and Tissue Engineering, 128-129 (2002)
- 主な外部資金
- 辻毅一郎: 未来開拓学術研究推進事業 環境負荷低減を目的とした新しい自律分散都市エネルギーシステム (1997~2001)
その他
- 主な研究成果
- 正面画像からの側方画像生成(中野:1998~2000)
-
車などの移動体に正面向きに取り付けたカメラ画像から、オプティカルフローを用いて速報の画像を再構成することを試みた
→
- 動作伝達支援システムMoShAS(木村:2001~2003)
-
没入型仮想空間とモーションキャプチャを用いて、「身振りの伝達」を助けるシステムを構築した。様々な視点で身振りを表示することで、身振りの伝達が早期に行えることが明らかになった。
- 遠隔地への技能伝達(黒田:2005〜)
-
近年のネットワークロボット技術の発達を受け、現実、あるいは、仮想(CG)のロボットを用いて情報ネットワークを通じて、「言葉」や「映像」だけでなく、「身のこなし」も伝達することが可能になってきている。本研究では、情報通信ネットワークを通じて、時間・空間的制約を超えて技能を伝え・再現する、技能伝達型ロボットの実現を目指し、そのインタフェースの標準化、アプリケーションシナリオの構築とアセスメントなどを行っている。
本研究では、これまでに、StrinGlove(上記)と、4K2K高解像度カメラを用いて遠隔ロボット操作を行う実験に成功している。
本研究はNiCT けいはんな情報通信オープンラボ研究推進協議会・ネットワークロボット分科会・技能伝達型WGの活動として行われている。
- 主な発表論文
- T. Kuroda, H. Sasaki, M. Nakano, Y. Manabe, K. Chihara: "A Method to Generate Side View from Frontal Image Sequence for Tele-Existence". Proceedings of Workshop on Real-Time Image Sequence Analysis RISA2000, pp.116-121 (2000)
- 木村篤信, 佐々木博史, 黒田知宏, 眞鍋佳嗣, 千原國宏: "没入型空間におけるユーザと仮想物体のインタラクション". 第45回システム制御情報学会研究発表講演会講演論文集, pp.161-162 (2001)
|