特許拒絶査定不服審判
2023-003951
仮想オブジェクト触覚提示装置およびプログラム
- 審判番号
- 2023-003951
- 法域
- 特許
- 審判種別
- 拒絶査定不服審判(拒絶査定不服の審決)
- 出願番号
- 特願2018-140869
- 請求日
- 2023年03月08日
- 審決日
- 2024年02月13日
- 公報発行日
- 2024年03月29日
- 結論
- 原査定取消(特許/登録すべき)
- 当事者
- 【請求人】株式会社栗本鐵工所
- 【請求人代理人】KEY弁理士法人
- 【請求人代理人】芦北 智晴
- 審判長/審判官
- 審判長 岩間 直純
- 審判官 山内 裕史
- 審判官 富澤 哲生
- 分類
- P18 .121-WY (G06F)
- 条文(本文から自動抽出・参考)
- 特許法第29条第2項
- データ出所
- 審決公報(XML)
事件の表示
特願2018-140869「仮想オブジェクト触覚提示装置およびプログラム」拒絶査定不服審判事件〔令和 2年 1月30日出願公開、特開2020- 17159、請求項の数(7)〕について、次のとおり審決する。
結論
結 論
原査定を取り消す。
本願の発明は、特許すべきものとする。
理由
理 由
第1 手続の経緯
本願は、平成30年7月27日の出願であって、その手続の経緯は以下のとおりである。
令和4年 6月29日付け:拒絶理由通知書
令和4年 9月 2日: 意見書、手続補正書の提出
令和4年12月 8日付け:拒絶査定
令和5年 3月 8日: 審判請求書、手続補正書の提出
令和5年 8月 1日付け:拒絶理由(当審拒絶理由)通知書
令和5年10月16日: 意見書、手続補正書の提出
第2 原査定の概要
原査定(令和4年12月8日付け拒絶査定)の概要は次のとおりである。
本願請求項1-3、9に係る発明は、以下の引用文献A、Bに基づいて、本願請求項4、6に係る発明は、以下の引用文献A-Cに基づいて、本願請求項5-8に係る発明は、以下の引用文献A、B、Dに基づいて、本願請求項8に係る発明は、以下の引用文献A-Dに基づいて、その発明の属する技術の分野における通常の知識を有する者(以下、「当業者」という。)が容易に発明できたものであるから、特許法第29条第2項の規定により特許を受けることができない。
<引用文献等一覧>
A.特開2010-020526号公報
B.国際公開第2016/181469号
C.特表2015-519673号公報
D.特開2017-138651号公報
第3 当審拒絶理由の概要
当審拒絶理由の概要は次のとおりである。
本願請求項1、9に係る発明は、以下の引用文献1、2に基づいて、本願請求項2、3、5-7に係る発明は、以下の引用文献1-3に基づいて、本願請求項4、6、8に係る発明は、以下の引用文献1-4に基づいて、当業者が容易に発明できたものであるから、特許法第29条第2項の規定により特許を受けることができない。
<引用文献等一覧>
1.特開平11-232012号公報(当審において新たに引用された文献)
2.特開2017-138651号公報(拒絶査定時の引用文献D)
3.特表2016-530600号公報(当審において新たに引用された文献)
4.特開2012-221498号公報(当審において新たに引用された文献)
第4 本願発明
本願請求項1-7に係る発明(以下、それぞれ「本願発明1」-「本願発明7」という。)は、令和5年10月16日提出の手続補正書により補正された特許請求の範囲の請求項1-7に記載された事項により特定される発明であり、本願発明1、6は以下のとおりの発明である。
「 【請求項1】
ディスプレイ装置と、
前記ディスプレイ装置のディプスレイを制御するディスプレイ制御装置と、
ユーザに触覚を提示する触覚提示装置と、
選択可能な仮想オブジェクトの種類に対応付けて触覚情報を記憶する触覚情報記憶部と、
を備える仮想オブジェクト触覚提示装置であって、
前記ディスプレイ制御装置は、
前記ディスプレイにおいて、選択可能な仮想オブジェクトを表示するとともに、ユーザの操作によって前記仮想オブジェクトを選択するための仮想オブジェクト選択手段であって前記ユーザの操作によって移動可能な現実世界には存在しないユーザフォーカスを表示する表示制御部と、
前記ユーザフォーカスが、前記選択可能な仮想オブジェクトと重なって選択可能な仮想オブジェクトが選択された場合に、当該仮想オブジェクトの種類に対応付けられた触覚情報を前記触覚情報記憶部から読み出して前記触覚提示装置に送信する触覚情報送信部と、
を有し、
前記触覚提示装置は、
ユーザの操作によって変位する変位部と、
前記変位部に変位抵抗を付与する変位抵抗発生部と、
前記触覚情報送信部から受信した触覚情報に従って前記変位抵抗発生部が前記変位部に付与する変位抵抗を制御する変位抵抗制御部と、
を有し、
ユーザの手の状態に関する情報を検出するハンド状態検出部をさらに備え、
前記ディスプレイ制御装置は、前記ハンド状態検出部が検出する前記情報に基づいて、ユーザが所定のハンドジェスチャを行ったか否かを認定するハンドジェスチャ認定部を有し、
前記ディスプレイ制御装置は、前記ユーザフォーカスにより、選択可能な仮想オブジェクトが選択されている状態で、前記ハンドジェスチャ認定部が、ユーザが所定のハンドジェスチャを行ったことを認定した場合に、所定の処理を行い、かつ、前記触覚情報送信部から前記触覚提示装置に触覚の提示を停止すべき旨の命令を送信し、
前記触覚提示装置の前記変位抵抗発生部は、
前記変位部と連動して回転する回転部と、
前記回転部に回転抵抗を与える回転抵抗発生部と、
を含み、
前記回転抵抗発生部は、
前記回転部とともに回転する内部ロータと、
前記内部ロータの周囲に形成された隙間に封入された磁気粘性流体と、
前記磁気粘性流体に磁場を印加するための電磁石と、
を有し、
前記触覚提示装置の前記変位抵抗制御部は、前記触覚情報送信部から受信した前記触覚情報に基づいて前記電磁石に供給する電流値を制御することにより、前記変位部に付与する変位抵抗を制御し、その後、前記触覚情報送信部から前記触覚の提示を停止すべき旨の命令を受信すると、前記電磁石への給電を停止し、
前記所定のハンドジェスチャは、前記ユーザが前記変位部を変位させるときの手の動作である、
ことを特徴とする仮想オブジェクト触覚提示装置。」
「 【請求項6】
ディスプレイ装置と、
前記ディスプレイ装置のディプスレイを制御するディスプレイ制御装置と、
ユーザに触覚を提示する触覚提示装置と、
選択可能な仮想オブジェクトの種類に対応付けて触覚情報を記憶する触覚情報記憶部と、
を備え、
前記触覚提示装置が、
ユーザの操作によって変位する変位部と、
前記変位部に変位抵抗を付与する変位抵抗発生部と、
前記ディスプレイ制御装置から受信した触覚情報に従って前記変位抵抗発生部が前記変位部に付与する変位抵抗を制御する変位抵抗制御部と、
を有し、
前記変位抵抗発生部は、
前記変位部と連動して回転する回転部と、
前記回転部に回転抵抗を与える回転抵抗発生部と、を含み、
前記回転抵抗発生部は、
前記回転部とともに回転する内部ロータと、
前記内部ロータの周囲に形成された隙間に封入された磁気粘性流体と、
前記磁気粘性流体に磁場を印加するための電磁石と、を有し、
前記変位抵抗制御部は、前記ディスプレイ制御装置から受信した前記触覚情報に基づいて前記電磁石に供給する電流値を制御することにより、前記変位部に付与する変位抵抗を制御し、その後、前記ディスプレイ制御装置から触覚の提示を停止すべき旨の命令を受信すると、前記電磁石への給電を停止する、
仮想オブジェクト触覚提示装置における前記ディスプレイ制御装置としてコンピュータを機能させるためのプログラムであって、
前記ディスプレイ制御装置を、
前記ディスプレイにおいて、選択可能な仮想オブジェクトを表示するとともに、ユーザの操作によって前記仮想オブジェクトを選択するための仮想オブジェクト選択手段であって前記ユーザの操作によって移動可能な現実世界には存在しないユーザフォーカスを表示する表示制御部と、
前記ユーザフォーカスが、前記選択可能な仮想オブジェクトと重なって選択可能な仮想オブジェクトが選択された場合に、当該仮想オブジェクトの種類に対応付けられた触覚情報を前記触覚情報記憶部から読み出して前記触覚提示装置に送信する触覚情報送信部と、
ユーザの手の状態に関する情報を検出するハンド状態検出部が検出する当該情報に基づいて、ユーザが所定のハンドジェスチャを行ったか否かを認定するハンドジェスチャ認定部
として機能させ、
前記ディスプレイ制御装置が、前記ユーザフォーカスにより、選択可能な仮想オブジェクトが選択されている状態で、前記ハンドジェスチャ認定部が、ユーザが所定のハンドジェスチャを行ったことを認定した場合に、所定の処理を行い、かつ、前記触覚情報送信部から前記触覚提示装置に触覚の提示を停止すべき旨の命令を送信するように機能させ、
前記所定のハンドジェスチャは、前記ユーザが前記変位部を変位させるときの手の動作である、
ことを特徴とするプログラム。」
また、本願発明2-5は、本願発明1を減縮した発明であり、本願発明7は、本願発明6を減縮した発明である。
第5 引用文献、引用発明等
1 引用文献1及び引用発明
(1) 引用文献1
当審拒絶理由に引用した引用文献1には、図面とともに次の事項が記載されている(下線は、当審で付した。以下同様。)。
「【図1】
[図:0001407556000001.jpg]
」
「【0024】図1は、本発明のインタフェースシステムの概略構成を示す図である。
【0025】この実施の形態のインタフェースシステム1は、仮想世界を構築するコンピュータ2と、このコンピュータ2に接続される本発明に係るインタフェース装置3とを備えている。
【0026】コンピュータ2で構築された仮想世界には、例えば、2つの第1,第2仮想物体4,5が存在し、仮想物体を選択するための仮想オブジェクト(アバタ)6が存在する。一方、ユーザは、インタフェース装置3を直接手7で触れることができ、仮想世界における仮想物体4,5を、このインタフェース装置3を通して実感できるように次のように構成している。
【0027】すなわち、このインタフェース装置3は、対象とする仮想物体の情報、例えば、仮想物体の形状、色、弾性、温度あるいは臭いなどの情報に基づいて、その状態、例えば、形状、色、弾性、温度あるいは臭いを決定するものである。
【0028】例えば、図1(A)に示されるように、対象とする第1仮想物体4の形状が球であれば、インタフェース装置3の上部も半球状となり、また、図1(B)に示されるように、対象とする第2仮想物体5の形状が、直方体状であれば、インタフェース装置3も直方体状となるものであり、図2の機能ブロック図に示されるように、仮想世界を構築するコンピュータ2は、仮想物体の状態を示す情報を抽出する仮想物体状態情報抽出手段8を有し、インタフェース装置3は、抽出した仮想物体の状態情報に基づいて、当該インタフェース装置3の状態を決定する状態決定手段9を有している。
【0029】抽出する状態情報の内容は、インタフェース装置3の状態を、何に基づいて決定するかに応じて規定されるものであり、例えば、仮想物体の形状に応じてインタフェース装置3の形状を決定するような場合には、仮想物体の形状に関する情報のみを抽出すればよい。また、仮想物体の状態情報の抽出は、仮想世界を構築しているコンピュータ2またはコンピュータ2上のプログラムにおいて対象とする仮想物体の形態データを参照することで容易に実現することができる。
【0030】コンピュータ2とインタフェース装置3との間の情報の通信は、この実施の形態のように、コンピュータ2の標準入出力ポートとインタフェース装置3とをケーブルで接続してもよいし、無線通信によって無線接続してもよい。
【0031】この実施の形態のインタフェースシステム1においては、コンピュータ2は、対象とされる仮想物体の状態の情報を抽出してインタフェース装置3に与え、インタフェース装置3は、与えられる情報に基づいて、その状態を決定するものであり、仮想物体の状態の変化に応じてインタフェース装置3の状態を変更するものである。」
「【0048】以上のような構成を有するインタフェース装置3を備えるインタフェースシステム1では、コンピュータ2に対する入力手段として例えば、図示しないマウスを備えており、このマウスによってユーザが仮想物体に対して操作を行うものである。仮想物体に対する操作の例としては、例えば仮想物体の把持、開放、移動や仮想物体に刺激を与えるなどがある。
【0049】この場合、仮想物体の操作とマウス操作を、例えば次のように対応づけることができる。
【0050】把持:仮想物体のCGにマウスカーソルを重ねた状態でクリック
移動:仮想物体を把持している状態でマウスカーソルを移動
開放:仮想物体を把持している状態でクリック
たたく:仮想物体のCGにマウスカーソルを重ねた状態でダブルクリック
なでる:仮想物体のCGにマウスカーソルを重ねマウスボタンを押したままマウスカーソルを移動
また、このマウスは、仮想世界に存在する仮想物体が複数ある場合に、操作対象となる仮想物体を選択する仮想物体選択手段としての機能を有しており、さらに、仮想物体が1つの場合には、その仮想物体への操作が可能な状態と操作が行えない状態との切り替えを行うものであり、例えば、次のように操作と対応づけることができる。
【0051】選択:操作対象とする仮想物体のCGにマウスカーソルを重ねる
操作可能な状態への切り替え:仮想物体のCGにマウスカーソルを重ねる
操作不可能な状態への切り替え:仮想物体のCGにマウスカーソルが重ならないようにする
コンピュータ3では、このようにしてマウスによって選択された仮想物体についてだけ状態情報の抽出が行われる。」
「【0062】また、上述の実施の形態では、インタフェース装置3は、仮想物体の情報の基づいて、その状態を決定するという出力装置としての機能のみであったけれども、本発明の他の実施の形態として、上述のマウスの機能を追加することにより、仮想物体に対して操作を行ったり、複数の仮想物体から対象とする仮想物体を選択できるようにしてもよい。」
(2) 引用発明
したがって、引用文献1には、次の発明(以下「引用発明」という。)が記載されていると認められる。
「インタフェースシステムであって、
コンピュータ2と、インタフェース装置3とを備え、
ユーザは、インタフェース装置3を直接手7で触れることができ、仮想物体を、このインタフェース装置3を通して実感できるように構成しており、
インタフェース装置3は、対象とする仮想物体の情報に基づいて、その弾性を決定するものであり、
コンピュータ2は、仮想物体の状態を示す情報を抽出し、インタフェース装置3は、抽出した仮想物体の状態情報に基づいて、当該インタフェース装置3の状態を決定し、
仮想物体の状態情報の抽出は、コンピュータ2において対象とする仮想物体の形態データを参照することで実現することができ、
コンピュータ2は、対象とされる仮想物体の状態の情報を抽出してインタフェース装置3に与え、インタフェース装置3は、与えられる情報に基づいて、その状態を決定するものであり、
コンピュータ2に対する入力手段としてマウスを備えており、
このマウスは、操作対象となる仮想物体を選択する仮想物体選択手段としての機能を有しており、
操作対象とする仮想物体のCGにマウスカーソルを重ねてマウスによって選択された仮想物体についてだけ状態情報の抽出が行われる、
インタフェースシステム。」
2 引用文献2-4、A-Cについて
(1) 引用文献2
引用文献2には、以下の記載がある。
「【図1】
[図:0001407556000002.jpg]
」
「【0013】
以下、本発明の実施形態に係る力覚提示装置について図面を参照しつつ説明する。本実施形態に係る力覚提示装置は、図1に示すように、操作部10、回転抵抗発生部20、変位量検出部30、制御装置40、表示装置50等で構成されている。この力覚提示装置では、操作者が操作部10の変位部13を操作することで、表示装置50に表示された仮想物体を疑似的に掴むことができ、仮想物体を掴んだときの力覚(反力等の感触)を体感することができる。以下、各部について詳細に説明する。」
「【図2】
[図:0001407556000003.jpg]
」
「【0014】
操作部10は、図2に示すように、ヘッド部11、脚部12、変位部13等を備えている。
【0015】
ヘッド部11は、脚部12上に設けられた略球状の筐体からなり、矩形の第1開口11aおよび第2開口11bを有している。第1開口11aは、操作者の手の人差指から小指に対応する位置に形成されており、第2開口11bは、操作者の親指に対応する位置に1つ形成されている。
【0016】
変位部13は、操作者の指の操作によって変位するものであり、操作者の全指に対応して5つ設けられている。操作者の人差指から小指に対応する4つの変位部13は、ヘッド部11の第1開口11aに配設されており、操作者の親指に対応する変位部13は、ヘッド部11の第2開口11bに配設されている。本実施形態では、各変位部13として、図3および図4に示すように、基部が支軸14に回動自在に支持された湾曲板で構成されており、これがリンク機構15を介して、回転抵抗発生部20の回転軸21に連結されている。各変位部13は、所定範囲内(例えば30度以内)で回動できるようになっている。なお、本実施形態では、変位部13には、リターンスプリング等は設けられておらず、押し込まれた後は、操作者の指先により元の位置に復帰される。そのため、使用に当たっては、例えば図7に示すように、操作者の各指先と変位部13とが面ファスナー付結束具73等により結束される。」
「【図5】
[図:0001407556000004.jpg]
」
「【0019】
次に、回転抵抗発生部20の具体的な構成例を図5に基づいて説明する。同図に示す回転抵抗発生部20は、回転軸21、円板22、ヨーク24,25、コイル27、磁気粘性流体28、ケーシング26等で構成されている。
【0020】
回転軸21は、その端部が円板22の裏面22bの中心部に垂直に接続されている。回転軸21はベアリング29を介してヨーク25に設けられた軸穴60に回転自在に支持されている。なお、回転軸21には非磁性体が用いられることが望ましい。
【0021】
円板22は、磁性体からなり、回転軸21と一体に軸線回りに回転可能となっている。これに対し、ケーシング26、ヨーク24,25等はヘッド部11内の所定の位置に固定され回転しないようになっている。」
「【0026】
磁気粘性流体28は、円板22と、第1ヨーク24および第2ヨーク25との隙間に封入されている。この磁気粘性流体28は、磁性粒子を分散媒に分散させてなる液体であり、特にその磁性粒子がナノサイズの金属粒子(金属ナノ粒子)からなるものが使用できる。磁性粒子は磁化可能な金属材料からなり、金属材料に特に制限はないが軟磁性材料が好ましい。軟磁性材料としては、例えば鉄、コバルト、ニッケル及びパーマロイ等の合金が挙げられる。分散媒は、特に限定されるものではないが、一例として疎水性のシリコーンオイルを挙げることができる。磁気粘性流体における磁性粒子の配合量は、例えば3-40vol%とすればよい。磁気粘性流体にはまた、所望の各種特性を得るために、各種の添加剤を添加することも可能である。
【0027】
上記構成を備える回転抵抗発生部20において、コイル27に電流が印加されると、矢印Pに示す方向に沿って円板22、第1ヨーク24、第2ヨーク25内に磁路が形成される。この磁路は、円板22の表面22aと第1ヨーク24の対向面24aとの隙間や、円板22の裏面22bと第2ヨーク25の対向面25aとの隙間に介在する磁気粘性流体28を貫通する。これにより、磁気粘性流体28には、磁場の強さに応じた粘度(ずり応力)が発現し、円板22とヨーク24,25との間での伝達トルクが磁場の強さに応じて大きくなり、その結果、回転軸21の回転抵抗もコイル27に印加される電流値に応じて大きくなる。」
「【図7】
[図:0001407556000005.jpg]
」
「【0033】
表示装置50において、CG画像アプリケーションプログラムが起動され、操作者が所定操作を行うことにより、仮想物体の種類が選択されると、図7に示すように、表示装置50の画面51に仮想物体71および仮想手72が表示される。また、選択された仮想物体の種別情報が制御部41に送信され、制御部41は、選択された仮想物体に関する変位量と電流値との対応情報を自身が記憶している多数の対応情報の中から選出する。
【0034】
次に、図7に示すように、操作者が操作部10上に手75を置いて指先の掴み動作により各変位部13を変位させると、各変位部13の動作は、リンク機構15を介して回転抵抗発生部20の回転軸21に伝達される。このとき、変位量検出部30により変位部13の変位量(回動量)が検出され、上記対応情報において、検出された変位量に対応する値の電流が回転抵抗発生部20に供給される。このため、操作者の手には、掴み量に応じた力覚が提示される。」
(2) 引用文献3
引用文献3には、以下の記載がある。
「【0007】
[0022] ユーザがオブジェクトにフォーカスしているという決定に基づいて、仮想オブジェクトのユーザ選択を可能にする技術が提示される。この技術は、選択可能な仮想オブジェクト及び検証オブジェクトへのユーザによる多ステップフォーカシングを使用して、オブジェクトを選択しようとするユーザの意思を確認する。第1のタイマは、ユーザが選択可能なオブジェクトにフォーカスしているということの決定後、検証オブジェクトの表示前に動作する。ユーザフォーカスが検証オブジェクトに移動するとき、仮想オブジェクトの選択が行われたことを別のタイムアウトが決定する。フォーカスの決定は、ユーザの注視、ユーザの頭部位置、又はその両方に基づいて行われ得る。この技術は、ユーザが、意図しない選択をすることなしに、多数の仮想オブジェクトを有する環境を効果的にナビゲートすることを可能にするシースルーヘッドマウントディスプレイに使用され得る。
【0008】
[0023] ヘッドマウントディスプレイ装置は、ディスプレイ素子を含むことができる。ディスプレイ素子は、ユーザがユーザの視野(field of view: FOV)内で現実世界オブジェクトをディスプレイ素子を通して眺めることができるように、ある程度、透明である。ディスプレイ素子はまた、仮想オブジェクトをユーザのFOVの中に投影する能力を提供し、それにより、仮想オブジェクトは、現実世界オブジェクトと一緒に見えることも可能である。システムは、ユーザが眺めている場所を自動的に追跡し、それにより、システムは、ユーザのFOVに仮想オブジェクトを挿入すべき場所を決定することができる。一旦、システムが仮想オブジェクトを投影すべき場所を知ると、画像は、ディスプレイ素子を使用して投影される。」
(3) 引用文献4
引用文献4には、以下の記載がある。
「【0022】
本発明の実施形態はユーザインターフェイス技術に関し、前記技術はユーザーの視線、及びハンドジェスチャなどの第二ユーザー入力に基づいたユーザーへのフィードバックを提供する。一実施形態では、トラッキングシステムに基づくカメラは、ユーザインターフェイス内に表示されたどのオブジェクトが見られているかを検出するために、ユーザーの視線の方向をトラッキングする。またトラッキングシステムは、例えば他のカメラ及び/またはセンサを使って、オブジェクトの動作、及び運動を制御するために、ハンドジェスチャ、及びボディジェスチャを認識する。例えばジェスチャ入力は、引く、押す、位置を合わせる、選択したオブジェクトを動かす、または制御することができる魔法(magical force)や超能力(mental force)をシミュレートするために使うことができる。ユーザーのやり取りは、ユーザインターフェイス内で、ユーザーの意志がユーザインターフェイス内のオブジェクトをコントロールしているという感覚をシミュレートする。それらは、(例えば、映画スターウォーズ内の力のような)映画の中で見てきた念力(telekinetic power)に似ている。」
「【0027】
図1は、本発明の一実施形態による、視線トラッキング、ジェスチャ入力に基づくフィードバックを提供するユーザインターフェイスを概略的に示す。図1では、ユーザー104は、ユーザーの目108、及びユーザーの手112が概略的に描かれている。ユーザー104は、ユーザインターフェイス120(例えば、ビデオゲーム、インターネットブラウザウィンドウ、文章処理アプリケーションウィンドウなど)を表示するディスプレイ116を見ている。ディスプレイ116は、コンピュータデバイスを備える、もしくはビデオゲームコンソール、またはコンピュータに接続される。他の実施形態では、ディスプレイ116は、有線、または無線でサーバ、または他のコンピュータシステムなどのコンピュータデバイスとインターネットを介して接続される。前記コンピュータデバイスは、ユーザインターフェイス120をディスプレイ116に提供する。
【0028】
図1では、カメラ124は、ディスプレイ116の上部に位置し、一般的にユーザー104の方向に向いたカメラ124のレンズを有する。一実施形態では、カメラ124はユーザーの視線128(即ち、ユーザーの目108からの相対的なディスプレイ116への方向)をトラッキングするために赤外照明を使用する。
【0029】
単一の前記カメラ124、又は他のカメラ(図1に図示せず)は、ハンドジェスチャ(即ち、ユーザーの手112によって作られる矢印136の方向の動作)をトラッキングするために使うことができる。他のカメラが使用される実施形態では、ハンドジェスチャをトラッキングするために、カメラ単独で使用することが可能であるし、近赤外線センサと組み合わせたカメラを使用することもできるし、他の深度センサと組み合わせたカメラを使用することも可能である。例えば、ハンドジェスチャは、慣性センサ(または、他の制御器、または加速度計を備えるセンサ)のフリック(flick)で有り得る。コンピュータデバイスは、ジェスチャカメラ(または、他のジェスチャトラッキング装置)からの入力を、オブジェクト144の動作、またはユーザインターフェイス上に表示されたオブジェクト144に関係するコマンドへ関連付ける(即ち、オブジェクト140の矢印144方向の動作)。代わりに、前記ジェスチャセンサは、ユーザーのジェスチャを決定するプロセッサを備えることが可能である。
【0030】
使用において、ユーザインターフェイスに表示された140を選択するために視線が使われる。ハンドジェスチャ、あるいは体の動作136がオブジェクト144の制御、移動のために使用される。当然のことながら、これらのステップは、どんな順番も可能である(即ち、制御、または動作144は、オブジェクトが選択される前に決定することが可能であり、逆も同様である)。
【0031】
当然のことながら、視線トラッキングとジェスチャトラッキングとの組み合わせに基づき、フィードバックをユーザーに提供するユーザインターフェイス技術のための多数の異なるアプリケーションが存在する。例えば、ハンドジェスチャは、ユーザーが見ている文字に基づいてユーザインターフェイス上の1つの文字においてつづりを開始させることができる。他の例として、ハンドジェスチャは、シューティングゲームのトリガ(シューティングアクション)になることができる。視線、またはジェスチャは、ボタンを押す動作(例えば、ユーザーの視線がボタンに向けられているときに、指で指し示す、指を前に動かす)をシミュレートすることによって、仮想ボタンを選択するために使用することもできる。他の実施形態では、視線、及びユーザジェスチャは、ユーザインターフェイスの特定の部分の拡大、または縮小(例えば、地図の特定の部分の拡大)のために使用することができる。さらなる他の実施形態では、手が指し示す前方へのフリック(forward flick of a pointing hand)は、視線トラッカーによって検出されたユーザーが見ているオブジェクトとのやり取りを開始することができる。さらなる他の実施形態では、手招きのジェスチャ(beckoning gesture)は、ユーザーが見ているオブジェクトを、ユーザインターフェイス内でユーザーの近くに引き寄せるために使用することができる。同様に、手を振るジェスチャ(wave gesture)は、オブジェクトを後方へ移動させることが可能である。
【0032】
視線トラッキングは利点がある。ユーザーにとって、それはユーザインターフェイス内に表示されたオブジェクトとやり取りしようとする意志を示す方法が、自然、または無意識な操作でさえあるように感じるからである。ハンドジェスチャも利点がある。それは、手の動作のパワーが、スクリーン上での動作のパワーに反映されるように使用されることが可能であるからである。それと共に、ハンドジェスチャは、選択したオブジェクトとやり取りするための、所望の動作を伝える、又は直接的に動作を制御するための方法にとっては自然であるからである。」
「【図3】
[図:0001407556000006.jpg]
」
「【0047】
図3は、本発明の一実施形態による、視線、及びジェスチャトラッキングに基づきフィードバックをユーザーに提供するためのプロセス300を図示する。当然のことながら、以下で説明されるプロセス300は、単に例示であって、いくつかのステップを抜かすことも、加えること、及び、以下の説明から少なくともいくつかのステップの順序を変えることも可能である。一実施形態では、プロセス300は、コンピュータデバイス204によって実行される。
【0048】
プロセス300は、ユーザインターフェイス内のオブジェクトを表示すること(ブロック304)から始まる。
【0049】
プロセス300は、続いてユーザインターフェイスとやり取りするユーザーの目の視線のトラッキングを行い(ブロック308)、ユーザインターフェイス内のオブジェクトがユーザーに見られているか否かを決定する(ブロック312)。
【0050】
プロセス300は、続いてユーザーのジェスチャをトラッキングし(ブロック316)、ユーザーのジェスチャをユーザインターフェイス内のオブジェクトの動作へ関連付ける(ブロック320)。
【0051】
プロセス300は、続いて前記関連付けに基づいてユーザインターフェイス内のオブジェクトの表示を変更する(ブロック324)。
【0052】
当然のことながら、代用の実施形態では、ユーザーのジェスチャを、ユーザーの視線をトラッキングする前にトラッキングすることができる。さらなる他の実施形態では、ユーザーのジェスチャ、及び視線を、解析(例えば、選択されたオブジェクトの決定、ジェスチャのオブジェクト制御への関連付け)する前にトラッキングすることができる。」
(4) 引用文献A
引用文献Aには、以下の記載がある。
「【図5】
[図:0001407556000007.jpg]
」
「【0049】
[複合現実空間における操作装置の操作方法]
以上のように構成された操作装置14では、複合現実空間において仮想物体を掴む操作(選択操作)、仮想物体を掴んだまま移動する操作(移動操作)、仮想物体を放す操作(選択解除操作)などが行える。これらの操作方法は、操作装置14の外観から、ユーザが、容易にイメージでき、MR空間における良好な操作性が得られる。
【0050】
[選択操作]
前記選択操作を行うには、図5に示すように、複合現実空間において、現実の物体である操作装置14を仮想物体に近づけ、両操作体先端31a,32aの間に仮想物体を位置させる。このときの操作装置14の位置・姿勢情報は、位置姿勢センサ23を介して、MR空間管理コンピュータ11によって取得されている。
MR空間管理コンピュータ11は、複合現実空間における仮想物体の位置と操作装置14(の先端)の位置が一致したことを検出し、かつ、その位置で操作体31,32を閉じる操作(挟み操作)がユーザにより行われて、仮想物体の設定された大きさに対応する挟み幅まで閉じられたことをポテンショメータ34を介して検出すると、その仮想物体が選択された旨の判定を行う。
【0051】
仮想物体選択の判定がなされると、ユーザに対し、視覚、聴覚、反力、及び触覚が提示される。ここで、図4(a)のラチェット方式の反力提示機構39を採用した場合、仮想物体選択時の挟み幅でロックされ、選択中はいくら強く押してもそれ以上押し込むことはできない。一方、図4(b)のブレーキ方式の反力提示機構39を採用した場合、仮想物体選択時の挟み幅で固定されるようブレーキがかかるが、仮想物体の設定された硬さが柔らかければ、さらに操作体31,32を強く押すとブレーキバンドが滑り、バネのような押し込み感として知覚される。」
(5) 引用文献B
引用文献Bには、以下の記載がある。
「[図1]
[図:0001407556000008.jpg]
」
「[図11]
[図:0001407556000009.jpg]
」
「[0026] また、映像出力部123は、投影装置110Bにポインタ130Aを表示させる。スクリーン110Aに表示される画像内におけるポインタ130Aの位置は、位置検出部121で検出される操作端末機130の位置と姿勢によって決まる。」
「[0028] 駆動制御部125は、接触判定部122によって物品111又は112の画像と、ポインタ130Aとが接触したと判定されると、ポインタ130Aが接触した物品111又は112の部位の触感に応じた振動パターンの駆動信号を出力する。この駆動信号は、操作端末機130の振動素子を駆動する信号である。」
「[0030] 操作端末機130は、シミュレーションシステム100を利用する利用者が手に保持し、スクリーン110Aに表示されるポインタ130Aの位置をコントロールする端末機である。操作端末機130は、マーカ132と振動素子133R及び133Lとを有する。」
「[0032] 振動素子133R及び133Lは、それぞれ、操作端末機130の右側及び左側に振動を発生させるために設けられている。また、振動素子133R及び133Lは、駆動制御部125によって生成される駆動信号が表す物品111又は112の触感に応じた振動パターンによって駆動される。振動素子133R及び133Lは、可動素子の一例である。」
(6) 引用文献C
引用文献Cには、以下の記載がある。
「【図1】
[図:0001407556000010.jpg]
」
「【0014】
図1は、一実施形態により、ユーザインターフェースとの対話のためにオブジェクトを追跡するように構成されたHMD120の簡略図100である。この実施形態では、ユーザ110によって装着されたHMD120は、ユーザの手130などのオブジェクトを追跡できるデータを供給する、カメラおよび/または他のセンサ(たとえば、光、熱、超音波、無線周波(RF)信号などを検知することが可能なセンサ)を有する。そうすることで、HMD120は、HMD120によって表示されるGUIを操作することができ、別個のインターフェース(たとえば、タッチパッド、ボタンなど)がユーザ入力を受け取る必要がなくなる。たとえそうでも、必要な機能に応じて、他のインターフェースをHMD120に組み込み、かつ/またはHMD120と通信可能に結合することができる。さらに、1つもしくは複数の要素の表示および/またはGUIの提示は、いくつかの実施形態では省略される場合がある。たとえば、ユーザからの入力を受け取るときに視覚要素が表示されない実施形態が下記に記載される。さらに、ユーザ入力によってもたらされるか、または選択される機能は、実際に見えても見えなくてもよい。本明細書に記載される機能を実行するために、HMD120は、図10に関して下記に記載されるコンピュータシステムなどのコンピュータシステムを組み込み、かつ/またはコンピュータシステムと通信することができる。」
第6 対比・判断
1 本願発明1について
(1)対比
本願発明1と引用発明とを対比すると、次のことがいえる。
ア 引用発明の「コンピュータ2」は、「入力手段としてマウスを備えており」、「このマウスは、操作対象となる仮想物体を選択する仮想物体選択手段としての機能を有しており、操作対象とする仮想物体のCGにマウスカーソルを重ねてマウスによって選択」しているから、「仮想物体のCG」及び「マウスカーソル」を表示するためのディスプレイ装置及びそれらの表示を制御する手段を備えていることは明らかである。
したがって、引用発明の「コンピュータ2」は、本願発明1の「ディスプレイ装置と、前記ディスプレイ装置のディプスレイを制御するディスプレイ制御装置」を備えているといえる。
イ 引用発明の「インタフェース装置3」は、「ユーザ」が「直接手7で触れることができ」るものであって、「仮想物体を、このインタフェース装置3を通して実感できるように構成しており」、「対象とする仮想物体の情報に基づいて、その弾性を決定するもの」であるから、当該「インタフェース装置3」を「直接手7で触れる」「ユーザ」に対して、「仮想物体」の「弾性」を「実感」させる、すなわち触覚の一種を提示する「装置」であるといえる。
したがって、引用発明の「インタフェース装置3」は、本願発明1の「ユーザに触覚を提示する触覚提示装置」に相当する。
ウ 引用発明の「仮想物体」は、本願発明1の「仮想オブジェクト」に相当する。
エ 引用発明の「仮想物体の情報」は、「ユーザ」が「インタフェース装置3を通して実感できる」「弾性」、すなわち触覚の一種の情報を「決定」するものであるから、本願発明の1の「触覚情報」に相当する。
オ 引用発明の「コンピュータ2は、仮想物体の状態を示す情報を抽出し」、また、「仮想物体の状態情報の抽出は、コンピュータ2において対象とする仮想物体の形態データを参照することで実現することができ」、さらに、「選択された仮想物体についてだけ状態情報の抽出が行われる」から、引用発明の「コンピュータ2」は、「選択」が行われる「仮想物体」に対応した「仮想物体の状態を示す情報」を記憶する手段を備えていると認められる。
したがって、上記ウ、エを踏まえると、引用発明の「コンピュータ2は、仮想物体の状態を示す情報を抽出し」、「仮想物体の状態情報の抽出は、コンピュータ2において対象とする仮想物体の形態データを参照することで実現することができ」、「選択された仮想物体についてだけ状態情報の抽出が行われる」構成は、本願発明1の「選択可能な仮想オブジェクトの種類に対応付けて触覚情報を記憶する触覚情報記憶部」と、「選択可能な仮想オブジェクト」「に対応付けて触覚情報を記憶する触覚情報記憶部」である点で共通する。
カ 引用発明の「インタフェースシステム」は、「インタフェース装置3」を備えるものであるから、上記イを踏まえると、本願発明1の「仮想オブジェクト触覚提示装置」に相当する。
キ 上記アにおいて、引用発明の「マウス」の操作が「ユーザ」によってなされ、それに伴って「マウスカーソル」が移動することは明らかであり、当該「マウスカーソル」が現実世界には存在しないことも明らかであるから、引用発明におけるディスプレイ装置の表示を制御する手段は、ディスプレイ装置において、「ユーザ」により「選択」可能な「仮想物体」を表示するとともに、「ユーザ」による「マウス」の操作によって「仮想物体」を「選択」するための手段であって「ユーザ」の操作によって移動可能な現実世界には存在しない「マウスカーソル」を表示するといえる。
そして、引用発明の「マウスカーソル」は、本願発明1の「ユーザフォーカス」に相当する。
したがって、上記ア、ウを踏まえると、引用発明の「コンピュータ2に対する入力手段としてマウスを備えており、このマウスは、操作対象となる仮想物体を選択する仮想物体選択手段としての機能を有しており、操作対象とする仮想物体のCGにマウスカーソルを重ねてマウスによって選択された仮想物体についてだけ状態情報の抽出が行われる」構成は、本願発明1の「前記ディスプレイ制御装置は、前記ディスプレイにおいて、選択可能な仮想オブジェクトを表示するとともに、ユーザの操作によって前記仮想オブジェクトを選択するための仮想オブジェクト選択手段であって前記ユーザの操作によって移動可能な現実世界には存在しないユーザフォーカスを表示する表示制御部」「を有」する構成に相当する。
ク 引用発明の「コンピュータ2は、対象とされる仮想物体の状態の情報を抽出してインタフェース装置3に与え」、「コンピュータ2」が、「入力手段としてマウスを備えており」、「このマウスは、操作対象となる仮想物体を選択する仮想物体選択手段としての機能を有しており、操作対象とする仮想物体のCGにマウスカーソルを重ねてマウスによって選択された仮想物体についてだけ状態情報の抽出が行われる」ことにおいて、当該「コンピュータ2」は、「マウスカーソル」が、「選択」される「仮想物体」と「重ね」られて「選択」される「仮想物体」が「選択」された場合に、当該「仮想物体」に対応した「状態情報」を「抽出」して「インタフェース装置3」に与えるという情報の送信を行っていると認められる。
したがって、上記イ-オ、キを踏まえると、引用発明の「コンピュータ2は、対象とされる仮想物体の状態の情報を抽出してインタフェース装置3に与え」、「コンピュータ2に対する入力手段としてマウスを備えており、このマウスは、操作対象となる仮想物体を選択する仮想物体選択手段としての機能を有しており、操作対象とする仮想物体のCGにマウスカーソルを重ねてマウスによって選択された仮想物体についてだけ状態情報の抽出が行われる」構成は、本願発明1の「前記ユーザフォーカスが、前記選択可能な仮想オブジェクトと重なって選択可能な仮想オブジェクトが選択された場合に、当該仮想オブジェクトの種類に対応付けられた触覚情報を前記触覚情報記憶部から読み出して前記触覚提示装置に送信する触覚情報送信部」と、「前記ユーザフォーカスが、前記選択可能な仮想オブジェクトと重なって選択可能な仮想オブジェクトが選択された場合に、当該仮想オブジェクト」「に対応付けられた触覚情報を前記触覚情報記憶部から読み出して前記触覚提示装置に送信する触覚情報送信部」である点で共通する。
したがって、本願発明1と引用発明との間には、次の一致点、相違点があるといえる。
(一致点)
「ディスプレイ装置と、
前記ディスプレイ装置のディプスレイを制御するディスプレイ制御装置と、
ユーザに触覚を提示する触覚提示装置と、
選択可能な仮想オブジェクトに対応付けて触覚情報を記憶する触覚情報記憶部と、
を備える仮想オブジェクト触覚提示装置であって、
前記ディスプレイ制御装置は、
前記ディスプレイにおいて、選択可能な仮想オブジェクトを表示するとともに、ユーザの操作によって前記仮想オブジェクトを選択するための仮想オブジェクト選択手段であって前記ユーザの操作によって移動可能な現実世界には存在しないユーザフォーカスを表示する表示制御部
を有し、
前記仮想オブジェクト触覚提示装置は、
前記ユーザフォーカスが、前記選択可能な仮想オブジェクトと重なって選択可能な仮想オブジェクトが選択された場合に、当該仮想オブジェクトに対応付けられた触覚情報を前記触覚情報記憶部から読み出して前記触覚提示装置に送信する触覚情報送信部
を有する、
ことを特徴とする仮想オブジェクト触覚提示装置。」
(相違点1)
本願発明1では、「触覚情報記憶部」が「選択可能な仮想オブジェクトの種類に対応付けて触覚情報を記憶」しており、「仮想オブジェクトが選択された場合に、当該仮想オブジェクトの種類に対応付けられた触覚情報を前記触覚情報記憶部から読み出して前記触覚提示装置に送信する」のに対し、引用発明では、「選択」が行われる「仮想物体」に対応した「仮想物体の状態を示す情報」を記憶する手段を備えており、「選択された仮想物体」の「状態情報」を抽出して「インタフェース装置3に与え」るものの、「状態情報」が「仮想物体」の「種類」に対応付けられているとの特定はない点。
(相違点2)
本願発明1の「触覚情報送信部」を有するものが「ディスプレイ制御装置」であるのに対し、引用発明の「コンピュータ2は、対象とされる仮想物体の状態の情報を抽出してインタフェース装置3に与え」、「コンピュータ2に対する入力手段としてマウスを備えており、このマウスは、操作対象となる仮想物体を選択する仮想物体選択手段としての機能を有しており、操作対象とする仮想物体のCGにマウスカーソルを重ねてマウスによって選択された仮想物体についてだけ状態情報の抽出が行われる」手段が、「コンピュータ2」が備えるディスプレイ装置の表示を制御する手段に設けられているとの特定はない点。
(相違点3)
本願発明1の「触覚提示装置」は、「ユーザの操作によって変位する変位部と、前記変位部に変位抵抗を付与する変位抵抗発生部と、前記触覚情報送信部から受信した触覚情報に従って前記変位抵抗発生部が前記変位部に付与する変位抵抗を制御する変位抵抗制御部と、を有」し、「前記触覚提示装置の前記変位抵抗発生部は、前記変位部と連動して回転する回転部と、前記回転部に回転抵抗を与える回転抵抗発生部と、を含み、前記回転抵抗発生部は、前記回転部とともに回転する内部ロータと、前記内部ロータの周囲に形成された隙間に封入された磁気粘性流体と、前記磁気粘性流体に磁場を印加するための電磁石と、を有し、前記触覚提示装置の前記変位抵抗制御部は、前記触覚情報送信部から受信した前記触覚情報に基づいて前記電磁石に供給する電流値を制御することにより、前記変位部に付与する変位抵抗を制御し、その後、前記触覚情報送信部から前記触覚の提示を停止すべき旨の命令を受信すると、前記電磁石への給電を停止」するものであるのに対し、引用発明の「インタフェース装置3」は、「ユーザは、インタフェース装置3を直接手7で触れることができ」、「コンピュータ2」から「与えられ」た「仮想物体の情報」に基づいて「決定」された「弾性」を「実感できるように構成」されている点。
(相違点4)
本願発明1は、「ユーザの手の状態に関する情報を検出するハンド状態検出部をさらに備え」るのに対し、引用発明は、このような構成を備えることについて特定されていない点。
(相違点5)
「前記ディスプレイ制御装置」について、本願発明1では、「前記ハンド状態検出部が検出する前記情報に基づいて、ユーザが」「前記変位部を変位させるときの手の動作である」「所定のハンドジェスチャを行ったか否かを認定するハンドジェスチャ認定部を有」するのに対し、引用発明では、このような構成を備えることについて特定されていない点。
(相違点6)
「前記ディスプレイ制御装置」について、本願発明1では、「前記ユーザフォーカスにより、選択可能な仮想オブジェクトが選択されている状態で、前記ハンドジェスチャ認定部が、ユーザが」「前記変位部を変位させるときの手の動作である」「所定のハンドジェスチャを行ったことを認定した場合に、所定の処理を行い、かつ、前記触覚情報送信部から前記触覚提示装置に触覚の提示を停止すべき旨の命令を送信」するのに対し、引用発明では、このように動作することについて特定されていない点。
(2)相違点についての判断
事案に鑑みて、「所定のハンドジェスチャ」に関する点で互いに関連している上記相違点4-6についてまとめて先に検討する。
「ユーザの手の状態に関する情報を検出するハンド状態検出部をさらに備え、前記ディスプレイ制御装置は、前記ハンド状態検出部が検出する前記情報に基づいて、ユーザが所定のハンドジェスチャを行ったか否かを認定するハンドジェスチャ認定部を有し、前記ディスプレイ制御装置は、前記ユーザフォーカスにより、選択可能な仮想オブジェクトが選択されている状態で、前記ハンドジェスチャ認定部が、ユーザが所定のハンドジェスチャを行ったことを認定した場合に、所定の処理を行い、かつ、前記触覚情報送信部から前記触覚提示装置に触覚の提示を停止すべき旨の命令を送信し、」「前記所定のハンドジェスチャは、前記ユーザが前記変位部を変位させるときの手の動作である」構成は、引用文献1-4のいずれにも記載されておらず、本願の出願前において周知技術であったともいえない。
よって、他の相違点について検討するまでもなく、本願発明1は、当業者であっても、引用発明及び引用文献2-4に記載された技術的事項に基づいて容易に発明をすることができたものであるとはいえない。
2 本願発明2-5について
本願発明2-5は、本願発明1と同一の構成を備えるものであるから、本願発明1と同じ理由により、当業者であっても、引用発明及び引用文献2-4に記載された技術的事項に基づいて容易に発明できたものとはいえない。
3 本願発明6、7について
本願発明6、7は、それぞれ、本願発明1、2に対応する「プログラム」の発明であり、本願発明1、2とカテゴリ表現が異なるだけの発明である。したがって、本願発明6、7は、それぞれ、本願発明1、2の構成に対応する構成を実質的に備えるものであるから、本願発明1、2と同じ理由により、当業者であっても、引用発明及び引用文献2-4に記載された技術的事項に基づいて容易に発明をすることができたものとはいえない。
第7 原査定についての判断
令和5年10月16日付けの補正により、補正後の請求項1-7は、相違点4-6に係る構成を有するものとなった。
そして、当該構成は、原査定における引用文献A-Dには記載されておらず、本願出願前における周知技術でもないので、本願発明1-7は、当業者であっても、引用文献A-Dに基づいて容易に発明をすることができたものではない。
よって、原査定を維持することはできない。
第8 むすび
以上のとおり、原査定の理由によっては、本願を拒絶することはできない。
また、他に本願を拒絶すべき理由を発見しない。
よって、結論のとおり審決する。
審決本文(J-PlatPat)
J-PlatPatの審決検索トップを開きます。番号入力で「審判番号」を選び、下の番号を貼り付けて検索してください。
J-PlatPat 審決検索を開く
2023-003951