特許拒絶査定不服審判
2022-009387
電子機器確定方法、システム、コンピュータシステムおよび読取り可能な記憶媒体
- 審判番号
- 2022-009387
- 法域
- 特許
- 審判種別
- 拒絶査定不服審判(拒絶査定不服の審決)
- 出願番号
- 特願2020-551794
- 請求日
- 2022年06月20日
- 審決日
- 2023年04月17日
- 公報発行日
- 2023年05月26日
- 結論
- 原査定取消(特許/登録すべき)
- 当事者
- 【請求人】北京京東尚科信息技術有限公司
- 【請求人代理人】弁理士法人虎ノ門知的財産事務所
- 【請求人】北京京東世紀貿易有限公司
- 【請求人代理人】弁理士法人虎ノ門知的財産事務所
- 審判長/審判官
- 審判長 ▲吉▼田 耕一
- 審判官 中野 裕二
- 審判官 野崎 大進
- 分類
- P18 .121-WY (G06F) / P18 .536-WY (G06F) / P18 .537-WY (G06F)
- 条文(本文から自動抽出・参考)
- 特許法第29条第2項、特許法第36条第4項第1号、特許法第36条第6項第1号、特許法第36条第6項第2号
- データ出所
- 審決公報(XML)
事件の表示
特願2020-551794「電子機器確定方法、システム、コンピュータシステムおよび読取り可能な記憶媒体」拒絶査定不服審判事件〔令和 1年10月17日国際公開、WO2019/196947、令和 3年 7月15日国内公表、特表2021-517314、請求項の数(12)〕について、次のとおり審決する。
結論
結 論
原査定を取り消す。
本願の発明は、特許すべきものとする。
理由
理 由
第1 手続の経緯
本願は、2019年(平成31年)4月12日(パリ条約による優先権主張外国庁受理2018年4月13日、中国)を国際出願日とする出願であって、その手続の経緯は以下のとおりである。
令和3年 9月24日付け:拒絶理由通知書
令和3年12月13日 :意見書、手続補正書の提出
令和4年 5月12日付け:拒絶査定
令和4年 6月20日 :審判請求書、手続補正書の提出
令和4年12月 6日付け:拒絶理由(当審拒絶理由)通知書
令和5年 3月 7日 :意見書、手続補正書の提出
第2 原査定の概要
原査定(令和4年5月12日付け拒絶査定)の概要は次のとおりである。
本願請求項1、8、14-18に係る発明は、以下の引用文献1、4、7に記載された発明に基づいて、その発明の属する技術の分野における通常の知識を有する者(以下「当業者」という。)が容易に発明をすることができたものであるから、特許法第29条第2項の規定により特許を受けることができない。また、本願請求項2-4、9-11に係る発明は、以下の引用文献1-4、7に記載された発明に基づいて、当業者が容易に発明をすることができたものであるから、特許法第29条第2項の規定により特許を受けることができない。さらに、本願請求項5-6、12-13に係る発明は、以下の引用文献1-5、7に記載された発明に基づいて、当業者が容易に発明をすることができたものであるから、特許法第29条第2項の規定により特許を受けることができない。加えて、本願請求項7に係る発明は、以下の引用文献1、4、6-7に記載された発明に基づいて、当業者が容易に発明をすることができたものであるから、特許法第29条第2項の規定により特許を受けることができない。
<引用文献等一覧>
1.特開2004-246856号公報
2.国際公開第2018/008218号(周知技術を示す文献)
3.特開2007-266772号公報
4.特開2012-198608号公報
5.米国特許出願公開第2011/0164163号明細書(周知技術を示す文献)
6.特開2000-231427号公報(周知技術を示す文献)
7.特開2014-203090号公報(周知技術を示す文献)
第3 当審拒絶理由の概要
当審が令和4年12月6日付けで通知した拒絶理由(以下「当審拒絶理由」という。)の概要は次のとおりである。
1 理由1(実施可能要件)について
この出願は、発明の詳細な説明の記載が下記の点で、特許法第36条第4項第1号に規定する要件を満たしていない。
出願時の技術常識を踏まえたうえで、発明の詳細な説明は、請求項に係る発明を当業者が実施することができる程度に明確かつ十分に記載したものであるか否か、との観点で以下検討する。
請求項1、7、12、14には、座標原点を確定することについての記載がなく、また、請求項2、8には、「座標原点を確定する」のみ記載されているものの、座標原点をどこに及びどのように確定するのかまでは記載されていない。そして、当該請求項の記載では、座標原点を自由にどこにでも設定してよいものと認められるところ、座標原点を自由に設定した場合についての具体的な実施例が発明の詳細な説明に記載されているとは認められない。
例えば、本願明細書【0094】-【0099】及び【図3G】に記載されている例において、座標原点をユーザの顎の位置ではなく、部屋の隅、天井の中心又はある被制御電子機器の位置などとした場合に、ユーザの手が指す方向の被制御電子機器を第2の電子機器として確定することができるのか不明である。
したがって、発明の詳細な説明において、本願発明を当業者が実施できる程度に明確かつ十分に記載されているとは認められない。
また、請求項1、7、12、14を引用する請求項2-6、8-11、13、15、16にも、請求項1、7、12、14と同様の理由が該当する。さらに、請求項2、8を引用する請求項3-5、9-11、15、16にも請求項2、8と同様の理由が該当する。
2 理由2(サポート要件)について
この出願は、特許請求の範囲の記載が下記の点で、特許法第36条第6項第1号に規定する要件を満たしていない。
出願時の技術常識を踏まえたうえで、請求項に係る発明は、発明の詳細な説明において発明の課題が解決できることを当業者が認識できるように記載された範囲を超えるものであるか否か、との観点で以下検討する。
請求項1、7、12、14には、座標原点を確定することについての記載がなく、また、請求項2、8には、「座標原点を確定する」のみ記載されているものの、座標原点をどこに及びどのように確定するのかまでは記載されていない。そして、当該請求項の記載では、座標原点を自由にどこにでも設定してよいものと認められるところ、座標原点を自由に設定した場合についての具体的な実施例が発明の詳細な説明に記載されているとは認められない。
例えば、本願明細書【0094】-【0099】及び【図3G】に記載されている例において、座標原点をユーザの顎の位置ではなく、部屋の隅、天井の中心又はある被制御電子機器の位置などとした場合に、ユーザの手が指す方向の被制御電子機器を第2の電子機器として確定することができるのか不明である。
したがって、本願発明は、発明の詳細な説明において発明の課題が解決できることを当業者が認識できるように記載された範囲を超えるものであると認められる。
また、請求項1、7、12、14を引用する請求項2-6、8-11、13、15、16にも、請求項1、7、12、14と同様の理由が該当する。さらに、請求項2、8を引用する請求項3-5、9-11、15、16にも請求項2、8と同様の理由が該当する。
3 理由3(明確性)について
この出願は、特許請求の範囲の記載が下記の点で、特許法第36条第6項第2号に規定する要件を満たしていない。
(1)請求項1、7、12、14には「位置ベクトル」と記載されているが、何の位置ベクトルであって、座標原点からどこに向かうベクトルであるのか不明確である。(例えば、請求項2、8のような記載が必要ではないか。)
(2)請求項1、7、12、14には「位置ベクトル」と記載されているが、技術常識に照らすと、位置ベクトルは座標原点が始点だと思われる。しかしながら、その座標原点がどこにあるのか、及びどのように確定されるのか不明である。
(3)請求項2、8には、「座標原点を確定する」のみ記載されているが、上記(2)同様に、その座標原点がどこにあるのか、及びどのように確定されるのか不明である。
(4)請求項1、7、12、14には「位置ベクトルと同一の座標軸とがなす第1の角度」と記載されているが、この記載では、「位置ベクトルと同一の」が「座標軸」の修飾語のようにも読めるため、「位置ベクトルと同一の座標軸とがなす第1の角度」は、日本語として意味が不明確であるといえる。(「同一の」は不要ではないか。)
なお、補正される際は、本願明細書【0063】には「本開示の実施例において、確定された少なくとも1つの第1の位置ベクトルに基づいて、各第1の位置ベクトルと、例えばx軸、y軸、z軸などのある座標軸とがなす少なくとも1つの第1の角度を確定することができる。」と記載されている点を考慮されたい。
また、請求項1、7、12、14を引用する請求項2-6、8-11、13、15、16にも、請求項1、7、12、14と同様の理由が該当する。さらに、請求項2、8を引用する請求項3-5、9-11、15、16にも請求項2、8と同様の理由が該当する。
第4 本願発明
本願請求項1-12に係る発明(以下、それぞれ「本願発明1」-「本願発明12」という。)は、令和5年3月7日提出の手続補正書により補正された特許請求の範囲の請求項1-12に記載された事項により特定される発明であり、本願発明1、5、8は以下のとおりの発明である。
「【請求項1】
第1の電子機器により操作体による第1の動作を識別し、識別結果を取得することと、
前記識別結果に基づいて、前記第1の電子機器によって制御可能な第2の電子機器を確定することと、を含み、
前記第1の電子機器によって制御可能な第2の電子機器を確定することは、
前記第1の電子機器によって制御可能な少なくとも1つの候補電子機器を確定することと、
ユーザの身体の一つの位置を座標原点として確定し、前記座標原点を基準として空間座標系を確定することと、
前記少なくとも1つの候補電子機器の各々に対応する、前記座標原点を始点として自身位置を終点とする少なくとも1つの第1の位置ベクトルを確定することと、
前記座標原点を始点として前記操作体が第2の動作を行った後に存在する位置を終点とする第2の位置ベクトルを確定することと、
前記少なくとも1つの第1の位置ベクトルの各々と前記空間座標系における一つの座標軸とがなす少なくとも1つの第1の角度を確定することと、
前記第2の位置ベクトルと前記一つの座標軸とがなす第2の角度を確定することと、
前記少なくとも1つの第1の角度の各々と前記第2の角度との角度差を計算し、対応する少なくとも1つの角度差を取得することと、
前記少なくとも1つの角度差に予め設定された角度以下の角度差が存在する場合に、前記少なくとも1つの候補電子機器のうち前記予め設定された角度以下の角度差に対応する電子機器を前記第2の電子機器として確定することと、を含み、
更に、
前記角度差が前記予め設定された角度以下の対応する電子機器を前記第2の電子機器として確定する前に、前記対応する電子機器の名称情報を出力することと、
前記操作体が前記名称情報に対して確認操作を行った場合に、前記対応する電子機器を前記第2の電子機器として確定することと、を含む
電子機器確定方法。」
「【請求項5】
第1の電子機器により操作体による第1の動作を識別し、識別結果を取得する第1の取得装置と、
前記識別結果に基づいて、前記第1の電子機器によって制御可能な第2の電子機器を確定する第1の確定装置と、を含み
前記第1の確定装置は、
前記第1の電子機器によって制御可能な少なくとも1つの候補電子機器を確定する第1の確定手段と、
ユーザの身体の一つの位置を座標原点として確定し、前記座標原点を基準として空間座標系を確定する第2の確定手段と、
前記少なくとも1つの候補電子機器の各々に対応する、前記座標原点を始点として自身位置を終点とする少なくとも1つの第1の位置ベクトルを確定する第3の確定手段と、
前記座標原点を始点として前記操作体が第2の動作を行った後に存在する位置を終点とする第2の位置ベクトルを確定する第4の確定手段と、
前記少なくとも1つの第1の位置ベクトル及び前記第2の位置ベクトルに基づいて、前記少なくとも1つの候補電子機器から前記第2の電子機器を確定する第5の確定手段と、を含み、
前記第5の確定手段は、
前記少なくとも1つの第1の位置ベクトルの各々と前記空間座標系における一つの座標軸とがなす少なくとも1つの第1の角度を確定する第1の確定サブ手段と、
前記第2の位置ベクトルと前記一つの座標軸とがなす第2の角度を確定する第2の確定サブ手段と、
前記少なくとも1つの第1の角度の各々と前記第2の角度との角度差を計算し、対応する少なくとも1つの角度差を取得する計算サブ手段と、
前記少なくとも1つの角度差に予め設定された角度以下の角度差が存在する場合に、前記少なくとも1つの候補電子機器のうち前記予め設定された角度以下の角度差に対応する電子機器を前記第2の電子機器として確定する第3の確定サブ手段と、を含み、
さらに、
前記角度差が前記予め設定された角度以下の対応する電子機器を前記第2の電子機器として確定する前に、前記対応する電子機器の名称情報を出力する出力装置と、
前記操作体が前記名称情報に対して確認操作を行った場合に、前記対応する電子機器を前記第2の電子機器として確定する第2の確定装置と、を含む
電子機器確定システム。」
「【請求項8】
操作体による第1の動作に用いる収集装置と、
前記第1の動作を識別して識別結果を取得する識別装置と、
前記識別結果に基づいて、制御可能な第2の電子機器を確定する処理装置と、を含み、
前記処理装置は、位置ベクトルと空間座標系における一つの座標軸とがなす第1の角度、及び第2の動作をした後の前記操作体の位置ベクトルと前記一つの座標軸とがなす第2の角度の間の角度差が、予め設定された角度以下の電子機器を前記第2の電子機器として確定し、
前記電子機器の位置ベクトルは、前記空間座標系の座標原点を始点として自身位置を終点とし、前記操作体の位置ベクトルは、前記空間座標系の座標原点を始点として前記第2の動作をした後の位置を終点とし、前記座標原点はユーザの身体の一つの位置であり、
前記角度差が前記予め設定された角度以下の対応する電子機器を前記第2の電子機器として確定する前に、前記対応する電子機器の名称情報を出力するとともに、前記操作体が前記名称情報に対して確認操作を行った場合に、前記対応する電子機器を前記第2の電子機器として確定する
電子機器確定装置。」
また、本願発明2-4、6-7、9-12の概要は以下のとおりである。
本願発明2-4は、本願発明1を減縮した発明である。
本願発明6-7は、本願発明5を減縮した発明である。
本願発明9は、本願発明8を減縮した発明である。
本願発明10は、本願発明1に対応する「電子機器確定システム」の発明であり、本願発明1とカテゴリ表現が異なるだけの発明である。
本願発明11は、本願発明1-4のいずれかを引用する「コンピュータシステム」の発明であり、実質的に、本願発明1を減縮した発明である。
本願発明12は、本願発明1-4のいずれかを引用する「コンピュータ読み取り可能な記憶媒体」の発明であり、実質的に、本願発明1を減縮した発明である。
第5 引用文献、引用発明
1 引用文献1、引用発明
原査定の拒絶の理由に引用された引用文献1には、図面とともに次の事項が記載されている(下線は、当審で付した。以下同じ。)。
「【0006】
【発明が解決しようとする課題】
上述したように、かかる従来の装置では、特定の狭い固定的な環境のみでしかインタフェース装置が動作しないといった問題点がある。
【0007】
本発明は、上記状況に鑑みて、室内空間における複数のユーザの腕指しによる非接触非拘束の指示動作の実現、ならびに立位、座位、伏位などの一般的な全ての姿勢での腕指しと、その腕指しによる指示動作によって室内空間の室内機器の操作を容易になし得るインタフェース装置を提供することを目的としている。」
「【0030】
図1において、複数のステレオカメラ1-1から1-nによって死角がないように室内空間5が撮影され、ユーザ4-1,4-2,…,4-nは室内空間5の中を自由に移動する。各ステレオカメラ1は2台以上のカメラの撮像素子が平行に固定されていて、ステレオカメラ1-1から1-nの撮像出力は画像処理装置2に与えられる。ステレオカメラ1自体は既に公知のものであり、たとえばポイントグレイ社のデジクロップスやサーノフ研究所のアケーディアのようなものが用いられる。
【0031】
画像処理装置2は各ステレオカメラ1からの映像を入力として毎秒10枚~30枚程度の画像を処理し、そこから得られた距離画像とカラー画像の結果を情報統合認識装置3に与える。なお、6は操作対象機器であり、ここではエアコン6-Aやテレビジョン6-Bが示されている。8は表示装置である。」
「【0033】
図3に示すように、情報統合認識装置3は、位置姿勢認識部31、腕指し認識部32、指示動作認識部33、操作機器データベース34、操作機器登録部35とを含む。位置姿勢認識部31は画像処理装置2によって集められた3次元情報からその距離データを室内空間座標系(図1、図2のX,Y,Z軸)に沿って、図5に示す段違い引き出し法により取り出し、データを2次元平面に投影することで複数のユーザの姿勢認識処理をする。腕指し認識部32はその得られた複数のユーザの2次元投影図から腕指しの方向を識別する。指示動作認識部33は、得られた腕指しの方向の時系列データからその指示動作を認識する。操作機器データベース34には腕指し操作の対象となる操作対象機器6の情報や操作方法を保存する。操作機器登録部35には操作対象機器6の基本情報、位置、操作方法を保存する。
【0034】
図1、図2及び図3に示すように、操作コマンド送受信装置9は、情報統合認識装置3で決定された操作対象機器6に操作コマンドを送信し、操作対象機器6でこれを受信して、操作対象機器6を操作する。同時に操作コマンド送受信装置9は操作対象機器6から必要情報を受信する。操作コマンドの送受信方法としては、指向性を持たない微弱電波による通信方法であるブルートゥース(Bluetooth)やエコネット(ECHONET)などを用いる。」
「【0037】
図1の室内空間5に出入りする全てのユーザ4-1から4-nはステレオカメラ1-1から1-nによって撮影され、この撮像出力は画像処理装置2に与えられる。すなわちこの室内空間5に出入りする人は、図4の流れに従って、この室内に入ってから出るまでの全てを撮影され、その行動が監視される。
【0038】
画像処理装置2は、各カメラ単位でその視野内のカラー画像と室内の座標系に基づいた距離情報を生成して情報統合認識装置3に与える。各ステレオカメラ1-1から1-n間の共通する座標系X、Y、Z(図1,図2)は予め設定しておく。
【0039】
こうして、各ステレオカメラ1-1から1-nにより、室内空間5の3次元距離情報が獲得される(ステップS41)。
【0040】
このステップS41おいて各ステレオカメラ1-1から1-nにより得られた3次元距離情報(X、Y、Z)は、全体として扱うのではなく、室内座標系に基づいて、図5に示すように、20cmごとに階層的に区切って3次元距離の点列を切り出して使う。境界面において失ってしまう情報をなくすために、切り出しを10cmずらして再度行うことによって情報を失わず連続的に3次元距離の点列を切り出す(ステップS42)。
【0041】
次に、図6に示すように、各引き出し(図5における0~15)内に入った点列を2次元平面に投影した後、二値化する。これにより、各引き出し内の情報は2次元の二値画像となる。そしてこの各階層単位でラベリングを行った後で(図6では2人のユーザをA、Bとラベリング)、各クラスタの全体重心(図6におけるTotal中の☆)を求める(ステップ43)。このように、最初にラベリングすることで複数人物に対応する。
【0042】
次いで、図7に示すように、2次元平面において求めた重心をラベリングされた対象単位で再び階層的に積み上げ、3次元点列として利用する(ステップS44)。
【0043】
さらに、図8(a)に示すようにZ軸(高さ方向)に沿って各階層ごとの重心をプロットして、最上部(頭部)より8階層分(上半身に相当)までをXY平面上にプロットし、大きな外れ値があった場合を腕指し動作が起こったときとする。このとき同時に体の向きを計測するため、図8(b)に示すように、最上部より8階層分〔図8(b)では6階層分のみ記載〕までの二値画像の画像モーメントを計算する。画像モーメントとは、図9に示すような2値画像と等価の矩形のことを指し、画素を(x,y)、画素の値をI(x,y)とすると、式(1)によって、その矩形の重心(xg ,yg )、傾きθ、長辺L1 、短辺L2 が求められる。
【0044】
【数1】
[図:0001397001000001.jpg]
【0045】
そこで得られた8組のデータのうち面積が一定の範囲にあり、かつ長辺L1 と短辺L2 の差が最も大きい階層の、長辺L1 の垂直方向を体の向きとする(ステップS45)。
【0046】
腕指し動作が認識された場合(ステップS46におけるYESの場合)は、最も全体重心からプレート重心が離れた階層の二値画像〔図8(c)〕を用いてその腕指しの方向を決定する。具体的には、後述するが、全体重心と腕指し相当階層の重心との間に垂直二等分線をひき、人の体に相当する領域にある二値画像を消し去り〔図8(d)〕、腕部分の画像のみを残す。そして、その腕部分のみの二値画像に対して画像モーメントを計算し、その長辺L1 、短辺L2 、重心(xc ,yc )、傾きθを計算し、そのXY平面上での向きを決定する。
【0047】
高さ方向を示すZ方向は、3次元距離情報から得られる腕の角度αは水平面に射影されたものであり、垂直方向の情報は含まれていない。そこで、腕の垂直方向の角度αv を、身長h,目の高さheye ,腕の高さharm,腕長係数lより式(2)を用いて求める。
【0048】
【数2】
[図:0001397001000002.jpg]
【0049】
ここで方向の基点を肩の付け根の高さではなく目の高さheye とした。これは図10に示すように、実際の観察の結果、人が何かに向かって腕指しをする場合、腕そのものの方向104で対象物を指すのではなく、目と指先を結んだ線の方向で指し示すことがより多く観察されたからである。目の高さheye 102は得られた頭の高さ(身長h)103から10cmを減じた値とした。腕長係数lとして日本人成人の平均である0.4を利用した。なお、図10において、101は肩の高さ、105は腕指しの方向を示している。
【0050】
そして、腕指し水平方向も目の位置と腕先の位置関係に基づいた上で求める。図11に示すように、人の平均重心111位置(xg ,yg )をg、腕重心112位置(xc ,yc )をc、腕先端113位置(xp ,yp )をp、腕水平方向115をαh 、図8(d)で得られた画像モーメント(腕本体)114の長辺をL1 とする。このとき、腕指し水平方向αh 115は式(3)に基づき求められる。
【0051】
【数3】
[図:0001397001000003.jpg]
【0052】
なお、図11において、116は腕指しの方向を示している。
【0053】
この方法により、腕指しの3次元方向が確定され、指示動作が認識される(ステップS47)。腕指しの方向を決定する手法については、左右の腕に対して別モデルを用意するのではなく、共通に使えるアルゴリズムとする。」
「【0084】
次に、図23に指示動作の3つの基本様式を示した。位置姿勢認識、腕指し認識によって、腕指しをしている状態が正確に把握できている場合は、図23に示す指示動作者41が一定時間操作対象機器6に腕指しを続けると、その腕指しの先にある操作対象機器6にターゲットロックされる。ターゲットロック後の指示動作は十字操作〔図23(a)〕、パネルタッチ操作〔図23(b)〕、パネルジェスチャ操作〔図23(c)〕の3手法を提供する。」
「【0088】
図26にはパネルジェスチャ操作のフローチャートを示した。図26のステップS1701において、指示動作者41がターゲットロックを行った後の、体の方向(肩の向き)を取得し、それをパネルジェスチャ操作の基点とする。パネルジェスチャ操作では、図23に示す指示動作者41のように、ターゲットロック後の操作パネル42は、常に指示動作者41の真正面に設定される。この操作パネル42に対して、指示動作者41が行うそのパネル内の範囲(図23の例では9カ所に分割)の腕指し軌跡を判別することで、操作対象機器6を制御する。つまり同じ円のような軌跡でも、その通過順序によって操作コマンドを別々に作ることができる。これらは全て操作機器登録部35によって自由に設定できる。」
「【0099】
【発明の効果】
以上、詳細に説明したように、本発明によれば、以下のような効果を奏することができる。
【0100】
(A)室内空間における複数のユーザの腕指しによる非接触非拘束の指示動作を実現させることができる。
【0101】
(B)上記(A)を受けて、ユーザの腕指しによる指示動作によって室内空間の操作対象機器の操作を容易にすることができる。
【0102】
(C)特定エリアの設定により、ユーザの腕指しによる目標を確実に設定することができる。」
【図1】「
[図:0001397001000004.jpg]
」
【図3】「
[図:0001397001000005.jpg]
」
【図4】「
[図:0001397001000006.jpg]
」
【図5】「
[図:0001397001000007.jpg]
」
【図6】「
[図:0001397001000008.jpg]
」
【図7】「
[図:0001397001000009.jpg]
」
【図8】「
[図:0001397001000010.jpg]
」
【図9】「
[図:0001397001000011.jpg]
」
【図10】「
[図:0001397001000012.jpg]
」
【図11】「
[図:0001397001000013.jpg]
」
【図23】「
[図:0001397001000014.jpg]
」
【図26】「
[図:0001397001000015.jpg]
」
ここで、引用文献1に記載されている事項について検討する。
上記【0007】の「その腕指しによる指示動作によって室内空間の室内機器の操作を容易になし得るインタフェース装置を提供することを目的としている」との記載、上記【0030】の「図1において、複数のステレオカメラ1-1から1-nによって死角がないように室内空間5が撮影され」との記載及び上記【図1】の記載から、引用文献1には、「腕指しによる指示動作によって室内空間の室内機器の操作を容易になし得るインタフェース装置であって、ステレオカメラ1-1から1-nと、画像処理装置2と、情報統合認識装置3とを含み、ステレオカメラ1-1から1-nによって死角がないように室内空間5が撮影される、インタフェース装置」が記載されていると認められる。
したがって、引用文献1には次の発明(以下「引用発明」という。)が記載されていると認められる。
「腕指しによる指示動作によって室内空間の室内機器の操作を容易になし得るインタフェース装置であって、
ステレオカメラ1-1から1-nと、
画像処理装置2と、
情報統合認識装置3とを含み、
ステレオカメラ1-1から1-nによって死角がないように室内空間5が撮影され、
ステレオカメラ1-1から1-nの撮像出力は画像処理装置2に与えられ、
画像処理装置2は各ステレオカメラ1からの映像を入力として毎秒10枚~30枚程度の画像を処理し、そこから得られた距離画像とカラー画像の結果を情報統合認識装置3に与え、
6は操作対象機器であり、ここではエアコン6-Aやテレビジョン6-Bが示されており、
情報統合認識装置3は、位置姿勢認識部31、腕指し認識部32、指示動作認識部33、操作機器データベース34、操作機器登録部35とを含み、
位置姿勢認識部31は画像処理装置2によって集められた3次元情報からその距離データを室内空間座標系に沿って、段違い引き出し法により取り出し、データを2次元平面に投影することで複数のユーザの姿勢認識処理をし、
腕指し認識部32はその得られた複数のユーザの2次元投影図から腕指しの方向を識別し、
指示動作認識部33は、得られた腕指しの方向の時系列データからその指示動作を認識し、
操作機器データベース34には腕指し操作の対象となる操作対象機器6の情報や操作方法を保存し、
操作機器登録部35には操作対象機器6の基本情報、位置、操作方法を保存し、
操作コマンド送受信装置9は、情報統合認識装置3で決定された操作対象機器6に操作コマンドを送信し、操作対象機器6でこれを受信して、操作対象機器6を操作し、
室内空間5に出入りする全てのユーザ4-1から4-nはステレオカメラ1-1から1-nによって撮影され、この撮像出力は画像処理装置2に与えられ、
画像処理装置2は、各カメラ単位でその視野内のカラー画像と室内の座標系に基づいた距離情報を生成して情報統合認識装置3に与え、
各ステレオカメラ1-1から1-n間の共通する座標系X、Y、Zは予め設定しておき、
こうして、各ステレオカメラ1-1から1-nにより、室内空間5の3次元距離情報が獲得され、
各ステレオカメラ1-1から1-nにより得られた3次元距離情報(X、Y、Z)は、全体として扱うのではなく、室内座標系に基づいて、20cmごとに階層的に区切って3次元距離の点列を切り出して使い、
各引き出し内に入った点列を2次元平面に投影した後、二値化し、これにより、各引き出し内の情報は2次元の二値画像となり、
この各階層単位でラベリングを行った後で、各クラスタの全体重心を求め、
2次元平面において求めた重心をラベリングされた対象単位で再び階層的に積み上げ、3次元点列として利用し、
Z軸(高さ方向)に沿って各階層ごとの重心をプロットして、最上部(頭部)より8階層分(上半身に相当)までをXY平面上にプロットし、大きな外れ値があった場合を腕指し動作が起こったときとし、このとき同時に体の向きを計測するため、最上部より8階層分までの二値画像の画像モーメントを計算し、
そこで得られた8組のデータのうち面積が一定の範囲にあり、かつ長辺と短辺の差が最も大きい階層の、長辺の垂直方向を体の向きとし、
腕指し動作が認識された場合は、最も全体重心からプレート重心が離れた階層の二値画像を用いてその腕指しの方向を決定し、
高さ方向を示すZ方向は、腕の垂直方向の角度を、身長、目の高さ、腕の高さ、腕長係数より求め、
ここで方向の基点を肩の付け根の高さではなく目の高さとし、
腕指し水平方向も目の位置と腕先の位置関係に基づいた上で求め、
この方法により、腕指しの3次元方向が確定され、指示動作が認識され、
指示動作者41が一定時間操作対象機器6に腕指しを続けると、その腕指しの先にある操作対象機器6にターゲットロックされ、
指示動作者41がターゲットロックを行った後の、体の方向(肩の向き)を取得し、それをパネルジェスチャ操作の基点とし、
パネルジェスチャ操作では、ターゲットロック後の操作パネル42は、常に指示動作者41の真正面に設定され、
この操作パネル42に対して、指示動作者41が行うそのパネル内の範囲の腕指し軌跡を判別することで、操作対象機器6を制御する
インタフェース装置。」
2 引用文献2
原査定の拒絶の理由に引用された引用文献2には、図面とともに次の事項が記載されている。
「[0021] しかし、被操作機器が複数存在する場合、概して、NUIによって所望の被操作機器を選択することが困難である。例えば、ユーザが視線を用いて所望の被操作機器を選択しようとすると、視線のぶれにより所望の被操作機器のみならず周囲の被操作機器まで視線が認識されてしまい、誤作動が発生しかねない。また、視線のぶれを抑えることはユーザにとって負担となる。さらに、もし仮に所望の被操作機器が選択されたとしても、被操作機器の操作、特にパラメタの調整などの細かな操作が行われる場合には、より負担が増加することになる。」
「[0024] そこで、本開示の一実施形態では、ユーザが操作を所望する被操作機器の選択にかかるユーザの負担を低減することが可能な仕組みを提案する。また、合わせて、ユーザの状況に適した操作オブジェクトを提供することが可能な仕組み、および実オブジェクトを移動させる感覚で操作オブジェクトの表示場所を操作することが可能な仕組みも提案する。」
「[0044](機器選択部)
機器選択部102は、ユーザの身体の態様に基づいて操作対象となる被操作機器(以下、操作対象機器とも称する。)を選択する。具体的には、機器選択部102は、第1の機器選択として、ユーザの被操作機器に向けた身体の態様に基づいて操作対象機器を選択する。例えば、機器選択部102は、ユーザの被操作機器に向けた目視の態様に基づいて操作対象機器を選択する。さらに、図4を参照して、第1の機器選択について詳細に説明する。図4は、本実施形態に係る情報処理システム1において1つの被操作機器が選択される第1の機器選択の例を説明するための図である。
[0045] 機器選択部102は、認識部101により認識されるユーザの視線に係る視線情報に基づいて機器選択範囲を決定する。例えば、機器選択部102は、認識部101から提供される視線情報に基づいて、図4に示したようなユーザの視界に相当する実空間上の範囲を機器選択範囲として決定する。なお、機器選択範囲は、推定されるユーザの視界より狭くてもよい。
[0046] 次に、機器選択部102は、ユーザによる決定操作に応じて、機器選択範囲に入ると判定される被操作機器を選択する。例えば、機器選択部102は、認識部101によりユーザの機器選択範囲の決定操作が認識されると、決定された範囲内に被操作機器が存在するかを判定する。そして、機器選択部102は、決定された範囲内に存在すると判定された被操作機器、例えば図4に示したような表示装置20を操作対象機器として選択する。なお、被操作機器の実空間上の位置情報は、認識部101から提供されてもよく、外部の装置から提供されてもよい。
[0047] また、複数の被操作機器が機器選択範囲に含まれる場合、機器選択部102は、操作対象機器の候補(以下、候補機器とも称する。)として、複数の被操作機器を選択する。さらに、図5を参照して、複数の被操作機器が候補機器として選択される場合の第1の機器選択について詳細に説明する。図5は、本実施形態に係る情報処理システム1において複数の被操作機器が選択される第1の機器選択の例を説明するための図である。なお、上述した処理と実質的に同一の処理については説明を省略する。
[0048] 機器選択部102は、認識部101により認識されるユーザの視線に係る視線情報に基づいて機器選択範囲を決定する。
[0049] 次に、機器選択部102は、機器選択範囲に入ると判定される被操作機器を選択する。例えば、機器選択部102は、決定された範囲内に被操作機器が存在するかを判定する。機器選択部102は、決定された範囲内に存在すると判定された複数の被操作機器、例えば図5に示したような表示装置20、空調装置21および送風装置22の全てを候補機器として選択する。
[0050] なお、上記では、機器選択範囲に入る全ての被操作機器が候補機器として選択される例を説明したが、機器選択範囲に入る被操作機器の一部が候補機器として選択されてもよい。例えば、機器選択範囲内の被操作機器のうちの視線からの距離が閾値以内である被操作機器のみが候補機器として選択されてよい。
[0051] また、上記では、第1の機器選択は、ユーザの身体の態様から決定される領域(すなわち機器選択範囲)に実際に存在する被操作機器が選択される例を説明したが、当該機器選択範囲に紐付く被操作機器が選択されてもよい。この場合、被操作機器が直接的に目視できない場合であっても、被操作機器を選択することができる。例えば、被操作機器に紐付くタグが実空間上に配置され、機器選択部102は、機器選択範囲に入るタグに紐付く被操作機器を候補機器または操作対象機器として選択する。また、例えば、実空間上の特定の領域が被操作機器と紐付けられ、機器選択部102は、機器選択範囲に入る特定の領域に紐付く被操作機器を候補機器または操作対象機器として選択する。上記タグが設けられるときは、ユーザが被操作機器を明確に認識した上で第1の機器選択を行うことができる。また、上記特定の領域が設けられるときは、上記タグを省略することができ、事前準備もしくは紐付け変更の手間またはコストを低減することができる。
[0052] さらに、機器選択部102は、第1の機器選択により選択された候補機器から操作対象機器を選択する。具体的には、機器選択部102は、第2の機器選択として、投影撮像装置10により投影される選択オブジェクトに対するユーザの選択操作に基づいて、第1の機器選択により選択された候補機器の中から操作対象機器を選択する。さらに、図6を参照して、第2の機器選択について詳細に説明する。図6は、本実施形態に係る情報処理システム1において選択オブジェクトへの操作に基づいて操作対象機器が選択される第2の機器選択の例を説明する例を説明するための図である。
[0053] まず、第1の機器選択後に、第1の機器選択により選択された複数の候補機器を示す情報が選択オブジェクトによりユーザに提示される。例えば、第1の機器選択において選択された、図6に示したような送風装置22、表示装置20および空調装置21の各々に対応する選択オブジェクト31A、32Aおよび33Aがそれぞれ投影撮像装置10により選択オブジェクトの表示領域30に投影される。
[0054] 次に、機器選択部102は、当該複数の候補機器の中から1つの候補機器を選択する操作が認識部101により認識されると、選択された候補機器を操作対象機器として選択する。例えば、認識部101により選択オブジェクト32Aをタッチする操作が認識されると、機器選択部102は、選択された選択オブジェクト32Aに対応する表示装置20を操作対象機器として選択する。」
「[0095](第1の変形例)
本実施形態の第1の変形例として、情報処理システム1は、他の身体の態様に基づいて第1の機器選択を行ってもよい。具体的には、情報処理装置100-1は、ユーザの姿勢に基づいて第1の機器選択を行う。より具体的には、機器選択部102は、第1の機器選択において、ユーザの姿勢から決定される領域に入ると判定される被操作機器を操作対象機器または候補機器として選択する。さらに、図11を参照して、本変形例の処理について説明する。図11は、本実施形態の第1の変形例に係る情報処理システム1における第1の機器選択の例を説明するための図である。
[0096] 認識部101は、画像情報などに基づいてユーザの身体の少なくとも一部の姿勢を認識する。例えば、認識部101は、投影撮像装置10から受信される3次元画像に係る画像情報に基づいて画像に映るユーザの顔または体の向きを認識する。
[0097] 次に、機器選択部102は、ユーザの姿勢に基づいて機器選択範囲を決定する。例えば、機器選択部102は、認識されたユーザの顔または体の向きを基準として、図11に示したような機器選択範囲を決定する。
[0098] そして、機器選択部102は、決定された機器選択範囲に入る被操作機器を操作対象機器または候補機器として選択する。例えば、機器選択部102は、図11に示したような、決定された機器選択範囲に入る表示装置20を操作対象機器として選択する。なお、決定された機器選択範囲に複数の被操作機器が入る場合、当該複数の被操作機器が候補機器として選択される。
[0099] また、別の例として、情報処理装置100-1は、ユーザの動きに基づいて第1の機器選択を行ってもよい。具体的には、機器選択部102は、第1の機器選択において、ユーザの動きから決定される領域に入ると判定される被操作機器を操作対象機器または候補機器として選択する。さらに、図12を参照して、本変形例の別の例の処理について説明する。図12は、本実施形態の第1の変形例に係る情報処理システム1における第1の機器選択の別の例を説明するための図である。
[0100] 認識部101は、画像情報などに基づいてユーザの動きを認識する。例えば、認識部101は、投影撮像装置10から受信される3次元画像に係る画像情報に基づいて画像に映るユーザのジェスチャまたは行動を認識する。ジェスチャとしては、例えば円を描く動作、ダブルタップ、フリック、拍手または物体への接触などがある。
[0101] 次に、機器選択部102は、ユーザの動きに基づいて機器選択範囲を決定する。例えば、機器選択部102は、図12に示したように被操作機器に向けた手が握られたことが認識されると、当該手を基準として図12に示したような機器選択範囲を決定する。
[0102] そして、機器選択部102は、決定された機器選択範囲に入る被操作機器を操作対象機器または候補機器として選択する。具体的には、機器選択部102は、図12に示したような、決定された機器選択範囲に入る表示装置20を操作対象機器として選択する。なお、決定された機器選択範囲に複数の被操作機器が入る場合、当該複数の被操作機器が候補機器として選択される。」
「[0108] また、本変形例の別の例によれば、操作主体の身体の態様は、当該操作主体の動きを含み、当該操作主体の動きから決定される領域に入ると判定される被操作機器が第1の機器選択により選択される。このため、第1の機器選択に対するユーザの明示的な動きに応じて候補機器を選択することにより、ユーザの意図により即した第1の機器選択を実現することができる。従って、第1の機器選択における操作性をより向上させることが可能となる。」
「[0123] 当該表示装置を制御可能と判定される場合、投影制御部103は、選択オブジェクトを当該表示装置に表示させる。例えば、スマートフォン70の表示機能を制御可能であると判定されると、投影制御部103は、選択オブジェクトに係る画像情報をスマートフォン70へ通信部105に送信させる。スマートフォン70は、受信された画像情報に基づいて、表示部に選択オブジェクト31A~33Aを表示する。」
【図4】「
[図:0001397001000016.jpg]
」
【図5】「
[図:0001397001000017.jpg]
」
【図6】「
[図:0001397001000018.jpg]
」
【図11】「
[図:0001397001000019.jpg]
」
【図12】「
[図:0001397001000020.jpg]
」
3 引用文献3
原査定の拒絶の理由に引用された引用文献3には、図面とともに次の事項が記載されている。
「【0012】
[第1の実施の形態]
本発明の第1の実施の形態を図1ないし図28に基づいて説明する。図1は、本発明の第1の実施の形態にかかる機器操作装置1を使用する環境を説明する模式図である。図1に示すように、機器操作装置1は、ユーザ100が手に持って使用、あるいはユーザ100の身体の一部に着けて使用するものであり、家庭内で複数の機器(例えば、テレビ2、エアコン3、照明4など)を直感的な操作により制御することができるようにしたものである。
【0013】
図2は、機器操作装置1を示す平面図である。図2に示すように、機器操作装置1はユーザ100の手首に装着することができる腕時計型であり、装着ベルト11、装置本体部12、指示内容などを表示する表示部13、赤外線を出射するセンサ用窓14から構成され、装着ベルト11で装着された腕を振ることで、家庭内で複数の機器(例えば、テレビ2、エアコン3、照明4など)を制御することが可能になっている。」
「【0042】
<操作対象機器の操作制御処理>
次に、部屋情報が設定された後、機器操作装置1をユーザ100の腕に装着して実際に操作対象機器を操作制御する際の処理動作について説明する。
【0043】
図17は、操作対象機器に対する操作制御処理の流れを概略的に示すフローチャートである。図17に示すように、まず、判別タイミング検出部36は操作対象機器指定の確認操作を検出する(ステップS21、ステップS22)。この確認操作は、ユーザ100が機器操作装置1を腕に装着して操作対象機器(例えば、テレビ2、エアコン3、照明4など)に対してポインティング動作(指し示す動作)することにより生じる加速度から操作対象機器の指定操作を検出してそれを確認の入力とする。ポインティング動作を加速度から検出する点については、前述した通りである。なお、操作ボタン等が装備された構成の場合は、ユーザ100が機器操作装置1を腕に装着して操作対象機器(例えば、テレビ2、エアコン3、照明4など)に対してポインティング動作(指し示す動作)してボタンを押すこととしても良い。
【0044】
以上のようにして操作対象機器の指定がされると(ステップS22のYes)、水平方向検出部31による水平方向検出(ステップS23)、垂直方向検出部(加速度検出部)32による垂直方向検出(ステップS24)、距離検出部33による距離検出(ステップS25)を順に行う。なお、検出の順番はこれに限らない。
【0045】
すべての計測が終わると、各計測結果をもとに操作ベクトルを生成する(ステップS26)。これは、水平角(例えば、真北から時計回り方向の角度)、垂直角(例えば、重力加速度に対する角度)、機器操作装置1から操作対象機器までの距離から決定されるベクトルである。
【0046】
次に、対象機器判別部37がステップS26で生成された操作ベクトルをもとに操作対象機器の判別を行う(ステップS27)。ここで、本構成例で計測する情報からは機器操作装置1の位置を確定させることができない。よって、計測情報をもとに操作対象機器の候補を推定する。ここでは、判別方法として2通りの方法を説明する。
【0047】
1つめの方法は、部屋の各壁から操作ベクトルをのばし操作対象機器存在エリアを推定する方法である。ここで、図18は第1の操作対象機器の判別方法の機器判別処理の流れを示すフローチャート、図19はその概念図である。
【0048】
まず、図19に示すように、水平方向の絞り込みは四方の壁からベクトルをまんべんなくひき(ステップS41)、ベクトルの先が部屋の大きさの中に収まるエリアを水平方向対象エリアとする(ステップS42)。垂直方向については、ユーザ100が起立時および着席時の高さから操作ベクトルを配置し、垂直方向対象エリアとする。水平方向対象エリアと垂直方向対象エリアの組み合わせで、対象機器存在エリアが推定される(ステップS43)。このエリア内にある機器を操作対象機器とする(ステップS44のYes,ステップS46)。エリア内に対象とすべき機器が部屋情報DB38にない場合は(ステップS44のNo)、エリアまでの距離が一番近い機器を候補とする(ステップS45)。
【0049】
2つめの方法は、操作ベクトルの逆ベクトルを生成し操作対象機器存在エリアを推定する方法である。ここで、図20は第2の操作対象機器の判別方法の機器判別処理の流れを示すフローチャート、図21はその概念図である。
【0050】
まず、図21に示すように、操作ベクトルの逆ベクトルを生成し(ステップS51)、操作対象のすべての機器から逆ベクトルを伸ばす(ステップS52)。その結果、逆ベクトルの先がユーザ100の操作位置となるわけであるが、その位置がユーザ100の操作位置として正しい位置かどうかを判定する(ステップS53)。ユーザ100の操作位置として正しい場合には(ステップS54のYes)、当該機器を操作対象機器とする(ステップS56)。一方、ユーザ位置が部屋の外となってしまった場合や、垂直方向位置がユーザ起立時や着席時の高さ範囲から外れている場合は、非該当とする。このように対象機器がない場合は(ステップS54のNo)、非該当の度合いが一番小さいものを操作対象機器とし(ステップS55)、操作対象機器の候補を決定する(ステップS56)。
【0051】
上述したような方法により操作対象機器の候補が決定され、候補となる操作対象機器が複数ある場合は(ステップS28のYes)、初期設定時の場所を現在のユーザ位置とする、あるいは、過去の操作履歴を記憶しておき操作頻度の高い方を操作対象機器とするなど、ルールをあらかじめ決めておき、それをもとに候補を絞り込む(ステップS29)。
【0052】
このようにして絞り込まれた操作対象機器であるが、候補の機器がユーザ100の希望と違っている場合もある。
【0053】
そこで本実施の形態においては、続くステップS30において、対象機器判別部37が判別した操作対象機器に対して、判別した時点で操作コマンド送信部43から操作対象機器に候補となっていることを示す操作対象候補コマンドを送ることにより、各操作対象機器はそのコマンドを受信した場合に、候補となっていることをユーザ100に知らせる表示を行う。例えば、図22に示すように、各操作対象機器にLEDで構成される操作対象候補表示部70を設けるようにして、候補となっている場合にはLEDを点灯させることでユーザ100に知らせる表示を行う。なお、操作対象機器の報知は、LEDを点灯させることに限るものではなく、音声などによるものであっても良い。
【0054】
ユーザ100はその状態を確認して、所望の機器が選択されていれば(ステップS31のNo)、そのままステップS33に進み、操作コマンドを入力すれば良い。」
【図1】「
[図:0001397001000021.jpg]
」
【図2】「
[図:0001397001000022.jpg]
」
【図17】「
[図:0001397001000023.jpg]
」
【図19】「
[図:0001397001000024.jpg]
」
【図20】「
[図:0001397001000025.jpg]
」
【図21】「
[図:0001397001000026.jpg]
」
4 引用文献4
原査定の拒絶の理由に引用された引用文献4には、図面とともに次の事項が記載されている。
「【0036】
次に、図11に示す説明図、図12に示すフローチャートを参照して、パスワード入力装置の動作について説明する。図11は、本発明の第1実施形態に係るパスワード入力装置による入力パネル像に対する押下判定手順について説明するための説明図である。図12は、本発明の第1実施形態に係るパスワード入力装置による押下判定手順について説明するためのフローチャートである。
まず、ステップS150では、制御部10hは、キャリブレーション操作を促すメッセージとして、例えば「枠をなぞってください」というテキストを画像表示部10eからディスプレイ11に表示させる。
次いで、ステップS155では、制御部10hは、カメラ部12aにより指先の動作を撮影させる。
次いで、ステップS160では、制御部10hは、位置演算部10cに対して、入力パネル像(A1~A12)の位置を算出する。
【0037】
次いで、ステップS165では、制御部10hは、「キー像に視線を合わせて、指先で押してください」というメッセージを画像表示部10eからディスプレイ11に表示させる。
次いで、ステップS170では、制御部10hは、画像解析部10aに対して、指先で押されているキー像の位置を算出させ、キー像の位置を位置演算部10cに出力させる。
次いで、ステップS175では、制御部10hは、位置演算部10cに対して、ユーザの瞳(C)の位置から、押されたキー像とC(x20,y20,z20)点間のベクトル(ベクトルα)を算出させる。
【0038】
次いで、ステップS180では、制御部10hは、位置演算部10cに対して、指先(D)の位置から、C点とD(x30,y30,z30)点との間のベクトル(ベクトルβ)を算出させる。
次いで、ステップS185では、制御部10hは、位置演算部10cに対して、瞳(C)の位置と、視線カメラ14aからの視線方向に基づいて、視線ベクトル(ベクトルγ)を算出させる。
【0039】
次いで、ステップS190では、制御部10hは、位置演算部10cに対して、算出されたベクトルα,β,γが一致しているか否かを判断させる。
ここで、ベクトルα,β,γが一致している場合には、ステップS195に進み、制御部10hは、ユーザがキー像上に指先15を置いていると判断する。
次いで、ステップS200では、制御部10hは、上記ベクトルα,β,γの一致状態が一定時間(例えば、2秒)以上継続か否かを判断する。
ここで、上記ベクトルα,β,γの一致状態が一定時間以上継続している場合には、ステップS205に進み、制御部10hは、キー像が押されたこととみなし、出力IF部10gからキー入力が確定したキーコードを出力する。
【0040】
このように、ユーザの瞳(C)の位置とキー像の位置との間のベクトル(ベクトルα)と、指先(D)の位置から、ユーザの瞳(C)の位置と指先の位置との間のベクトル(ベクトルβ)と、視線ベクトル(ベクトルγ)とが一致した場合に、当該キー像が選択されたこととみなすように判定することで、公共の場においても、他人に情報が漏洩しないように安全にパスワードの入力が可能となる。
また、一致状態の経過時間が所定時間に到達したときに、キー入力があったこととすることで、誤入力を防止することができる。」
【図11】「
[図:0001397001000027.jpg]
」
【図12】「
[図:0001397001000028.jpg]
」
5 引用文献5
原査定の拒絶の理由に引用された引用文献5には、図面とともに次の事項が記載されている(訳は当審訳。)。
「[0018] Before an information layer can be generated, the objects to be annotated can be identified. The identification of objects in live video 104 can occur manually or automatically. If automatically, a frame of live video 104 can be “snapped” (e.g., by pressing button 115 ) and processed using known object recognition techniques, including but not limited to: edge detection, Scale-invariant Feature Transform (SIFT), template matching, gradient histograms, intraclass transfer learning, explicit and implicit 3D object models, global scene representations, shading, reflectance, texture, grammars, topic models, window-based detection, 3D cues, context, leveraging Internet data, unsupervised learning and fast indexing. The object recognition can be performed on device 100 or by a network resource (e.g., AR service 570 of FIG. 5).」
[当審訳]
「[0018]情報レイヤが生成され得る前に、注釈付けされるべきオブジェクトが識別され得る。ライブビデオ104内のオブジェクトの識別は、手動または自動で行うことができる。自動的である場合、ライブビデオ104のフレームは、(例えば、ボタン115を押すことによって)「スナップ」され、エッジ検出、スケール不変特徴変換(SIFT)、テンプレートマッチング、勾配ヒストグラム、クラス内トランスファ学習、明示的および暗黙的3Dオブジェクトモデル、グローバルシーン表現、シェーディング、反射率、テクスチャ、文法、トピックモデル、ウィンドウベースの検出、3Dキュー、コンテキスト、レバレッジインターネットデータ、教師なし学習、および高速インデックス付けを含むが、それらに限定されない、既知のオブジェクト認識技法を使用して処理されることができる。オブジェクト認識は、デバイス100上で、またはネットワークリソース(たとえば、図5のARサービス570)によって実行され得る。」
6 引用文献6
原査定の拒絶の理由に引用された引用文献6には、図面とともに次の事項が記載されている。
「【0010】
【課題を解決するための手段】前記目的達成のために、請求項1の発明にかかるマルチモーダル情報解析装置は、ユーザのジェスチャや視線などから検出された画像認識信号および対象位置蓄積部が蓄積している対象世界における空間的な知識にもとづいてユーザが空間において注目している情報を検出して、これを空間ベース注目情報信号として出力する空間ベース注目情報検出部と、ユーザの発話音声などから検出された音声認識信号および対象特性蓄積部が蓄積している対象世界における各対象の機能や特性などの知識にもとづいてユーザが発話内容的に注目している情報を検出し、これをコンテキストベース注目情報信号として出力するコンテキストベース注目情報検出部と、前記空間ベース注目情報信号と前記コンテキストベース注目情報信号と状態管理部が管理する対象世界に含まれる各対象の現在の状態やシステムとの対話状態とを入力として、ユーザが何に対してどのように注目しているかという情報を検出して、これを注目情報統合信号として出力する注目情報統合部と、前記注目情報統合信号を入力として、その注目情報統合信号の内容に応じて、前記画像認識信号および音声認識信号をそれぞれ出力する画像認識部および前記音声認識部に対して、フィードバック信号を出力するフィードバック生成部とを設けて、対話制御部に、前記注目情報統合信号を入力として、実際に実現可能であれば対象世界において実際に操作を実行させ、実現不可能な場合にはユーザに応答を返させることにより、ユーザとシステムとの対話部分を管理させ、該対話制御部で実際に操作を実現する場合に、対象操作内容蓄積部に、各対象へのコマンドなどの対象知識を蓄積させ、管理させるようにしたものである。」
7 引用文献7
原査定の拒絶の理由に引用された引用文献7には、図面とともに次の事項が記載されている。
「【0034】
次に、CPU11は、座標A-ST,A-SPから、X:Y座標が0:0の第1のバーコード30Aのベクトルの向き、すなわち、X軸に対する傾きの角度αを算出し、図5の(C)に示したように、0:0の座標を中心に画像を角度α分だけ回転する(ステップS12)。
【0035】
次に、CPU11は、座標A-ST、座標A-SP、座標B-STおよび座標B-SPを基に、第1のバーコード30Aのベクトル長および第2のバーコード31Bのベクトル長および角度βを算出する(ステップS13)。」
「【0038】
次に、CPU11は、座標B-STおよび座標B-SPを基に、第2のバーコード31Bのベクトルの角度をチェックし(ステップS16)、角度が0かどうかをチェックする(ステップS17)。このとき、ベクトルの角度のチェックにおいては、第2のバーコード31Bのベクトルの角度が±5°の許容範囲内にあれば、チェックOKとする。ここで、第2のバーコード31Bのベクトルの角度が±5°の許容範囲に入っていない場合には、チェックNGとなる。」
【図4】「
[図:0001397001000029.jpg]
」
【図5】「
[図:0001397001000030.jpg]
」
第6 対比・判断
1 本願発明8について
(1)対比
本願発明8と引用発明とを対比すると、次のことがいえる。
ア 引用発明の「腕」及び「腕指し」は、それぞれ、本願発明8の「操作体」及び「第1の動作」に相当する。また、引用発明において、「ステレオカメラ1-1から1-nの撮像出力は画像処理装置2に与えられ」、「画像処理装置2は各ステレオカメラ1からの映像を入力として毎秒10枚~30枚程度の画像を処理し、そこから得られた距離画像とカラー画像の結果を情報統合認識装置3に与え」、「情報統合認識装置3は、位置姿勢認識部31、腕指し認識部32」「とを含み」、「位置姿勢認識部31は画像処理装置2によって集められた3次元情報からその距離データを室内空間座標系に沿って、段違い引き出し法により取り出し、データを2次元平面に投影することで複数のユーザの姿勢認識処理をし」、「腕指し認識部32はその得られた複数のユーザの2次元投影図から腕指しの方向を識別」することから、ステレオカメラ1-1から1-nは、腕による腕指しに用いる情報を収集する装置であるといえる。
したがって、引用発明の「ステレオカメラ1-1から1-n」は、本願発明8の「操作体による第1の動作に用いる収集装置」に相当する。
イ 引用発明の「認識」は、本願発明8の「識別」に相当する。また、引用発明において、「情報統合認識装置3は、位置姿勢認識部31、腕指し認識部32」「とを含み」、「位置姿勢認識部31は画像処理装置2によって集められた3次元情報からその距離データを室内空間座標系に沿って、段違い引き出し法により取り出し、データを2次元平面に投影することで複数のユーザの姿勢認識処理をし」、「腕指し認識部32はその得られた複数のユーザの2次元投影図から腕指しの方向を識別」することから、情報統合認識装置3は、腕指しを識別して、その結果を取得する識別装置であるといえる。
したがって、上記アを踏まえると、引用発明の「情報統合認識装置3」は、本願発明8の「前記第1の動作を識別して識別結果を取得する識別装置」に相当する。
ウ 引用発明の「操作対象機器6」は、本願発明8の「第2の電子機器」に相当する。また、引用発明の「情報統合認識装置3」は、「腕指し動作が認識された場合は、最も全体重心からプレート重心が離れた階層の二値画像を用いてその腕指しの方向を決定し」、「高さ方向を示すZ方向は、腕の垂直方向の角度を、身長、目の高さ、腕の高さ、腕長係数より求め」、「ここで方向の基点を肩の付け根の高さではなく目の高さとし」、「腕指し水平方向も目の位置と腕先の位置関係に基づいた上で求め」、「この方法により、腕指しの3次元方向が確定され、指示動作が認識され」、「指示動作者41が一定時間操作対象機器6に腕指しを続けると、その腕指しの先にある操作対象機器6にターゲットロックされ」、「指示動作者41がターゲットロックを行った後の、体の方向(肩の向き)を取得し、それをパネルジェスチャ操作の基点とし」、「パネルジェスチャ操作では、ターゲットロック後の操作パネル42は、常に指示動作者41の真正面に設定され」、「この操作パネル42に対して、指示動作者41が行うそのパネル内の範囲の腕指し軌跡を判別することで、操作対象機器6を制御する」ことから、腕指し動作が認識されたという結果に基づいて、制御可能な操作対象機器6を確定するものといえる。
したがって、上記イを踏まえると、引用発明の「情報統合認識装置3」は、本願発明8の「前記識別結果に基づいて、制御可能な第2の電子機器を確定する処理装置」に相当する。
エ 上記ア-ウを踏まえると、引用発明の「インタフェース装置」は、本願発明8の「電子機器確定装置」に相当するといえる。
したがって、本願発明8と引用発明との間には、次の一致点、相違点があるといえる。
(一致点)
「操作体による第1の動作に用いる収集装置と、
前記第1の動作を識別して識別結果を取得する識別装置と、
前記識別結果に基づいて、制御可能な第2の電子機器を確定する処理装置と、を含む
電子機器確定装置。」
(相違点1)
本願発明8では、「前記処理装置は、位置ベクトルと空間座標系における一つの座標軸とがなす第1の角度、及び第2の動作をした後の前記操作体の位置ベクトルと前記一つの座標軸とがなす第2の角度の間の角度差が、予め設定された角度以下の電子機器を前記第2の電子機器として確定」するのに対し、引用発明では、このような構成について特定されていない点。
(相違点2)
本願発明8では、「前記電子機器の位置ベクトルは、前記空間座標系の座標原点を始点として自身位置を終点とし、前記操作体の位置ベクトルは、前記空間座標系の座標原点を始点として前記第2の動作をした後の位置を終点とし、前記座標原点はユーザの身体の一つの位置であ」るのに対し、引用発明では、このような構成について特定されていない点。
(相違点3)
本願発明8では、「前記角度差が前記予め設定された角度以下の対応する電子機器を前記第2の電子機器として確定する前に、前記対応する電子機器の名称情報を出力するとともに、前記操作体が前記名称情報に対して確認操作を行った場合に、前記対応する電子機器を前記第2の電子機器として確定する」のに対し、引用発明では、このような構成について特定されていない点。
(2)相違点についての判断
上記相違点1-2は、「位置ベクトル」に関するものである点で互いに関連しているので、まとめて検討する。
引用文献2-7には、上記相違点1-2に係る本願発明8の構成について記載も示唆もなく、また、このような構成が本願の優先日前において周知技術であったともいえない。
したがって、当業者といえども、引用発明及び引用文献2-7に記載された技術的事項から、上記相違点1-2に係る本願発明8の構成を容易に想到することはできない。
よって、上記相違点3について判断するまでもなく、本願発明8は、当業者であっても、引用発明及び引用文献2-7に記載された技術的事項に基づいて容易に発明できたものとはいえない。
2 本願発明1について
本願発明1は、上記相違点1-2に係る本願発明8の構成と実質的に同じ「ユーザの身体の一つの位置を座標原点として確定し、前記座標原点を基準として空間座標系を確定することと、
前記少なくとも1つの候補電子機器の各々に対応する、前記座標原点を始点として自身位置を終点とする少なくとも1つの第1の位置ベクトルを確定することと、
前記座標原点を始点として前記操作体が第2の動作を行った後に存在する位置を終点とする第2の位置ベクトルを確定することと、前記少なくとも1つの第1の位置ベクトルの各々と前記空間座標系における一つの座標軸とがなす少なくとも1つの第1の角度を確定することと、
前記第2の位置ベクトルと前記一つの座標軸とがなす第2の角度を確定することと、
前記少なくとも1つの第1の角度の各々と前記第2の角度との角度差を計算し、対応する少なくとも1つの角度差を取得することと、
前記少なくとも1つの角度差に予め設定された角度以下の角度差が存在する場合に、前記少なくとも1つの候補電子機器のうち前記予め設定された角度以下の角度差に対応する電子機器を前記第2の電子機器として確定すること」という構成を備えるものであるから、本願発明8と同じ理由により、当業者であっても、引用発明及び引用文献2-7に記載された技術的事項に基づいて容易に発明できたものとはいえない。
3 本願発明2-4について
本願発明2-4は、本願発明1と同一の構成を備えるものであるから、本願発明1と同じ理由により、当業者であっても、引用発明及び引用文献2-7に記載された技術的事項に基づいて容易に発明できたものとはいえない。
4 本願発明5について
本願発明5は、上記相違点1-2に係る本願発明8の構成と実質的に同じ「ユーザの身体の一つの位置を座標原点として確定し、前記座標原点を基準として空間座標系を確定する第2の確定手段と、
前記少なくとも1つの候補電子機器の各々に対応する、前記座標原点を始点として自身位置を終点とする少なくとも1つの第1の位置ベクトルを確定する第3の確定手段と、
前記座標原点を始点として前記操作体が第2の動作を行った後に存在する位置を終点とする第2の位置ベクトルを確定する第4の確定手段と、
前記少なくとも1つの第1の位置ベクトル及び前記第2の位置ベクトルに基づいて、前記少なくとも1つの候補電子機器から前記第2の電子機器を確定する第5の確定手段と、を含み、
前記第5の確定手段は、
前記少なくとも1つの第1の位置ベクトルの各々と前記空間座標系における一つの座標軸とがなす少なくとも1つの第1の角度を確定する第1の確定サブ手段と、
前記第2の位置ベクトルと前記一つの座標軸とがなす第2の角度を確定する第2の確定サブ手段と、
前記少なくとも1つの第1の角度の各々と前記第2の角度との角度差を計算し、対応する少なくとも1つの角度差を取得する計算サブ手段と、
前記少なくとも1つの角度差に予め設定された角度以下の角度差が存在する場合に、前記少なくとも1つの候補電子機器のうち前記予め設定された角度以下の角度差に対応する電子機器を前記第2の電子機器として確定する第3の確定サブ手段」という構成を備えるものであるから、本願発明8と同じ理由により、当業者であっても、引用発明及び引用文献2-7に記載された技術的事項に基づいて容易に発明できたものとはいえない。
5 本願発明6-7について
本願発明6-7は、本願発明5と同一の構成を備えるものであるから、本願発明5と同じ理由により、当業者であっても、引用発明及び引用文献2-7に記載された技術的事項に基づいて容易に発明できたものとはいえない。
6 本願発明9について
本願発明9は、本願発明8と同一の構成を備えるものであるから、本願発明8と同じ理由により、当業者であっても、引用発明及び引用文献2-7に記載された技術的事項に基づいて容易に発明できたものとはいえない。
7 本願発明10について
本願発明10は、本願発明1の構成に対応する構成を実質的に備えるものであるから、本願発明1と同じ理由により、当業者であっても、引用発明及び引用文献2-7に記載された技術的事項に基づいて容易に発明できたものとはいえない。
8 本願発明11-12について
本願発明11-12は、本願発明1と実質的に同一の構成を備えるものであるから、本願発明1と同じ理由により、当業者であっても、引用発明及び引用文献2-7に記載された技術的事項に基づいて容易に発明できたものとはいえない。
第7 当審拒絶理由についての判断
1 理由1(実施可能要件)について
令和5年3月7日にされた手続補正において、補正後の請求項1、5、10は「ユーザの身体の一つの位置を座標原点として確定し」と補正され、補正後の請求項8は「前記座標原点はユーザの身体の一つの位置」と補正された結果、この拒絶の理由は解消した。
2 理由2(サポート要件)について
令和5年3月7日にされた手続補正において、補正後の請求項1、5、10は「ユーザの身体の一つの位置を座標原点として確定し」と補正され、補正後の請求項8は「前記座標原点はユーザの身体の一つの位置」と補正された結果、この拒絶の理由は解消した。
3 理由3(明確性)について
(1)上記第3の3の(1)については、令和5年3月7日にされた手続補正において、補正後の請求項1、5、10は「前記座標原点を始点として自身位置を終点とする少なくとも1つの第1の位置ベクトル」及び「前記座標原点を始点として前記操作体が第2の動作を行った後に存在する位置を終点とする第2の位置ベクトル」と補正され、補正後の請求項8は「前記電子機器の位置ベクトルは、前記空間座標系の座標原点を始点として自身位置を終点とし、前記操作体の位置ベクトルは、前記空間座標系の座標原点を始点として前記第2の動作をした後の位置を終点とし」と補正された結果、この拒絶の理由は解消した。
(2)上記第3の3の(2)-(3)については、令和5年3月7日にされた手続補正において、補正後の請求項1、5、10は「ユーザの身体の一つの位置を座標原点として確定し」と補正され、補正後の請求項8は「前記座標原点はユーザの身体の一つの位置」と補正された結果、この拒絶の理由は解消した。
(3)上記第3の3の(4)については、令和5年3月7日にされた手続補正において、補正後の請求項1、5、10は「前記少なくとも1つの第1の位置ベクトルの各々と前記空間座標系における一つの座標軸とがなす少なくとも1つの第1の角度」及び「前記第2の位置ベクトルと前記一つの座標軸とがなす第2の角度」と補正され、補正後の請求項8は「位置ベクトルと空間座標系における一つの座標軸とがなす第1の角度」及び「前記操作体の位置ベクトルと前記一つの座標軸とがなす第2の角度」と補正された結果、この拒絶の理由は解消した。
第8 むすび
以上のとおり、本願発明1-12は、当業者が引用発明及び引用文献2-7に記載された技術的事項に基づいて容易に発明をすることができたものではない。
したがって、原査定の理由によっては、本願を拒絶することはできない。
また、他に本願を拒絶すべき理由を発見しない。
よって、結論のとおり審決する。
審決本文(J-PlatPat)
J-PlatPatの審決検索トップを開きます。番号入力で「審判番号」を選び、下の番号を貼り付けて検索してください。
J-PlatPat 審決検索を開く
2022-009387