2018-005363

特願２０１４－１０９７６９「携帯端末、ジェスチャ制御プログラムおよびジェスチャ制御方法」拒絶査定不服審判事件〔平成２７年１２月１４日出願公開、特開２０１５－２２５４９３、請求項の数（８）〕について、次のとおり審決する。

【結　論】 原査定を取り消す。 本願の発明は、特許すべきものとする。

【理　由】 第１　手続の経緯 本願は、平成２６年５月２８日の出願であって、平成２９年７月１０日付けで拒絶理由通知がされ、同年９月１５日付けで手続補正がされ、同年１０月１６日付けで最後の拒絶理由通知がされ、同年１２月２２日付けで手続補正がされ、平成３０年１月１１日付けで平成２９年１２月２２日付けの手続補正が却下されるとともに拒絶査定（原査定）がされ、これに対し、平成３０年４月１８日に拒絶査定不服審判の請求がされると同時に手続補正がされ、平成３０年５月１８日に前置報告がされたものである。 第２　原査定の概要 原査定（平成３０年１月１１日付け拒絶査定）の概要は次のとおりである。 （進歩性）この出願の請求項１－９に係る発明は、その出願前に日本国内又は外国において、頒布された引用文献１－３に記載された発明又は電気通信回線を通じて公衆に利用可能となった発明に基いて、その出願前にその発明の属する技術の分野における通常の知識を有する者が容易に発明をすることができたものであるから、特許法第２９条第２項の規定により特許を受けることができない。 引用文献等一覧 １．特開２０１３－０６１８４８号公報 ２．特開２０１４－０８５９６３号公報 ３．特開２０１２－１４６３０４号公報 第３　本願発明 本願請求項１－８に係る発明（以下、それぞれ「本願発明１」－「本願発明８」という。）は、平成３０年４月１８日付けの手続補正書で補正された特許請求の範囲の請求項１－８に記載された事項により特定される発明であり、本願発明１は以下のとおりの発明である。 「【請求項１】 手指を使ったジェスチャを認識する認識部、 指毎に入力操作を対応付けて記憶する記憶部、 前記認識部によって、少なくとも深度の変更を伴うジェスチャを認識した後に任意の指を使った第１ジェスチャが認識されたとき、前記記憶部に記憶されている当該指と対応する入力操作に基づく処理を実行する実行部、および 前記認識部によって、前記第１ジェスチャと対応する第２ジェスチャが認識されたとき、前記処理に関連する音声を出力する通知部を備える、携帯端末。」 なお、本願発明２－６は、本願発明１を直接又は間接的に引用した発明であり、本願発明７は、実質的に本願発明１を「ジェスチャ制御プログラム」として記載したもの、本願発明８は、実質的に本願発明１を「ジェスチャ制御方法」として記載したものである。 第４　引用文献、引用発明等 １．引用文献１について 原査定の拒絶の理由に引用された引用文献１には、図面とともに次の事項が記載されている。 ａ．「【００３８】 図２は、本実施の形態１の非接触入力装置を用いた携帯端末の概略構造図である。携帯端末５は表示素子３の反対面に設置したカメラ２で撮影した画像を表示する。図１と同様に撮影したユーザの手の動きに応じて携帯端末の動作の制御を行う。携帯端末において、実画像に付加情報を重ねて表示するＡＲ（Ａｕｇｍｅｎｎｔｅｄ－Ｒｅａｌｉｔｙ）サービス等において、特にこの非接触入力方法が有効である。 【００３９】 その他、本実施の形態１の非接触入力装置はパソコンやデジカメなど、カメラと表示素子を有する電子機器に適用してもよい。 【００４０】 図３は本実施の形態１のブロック構成図である。カメラ２で撮影した画像を指先検出手段６で指先を検出し、指先動き検出手段７で指先の動きを検出し、制御手段８はその動きに応じて、様々な機能を実行する。カメラ２で撮影した画像は表示素子３に表示する。 【００４１】 図４に指先検出方法の手順を示す。図４（１）に示すようにユーザの手をカメラ２で撮影する。撮影した画像を第一画像１２とする。次に、図４（２）に示すように、第一画像１２に映った手の形を検出し、手の指先の位置を検出する。検出する指は３つ以上とする。ここで、指先の「位置」とは、第一画像上における２次元位置座標を意味する。 【００４２】 ここでは一例として、３つの指を検出できたと仮定して説明する。検出した指の位置を人差し指検出位置９と中指検出位置１０と薬指検出位置１１とする。 【００４３】 なお、カメラ２として赤外カメラを用いてもよい。これにより、背景よりも温度の高い手の形のみを抽出することが容易になり、指先検出精度が向上する。 【００４４】 なお、指先の位置は正確に指先の端部である必要はなく、隣接の指と区別できる位置が確定できれば位置精度は問わない。 【００４５】 次に、図４（２）で検出した３つの指にキー操作を割当て、そのキー操作を表すアイコンを各指先の位置に重ねて表示する。アイコンを重ねて表示した画像を第二画像１３とする。図４（３）に示すように、人差し指検出位置９に第一アイコン１４、中指検出位置１０に第二アイコン１５、薬指検出位置１１に第三アイコン１６を表示する。 【００４６】 上記の指先検出は、撮影画像のフレームごとに行い、指先の位置が動いたときには、アイコンもその動きに合わせて移動するものとする。但し、指先検出時間がかかる場合には数フレームごとの検出でも構わない。 【００４７】 図４（３）のように、表示画面上に指に割り当てられたキー操作を表すアイコンを表示すると、ユーザが指に割り当てられたキー操作内容を記憶する必要がなくなる。」（下線は、当審で付与。） ｂ．「【００４８】 図５に指先動き検出方法の手順を示す。各指先に割り当てられたキー操作の実行を判定するための指先の動きを検出する必要がある。 【００４９】 まず、図４で検出された３つの指先位置から指先が並んだ位置と方向を示す、図５（１）に示すような仮想直線１７を算出する。例えば、この仮想直線は、３つの指先位置の座標点を通る近似直線を最小自乗法で求めることにより求めることができる。この仮想直線は、指先の並ぶ方向と位置が指の近傍となるような直線であれば、どんな近似方法を用いて算出しても構わない。 【００５０】 次に、指先の位置の変化の検出方法を説明する。例えば人差し指が図５（２）のようにクリック動作などにより動いた場合に、人差し指検出位置９が仮想直線１７に対して移動し、人差し指移動点１８となる。人差し指と仮想直線１７の距離の移動距離１９を撮影画像のフレームごとにモニターしておき、移動距離１９が所定値以上になったときに、人差し指が動いたと判断し、人差し指に割り当てられたキー操作を実行する。」 ｃ．「【００６７】 図７にキーモードの変更方法を示す。図７（１）は初期に割当てられているキー操作（第一アイコンと第二アイコンと第三アイコン）とする。図７（２）に示すように、例えば手をグーの形にすると指先が検出できないため、図６のＳ６とＳ７に示すフローにより、割り当てられたアイコンを消去する。次にアイコンを割当てられたときに、図７（３）に示すように、前回とは異なるアイコン（第五アイコン２１、第六アイコン２２、第七アイコン２３）を割り当てる。 【００６８】 すなわち、上記は、アイコンの消去（図７（２））をきっかけにキーモードを変更する方法である。 【００６９】 図７（４）は、上記とは異なるキーモードの変更方法である。ユーザの手の位置が移動し、図７（１）の初期の仮想直線１７の位置が第二仮想直線２７に移動したとき、移動量が所定値以上の場合に図７（４）に示すように異なるキー操作を示すアイコン（第八アイコン２４、第九アイコン２５、第十アイコン２６）に変更する。すなわち、アイコンの仮想直線の位置の移動（図７（４））をきっかけにキーモードを変更する方法である。 【００７０】 その他のキーモード変更方法として、指先に割り当てるアイコンの一つにキーモード変更アイコンを割り当てる方法もある。キーモード変更アイコンが実行されたときにキーモードが変更される。」 これら引用文献１の記載及び関連する図面から、引用文献１には次の発明（以下、「引用発明」という。）が記載されているものと認められる。 「非接触入力装置を用いた携帯端末であり、携帯端末５は表示素子３の反対面に設置したカメラ２で撮影した画像を表示し、撮影したユーザの手の動きに応じて携帯端末の動作の制御を行うもので、 カメラ２で撮影した画像を指先検出手段６で指先を検出し、指先動き検出手段７で指先の動きを検出し、制御手段８はその動きに応じて、様々な機能を実行し、 カメラ２で撮影した画像は表示素子３に表示し、 検出した３つの指にキー操作を割当て、そのキー操作を表すアイコンを各指先の位置に重ねて表示し、表示画面上に指に割り当てられたキー操作を表すアイコンを表示すると、ユーザが指に割り当てられたキー操作内容を記憶する必要がなくなり、 各指先に割り当てられたキー操作の実行を判定するための指先の動きを検出するものであり、 検出された３つの指先位置から指先が並んだ位置と方向を示す仮想直線１７を算出し、 例えば人差し指がクリック動作などにより動いた場合に、人差し指検出位置９が仮想直線１７に対して移動し、人差し指移動点１８となり、人差し指と仮想直線１７の距離の移動距離１９が所定値以上になったときに、人差し指が動いたと判断し、人差し指に割り当てられたキー操作を実行し、 キーモードの変更方法は、 初期に割当てられているキー操作（第一アイコンと第二アイコンと第三アイコン）とし、例えば手をグーの形にすると指先が検出できないため、割り当てられたアイコンを消去し、次にアイコンを割当てられたときに、前回とは異なるアイコン（第五アイコン２１、第六アイコン２２、第七アイコン２３）を割り当てるもの、 すなわち、アイコンの消去をきっかけにキーモードを変更する 携帯端末。」 ２．引用文献２について 原査定の拒絶の理由に引用された引用文献２には、図面とともに次の事項が記載されている。 ｄ．「【００１９】 トレーニング手段１０７ｂは、ソフトウェアで構成され、ユーザーの手の平の動作をジェスチャーとして認識する認識精度を向上させるため、ユーザーの手の平を認識し、手の平の動きをジェスチャーとして認識し、表示装置１０４にモニタ表示させるエンジンと、起動終了、切り替わりを検出し、アプリケーション毎のジェスチャーへのコマンド割当を行うユーザーインターフェースとを有するジェスチャーアプリケーション（以下、ジェスチャーアプリと表記）の初回起動時に、強制的にジェスチャーの練習を実行させる機能を有する。 本実施形態におけるジェスチャーは、ノートパソコン１００のカメラ１０３の撮影可能な範囲（カメラ画像内とも言う）におけるユーザーの手の平の動作を意味する。」 ３．引用文献３について 原査定の拒絶の理由に引用された引用文献３には、図面とともに次の事項が記載されている。 ｅ．「【００５３】 【表１】 表１におけるプッシュモーションとは、ディスプレイ装置１００の前方に位置したユーザがディスプレイ装置１００に向かって手を押す動作を意味する。プッシュモーションが認識されると、制御部１２０はその後に行なわれる後続モーションを認識し、それによる動作を行なう。」 ｆ．「【００６７】 撮影部１１１は、ディスプレイ装置１００の画面前方を撮影するカメラを含む。カメラは前方に置かれた各種客体から反射される光を受光し、撮影イメージデータを生成する。上述の実施形態のように、プッシュモーションに対する認識が必要な場合であれば、撮影部１１１は３次元深さカメラ（３Ｄ Ｄｅｐｔｈ Ｃａｍｅｒａ）を用いてもよい。３次元深さカメラは赤外線を放射し、その赤外線が物体に触れてから戻ってくる時間を測定して物体までの距離を算出する。深さカメラより得られたイメージはグレイレベルで出力され、各ピクセル毎に横、縦、距離のような座標値が表現される。即ち、ピクセル毎にデプス情報が設けられた撮影イメージデータを生成する。」 ｇ．「【００８５】 このように、プッシュモーションはＺ軸方向への移動であるため、一般モード下でモーション認識部１１０は撮影イメージデータの深さ情報変化の有無のみをチェックし、プッシュモーションが行なわれたか否かを判断する。これにより、プッシュモーションが行なわれてモーション認識モードに切り替えられると、そこからはモーション認識部１１０はＺ軸だけでなくＸ軸及びＹ軸方向への動きも全てチェックして、客体の動きを分析する。 【００８６】 制御部１２０は、プッシュモーションが認識されると、モーション認識モードで動作すると判断し、モーション認識モードに切り替える。即ち、プッシュモーションが認識される前までは一般モードで動作し、ユーザのリモコン操作やディスプレイ装置１００本体に備えられたキー操作によるユーザ選択信号を入力部１６０を介して受信し、それに対応する制御動作を行なう。このような状態で、モーション認識モードに切り替えられると、制御部１２０はそこからはユーザのモーションを認識してそのモーションに符合する動作を行なう。」 ４．その他の文献について 前置報告書において引用された特開２００５－１７４３５６号公報（以下、「引用文献４」という。）には、図面とともに次の事項が記載されている。 ｈ．「【００４４】 ＜音声フィードバック＞ 画面を見ずに操作をしていると、時として今、どのような操作モードに入っていて、今何が操作できるのかが分からなくなってしまう。これは前述した、ジェスチャを忘れてしまうのとは異なり、ちょっとしたことで気を取られることによって起こりうる。例えば、ラジオからＣＤに切り替えようとして、オーディオ操作のためのジェスチャを提示したところで、突然、最近気に入っているヒット曲がかかったり、操作の途中で急に話しかけられたりして、気を取られることによって起こりやすい。 【００４５】 そのような状況に対処するために、本発明では、状況に応じて、音声を用いて、使用者に現在の状況を知らせる、音声によるフィードバック機能を付加する。 例えば、前述の例で、オーディオ操作ジェスチャを提示した後、何かに気を取られて、分からなくなったとき、「オーディオ操作です」と音声でフィードバックする。あるいは、現在ラジオがかかっているのなら「ラジオ操作です」、ＣＤがかかっているのなら「ＣＤ操作です」と状況に応じて音声フィードバックを変えても良い。操作を行うたびに、音声フィードバックを行うのもよい。 【００４６】 しかし、操作に慣れると、オーディオ操作ジェスチャと続く方向ジェスチャ（音量を上げるなど）は連続して提示されることが多くなり、そのたびに音声フィードバックが起こると煩わしくなる。そこで、オーディオ操作ジェスチャが提示されてからしばらく次の操作が無いときに、使用者が状況を忘れたと判断し、音声フィードバックを返すのが望ましい。また、同様に、音声フィードバックを返した後さらに、一定時間経過した場合、方向ジェスチャによって何が操作できるかを音声フィードバックで返してもよい。例えば「上下で音量調整、左右で選局してください」と言った具合に音声をフィードバックする。」 第５　対比・判断 １．本願発明１について （１）対比 本願発明１と引用発明とを対比する。 ア．引用発明は「カメラ２で撮影した画像を指先検出手段６で指先を検出し、指先動き検出手段７で指先の動きを検出し、制御手段８はその動きに応じて、様々な機能を実行」するものであるから、引用発明の「制御手段８」が検出された指先の動きが如何なる動きであるのか認識する機能を有するのは明らかであり、当該機能を有する引用発明の「制御部８」は、本願発明１の「手指を使ったジェスチャを認識する認識部」に相当する。 イ．引用発明は「検出した３つの指にキー操作を割当て、そのキー操作を表すアイコンを各指先の位置に重ねて表示」させ、「各指先に割り当てられたキー操作の実行を判定する」ものであるから、指毎にキー操作を対応付けて記憶する構成を有するのは明らかであり、引用発明の当該構成は、本願発明１の「指毎に入力操作を対応付けて記憶する記憶部」に相当する。 ウ．引用発明は「検出した３つの指にキー操作を割当て、そのキー操作を表すアイコンを各指先の位置に重ねて表示」するものにおいて、「例えば手をグーの形にすると指先が検出できないため、割り当てられたアイコンを消去し、次にアイコンを割当てられたときに、前回とは異なるアイコン（第五アイコン２１、第六アイコン２２、第七アイコン２３）を割り当てるもの」であり、また、「各指先に割り当てられたキー操作の実行を判定するための指先の動きを検出」するものであるから、引用発明は、手が「グーの形」になったことを認識し割り当てられたアイコンを消去した後に、検出した指にキー操作を割当て、動きを検出した指に割り当てられたキー操作を実行するものといえる。 そして、引用発明が「手が「グーの形」になったことを認識」することは、本願発明１の「前記認識部によって、少なくとも深度の変更を伴うジェスチャを認識」することと「前記認識部によって、ジェスチャを認識」する点で共通し、引用発明の「動きを検出した指」の動きは、本願発明１の「任意の指を使った第１ジェスチャ」に相当するから、上記「イ．」において検討したように、引用発明は指毎にキー操作を対応付けて記憶する構成を有することが明らかであることを考慮すれば、引用発明が「手が「グーの形」になったことを認識し割り当てられたアイコンを消去した後に、検出した指にキー操作を割当て、動きを検出した指に割り当てられたキー操作を実行する」ことは、本願発明１の「前記認識部によって、少なくとも深度の変更を伴うジェスチャを認識した後に任意の指を使った第１ジェスチャが認識されたとき、前記記憶部に記憶されている当該指と対応する入力操作に基づく処理を実行する」ことと「前記認識部によって、ジェスチャを認識した後に任意の指を使った第１ジェスチャが認識されたとき、前記記憶部に記憶されている当該指と対応する入力操作に基づく処理を実行する」点では共通するといえる。 また、引用発明は「指先動き検出手段７で指先の動きを検出し、制御手段８はその動きに応じて、様々な機能を実行」するものであるから、引用発明の「制御部８」がキー操作を実行しており、引用発明の「制御部８」は、本願発明１の「前記認識部によって、少なくとも深度の変更を伴うジェスチャを認識した後に任意の指を使った第１ジェスチャが認識されたとき、前記記憶部に記憶されている当該指と対応する入力操作に基づく処理を実行する実行部」と「前記認識部によって、ジェスチャを認識した後に任意の指を使った第１ジェスチャが認識されたとき、前記記憶部に記憶されている当該指と対応する入力操作に基づく処理を実行する実行部」である点では共通するといえる。 したがって、本願発明１と引用発明との間には、次の一致点と相違点とがあるといえる。 〈一致点〉 「手指を使ったジェスチャを認識する認識部、 指毎に入力操作を対応付けて記憶する記憶部、 前記認識部によって、ジェスチャを認識した後に任意の指を使った第１ジェスチャが認識されたとき、前記記憶部に記憶されている当該指と対応する入力操作に基づく処理を実行する実行部を備える、携帯端末。」 である点。 〈相違点１〉 本願発明１は、「少なくとも深度の変更を伴うジェスチャを認識した後に任意の指を使った第１ジェスチャが認識されたとき、前記記憶部に記憶されている当該指と対応する入力操作に基づく処理を実行する」ものであるのに対し、引用発明は、手が「グーの形」になったことを認識し割り当てられたアイコンを消去した後に、検出した指にキー操作を割当て、動きを検出した指に割り当てられたキー操作を実行するものである点。 〈相違点２〉 本願発明１は、「前記認識部によって、前記第１ジェスチャと対応する第２ジェスチャが認識されたとき、前記処理に関連する音声を出力する通知部」を備えるものであるのに対し、引用発明は、そのような構成を備えるものではない点。 （２）相違点についての判断 事案に鑑みて、上記相違点２について先に検討すると、相違点２に係る本願発明１の「第１ジェスチャと対応する第２ジェスチャが認識されたとき、前記処理に関連する音声を出力する」という構成は、上記引用文献１－３には記載されておらず、本願出願前において周知技術であるともいえない。 また、引用発明は、「検出した３つの指にキー操作を割当て、そのキー操作を表すアイコンを各指先の位置に重ねて表示」するものであるから、キー操作に関連する音声を出力する積極的な動機があるとはいえない。 したがって、本願発明１は、当業者であっても、引用発明及び上記引用文献２－３に記載された技術的事項に基づいて容易に発明できたものであるとはいえない。 なお、引用文献４には、操作ジェスチャが提示されてからしばらく次の操作がないときに、当該操作ジェスチャに対応した音声フィードバックを返す技術が記載されているものの、「次の操作がない」ことは、提示された「操作ジェスチャ」毎に異なるものではないから、「次の操作がない」ことが「操作ジェスチャ」に対応するジェスチャに相当するということはできない。 ２．本願発明２－８について 本願発明２－６は、本願発明１を直接又は間接的に引用した発明であり、本願発明７は、実質的に本願発明１を「ジェスチャ制御プログラム」として記載したもの、本願発明８は、実質的に本願発明１を「ジェスチャ制御方法」として記載したものであり、上記「１．請求項１について」にて述べたのと同じ理由により、当業者であっても、引用発明１及び引用文献２－３に記載された技術的事項に基づいて容易に発明できたものであるとはいえない。 第７　原査定についての判断 平成３０年４月１８日付けの補正により、補正後の請求項１－７は、「前記認識部によって、前記第１ジェスチャと対応する第２ジェスチャが認識されたとき、前記処理に関連する音声を出力する通知部」という技術的事項を、補正後の請求項８は、「前記認識部によって、前記第１ジェスチャと対応する第２ジェスチャが認識されたとき、前記処理に関連する音声を出力する通知ステップ」という技術的事項を有するものとなった。当該各技術的事項は、原査定における引用文献１－３には記載されておらず、本願出願日前における周知技術でもないので、本願発明１－８は、当業者であっても、原査定における引用文献１－３に基づいて容易に発明できたものではない。 したがって、原査定を維持することはできない。 第８　むすび 以上のとおり、原査定の理由によっては、本願を拒絶することはできない。 また、他に本願を拒絶すべき理由を発見しない。 よって、結論のとおり審決する。