2020-016756

本願は、平成２８年５月３日を国際出願日とする外国語特許出願であって（パリ条約による優先権主張 ２０１５年５月４日 米国）、その手続の経緯の概略は、次のとおりである。

同年１２月 ５日 ：意見書、手続補正書の提出

同年 ８月１９日 ：意見書、手続補正書の提出

同年 ７月２７日付け：補正の却下の決定

（同年８月４日 ：原査定の謄本の送達）

同年１２月 ４日 ：審判請求書の提出

同年 ９月 ２日付け：拒絶理由通知書

同年１２月 ７日 ：意見書、手続補正書の提出

審査段階の拒絶の理由において主たる引用例として引用した引用文献３（特表２０１４－５１１６０６号公報）には、以下の記載がある。下線は、当審において付与したものである。

「【０００１】

本発明は、リアルタイムで画像を取得および表示するための撮像装置および方法に関する。本発明はさらに、上述の撮像装置を備えたヘルメット、ヘッドマウント、ライフル照準器、または携帯用デバイスに関する。」

「【００３５】

図２は、リアルタイムの画像取得および画像表示するための撮像装置１００を示す図である。撮像装置１００はイメージセンサ１１０を備え、イメージセンサ１１０は画像１４２を取得するための放射感応アレイ１２０を備える。撮像装置１００はさらに、画像１４２を読み出すために放射感応アレイ１２０に接続される読み出し回路１４０と、処理画像１６２を取得するために画像１４２を処理する信号プロセッサ１６０とを備える。そのために、読み出し回路１４０は、信号プロセッサ１６０に接続された状態で示されている。撮像装置１００はさらに、最後に処理画像１６２を表示するディスプレイ１８０を備える。

【００３６】

図３は、放射感応アレイ１２０を備えるイメージセンサ１１０を示す図である。図示されるように、放射感応アレイ１２０は、センサ画素行１２２の配列から成る。当然、図３に明確に示されていないが、放射感応アレイ１２０は、アレイであることの結果として、さらにセンサ画素列の配列から成ることに留意されたい。さらに図３には、ディスプレイ画素行１８２の配列から成るディスプレイ画素アレイとしてディスプレイ１８０が示されている。当然、図３に明確に示されていないが、ディスプレイ１８０は、アレイであることの結果として、さらにディスプレイ画素列の配列から成ることに留意されたい。

続きを表示（全20行）

【００３７】

撮像装置１００の動作時に、読み出し回路１４０は、画素サブセット１２４を順次送信するためにセンサ画素行１２２を順次読み出す。この読み出しは、図４および図５のタイミング図に示されている。この場合、Ｓ１はイメージセンサ１１０から画像１４２を読み出す期間を示している。図４は、上述のダイレクトビューシステムと比較できるように、図１と同様の方法で期間を示している。図５では、横軸は時間を示し、縦軸は行数を示し、Ｒｎは放射感応アレイ１２０の最上行を示しており、Ｒ０は最下行を示している。したがって、図５は、読み出し回路１４０が期間Ｓ１の初めに行Ｒｎを読み出して、最後に行Ｒ０を読み出す様子を示している。その結果、読み出しＳ１の間に、全ての行ＲｎからＲ０が順次読み出される。

【００３８】

上述した放射感応アレイ１２０の読み出しＳ１は、ローリングシャッタ回路である読み出し回路１４０によって行われる。ローリングシャッタ回路１４０は、スナップショットシャッタを使用して放射感応アレイ１２０を読み出すように構成された回路とは異なる。ローリングシャッタ回路の基本的な動作原理は、（ｉ）行の露光を初期化するために、そして（ｉｉ）前記露光後に行のコンテンツを読み出すために、放射感応アレイ１２０が各行ごとに、すなわち、ライン単位でアドレッシングされるというものである。これは、一般的に、放射感応アレイ１２０の個々の行にアドレッシングする２つのポインタを使用して行われる。一方のポインタは、現在アドレッシングされている行の露光を初期化するためにその行のリセットを行い、他方のポインタは、読み出される行をアドレッシングする。２つのポインタの位置の差が有効露光時間である。すなわち、「リセット」ポインタが１行のみの差で「読み出し」ポインタの後を追う場合、露光時間は最大となる。

【００３９】

一方、スナップショットシャッタを使用する回路は、一般的には、放射感応アレイからフレームバッファメモリに画像全体を読み出す前に、放射感応アレイ全体を同時に露光する。画像全体を読み出すのに必要な時間の間、放射感応アレイは、それ以上露光しないように構成される。不利な点としては、前記回路による露光時間はローリングシャッタ回路の露光時間より短いということである。一般的に、露光時間が短いことで、信号対雑音比が悪い画像になってしまう、つまり、より雑音が多くなる。文献「ＥＢＡＰＳ：ＮｅｘｔＧｅｎｅｒａｔｉｏｎ，Ｌｏｗ Ｐｏｗｅｒ，Ｄｉｇｉｔａｌ Ｎｉｇｈｔ Ｖｉｓｉｏｎ」（Ａｅｂｉ氏他、Ｉｎｔｅｖａｃ社、ＯＰＴＲＯ２００５シンポジウム、フランス、パリ）には、カメラセンサの露光時間を最大にするためのローリングシャッタ回路の使用について記載されている。

【００４０】

ローリングシャッタ回路１４０のポインタは、イメージセンサ１１０自体のインターナルステートマシンによって増やされてもよい。すなわち、ローリングシャッタ回路１４０は、イメージセンサ１１０の一部としてもよい。外部ロジック、例えば、イメージセンサ１１０の外部に配置されるフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を使用して、ステートマシンをクロッキングして、露光時間を決定するための２つのポインタ間の間隔をプログラムすることができる。

【００４１】

ローリングシャッタ回路１４０は、センサ画素行１２２を順次読み出すことによって、画素サブセット１２４を順次送信する。画素サブセット１２４は、行全体の画素または行のサブセットの画素を含む。画素サブセットはさらに、１行の画素サブセット、例えば、１画素または複数の隣接画素を含む。ローリングシャッタ回路１４０は、画素サブセット１２４を信号プロセッサ１６０に送信し、信号プロセッサ１６０は、画素サブセット１２４が利用可能である時に、画素サブセットを処理して処理画素サブセットを生成する。信号プロセッサ１６０は、順次送信された画素サブセットを処理することによって、画像１４２を効率的に処理し、処理画像１６２を生成する。この処理は、図４および図５のタイミング図に示されている。この場合、Ｐ１は画像１４２を処理する期間を示している。図５は、読み出し回路１４０が期間Ｐ１の初めに行Ｒｎを処理して、最後に行Ｒ０を処理する様子を示している。その結果、読み出しＰ１の間に、全ての行ＲｎからＲ０が順次処理される。

【００４２】

読み出しＳ１と処理Ｐ１との間の時間遅延は、図４および図５に示されるように、特に、画素サブセット１２４のサイズに左右される。例えば、画素サブセット１２４がセンサ画素行１２２の画素を含む場合、処理Ｐ１は、読み出しＳ１に対して、少なくとも前記画素サブセット１２４を読み出して信号プロセッサ１６０に送信するのに必要な期間だけ遅延される。しかしながら、前記時間遅延は、画素サブセット１２４を順次送信することができるので、画像１４２全体の読み出しに対応する時間遅延より大幅に小さいことは理解できるであろう。

【００４３】

ディスプレイ１８０は、処理画素サブセットが利用可能である時に、対応するディスプレイ画素サブセット１８４に処理画素サブセットを表示する。ディスプレイ１８０は、順次生成された処理画素サブセットを表示することによって、処理画像１６２を効率的に表示する。この表示は、図４および図５のタイミング図に示されている。この場合、Ｄ１は処理画像１６２を表示する期間を示している。図５は、ディスプレイ１８０が期間Ｄ１の初めに行Ｒｎを表示し、最後に行Ｒ０を表示する様子を示している。表示Ｄ１と処理Ｐ１との間の時間遅延は、読み出しＳ１と処理Ｐ１との間の時間遅延と同様の考え方を適用できることがわかるであろう。したがって、図２に示されている撮像装置は、読み出しＳ１と表示Ｄ１との間の時間遅延に相当するレイテンシＬを生じる。また、次の画像の読み出しＳ２は画像の読み出しＳ１が完了した後に開始されることがわかるであろう。同様に、処理Ｐ２は処理Ｐ１が完了した後に開始され、表示Ｄ２は表示Ｄ１が完了した後に開始される。

【００４４】

図６は、撮像装置２００の図である。撮像装置２００は、イメージセンサ１１０および読み出し回路１４０に隣接して、追加イメージセンサ２１０および追加読み出し回路２４０を備える。追加イメージセンサ２１０は、追加画像２４２を取得するための追加放射感応アレイ２２０を備える。追加読み出し回路２４０は、追加画像２４２を読み出すために、追加放射感応アレイ２２０に接続される。」

「【００５５】

当然、本発明は、種々のイメージセンサに対して使用することができるので、例えば、可視光イメージセンサまたは熱センサに限定されない。また、画像１４２と追加画像２４２との合成は、例えば、追加画像２４２の特定の要素を画像１４２の上に重ね合わせることによって画像１４２を追加画像２４２と融合させることを含んでもよい。しかしながら、合成はさらに、画像１４２と追加画像２４２のサイドバイサイド方式、ピクチャインピクチャ方式、または同じ空間配置を含む処理画像２６２の作成を含んでもよい。」

「【図２】

［図：0001385643000001.jpg］

」

「【図３】

［図：0001385643000002.jpg］

」

「【図４】

［図：0001385643000003.jpg］

」

「【図５】

［図：0001385643000004.jpg］

」

「【図６】

［図：0001385643000005.jpg］

」

審査段階の拒絶の理由において周知例として引用した引用文献５（特開２００９－２５９１９号公報）には、以下の記載がある。下線は、当審において付与したものである。

「【０００３】

図７は、ビデオシースルー型ＨＭＤを用いた一般的な複合現実感提示システムの機能構成を示すブロック図である。

【０００４】

７０１は、ビデオシースルー型のＨＭＤである。ＨＭＤ７０１は、撮像部７０３、表示部７０４、３次元位置姿勢センサ７０５、Ｉ／Ｆ（インターフェース）７０６を有する。

続きを表示（全12行）

【０００５】

７０２は、ＨＭＤ７０１から受け取った３次元位置姿勢情報に基づいて仮想空間画像（ＣＧ）を生成し、ＨＭＤ７０１から受け取った撮像画像との合成処理を行う画像処理装置である。画像処理装置７０２は、一般にはＰＣ（パーソナルコンピュータ）やワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置により構成されている。画像処理装置７０２は、Ｉ／Ｆ７０７、位置姿勢情報生成部７０８、ＣＧ描画合成部７１０、コンテンツＤＢ（データベース）７０９を有する。

【０００６】

先ず、ＨＭＤ７０１を構成する各部の動作について説明する。

【０００７】

撮像部７０３は、ＨＭＤ７０１を頭部に装着するユーザの視線位置と略一致する外界の画像を撮像する。撮像部７０３は、ステレオ画像を撮像すべく、右目用の撮像素子、左目用の撮像素子、光学系、そして後段の画像処理のためのＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）により構成されている。

【０００８】

表示部７０４は、画像処理装置７０２から送出される右目用のＭＲ画像、左目用のＭＲ画像を表示するためのものである。従って、表示部７０４は、右目用の表示デバイス、左目用の表示デバイス、光学系により構成されている。それぞれの表示デバイスとしては、小型の液晶ディスプレイやＭＥＭＳ（ＭｉｃｒｏＥｌｅｃｔｒｏ－Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）による網膜スキャンタイプのデバイスが用いられる。」

「【図７】

［図：0001385643000006.jpg］

」

審査段階の拒絶の理由において周知例として引用した引用文献６（特開２００２－３５４５０５号公報）には、以下の記載がある。下線は、当審において付与したものである。

「【００１７】

【発明の実施の形態】以下、本発明をその実施の形態を示す図面を参照して具体的に説明する。

（第１実施の形態）図１は、第１実施の形態による立体視システムの構成を示す図である。図１において、１ａ，１ｂは、人間の左右の目の間隔（７ｃｍ程度）だけ離隔させて設置した２個の全方位撮影器であり、各全方位撮影器１ａ，１ｂは、略全方位つまり周方向略３６０度の視野範囲を一度に撮影して、全方位撮影器１ａは右目用の画像データを取得し、全方位撮影器１ｂは左目用の画像データを取得する。

【００１８】図２は、この全方位撮影器１ａ，１ｂの構成例を示す斜視図である。図２において、３１はガラス材からなる凸面鏡であり、支持体３２に取付け支持されている。凸面鏡３１の頂部と対向する位置には、レンズ，ＣＣＤ等を有するカメラ３３が配置されており、カメラ３３は透明な筒体３４を介して凸面鏡３１に連結されている。筒体３４は、一端側が凸面鏡３１の外周の支持体３２に固定されると共に、他端側が光透過用の窓孔３５を有する連結部材３６を介してカメラ３３に接続されている。また、凸面鏡３１の頂部には、先端側が凸面鏡３１の軸線延長上をカメラ３３方向に延出する棒状体３７が設けられている。

【００１９】このような構成により、カメラ３３の光軸を中心とした３６０度の全方位からの光が筒体３４を介して凸面鏡３１に当たり、カメラ３３のレンズに集光されて周方向略全域の画像を撮影することができる。筒体３４の内面反射光が凸面鏡３１にてカメラ３３のレンズに集光されて、撮影画像の精度が低下する可能性があるが、図２の構成例ではこれを防止するために、つまり、不要な反射光がカメラ３３側に導かれないように、棒状体３７を設けている。筒体３４の内面で反射して凸面鏡３１に達するような光は、その内面で反射する前に必ず凸面鏡３１の軸線延長上を横切ることになるため、その位置に棒状体３７を設けておくことにより、内面反射されて凸面鏡３１に達するような光を全てこの棒状体３７で遮ることができる。よって、取得画像データの精度の向上を図れる。

【００２０】図１において、２はユーザが頭部に装着するＨＭＤであり、ＨＭＤ２は、右目用のディスプレイ２ａ及び抽出部３ａと、左目用のディスプレイ２ｂ及び抽出部３ｂとを有する。右目用の全方位撮影器１ａと右目用の抽出部３ａとはデータ回線４ａにて接続されており、抽出部３ａは、ＨＭＤ２の向きに応じて、全方位撮影器１ａから入力された周方向略全域の画像データから所望の画角範囲の画像データを抽出して右目用のディスプレイ２ａへ出力し、ディスプレイ２ａがその抽出された画像データに応じた右目用の画像を表示する。同様に、左目用の全方位撮影器１ｂと左目用の抽出部３ｂとはデータ回線４ｂにて接続されており、抽出部３ｂは、ＨＭＤ２の向きに応じて、全方位撮影器１ｂから入力された周方向略全域の画像データから所望の画角範囲の画像データを抽出して左目用のディスプレイ２ｂへ出力し、ディスプレイ２ｂがその抽出された画像データに応じた左目用の画像を表示する。また、全方位撮影器１ａ，１ｂにはデータ回線４ａ，４ｂを介して格納部５が接続されており、格納部５は全方位撮影器１ａ，１ｂにて取得された画像データを格納する。

【００２１】このような構成により、２個の全方位撮影器１ａ，１ｂにて取得された夫々の周方向略全域の画像データから、ＨＭＤ２の向きに応じて、抽出部３ａ，３ｂにて所望の画角の画像データが夫々抽出されて対応するディスプレイ２ａ，２ｂへ出力され、各ディスプレイ２ａ，２ｂに画像が夫々表示される。全方位撮影器１ａ，１ｂは両目の間隔だけ離隔して設けられているため、視差がある右目用の画像，左目用の画像がディスプレイ２ａ，２ｂ夫々に表示されるので、ＨＭＤ２を装着したユーザに立体視画像を呈示することが可能となる。

【００２２】この第１実施の形態では、周方向略全域（略３６０度）の取得画像データから表示用の画像データを抽出するようにしているので、任意の画角範囲の画像データを抽出することが可能となり、通常のカメラを用いた従来例よりも広い画角の画像データを得ることができ、広画角の立体視画像をユーザに呈示することを実現できる。

【００２３】（第２実施の形態）図３は、第２実施の形態による立体視システムの構成を示す図である。図３において、１１ａ，１１ｂは、人間の左右の目の間隔（７ｃｍ程度）だけ離隔させて設置した２個の撮影装置であり、各撮影装置１１ａ，１１ｂは、１８０度程度の画角の視野範囲を撮影して、撮影装置１１ａは右目用の画像データを取得し、撮影装置１１ｂは左目用の画像データを取得する。なお、他の構成部材は図１に示した第１実施の形態と同様であり、同様の構成部分には同一符号を付してそれらの説明を省略する。」

「【図１】

［図：0001385643000007.jpg］

」

「【図３】

［図：0001385643000008.jpg］

」

（ア） 請求人は、令和３年１２月７日に提出した意見書において、同日付けで補正された請求項１に係る発明が、引用文献１～９に記載された発明に基づいて容易に発明できたものではない旨の主張を特段していない。

（イ） 請求人は、請求項１に係る発明について、審判請求書において次の主張をしている。

「第３ 本願が特許されるべき理由について

１ 請求項１

（１） 相違点１

（ａ）本願請求項１に係る発明は、「連続的に出力」に係る構成、すなわち、「前記ヘッドマウントデバイスに設けられた第１の撮像センサによって取込まれた第１の画像の画素行の第１のセットの各画素行を前記第１の撮像センサから連続的に出力する」構成と、「前記ヘッドマウントデバイスに設けられた第２の撮像センサによって取込まれた第２の画像の画素行の第２のセットの各画素行を前記第２の撮像センサから連続的に出力する」構成とを備えます（下線は、請求人において付記、以下同様）。

続きを表示（全11行）

（ｂ）これに対して、いずれの引用文献にも、これらの構成に相当する技術的特徴は開示も示唆もありません。当該示唆すらないことは、拒絶理由通知書および拒絶査定において、「連続的に出力」することに関する言及がなされていないことからも明らかであると思料致します。

（ｃ）よって、請求項１に係る発明は、当業者といえども、各引用文献に基づいて、個別的にも又は組み合わせによっても、さらには周知慣用技術を付加しても、容易になし得ない発明であると思料致します。

（２） 相違点２

（ａ）本願請求項１に係る発明は、「前記第１の撮像センサからの連続的な出力が開始された後に、前記第１の画像の第１の画素行を表わす画素行を、前記第１の画像の第２の画素行が前記第１の撮像センサによって出力される前に、前記ヘッドマウントデバイスのディスプレイ装置の第１の領域において表示する」構成と、「前記第２の撮像センサからの連続的な出力が開始された後に、前記第２の画像の第３の画素行を表わす画素行を、前記第２の画像の第４の画素行が前記第２の撮像センサによって出力される前に、前記ディスプレイ装置の第２の領域において表示する」構成とを備えます。

（ｂ）係る構成を有する本願発明によれば、「画像を処理して表示し始める前に、画素データの行（以下、「画素行」）をすべてバッファリングするのではなく、少なくとも１つの実施形態において、ディスプレイシステムは、画像の最後の画素行が撮像センサによって出力される前に、撮像センサによって出力された画像の画素行の処理および表示を開始」します（段落０００９）。そして、『この態様では、バッファが画像のうち最初の画素行で満たされている最初の短い期間の後、各々の画素行が撮像センサによって出力されてバッファにバッファリングされると、別の画素行がバッファからアクセスされ、ディスプレイ装置の画素の対応する行に表示される。このため、このプロセスはこの明細書中においては「パススルー表示（pass-through display）」と称され、パススルー表示をもたらすように撮像センサに連結されたディスプレイ装置の構成は、撮像センサからの「ライン」（すなわち画素行）の出力とディスプレイ装置において表示された対応するラインまたは行との間のこの１対１の同期を反映させるための「ラインロック型（line-locked）」ディスプレイと称される。このパススルー表示プロセスでは、画像処理およびその後の表示処理を始める前に画像全体をバッファリングする必要が無くなり、このため、画像取込みと表現的画像の表示との間の遅延が、従来のディスプレイシステムと比べて著しく減じられている。これにより、この明細書中に記載されるパススルー表示システムおよび技術は、従来のディスプレイシステムと比べて、ユーザ経験を向上させる。』ことが可能となります。

（ｃ）これに対して引用文献１には、当該構成に相当する技術的特徴は、開示も示唆もありません。当該示唆すらないことは、上述の通り、拒絶理由通知書および拒絶査定において「連続的な出力」に関するご認定がなされていないことからも明らかであると思料致します。

（ｄ）よって、この点からも、請求項１に係る発明は、各引用文献に基づいて、当業者が容易になし得ない発明であると思料致します。」

上記主張（イ）について検討する。

（ア） 前記（１）オにおいて説示したとおり、引用発明では、「撮像装置１００の動作時に、読み出し回路１４０は、画素サブセット１２４を順次送信するためにセンサ画素行１２２を順次読み出」すことを行っており、このことは、本願発明の撮像センサによって取込まれた画像の各画素行を前記撮像センサから「連続的に出力」することに相当している。

したがって、「連続的に出力」することについて、いずれの引用文献にも、これらの構成に相当する技術的特徴が開示も示唆もないとする主張を採用することはできない。

（イ） また、本願発明の「前記第１、２の撮像センサからの連続的な出力が開始された後に、前記第１、２の画像の最後の画素行が前記第１、２の撮像センサによって出力される前に、前記第１、２の撮像センサから出力された各前記画素行の第１、２のサブセットに基づき、前記ヘッドマウントデバイスのディスプレイ装置の第１、２の領域に画像を表示する」構成が当業者が容易になし得た点については、前記（２）において検討したとおりである。

（ウ） したがって、請求人の主張によっても、前記（１）及び（２）において示した当審の判断が左右されることはない。