2020-002842

第１　手続の経緯

本願は、平成２７年９月３日の出願であって、令和元年６月１９日付けで拒絶理由が通知され、同年８月２３日に意見書及び手続補正書が提出されたが、同年１１月２８日付けで拒絶査定（原査定）がされたところ、これに対し、令和２年３月２日に拒絶査定不服審判の請求がなされ、それと同時に手続補正がなされたものである。

第２　原査定の概要

原査定（令和元年１１月２８日付け拒絶査定）の概要は次のとおりである。

本願の請求項１ないし８に係る発明は、以下の引用文献１ないし５に記載された発明に基づいて、その発明の属する技術の分野における通常の知識を有する者（以下「当業者」という。）が容易に発明をすることができたものであるから、特許法第２９条第２項の規定により特許を受けることができない。

引用文献等一覧

１．国際公開第２０１４／１４１９６８号

２．特表２００９－５０８５６７号公報

３．特開２０１１－２０６１６８号公報（周知技術を示す文献）

４．特開２００３－９３３２６号公報（周知技術を示す文献）

５．米国特許出願公開第２００９／０１３１７４６号明細書（周知技術を示す文献）

なお、引用文献３ないし５は、請求項６及び７に対して、周知技術を示す文献として引用されたものである。

第３　本願発明

本願の請求項１ないし８に係る発明（以下、それぞれ「本願発明１」ないし「本願発明８」という。）は、令和２年３月２日にされた手続補正で補正された特許請求の範囲の請求項１ないし８に記載された事項により特定される発明であり、本願発明１は以下のとおりの発明である。

「【請求項１】

予め設定された座標系における所定時間ごとの内視鏡の先端の位置情報及び角度情報を取得する内視鏡情報取得部と、

前記所定時間ごとの前記内視鏡の先端の前記位置情報及び前記角度情報に基づいて、前記所定時間ごとの前記内視鏡の先端の位置及び角度を表す先端マーカを複数連ねて配列させた先端マーカ配列画像を生成する配列画像生成部と、

前記先端マーカ配列画像を表示部に表示させる表示制御部と、

前記内視鏡で撮影された画像を当該画像が撮影されたときの前記内視鏡の先端の前記座標系における前記位置情報とともに取得する画像取得部と、

組合せ画像生成部と、

を有し、

前記先端マーカの形状は、前記所定時間ごとの前記内視鏡の先端の前記角度情報に基づいて、前記先端マーカの軸が前記内視鏡の先端の方向に平行になるように生成され、

前記組合せ画像生成部は、前記座標系において前記内視鏡の先端が移動した軌跡を示す画像である前記先端マーカ配列画像の周囲に前記画像が撮影されたときの前記内視鏡の先端の前記座標系における前記位置情報に基づいて前記画像を配置した組合せ画像を生成することを特徴とする医用画像表示装置。」

なお、本願発明２ないし８は、本願発明１を減縮した発明である。

第４　引用文献、引用発明等

１　引用文献１について

（１）原査定の拒絶の理由に引用された、本願の出願前に電気通信回線を通じて公衆に利用可能となった引用文献１には、以下の記載がある（下線は当審において付加した。引用文献の記載において以下同様。）。

（引１－ア）「技術分野

[0001]　本発明は被検体内を撮像手段で撮像する内視鏡システムに関する。

背景技術

[0002]　近年、体腔内等に挿入可能な挿入部を有する内視鏡は医療分野などにおいて広く用いられるようになっている。

一方、体腔内における気管支のように複雑に分岐した管腔臓器内に挿入して管腔臓器の末端側の目標部位（の患部組織）を検査、又は処置具による生検や処置を行うような場合においては、挿入した際に得られる内視鏡画像のみでは、目標部位付近まで挿入部先端を導入することが困難な場合がある。

このため、目標部位付近まで内視鏡の挿入部先端を導入する作業を支援するための表示等を行うシステム又は装置が提案されている。

例えば、第１の従来例としての日本国特開２００２－２０００３０号公報においては、末端の気管支を造影して３次元画像を取得することが困難となる状況であったため、気管支の３次元画像データの座標系と、挿入部先端の位置との位置合わせした後、挿入部先端の位置を順次記憶し、挿入部先端の位置の軌跡を基に、気管支の３次元画像データ上に軌跡画像を合成するマップ画像合成手段を備えた装置が開示されている。

[0003]　また、第２の従来例としての日本国特開２００４－８９４８３号公報においては、目標とする患部位置に至る気管支の経路の径が予め分からないため、最適な径の気管支内視鏡を選択するにあたり、気管支の３次元画像において挿入ルートを設定し、設定した挿入ルートの所定の位置における気管支の内径を算出し、算出した気管支の内径と気管支内視鏡の挿入径から挿入限界位置を算出する装置が開示されている。

また、第３の従来例としての日本国特開２００９－５６２３８号公報においては、内視鏡により得られる観察画像としての内視鏡画像と、気管支の３次元領域の画像データに基づいて生成される仮想内視鏡画像との画像マッチングの精度を向上するために、仮想内視鏡画像や仮想内視鏡模式図画像等を内視鏡画像に重畳して表示する画像合成手段と、画像の向きを一致させる画像補正手段とが開示されている。

[0004]　しかしながら、上述した第１の従来例から第３の従来例に開示された内容では、内視鏡の撮像手段により取得された内視鏡画像と、気管支の３次元画像データに基づいて生成される仮想内視鏡画像との画像比較により、内視鏡挿入部の先端の位置推定を行うことが困難であった。

より具体的に説明すると、内視鏡挿入部の先端の３次元位置は、仮想内視鏡画像を生成する際に用いられるＣＴ座標系と位置合わせした後、ＣＴ座標系又はＣＴ座標系に対応づけた座標系により管理される。しかし、内視鏡挿入部を気管支等の管腔臓器内に挿入する操作を行っている最中において、外乱等によって内視鏡挿入部の先端の３次元位置がＣＴ座標系による３次元位置からずれてしまう場合がしばしば発生する。このような場合には、内視鏡挿入部の先端を、気管支におけるカリーナ等の既知の基準位置に設定して再度の位置合わせ（再位置合わせ）を行うことが必要になる。

[0005]　このように位置合わせを行う場合には、内視鏡挿入部の先端をカリーナ等の基準位置に戻すことが必要となってしまうため、カリーナよりも深部側に挿入した操作が無駄になってしまう。このため、内視鏡挿入部の先端を挿入した位置かその位置付近において位置合わせを行うための候補情報を提示すると、挿入の操作の無駄が少なく、円滑な挿入の操作を続行し易くなる。

このためには、挿入の操作の最中等において、前もって再度の位置合わせの提示を行うのに適した候補情報を取得しておき、提示の指示がされた際には少なくとも指示がされた位置に到達するまでに取得した位置の候補情報としての候補位置情報と、当該候補位置情報に対応する仮想内視鏡画像とを気管支の３次元又は２次元断層画像上に候補情報として提示することが望まれる。

しかしながら、上記従来例は、このような提示の内容を開示していない。

本発明は上述した点に鑑みてなされたもので、内視鏡画像と仮想内視鏡画像とをそれぞれ生成した両位置のずれが発生したような場合においての再度の位置合わせに適した候補情報を提示することができる内視鏡システムを提供することを目的とする。」

（引１－イ）「[0008]　以下、図面を参照して本発明の実施形態を説明する。

（第１の実施形態）

図１に示すように本発明の第１の実施形態の内視鏡システム１は、検査対象となる被検体としての患者における所定の管腔臓器としての気管支２（図２Ａ）内に挿入される内視鏡３を備えた内視鏡装置４と、この内視鏡装置４と共に使用され、内視鏡３の挿入支援を行うための挿入支援装置５と、から主に構成される。

内視鏡装置４は、内視鏡３と、この内視鏡３に照明光を供給する光源装置６と、内視鏡３に搭載された撮像手段を構成する撮像素子７に対する信号処理を行う信号処理装置としてのカメラコントロールユニット（ＣＣＵと略記）８と、ＣＣＵ８により生成された内視鏡画像を表示するモニタ９と、を有する。

[0009]　内視鏡３は、可撓性を有する細長の挿入部（又は内視鏡挿入部）１１と、この挿入部１１の後端に設けられた操作部１２とを有し、挿入部１１の先端部１３には照明窓と観察窓とが設けられる。挿入部１１，操作部１２内には照明光を伝達するライトガイド１４が挿通され、このライトガイド１４の入射端は光源装置６に接続され、光源装置６内の図示しない光源ランプ又はＬＥＤにより発生した照明光が入射端に入射される。このライトガイド１４により伝達された照明光は、照明窓に取り付けられた出射端（先端面）から前方に出射される。

また、観察窓には、被写体を結像する対物光学系を形成する対物レンズ１５が取り付けられ、その結像位置にＣＣＤ等の撮像素子７が配置され、対物レンズ１５と撮像素子７とにより、挿入部１１が挿入される所定の管腔臓器としての気管支２内を撮像する撮像手段（又は撮像部）としての撮像装置１６が形成される。

[0010]　撮像素子７は、挿入部１１，操作部１２内を挿通された信号線を介してＣＣＵ８に接続される。ＣＣＵ８は、その内部の図示しない画像信号生成回路により撮像素子７の撮像面に結像された光学像に対応する撮像画像の画像信号を生成し、この画像信号をモニタ９に出力する。モニタ９は、画像信号の画像（動画像）を、内視鏡画像（撮像画像とも言う）として表示する。

なお、内視鏡３の挿入部１１には、先端部１３の後端に湾曲自在の湾曲部１９が設けてあり、術者は操作部１２に設けた湾曲操作ノブ２０を回転する操作を行うことにより、湾曲部１９を上下、左右の任意の方向に湾曲することができる。

上記挿入支援装置５は、内視鏡３による検査が行われる患者に対して、公知のＣＴ（Computed Tomography）で生成された患者の３次元画像情報としてのＣＴデータを、ＤＶＤ、ブルーレイディスク、フラッシュメモリ等の可搬型の記憶媒体を介して取り込むＣＴデータ取込部２１と、このＣＴデータ取込部２１によって取り込まれたＣＴデータを記憶するＣＴ画像データ記憶部２２とを有する。

[0011]　なお、ＣＴ画像データ記憶部２２は、ＣＴで生成された（被検体としての患者の３次元画像情報としての）ＣＴデータを通信回線、インタネット等を経由して記憶しても良い。このＣＴ画像データ記憶部２２は、ハードディスク装置や、フラッシュメモリ、ＤＶＤ等により構成することができる。

また、画像記憶手段を構成するＣＴ画像データ記憶部２２は、ＣＴデータより画像データを分離したＣＴ画像データと、ＣＴデータより位置情報を分離した該ＣＴ画像データに対応する第１の座標系を用いた３次元の位置データとを対応付けた対応付け画像情報として記憶する対応付け画像情報記憶部２２ａを有する。

また、挿入支援装置５は、ＣＴ画像データ記憶部２２のＣＴ画像データから所定の管腔臓器としての気管支２の３次元画像データを抽出する管腔臓器抽出手段としての管腔臓器抽出回路、中央演算処理装置（ＣＰＵと略記）等からなる気管支抽出部２３を有する。

[0012]　この気管支抽出部２３は、抽出した気管支２の３次元データ（より具体的には３次元のボリュームデータ）から、気管支２の中空形状を表す３次元形状の情報（形状データ）と、３次元形状の画像情報（画像データ）を生成する。つまり、気管支抽出部２３は、抽出した気管支２の３次元データから中空の３次元形状の気管支形状の画像としての気管支形状画像を生成する気管支形状画像生成手段としての気管支形状画像生成部２３ａを有する。

また、この気管支抽出部２３は、気管支２の３次元データを抽出する際、３次元データに対応する第１の座標系（又はＣＴ座標系）での３次元の位置データと対応付けて抽出する。そして、この気管支抽出部２３は、気管支２の３次元形状のデータ（つまり気管支形状データ）と３次元の位置データとを対応付けした対応付け情報を記憶するメモリなどからなる対応付け情報記憶部２３ｂを有する。

[0013]　また、挿入支援装置５は、内視鏡３における挿入部１１の先端部１３に設けた撮像装置１６の撮像により生成される内視鏡画像に対応する仮想的な内視鏡画像としての仮想内視鏡画像（ＶＢＳ画像と言う）を生成する仮想内視鏡画像生成手段としてのＶＢＳ画像生成部２４を有する。

ＶＢＳ画像生成部２４には、内視鏡３の撮像装置１６に関する結像系の特性情報（対物レンズ１５の焦点距離、撮像素子７の画素数、画素サイズ等）が、例えば入力装置３１から入力される。

ＶＢＳ画像生成部２４は、実際に気管支２内に挿入された内視鏡３の撮像装置１６の位置（挿入部１１の先端の位置とも言える）の情報と、撮像装置１６による気管支２内の被写体を結像する特性情報と、前記気管支形状データに基づいて、前記位置を視点位置として気管支２内を内視鏡的に撮像した内視鏡画像を仮想的に描画するＶＢＳ画像を生成する画像生成回路、ＣＰＵ等により構成される。

[0014]　また、挿入支援装置５は、ＣＣＵ８から入力される内視鏡画像と、ＶＢＳ画像生成部２４のＶＢＳ画像との位置合わせを画像マッチングで行うＣＰＵ、画像処理回路等により構成される画像処理部２５と、画像処理部２５等の制御を行う制御手段としてのＣＰＵ等により構成される制御部２６と、制御部２６の制御下で挿入支援するための提示用候補情報等を記憶する記憶手段としてのメモリ等により構成される記憶部２７とを有する。

また、挿入支援装置５は、ＣＴ画像データ記憶部２２に記憶されたＣＴ画像データに基づき多断面再構築画像としてのＣＴ断層画像（ＭＰＲ画像という）を生成するＭＰＲ画像生成部２８と、ＭＰＲ画像生成部２８が生成したＭＰＲ画像を有する挿入経路の設定画面としての経路設定画面を生成し、内視鏡３の気管支２内の目標部位側へ挿入する際の経路を設定するマウス等のポインティングデバイス等の経路設定部２９とを有する。

[0015]　そして、例えばＣＴ画像データから図２Ａ又は図１０Ａ等に示すように目標部位３６を指定した場合、経路設定部２９はＣＴ画像データと気管支形状画像２ａとから気管支２における（挿入部１１の）挿入開始位置から目標部位３６近傍となる目標位置までの経路データを生成する経路データ生成回路等の経路データ生成部２９ａの機能を有する。例えば、図１０Ａ等においては、Ｒにより目標部位３６近傍となる目標位置までの経路を示している。

また、内視鏡システム１は、経路設定部２９に対して設定情報を入力するキーボードやポインティングデバイス等からなる入力装置３１を有する。また、術者は、この入力装置３１から画像処理部２５に対して、画像処理を行う際のパラメータや、データを入力したり、制御部２６に対して制御動作を選択、指示することができる。

[0016]　また、術者が経路設定を行った場合、経路設定部２９は設定された経路の情報をＶＢＳ画像生成部２４、ＭＰＲ画像生成部２８、制御部２６に送る。ＶＢＳ画像生成部２４及びＭＰＲ画像生成部２８は、それぞれ経路に沿ったＶＢＳ画像、ＭＰＲ画像を生成し、制御部２６は経路に沿って各部の動作の制御を行う。

上記画像処理部２５には、ＣＣＵ８により生成された内視鏡画像と、ＶＢＳ画像生成部２４により生成されたＶＢＳ画像とが入力される。また、気管支形状画像生成部２３ａにより生成された気管支形状画像も、画像処理部２５に入力される。

本実施形態においては、撮像装置１６が配置された挿入部１１の先端部１３に、挿入部１１の先端の位置を検出するセンサを搭載していないため、画像処理部２５による位置合わせ処理部２５ａにおける画像マッチングによって挿入部１１の先端の３次元位置を推定（又は算出）する。

[0017]　あらかじめ、気管支２の入口やカリーナＫ（図２Ａ参照）等、気管支形状画像２ａからＣＴ座標系により特定できる３次元位置（既知となる位置）又はその近傍位置を動画マッチングの開始位置として設定しておくと、その位置情報を基にＶＢＳ画像生成部はＶＢＳ画像を生成する。

そして、術者は内視鏡画像がＶＢＳ画像と同じように見えるように挿入部１１の先端を挿入する。このような位置合わせを行うことにより、画像処理部２５の位置合わせ処理部２５ａは、内視鏡画像とＶＢＳ画像とが設定された条件（所定の精度を確保できる誤差以内）で一致するように画像マッチングを開始する。このような処理を行うことにより、位置合わせ処理部２５ａは、挿入部１１の先端の位置を推定により検出又は算出する位置推定部２５ｂの機能を有する。

後述する図５に示す変形例のように先端部１３に位置検出の位置センサ４１を設け、該位置センサ４１を用いて挿入部１１の先端の３次元位置を検出（推定）する位置推定部４２ｂを構成しても良い。なお、本明細書においては、挿入部１１の先端は、内視鏡３の先端と同じ意味で用いる。

[0018]　また、画像処理部２５は、制御部２６における表示を制御する表示制御部２６ａ等の制御の下で、モニタ３２に表示する画像を生成する。

表示制御部２６ａの制御下で、画像処理部２５は、通常は、気管支形状画像生成部２３ａにより生成された気管支形状画像２ａの画像信号（映像信号）をモニタ３２に出力し、モニタ３２には図２Ａに示すように気管支形状画像２ａが例えば（主要な）管腔の中心を通る方向に沿った断面で切り出した２次元断層画像として表示される。なお、２次元断層画像で表示する場合に限定されるものでなく、３次元画像で表示しても良い。３次元画像で表示する場合には、例えば平行投影法による投影図や、管腔内部が分かるように透視図で表示しても良い。

また、図２Ａに示すように、モニタ３２において表示される気管支形状画像２ａには、気管支２の管腔の中心を通る芯線３５も表示するようにしている。なお、芯線３５は、例えば気管支形状画像生成部２３ａが生成するが、画像処理部２５において芯線３５を生成しても良い。

[0019]　術者等のユーザは、挿入部１１をその先端から気管支２内に挿入する場合、芯線３５が表示されるため、その表示を参考にすることによって、挿入部１１の挿入の操作が行い易くなる。また、芯線３５に沿って挿入する操作を行うことにより、画像マッチングによる挿入部１１の先端の位置の推定を短時間に行うことができる。

画像処理部２５は、気管支２の深部側（末端側）に挿入する操作において、内視鏡画像とＶＢＳ画像との両画像のマッチング（画像マッチング）を利用して、ＣＴ座標系のもとで挿入部１１の先端の移動した位置又は移動距離を推定する処理を行う。

つまり、ある位置において両画像がマッチングしている場合、挿入部１１の先端を芯線３５に沿って（挿入のために）移動する操作に伴って、撮像装置１６が移動するため、内視鏡画像が変化する。

[0020]　この場合、位置合わせ処理部２５ａは、芯線３５に沿った経路上で移動した場合の（ＶＢＳ画像生成部２４から出力される）ＶＢＳ画像を用いて前記内視鏡画像と最も良くマッチングするＶＢＳ画像を画像処理により選出し、選出したＶＢＳ画像に対応する３次元位置を挿入部１１の先端の位置として算出（推定）する。従って、移動した移動距離も２つの位置の差分量から算出（推定）することができる。

なお、挿入部１１の先端は、芯線３５上から外れた位置において移動される場合もあるため、芯線３５から適宜の距離だけ偏心した位置においてのＶＢＳ画像をＶＢＳ画像生成部２４が生成し、生成したＶＢＳ画像を位置合わせ処理部２５ａに出力するようにしても良い。このようにすると、画像マッチングによる位置推定の範囲を拡大できる。上記制御部２６は、位置合わせ処理部２５ａにより算出した挿入部１１の先端の位置により経路データ生成部２９ａによって、（内視鏡３の挿入部１１の挿入前に）生成された経路データを補正するようにしても良い。

[0021]　また、制御部２６は、画像処理部２５により推定された挿入部１１の先端が所定の条件を満たすか否かの判定を行う比較回路等により構成される条件判定部２６ｃの機能を有し、所定の条件を満たす判定結果の場合に、該当する挿入部１１の先端の位置を記憶部２７に記憶する。この場合、挿入部１１の先端の位置と共に、該先端の位置に対応するＶＢＳ画像を記憶部２７に、提示が必要な場合に提示する（提示用の）候補情報として記憶する。

換言すると、記憶部２７は、所定の条件を満たす判定結果の場合に、その判定結果が得られた場合に推定（算出）された挿入部１１の先端の位置を、後で提示する場合の候補位置情報として記憶し、またこの候補位置情報と、該候補位置情報に対応するＶＢＳ画像とを提示用の候補情報として記憶する記憶手段としての候補情報記憶部２７ａの機能を有する。この場合には、提示用の候補情報は、候補位置の情報（候補位置情報）と該候補位置の情報に対応するＶＢＳ画像とからなるが、候補位置の情報に対応する（換言すると候補位置において生成される）ＶＢＳ画像も候補ＶＢＳ画像としても良い。

[0022]　なお、候補情報記憶部２７ａに記憶する（提示用の）候補情報として、前記候補位置の情報に対応するＶＢＳ画像と共に、該候補位置の情報に対応する（換言すると候補位置において生成される）内視鏡画像も記憶するようにしても良い。この場合における内視鏡画像も、上記候補ＶＢＳ画像の場合と同様に候補内視鏡画像と呼ぶようにしても良い。

また、画像処理部２５は、表示制御部２６ａの候補情報提示制御部２６ｂにより候補情報提示の制御を受けて、モニタ３２に候補情報として表示するための候補情報を生成する候補情報生成部２５ｃの機能を有する。また、画像処理部２５は、内視鏡画像とＶＢＳ画像との画像マッチングを行う際に、内視鏡画像やＶＢＳ画像を一時的に記憶したり、画像処理のワークエリアとして用いる画像メモリ２５ｄを有する。なお、画像処理部２５の外部に画像メモリ２５ｄを設けるようにしても良い。

[0023]　上記条件判定部２６ｃは、所定の条件として、気管支２における分岐に関する特徴的な領域としての特徴領域内に挿入部１１の先端が位置しているか否かの判定を行う特徴領域判定部２６ｄの機能を有する。そして、後述するように特徴領域判定部２６ｄにより挿入部１１の先端が特徴領域内に位置している（又は存在している）判定結果の場合に、候補情報記憶部２７ａに候補情報が記憶される。

本実施形態においては、上記所定の条件として、２つの位置（又は点）間の距離に対して一定値ｄｔｈが設定されている。そして、挿入部１１の先端の位置と、図２Ｂ、図２Ｃに示すようにカリーナＫのように分岐しているスパーＳｐｉの位置や、芯線３５が分岐している分岐点Ｂｉとの位置間の距離がｄｔｈ１，ｄｔｈ２等の一定値ｄｔｈ以内になった場合に、上記所定の条件を満たす特徴領域内に挿入部１１の先端が位置すると判定して、候補情報を記憶部２７に記憶するように設定される。

[0024]　なお、上記特徴領域の設定や一定値ｄｔｈの値は、術者が例えば入力装置３１から指定することができる。このように本実施形態においては、挿入部１１を気管支２内に挿入する操作の過程において、現在の挿入部１１の先端の位置以前の候補情報を記憶部２７に記憶しておくことにより、画像マッチングによる最初の位置合わせ後から挿入部１１の移動操作により挿入部１１の先端の（画像マッチングを利用した）位置推定の精度が低下して、再度の位置合わせ（つまり再位置合わせ）を行うことが必要になった場合等においては、その再位置合わせのための候補情報を提示することができるようにしている。

また、再位置合わせを行う指示を術者が入力装置３１を構成するキーボード、マウス等から画像処理部２５又は制御部２６に指示入力しても良い。

[0025]　再位置合わせの指示等がされる（又はトリガ入力される）と、制御部２６の表示制御部２６ａは、現在の挿入部１１の先端位置付近における候補情報を記憶部２７の候補情報記憶部２７ａから読み出し、画像処理部２５を経てモニタ３２において候補情報を提示する制御を行う。

モニタ３２において候補情報を提示する制御を行う表示制御部２６ａは、候補情報提示の制御を行う候補情報提示制御部２６ｂの機能を有する。なお、表示制御部２６ａが候補情報記憶部２７ａから（提示用の）候補情報を読み出し、画像処理部２５を経ることなくモニタ３２において候補情報として提示する制御を行うようにしても良い。モニタ３２において候補情報を提示する場合、例えば２次元断層画像として図２Ｄに示す気管支形状画像２ａ上に、画像比較を行う際の候補となる候補位置の情報及び該候補位置の情報に対応するＶＢＳ画像を表示する。

[0026]　上述したように、画像処理部２５の位置合わせ処理部２５ａは、挿入部１１の先端が移動された場合、画像マッチングを利用して挿入部１１の先端を推定（算出）するが、設定された精度以内で画像マッチングすることができなくなる画像マッチングエラーが発生する場合がある。

この場合には、画像処理部２５の位置合わせ処理部２５ａは、画像マッチングエラーの信号を発生し、モニタ３２において画像マッチングエラーが発生したことを表示する。また、位置合わせ処理部２５ａは、画像マッチングエラーの信号を制御部２６に送り、制御部２６の候補情報提示制御部２６ｂは、モニタ３２において候補情報を提示する制御を行う。

このため、上記モニタ３２は、術者に対して候補情報を提示する候補情報提示手段を形成する。なお、候補情報提示手段は、モニタ３２と共に、（提示用の）候補情報を記憶する候補情報記憶部２７ａや候補情報の画像信号を出力する画像処理部２５や候補情報提示制御部２６ｂを含めるように定義しても良い。

術者は、候補情報を用いて再度の位置合わせ処理を行う。再度の位置合わせ処理を行うことにより、術者はこの再度の位置合わせ処理を行った位置付近から挿入部１１の挿入操作を続行することができるようになる。

また、術者が画像マッチングの精度が悪化したと判断した場合は、再位置合わせの指示をして上記の処理をさせてもよい。なお、図１における画像処理部２５の位置合わせ処理部２５ａ、候補情報生成部２５ｃ、気管支抽出部２３、ＶＢＳ画像生成部２４、制御部２６をＣＰＵを用いて構成しても良いし、ＦＰＧＡ（Field Programmable Gate Array）のようなハードウェア化された装置、専用の電子回路素子を用いて構成しても良い。

[0027]　このような構成の内視鏡システム１は、予め取得した被検体における３次元画像情報を記憶する画像記憶手段としてのＣＴ画像データ記憶部２２と、前記３次元画像情報に対して所定の視点位置から内視鏡的に描画した仮想内視鏡画像を生成する仮想内視鏡画像生成手段としてのＶＢＳ画像生成部２４と、内視鏡３内に設けられ、前記所定の管腔臓器内を撮像する撮像手段としての撮像装置１６と、前記被検体の所定の管腔臓器内における内視鏡挿入部１１の先端の位置を検出する位置検出手段としての位置推定部２５ｂと、前記位置検出手段による前記内視鏡挿入部１１の先端の位置情報に基づいて前記３次元画像情報を所定方向に切り出した２次元断層画像上に、前記仮想内視鏡画像と前記撮像手段の撮像により生成される内視鏡画像との画像比較を行う際の候補となる候補位置情報及び当該候補位置情報に対応する前記仮想内視鏡画像を候補情報として提示する候補情報提示手段としてのモニタ３２と、を備えることを特徴とする。」

（引１－ウ）「[0062]・・・

次に上述した実施形態においてマッチングエラーや位置合わせが失敗した場合、又はユーザが位置合わせを行うために候補情報の提示の指示がされたような場合における候補情報の提示例を説明する。図２Ｄにおいては、候補情報の１つの提示例を示したが、以下のように提示するようにしても良い。

[0063]　図１０Ａは、上述した実施形態において所定の条件を満たす場合において候補情報として記憶された候補位置をＰｃ１、Ｐｃ２，Ｐｃ３で示し、また対応するＶＢＳ画像をＶ１，Ｖ２，Ｖ３で示している。そして、例えば術者が候補情報の提示の指示を行った場合、気管支形状画像２ａ上に上記候補位置Ｐｃ１、Ｐｃ２，Ｐｃ３を重畳表示し、また、対応するＶＢＳ画像Ｖ１，Ｖ２，Ｖ３も上記候補位置Ｐｃ１、Ｐｃ２，Ｐｃ３に対応付けて（例えば候補位置Ｐｃｉ（ｉ＝１，２，３）とＶＢＳ画像Ｖｉとを線で結ぶ等して）表示する。なお、図２Ｄにおいて示したように候補位置Ｐｃｉに対応する内視鏡画像もＶＢＳ画像Ｖｉと比較し易い位置に同時に表示するようにしても良い。

また、図１０Ａに示すように目標部位３６を気管支形状画像２ａ画像上に重畳表示すると共に、気管支形状画像２ａ画像上に内視鏡３の挿入部１１を挿入する経路Ｒを重畳表示する。また、図示していない内視鏡３の先端部１３の軌跡を表示してもよい。

[0064]　このように候補情報を提示することによりユーザは再度の位置合わせを短時間に効率良く行い易くなり、目標部位３６への挿入を円滑に行い易くなる。なお、内視鏡３の挿入部１１の先端が（経路データとしての）経路Ｒから（例えば管腔径程度などの）所定距離遠ざかったと判定した場合にも、例えば図１０Ａに示すような候補情報を提示するようにしても良い。

・・・

[0065]・・・

図１０Ｄは、例えば図１０Ａの場合においてさらに内視鏡３の挿入部１１の先端の位置Ｐｃｉで候補情報を記憶する場合、撮像装置１６の（対物レンズ１５に基づく）視線方向Ｃｉも記憶する。そして、図１０Ｄに示すように候補情報の提示の際に図１０Ａで説明した候補情報の提示の際に、視線方向Ｃｉも表示（提示）する。その他は、図１０Ａにおいて説明した内容と同様である。視線方向Ｃｉの提示により位置合わせを行い易くなる。」

（引１－エ）図１

「

」

（引１－オ）図２Ｄ

「

」

（引１－カ）図１０Ｄ

「

」

（２）引用文献１に記載された発明

ア　上記（引１－エ）の図１から、内視鏡システム１は、内視鏡装置４、挿入支援装置５に加えて、入力装置３１及びモニタ３２を備えていることが見て取れる。

イ　上記（引１－ウ）の[0065]の記載及び上記（引１－カ）の図１０Ｄから、候補位置Ｐｃｉ及び視線方向Ｃｉの表示は、候補位置Ｐｃｉを表す円と当該円の中心から延びる視線方向Ｃｉを表す矢印との合成図形によりなされることが見て取れる。

ウ　上記（引１－ウ）の「図２Ｄにおいては、候補情報の１つの提示例を示したが、以下のように提示するようにしても良い。

[0063]　図１０Ａは、上述した実施形態において所定の条件を満たす場合において候補情報として記憶された候補位置をＰｃ１、Ｐｃ２，Ｐｃ３で示し、また対応するＶＢＳ画像をＶ１，Ｖ２，Ｖ３で示している。・・・なお、図２Ｄにおいて示したように候補位置Ｐｃｉに対応する内視鏡画像もＶＢＳ画像Ｖｉと比較し易い位置に同時に表示するようにしても良い。」との記載から、図１０Ａに示される候補位置Ｐｃ１、Ｐｃ２及びＰｃ３並びにそれらに対応するＶＢＳ画像Ｖ１、Ｖ２及びＶ３を表示する実施形態の変形例として、候補位置Ｐｃ１、Ｐｃ２及びＰｃ３並びにそれらに対応するＶＢＳ画像Ｖ１、Ｖ２及びＶ３と同時にそれらに対応する内視鏡画像１、２及び３も表示する実施形態が読み取れる。

さらに、（引１－ウ）の「[0065]・・・図１０Ｄに示すように候補情報の提示の際に図１０Ａで説明した候補情報の提示の際に、視線方向Ｃｉも表示（提示）する。その他は、図１０Ａにおいて説明した内容と同様である。」との記載から、図１０Ｄに示される候補情報の提示の際に視線方向Ｃｉも表示する実施形態の変形例として、図１０Ａに示される実施形態の変形例と同様に内視鏡画像１、２及び３も表示する実施形態が読み取れる。

エ　上記アないしウを踏まえると、上記（引１－ア）ないし（引１－カ）の記載から、引用文献１には、

「　患者における気管支２内に挿入される内視鏡３を備えた内視鏡装置４、この内視鏡装置４と共に使用され、内視鏡３の挿入支援を行うための挿入支援装置５、入力装置３１及びモニタ３２から構成される内視鏡システム１であって、

内視鏡３は、可撓性を有する細長の挿入部（又は内視鏡挿入部）１１を有し、挿入部１１の先端部１３には観察窓が設けられ、観察窓には対物レンズ１５が取り付けられ、その結像位置に撮像素子７が配置され、対物レンズ１５と撮像素子７とにより撮像装置１６が形成され、

挿入支援装置５は、

（ア）内視鏡３による検査が行われる患者に対して、公知のＣＴで生成された患者の３次元画像情報としてのＣＴデータを可搬型の記憶媒体を介して取り込むＣＴデータ取込部２１と、このＣＴデータ取込部２１によって取り込まれたＣＴデータを記憶するＣＴ画像データ記憶部２２とを有し、ＣＴ画像データ記憶部２２は、ＣＴデータより画像データを分離したＣＴ画像データと、ＣＴデータより位置情報を分離した該ＣＴ画像データに対応する第１の座標系を用いた３次元の位置データとを対応付けた対応付け画像情報として記憶する対応付け画像情報記憶部２２ａを有し、

続きを表示（全22行）

（イ）ＣＴ画像データ記憶部２２のＣＴ画像データから気管支２の３次元画像データを抽出する気管支抽出部２３を有し、気管支抽出部２３は、抽出した気管支２の３次元データから中空の３次元形状の気管支形状の画像としての気管支形状画像を生成する気管支形状画像生成部２３ａを有し、気管支２の３次元データを抽出する際、３次元データに対応する第１の座標系での３次元の位置データと対応付けて抽出し、気管支２の３次元形状のデータと３次元の位置データとを対応付けした対応付け情報を記憶する対応付け情報記憶部２３ｂを有し、

（ウ）内視鏡３における挿入部１１の先端部１３に設けた撮像装置１６の撮像により生成される内視鏡画像に対応する仮想的な内視鏡画像としての仮想内視鏡画像（ＶＢＳ画像と言う）を生成するＶＢＳ画像生成部２４を有し、

（エ）内視鏡画像と、ＶＢＳ画像生成部２４のＶＢＳ画像との位置合わせを画像マッチングで行う画像処理部２５と、画像処理部２５等の制御を行う制御部２６と、制御部２６の制御下で挿入支援するための提示用候補情報等を記憶する記憶部２７とを有し、

あらかじめ、気管支２の入口やカリーナＫ等、気管支形状画像２ａからＣＴ座標系により特定できる３次元位置を動画マッチングの開始位置として設定しておくと、その位置情報を基にＶＢＳ画像生成部２４はＶＢＳ画像を生成し、

術者は内視鏡画像がＶＢＳ画像と同じように見えるように挿入部１１の先端を挿入し、

画像処理部２５の位置合わせ処理部２５ａは、内視鏡画像とＶＢＳ画像とが設定された条件で一致するように画像マッチングを開始し、

位置合わせ処理部２５ａは、挿入部１１の先端の位置を推定により検出又は算出する位置推定部２５ｂの機能を有し、芯線３５に沿った経路上で移動した場合の（ＶＢＳ画像生成部２４から出力される）ＶＢＳ画像を用いて前記内視鏡画像と最も良くマッチングするＶＢＳ画像を画像処理により選出し、選出したＶＢＳ画像に対応する３次元位置を挿入部１１の先端の位置として算出（推定）し、

制御部２６は、画像処理部２５により推定された挿入部１１の先端が所定の条件を満たすか否かの判定を行う比較回路等により構成される条件判定部２６ｃの機能を有し、所定の条件を満たす判定結果の場合に、該当する挿入部１１の先端の位置及び撮像装置１６の（対物レンズ１５に基づく）視線方向と共に該先端の位置に対応するＶＢＳ画像及び内視鏡画像（候補内視鏡画像と呼ぶ）を、提示が必要な場合に提示する（提示用の）候補情報として記憶部２７に記憶し、

記憶部２７は、候補位置情報と、該候補位置情報に対応するＶＢＳ画像及び候補内視鏡画像とを提示用の候補情報として記憶する候補情報記憶部２７ａの機能を有し、

条件判定部２６ｃは、所定の条件として、気管支２における分岐に関する特徴的な領域としての特徴領域内に挿入部１１の先端が位置しているか否かの判定を行う特徴領域判定部２６ｄの機能を有し、特徴領域判定部２６ｄにより挿入部１１の先端が特徴領域内に位置している判定結果の場合に、候補情報記憶部２７ａに候補情報が記憶され、

画像処理部２５は、モニタ３２に表示する画像を生成するものであって、

（ア）通常は、気管支形状画像生成部２３ａにより生成された気管支形状画像２ａの画像信号（映像信号）をモニタ３２に出力し、モニタ３２には気管支形状画像２ａが管腔の中心を通る方向に沿った断面で切り出した２次元断層画像として表示され、

（イ）表示制御部２６ａの候補情報提示制御部２６ｂにより候補情報提示の制御を受けて、モニタ３２に候補情報として表示するための候補情報を生成する候補情報生成部２５ｃの機能を有し、

（ウ）位置合わせ処理部２５ａは、挿入部１１の先端が移動された場合、画像マッチングを利用して挿入部１１の先端を推定（算出）するが、設定された精度以内で画像マッチングすることができなくなる画像マッチングエラーが発生する場合には、位置合わせ処理部２５ａは、画像マッチングエラーの信号を発生し、画像マッチングエラーの信号を制御部２６に送り、制御部２６の候補情報提示制御部２６ｂは、モニタ３２において候補情報を提示する制御を行い、

モニタ３２において候補情報を提示する制御を行う表示制御部２６ａは、候補情報提示の制御を行う候補情報提示制御部２６ｂの機能を有し、

再位置合わせの指示等がされると、制御部２６の表示制御部２６ａは、現在の挿入部１１の先端位置付近における候補情報を記憶部２７の候補情報記憶部２７ａから読み出し、画像処理部２５を経てモニタ３２において候補情報を提示する制御を行い、

モニタ３２において候補情報を提示する場合、画像比較を行う際の候補となる候補位置Ｐｃ１、Ｐｃ２、Ｐｃ３を、候補位置Ｐｃｉを表す円と当該円の中心から延びる視線方向Ｃｉを表す矢印との合成図形として気管支形状画像２ａ上に重畳表示し、また、対応するＶＢＳ画像Ｖ１、Ｖ２、Ｖ３も上記候補位置Ｐｃ１、Ｐｃ２、Ｐｃ３に対応付けて表示するとともに、対応する候補内視鏡画像１、２、３もＶＢＳ画像Ｖ１、Ｖ２、Ｖ３と比較し易い位置に同時に表示する、

内視鏡システム１。」

の発明（以下「引用発明１」という。）が記載されていると認められる。

２　引用文献２について

（１）原査定の拒絶の理由に引用された、本願の出願前に頒布された刊行物である引用文献２には、以下の記載がある。

（引２－ア）「【技術分野】

【０００１】

本発明は、データストリームの表示に関し、特に、生体内（インビボ）データを表示するシステムおよび方法に関する。」

（引２－イ）「【００１４】

ここで、図１を参照する。図１には、本発明の一実施形態に係る生体内センシングシステムの概略図が示されている。画像センシングシステムなどの生体内センシングシステムは一般的に生体内センシング装置４０を備えている。この生体内センシング装置４０は、画像を撮影するための撮像装置４６と、体腔を照明するための照明源４２と、生体内センシング装置４０に電力供給するための電源４５と、画像データおよび場合によっては他のデータを外部受信器１２に送信するための、アンテナ４７を有する送信器４１とを含む画像装置であり得る。撮像装置４６は、ＣＣＤ撮像装置、ＣＭＯＳ撮像装置、他の固体撮像装置、またはその他の適切な撮像装置である。本発明のいくつかの実施形態では、生体内装置４０は、撮像装置４６の他に、温度センサ、ｐＨセンサ、圧力センサ、血液センサなどの１つ以上のセンサ３０を備えてもよい。また、本発明のいくつかの実施形態では、生体内装置４０は、自律型装置、カプセル、または嚥下可能なカプセルであってもよい。本発明の別の実施形態では、生体内装置４０は自律型でなくともよく、例えば、内視鏡またはその他の生体内画像センシング装置であってもよい。」

（引２－ウ）「【００１９】

本発明の実施形態は、センシング装置が胃腸管や他の管などの体腔の内部にあるときに、および／または移動しているときに経時的に検出したパラメータを、典型的には簡潔にしたおよび／または要約したグラフィカル表示を生成するための装置、システム、および方法を含む。生体内装置が取得したデータストリームを見ること、例えば摂取可能な画像カプセルから送信された画像ストリームを見ることは、長時間を要する作業である。取得したデータを要約表示することは、例えば取得したデータの視覚的表現および／またはマップを提供し、また、そのデータストリームを精査している医療従事者の注意を関心領域に集中させるのに役立ち、また、見ているデータの起源と内容についての医療従事者の理解を深めることができる。

【００２０】

上記センシング装置から取得したデータの１つ以上のストリームを処理し、１つ以上の要約表示を作成する。この要約表示は、例えば、グラフィカルユーザインターフェース（解析ソフトウェアのグラフィカルユーザインターフェースなど）に表示される。

【００２１】

一実施形態によれば、データストリーム（画像のストリーム、一連の画像、一連のｐＨデータなど）は、場合によってはグラフィカルユーザインターフェースを介してモニタ１８上に、或いはデータストリームを取得するのと同時に受信器１２のＬＣＤディスプレイ上に表示されるカラーバーなどのバーを用いて表示される。表示には、生体内データストリームの一部（例えば画像フレーム）において取得した変化量などを表す、量や特性等の可変視覚的表現が含まれる。一例では、この特性は色である。また、表示は一般に、ディスプレイの他の部分に例えばストリーム表示されている画像データや他のデータを要約したものである。さらに、表示は、バー、ストライプ、ピクセル、他の要素といった、複数の画像項目或いはデータ項目を連続して組み立ててなり、例えば、各々が画像フレームに対応する複数のストリップを含むバーが挙げられる。表示の一部は、例えば、表示されたフレーム或いはデータ項目の全体的な配色、輝度、ｐＨレベル、温度、圧力、または他の量に係る要約を表している。その他の機構を使用して、データ要素の濃度、形状、長さ、他の特性といったデータをバー或いはディスプレイ内に、または他の機構内に表示してもよい。

【００２２】

図２を参照すれば、生体内で取得したデータを表示するためのディスプレイおよび／またはグラフィカルユーザインターフェース２００が示されている。ディスプレイ２００には、例えばカラーバーなどの、生体内データストリームの要約グラフィカル表示２２０が含まれる。一般に、要約グラフィカル表示２２０は、データストリームのストリーミング表示２１０と並べて表示される固定表示にすることができる。データストリームは、例えば、本発明のいくつかの実施形態では、画像ストリームである。本発明の別の実施形態では、要約グラフィカル表示２２０は別々に表示することができる。要約グラフィカル表示２２０には、一連の色、一連のカラー領域、或いは一連のパターン、画像項目、画像またはピクセル群（例えば、さらに大きなバーまたは矩形領域を形成するために配列した一連のカラー領域またはストライプ２２２）が含まれてもよい。一連のストライプ２２２における各色は、例えば、元のデータストリームの要素または要素群と、関連付けおよび／または対応付けがなされている。例えば、各カラーストライプ２２２は、表示されているデータストリーム２１０の１つの画像または１つの画像群に対応づけられてもよい。ストライプ以外の画像単位（例えば、ピクセル、ブロックなど）を使用してもよく、また、色以外の特性（例えば、パターン、サイズ、幅、輝度、動画など）が変化してもよい。１つの画像単位（例えば１本のストライプ２２２）は、元のデータストリームにおける１つ以上の単位（例えば画像フレーム）を示す。例えば、バー上の一連の色は、一般に、画像または画像群といったデータストリームが通常表示されるのと同じ順序で配列される。本発明の一実施形態では、グラフィカル表示２２０のストライプを指すことによって、そのストライプに対応するフレームに画像ストリームを進めることができる。

【００２３】

カラーバーは、例えばデータストリームの各要素（画像フレームなど）または要素の各サブグループに色を割り当て、表示される特性の変化を強調できるように一連の色を処理することによって生成されてもよい。本発明の一実施形態では、一連の色は、例えば付随ビデオのキューポイントを強調するために処理され、それにより、例えば関心部分を示すための補助ツールとして使用できる。本発明の一実施形態では、データストリーム表示２１０は、本明細書に記載の１つ以上のバーおよび／またはグラフィカル表示（２２０および２３０）と並べて表示されてもよい。データストリーム表示２１０は、例えばグラフィカル表示２２０に示されたデータ（取得した生体内画像ストリームなど）に係る表示、もしくはグラフィカル表示２２０に示されたデータと同時に或いは実質的に同時に取得および／またはサンプル抽出した他のデータに係る表示である。一例では、データストリーム表示２１０（例えばビデオ表示）のうち、実質的に対応するデータが表示されて、グラフィカル表示２２０とデータストリーム表示２１０との対応関係が示されると、マーカー、スライダー、カーソル、またはインジケータ２５０がグラフィカル表示２２０を横断して、またはそれに沿って動く。本発明の別の実施形態では、表示はバー以外の形状で、例えば、円、楕円、正方形などであってもよい。別の実施形態では、表示は、オーディオトラック、グラフ、他の適切なグラフィカル表示の形態であってもよい。

【００２４】

カーソルやアイコンなどのインジケータ２５０は、画像ストリーム表示２１０がディスプレイ２００上でストリーミング再生（streamed）されたりスクロールされると、時間バー２３０および／またはグラフィカル表示２２０に沿って移動する。一例では、例えば画像ストリームの早送り、巻き戻し、再生停止、或いは最初や最後の頭出しをユーザが実行できる制御ボタン２４０をディスプレイ上に備えてもよい。本発明の他の実施形態では、ユーザは、例えば、マウスや他の位置決め装置を用いてカーソル２５０の位置を動かして、関心領域へスキップするなどし、ストリーミング表示の開始位置を変更することで、データストリーム表示２１０を制御できる。本発明の別の実施形態では、ユーザおよび／または医療従事者が、サムネイルなどのしるしや目印を挿入して画像ストリームに沿った位置にしるしをつけ、後でその位置に簡単にアクセスできる。例えば、医療従事者はマウスやキーボードなどの位置決め装置を使用して、グラフィカル表示２２０上に、これらのマイルストーンをしるしてもよい。本発明の譲受人に譲渡され、２００２年１１月２１日に公開された、名称「動画の付注システムおよび方法（Ｓｙｓｔｅｍ　ａｎｄ　Ｍｅｔｈｏｄ　ｆｏｒ　Ａｎｎｏｔａｔｉｏｎ　ｏｎ　ａ　Ｍｏｖｉｎｇ　Ｉｍａｇｅ）」であって、参照により全体が本明細書に組み込まれる米国特許出願公開第２００２／０１７１６６９号に記載のいくつかの実施形態には、画像ストリームの一部に目印または注釈を入れる方法および装置が含まれている。このような方法を、本発明の実施形態と組み合わせて使用してもよい。また、他の適切な方法を用いて、データストリームに目印や注釈をつけてもよい。ユーザはサムネイルを「クリック」して、関心のあるデータの位置（例えば画像フレーム）まで送るか、グラフィカル表示２２０をクリックして関心のある画像フレームまで送ったり、巻き戻したりする。そして、例えば、所望の関心地点からデータストリームを流したり見たりすることを続ける、あるいは開始することができる。」

（引２－エ）「【００３７】

種々の適切な方法を利用して、データを原始データストリーム（例えば、画像ストリーム、一連の温度データ項目）から固定表示に要約することが可能である。ここで、図７を参照する。図７には、本発明の実施形態に係る、組織カラーバーなどの固定要約データ表示を生成する方法が記載されている。例示的な実施形態では、ブロック５１０において、一組のデータ項目（一組は１つの項目でもよい）または一連のデータ項目を抽出する。データ項目とは、例えば、画像ストリームのフレームである。例えば、画像ストリームの１０コマ毎に画像フレームを抽出および／または選択して、固定表示に画像ストリームを表す。別の実施形態では、全てのデータ項目またはフレームであってもよい。または、５コマ毎、２０コマ毎、または他の適切なフレーム数毎にしてもよい。本発明のさらに別の実施形態では、フレーム群を表す画像（例えば、２コマ以上のフレーム毎の平均）を使用する。一例では、ひとかたまりのフレーム（例えば、２コマ以上のフレーム）から１コマのフレームを定め、そのかたまりの代表とすることで基準を定義する。ブロック５２０では、色平均値や他の平均値（例えば輝度平均値）のベクトルおよび／またはストリームを計算する。本発明の一実施形態では、平均色は、各フレームの定義された領域で計算される。定義された領域とは、例えば画像フレーム領域より小さな領域である。例えば、選択した一連のフレームにおける各フレームの定義領域に係る、赤色平均値、青色平均値、緑色平均値を計算し、３色ベクトルおよび／またはストリームを形成する。一例では、定義領域は、例えば２５６×２５６ピクセルを含む画像フレームから取得した、例えば半径が１０２ピクセルの、中心に位置する円である。別の例では、１色または２色のみを使用してカラーバーを生成する。ブロック５３０では、例えば中間値フィルタなどのフィルタを色平均値のベクトル（例えば、赤、緑、青の３色ベクトル）に施す。例示的なフィルタは、例えば、次の数式によって定義される長さを有する。

【００３８】

１＋２（ａｌｐｈａ＊Ｎ／Ｎｐ）；ａｌｐｈａ＝２．２

式中、Ｎは結果として得られる組織カラーバー表示の元のピクセルサイズを、Ｎｐは結果として得られる組織カラーバー表示の所望のピクセルサイズを示す。しかしながら、他の数式または式を使用してもよい。

【００３９】

ブロック５４０において、色ベクトルを所望のサイズに縮小処理する（decimate）ことで、結果として得られる組織カラーバー表示のピクセルサイズを設定する。例えば、補間によって各色のベクトルを所望のサイズに縮小処理する。

【００４０】

組織カラーバーまたは他のデータ要約を生成する別の方法を実施してもよい。一実施形態では、一連のデータ項目（例えば１つ以上の個別の画像など）は、カラーバーなどの表示領域内に、それより小さなカラー領域またはカラーストリップといったデータポイントに変換される。各画像または画像の各組の輝度平均値を求め、その平均値に対応する幅、パターン、色、または輝度のストリップから成るバーまたは集合体を生成する。例えば、画像と他のデータとを収集する装置においては、各画像または画像の各組に対応する、ｐＨ、圧力、温度などの値を求め、その平均値に対応する幅、色、または輝度のストリップまたは他の画像単位から成るバー或いは集合体を生成してもよい。１つ以上の画像を、対応するカラーストライプに変換または処理してもよい。種々のデータ項目を、例えば平均化や平滑化などを用いて、個別のデータポイントに結合してもよい。一実施形態では、画像の輝度を標準化して、組織の色などのデータに係る標準化した色彩情報のみを表示し、例えば光源の寄与を排除することができる。画像データ以外の生体内で取得したデータに関する他のカラーバーまたは他の表示を生成してもよい。

【００４１】

要約または一連の要約データ（例えば、データのカラーバーや他の表現など）は、画像ストリームの精査に必要な考察時間を低減するのに役立つ。本発明の一実施形態では、医療従事者がポインタや、マウスなどの位置決め装置を使用して、カラーバーに沿った関心領域を指すと、グラフィカルユーザインターフェースが、データストリーム上の対応する位置にスキップする。その結果、ユーザおよび／または医療従事者は、画像ストリーム全体を精査する必要もなく、関心領域に注目することができる。また、医療従事者は、組織のカラーバーによって特定された種々の部分を見るために、速度を変更することができる。ある特定の関心領域（例えば、血液により示される病態）は、組織を介して直接識別できる。従って、医療従事者は、まず、組織のカラーバーを調べ、その後、精査したい画像のかたまりを決定することができる。患者をスクリーニングする場合、組織カラーバーなどの１つ以上のデータ表示の精査だけを行うことが可能である。別の例では、データストリームの要約グラフィカル表示を、例えば記録器１２内にリアルタイムで生成し、記録器１２に備えられたディスプレイ上にリアルタイムで表示することができる。」

（引２－オ）【図１】

「

」

（引２－カ）【図２】

「

」

（２）上記（引２－ア）ないし（引２－オ）の記載から、引用文献２には、

「　嚥下可能なカプセル又は内視鏡である生体内画像センシング装置が胃腸管や他の管などの体腔の内部にあり移動しているときに経時的に検出したパラメータを要約したグラフィカル表示を生成するための装置であって、

生体内で取得したデータを表示するためのディスプレイには、画像ストリームのストリーミング表示と並べて、画像ストリームの要約グラフィカル表示であるカラーバーが表示され、

カラーバーの各カラーストライプは、表示されている画像ストリームの１つの画像又は１つの画像群に対応づけられ、カラーバー上の一連の色は、画像又は画像群といった画像ストリームが通常表示されるのと同じ順序で配列され、

グラフィカル表示２２０のストライプを指すことによって、そのストライプに対応するフレームに画像ストリームを進めることができる、装置。」

の発明（以下「引用発明２」という。）が記載されていると認められる。

３　引用文献３について

原査定の拒絶の理由に引用された、本願の出願前に頒布された刊行物である引用文献３は、「観察支援システムおよび方法並びにプログラム」に関する文献であり、特に【要約】の記載から、

「３次元医用画像Ｖについての所見を表す所見情報Ｋｖとその所見情報Ｋｖを取得した位置を表す所見位置情報Ｐｖとを対応づけて読影レポートＲｖに記録し、読影レポートＲｖを画像情報データベース２４に登録する。内視鏡画像形成部２が、内視鏡画像Ｓをディスプレイ４に表示し、内視鏡位置取得部２１が、体腔内の内視鏡のリアルタイムの位置を表す内視鏡位置情報Ｐｓを取得し、検索部２５が、内視鏡位置情報Ｐｓから得られる変換位置Ｐｓ′に対応する位置を表す所見位置情報Ｐｖと対応づけられた所見情報Ｋｖを検索し、検索した所見情報Ｋｖにより表される所見Ｋｖをディスプレイ４に表示する、観察支援システム。」

の発明（以下「引用発明３」という。）が記載されていると認められる。

４　引用文献４について

原査定の拒絶の理由に引用された、本願の出願前に頒布された刊行物である引用文献４は、「可撓性電子内視鏡装置」に関する文献であり、特に【要約】の記載から、

「曲げられた角度の大きさに対応して光の伝達量が変化する曲がり検出部２２が形成された複数のフレキシブルな曲がり検出用光ファイバー２１の各曲がり検出部２２を挿入部可撓管１に分散配置して、複数の曲がり検出部２２から得られる検出値に基づいて挿入部可撓管１の先端４の位置を検出し、観察窓１１を通して得られる現在の内視鏡観察像Ａと共に、その時の挿入部可撓管１の先端位置に最も近い位置において得られた過去の一つ又は複数の内視鏡観察像Ｂ，Ｃ，Ｄを表示する、可撓性電子内視鏡装置。」

の発明（以下「引用発明４」という。）が記載されていると認められる。

５　引用文献５について

原査定の拒絶の理由に引用された、本願の出願前に頒布された刊行物である引用文献５は、「カプセル内視鏡の画像データを処理するためのカプセル内視鏡システム及び方法」に関する文献であり、特に[0218]の記載から、

「　消化器官に沿って移動することにより人体の消化器官内部を撮像して画像データを生成し、生成した画像データを人体を導体として連続的に送信するカプセル型内視鏡、

人体を介して画像データを検出するセンサから画像データを受信して画像データを保存する受信機、

及び、保存された画像データを受信機から受信し、受信した画像データを再生し、受信した画像データの一部をキャプチャし、キャプチャした画像データからの診断結果を属性としてキャプチャした画像データとともに保存し、属性情報を示す画像ツールを作成して、作成した画像ツールを画面に表示するワークステーション、

を含むカプセル内視鏡システム。」

の発明（以下「引用発明５」という。）が記載されていると認められる。

第５　対比・判断

１　本願発明１について

（１）本願発明１と引用発明１とを対比する。

ア　内視鏡情報取得部について

（ア）引用発明１の「ＣＴ画像データに対応する第１の座標系」は、本願発明１の「予め設定された座標系」に相当する。

（イ）引用発明１の「内視鏡３」の「挿入部１１の先端」は、本願発明１の「内視鏡の先端」に相当する。

（ウ）引用発明１の「候補情報として記憶」された「挿入部１１の先端の位置」及び「撮像装置１６の（対物レンズ１５に基づく）視線方向」は、それぞれ本願発明１の「位置情報」及び「角度情報」に相当する。

（エ）引用発明１の「候補情報として記憶」された「挿入部１１の先端の位置」は、「画像マッチング」により「選出したＶＢＳ画像に対応する３次元位置」であるから、「ＣＴ画像データに対応する第１の座標系」における位置であるといえる。

（オ）引用発明１の「特徴領域判定部２６ｄにより挿入部１１の先端が」「気管支２における分岐に関する特徴的な領域としての」「特徴領域内に位置している判定結果の場合」と、本願発明１の「所定時間ごと」とは、「所定条件ごと」で共通する。

（カ）上記（ア）ないし（オ）を踏まえると、引用発明１の「特徴領域判定部２６ｄにより挿入部１１の先端が」「気管支２における分岐に関する特徴的な領域としての」「特徴領域内に位置している判定結果の場合」の「挿入部１１の先端の位置及び撮像装置１６の（対物レンズ１５に基づく）視線方向と共に該先端の位置に対応するＶＢＳ画像及び内視鏡画像（候補内視鏡画像と呼ぶ）を、提示が必要な場合に提示する（提示用の）候補情報として」「記憶する」「記憶部２７の候補情報記憶部２７ａから」、「現在の挿入部１１の先端位置付近における候補情報を」「読み出」す「制御部２６の表示制御部２６ａ」と、本願発明１の「予め設定された座標系における所定時間ごとの内視鏡の先端の位置情報及び角度情報を取得する内視鏡情報取得部」とは、「予め設定された座標系における所定条件ごとの内視鏡の先端の位置情報及び角度情報を取得する内視鏡情報取得部」で共通する。

イ　配列画像生成部について

（ア）引用発明１の「候補位置Ｐｃｉを表す円と当該円の中心から延びる視線方向Ｃｉを表す矢印との合成図形」は、本願発明１の「前記内視鏡の先端の位置及び角度を表す先端マーカ」に相当する。

（イ）引用発明１において、「画像処理部２５は、モニタ３２に表示する画像を生成するもの」であるところ、「候補位置Ｐｃｉを表す円と当該円の中心から延びる視線方向Ｃｉを表す矢印との合成図形」は、「画像処理部２５」の「モニタ３２に候補情報として表示するための候補情報を生成する候補情報生成部２５ｃ」が生成するものと認められる。

（ウ）引用発明１の「候補情報」は「特徴領域判定部２６ｄにより挿入部１１の先端が」「気管支２における分岐に関する特徴的な領域としての」「特徴領域内に位置している判定結果の場合」に記憶されたものであるから、上記（ア）、（イ）及びア（オ）を踏まえると、引用発明１の「画像比較を行う際の候補となる候補位置Ｐｃ１、Ｐｃ２、Ｐｃ３を、候補位置Ｐｃｉを表す円と当該円の中心から延びる視線方向Ｃｉを表す矢印との合成図形として気管支形状画像２ａ上に重畳表示」「するための候補情報を生成する候補情報生成部２５ｃ」と、本願発明１の「前記所定時間ごとの前記内視鏡の先端の前記位置情報及び前記角度情報に基づいて、前記所定時間ごとの前記内視鏡の先端の位置及び角度を表す先端マーカを複数連ねて配列させた先端マーカ配列画像を生成する配列画像生成部」とは、「前記所定条件ごとの前記内視鏡の先端の前記位置情報及び前記角度情報に基づいて、前記所定条件ごとの前記内視鏡の先端の位置及び角度を表す先端マーカを複数連ねて配列させた先端マーカ配列画像を生成する配列画像生成部」で共通する。

ウ　表示制御部について

（ア）引用発明１の「モニタ３２」は、本願発明１の「表示部」に相当する。

（イ）上記（ア）及びイを踏まえると、引用発明１の「画像比較を行う際の候補となる候補位置Ｐｃ１、Ｐｃ２、Ｐｃ３を、候補位置Ｐｃｉを表す円と当該円の中心から延びる視線方向Ｃｉを表す矢印との合成図形として気管支形状画像２ａ上に重畳表示」する、「モニタ３２において候補情報を提示する制御を行」う「制御部２６の候補情報提示制御部２６ｂ」は、本願発明１の「前記先端マーカ配列画像を表示部に表示させる表示制御部」に相当する。

エ　画像取得部について

（ア）引用発明１の「記憶部２７の候補情報記憶部２７ａ」に「記憶」された「候補内視鏡画像」は、本願発明１の「前記内視鏡で撮影された画像」に相当する。

（イ）上記（ア）を踏まえると、引用発明１の「挿入部１１の先端の位置及び撮像装置１６の（対物レンズ１５に基づく）視線方向と共に該先端の位置に対応するＶＢＳ画像及び内視鏡画像（候補内視鏡画像と呼ぶ）を、提示が必要な場合に提示する（提示用の）候補情報として」「記憶する」「記憶部２７の候補情報記憶部２７ａから」、「現在の挿入部１１の先端位置付近における候補情報を」「読み出」す「制御部２６の表示制御部２６ａ」は、本願発明１の「前記内視鏡で撮影された画像を当該画像が撮影されたときの前記内視鏡の先端の前記座標系における前記位置情報とともに取得する画像取得部」に相当する。

オ　先端マーカの形状について

（ア）引用発明１の「合成図形」の「矢印」は「円の中心から延びる」ものであるから、引用発明１の「合成図形」の「矢印」は、「合成図形」の軸上にあるといえる。

（イ）引用発明１の「合成図形」の「矢印」は「撮像装置１６の（対物レンズ１５に基づく）視線方向」を表すものであるところ、「対物レンズ１５」は「挿入部１１の先端部１３に」「設けられ」た「観察窓に」「取り付けられ」ていることから、引用発明１の「合成図形」の「矢印」の方向は、「先端部１３」の方向と一致するものといえる。

（ウ）上記（ア）、（イ）及びイを踏まえると、引用発明１の「合成図形」は「候補位置Ｐｃｉを表す円と当該円の中心から延びる視線方向Ｃｉを表す矢印」であることと、本願発明１の「前記先端マーカの形状は、前記所定時間ごとの前記内視鏡の先端の前記角度情報に基づいて、前記先端マーカの軸が前記内視鏡の先端の方向に平行になるように生成され」ることと、「前記先端マーカの形状は、前記所定条件ごとの前記内視鏡の先端の前記角度情報に基づいて、前記先端マーカの軸が前記内視鏡の先端の方向に平行になるように生成され」ることで共通する。

カ　組合せ画像生成部について

（ア）引用発明１の「候補情報生成部２５ｃ」は、本願発明１の「組合せ画像生成部」に相当する。

（イ）引用発明１の「候補位置Ｐｃ１、Ｐｃ２、Ｐｃ３」は、「内視鏡３」の「挿入部１１の先端を挿入し」たとき「特徴領域判定部２６ｄにより挿入部１１の先端が」「気管支２における分岐に関する特徴的な領域としての」「特徴領域内に位置している判定結果の場合」に記憶されたものであるから、「内視鏡３」の「挿入部１１」が通過した位置である。

（ウ）上記（ア）、（イ）及びイを踏まえると、引用発明１の「候補情報生成部２５ｃ」は「画像比較を行う際の候補となる候補位置Ｐｃ１、Ｐｃ２、Ｐｃ３を、候補位置Ｐｃｉを表す円と当該円の中心から延びる視線方向Ｃｉを表す矢印との合成図形として気管支形状画像２ａ上に重畳表示、また、対応するＶＢＳ画像Ｖ１、Ｖ２、Ｖ３も上記候補位置Ｐｃ１、Ｐｃ２、Ｐｃ３に対応付けて表示するとともに、対応する候補内視鏡画像１、２、３もＶＢＳ画像Ｖ１、Ｖ２、Ｖ３と比較し易い位置に同時に表示する」「ための候補情報を生成する」と、本願発明１の「前記組合せ画像生成部は、前記座標系において前記内視鏡の先端が移動した軌跡を示す画像である前記先端マーカ配列画像の周囲に前記画像が撮影されたときの前記内視鏡の先端の前記座標系における前記位置情報に基づいて前記画像を配置した組合せ画像を生成する」とは、「前記組合せ画像生成部は、前記座標系において前記内視鏡の先端が移動した軌跡を示す画像である前記先端マーカ配列画像と前記画像が撮影されたときの前記内視鏡の先端の前記座標系における前記位置情報に基づいて前記画像を配置した組合せ画像を生成する」で共通する。

キ　医用画像表示装置について

（ア）引用発明１の「モニタ３２に」「提示する」「画像比較を行う際の候補となる候補位置Ｐｃ１、Ｐｃ２、Ｐｃ３を、候補位置Ｐｃｉを表す円と当該円の中心から延びる視線方向Ｃｉを表す矢印との合成図形として気管支形状画像２ａ上に重畳表示し、また、対応するＶＢＳ画像Ｖ１、Ｖ２、Ｖ３も上記候補位置Ｐｃ１、Ｐｃ２、Ｐｃ３に対応付けて表示するとともに、対応する候補内視鏡画像１、２、３もＶＢＳ画像Ｖ１、Ｖ２、Ｖ３と比較し易い位置に同時に表示する」「候補情報」は、「患者における気管支２内に挿入される内視鏡３」「の挿入支援を行うための」ものであるから、本願発明１の「医用画像」に含まれる。

（イ）上記（ア）を踏まえると、引用発明１の「モニタ３２において候補情報を提示する」「内視鏡システム１」は、本願発明１の「医用画像表示装置」に含まれる。

（２）そうすると、本願発明１と引用発明１とは、

「　予め設定された座標系における所定条件ごとの内視鏡の先端の位置情報及び角度情報を取得する内視鏡情報取得部と、

前記所定条件ごとの前記内視鏡の先端の前記位置情報及び前記角度情報に基づいて、前記所定条件ごとの前記内視鏡の先端の位置及び角度を表す先端マーカを複数連ねて配列させた先端マーカ配列画像を生成する配列画像生成部と、

前記先端マーカ配列画像を表示部に表示させる表示制御部と、

前記内視鏡で撮影された画像を当該画像が撮影されたときの前記内視鏡の先端の前記座標系における前記位置情報とともに取得する画像取得部と、

組合せ画像生成部と、

を有し、

前記先端マーカの形状は、前記所定時間ごとの前記内視鏡の先端の前記角度情報に基づいて、前記先端マーカの軸が前記内視鏡の先端の方向に平行になるように生成され、

前記組合せ画像生成部は、前記座標系において前記内視鏡の先端が移動した軌跡を示す画像である前記先端マーカ配列画像と前記画像が撮影されたときの前記内視鏡の先端の前記座標系における前記位置情報に基づいて前記画像を配置した組合せ画像を生成することを特徴とする医用画像表示装置。」

の発明である点で一致し、次の２点において相違する。

（相違点１）

組合せ画像の基となる内視鏡の先端位置及び内視鏡で撮影された画像を取得することに係る条件である「所定条件ごと」が、本願発明１においては、「所定時間ごと」であるのに対し、引用発明１においては、「特徴領域判定部２６ｄにより挿入部１１の先端が」「気管支２における分岐に関する特徴的な領域としての」「特徴領域内に位置している判定結果の場合」である点。

（相違点２）

組合せ画像における先端マーカ配列画像に対する内視鏡で撮影された画像の配置について、本願発明１においては、「先端マーカ配列画像の周囲に」「前記画像を配置した」のに対し、引用発明１においては、「候補位置Ｐｃ１、Ｐｃ２、Ｐｃ３に対応付けて表示する」「ＶＢＳ画像Ｖ１、Ｖ２、Ｖ３と比較し易い位置に」「対応する候補内視鏡画像１、２、３も」「同時に表示する」が、「候補位置Ｐｃ１、Ｐｃ２、Ｐｃ３」の周囲に「候補内視鏡画像１、２、３」を配置することは特定されていない点。

（３）判断

ア　上記相違点１について検討する。

（ア）引用発明２の画像ストリームは、一定時間ごとに取得された画像の連続データであると認められるが、引用発明２は、複数の画像を、それらが取得されたときの生体内画像センシング装置の位置に基づいて同時に表示するものではない。

（イ）また、引用発明３ないし５も、複数の画像を、それらが取得されたときの内視鏡装置の位置に基づいて同時に表示するものではない。

（ウ）上記（引１－ア）の記載によれば、引用発明１は、気管支のように複雑に分岐した管腔臓器内に挿入して管腔臓器の末端側の目標部位（の患部組織）を検査、又は処置具による生検や処置を行うような場合においては、挿入した際に得られる内視鏡画像のみでは、目標部位付近まで挿入部先端を導入することが困難な場合があるという事情の下、内視鏡画像と仮想内視鏡画像とをそれぞれ生成した両位置のずれが発生したような場合においての再度の位置合わせに適した候補情報を提示することができる内視鏡システムを提供することを目的としている。

（エ）そして、引用発明１は、上記目的を達成するために、再度の位置合わせのための内視鏡画像とＶＢＳ画像との画像マッチングを行いやすい画像を提供することができる位置として、気管支２における分岐に着目し、気管支２における分岐に関する特徴的な領域としての特徴領域内に挿入部１１の先端が位置している判定結果の場合に、候補内視鏡画像を含む候補情報を記憶するものである。

（オ）してみると、引用発明１において、気管支２における分岐とは無関係に所定時間ごとに候補内視鏡画像を記憶し、それらを同時に表示することを動機付ける事情があるとは認められず、むしろ阻害要因があるといえる。

（カ）したがって、引用文献１ないし５に接した当業者といえども、上記相違点１に係る本願発明１の発明特定事項を容易に想到し得たとはいえない。

イ　よって、上記相違点２について判断するまでもなく、本願発明１は、引用発明１ないし５に基づいて、当業者が容易に発明をすることができたものであるとはいえない。

２　本願発明２ないし８について

本願発明２ないし８も、本願発明１の組合せ画像を構成する複数の先端マーカ及び内視鏡で撮影された画像が「所定時間ごと」のものであることと同一の構成を備えるものであるから、本願発明１と同じ理由により、引用発明１ないし５に基づいて、当業者が容易に発明をすることができたものであるとはいえない。

第６　原査定について

審判請求時の補正により、本願発明１ないし８は、組合せ画像を構成する複数の先端マーカ及び内視鏡で撮影された画像が「所定時間ごと」のものであるという事項を有するものとなっており、当業者であっても、原査定において引用された引用文献１ないし５に基づいて、容易に発明をすることができたものとはいえない。

したがって、原査定の理由を維持することはできない。

第７　むすび

以上のとおり、原査定の理由によっては、本願を拒絶することはできない。

また、他に本願を拒絶すべき理由を発見しない。

よって、結論のとおり審決する。