2022-020808

ア 引用文献１の記載事項及び引用発明の認定

(ア) 引用文献１の記載事項

原査定の拒絶の理由において引用された特開２０１１－４４１３０号公報（以下「引用文献」という。）には、次の事項が記載されている。（下線は当審において付した。以下同様である。）

「【技術分野】

【０００１】

本発明は、現実画像に仮想画像を重ね合わせて表示する画像処理システムとその画像処理方法に関する。

【背景技術】

続きを表示（全19行）

【０００２】

従来、橋梁部材等の建築物の点検・調査において、ひずみゲージや変位計等のセンサより得られるデータを解析しグラフ化して表示してきた。しかしこれらのデータではどの場所にどのようなひずみがあるのかを視覚的に把握し難いという問題を有する。

【０００３】

そこで、データを有効に表示するための可視化ソフト（例えば、AVS, Visualizer, Paraview）が提案されている。これによれば補完機能が充実しており、画像化、ベクトル表示に優れている。しかし、可視化のベースとなるモデルの作成が必要であるため、時間がかかる。また当該表示方法においても、モデルの精度をあげなければそれぞれの表示がどこのデータなのかは明確には分からないという問題を有していた。

【０００４】

これらとは別の可視化技術として、情報通信の分野において拡張現実感（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が利用されている。これらの技術を利用することにより、現実空間の画像に、ＣＧ等の仮想空間の画像を重ね合わせて表示し、実際には見えないものや補足的な情報などを、状況に対応させてユーザに表示することができる（例えば、特許文献１、非特許文献１、２）。

…(中略)…

【０００７】

本発明は、ひずみや応力といったセンサの処理結果を視覚的に把握できるような、新規データ表示する画像処理システム及び画像処理方法を提供することを目的とする。

【０００８】

工学的な分野において、客観性を示すため、センサ等で取得した物理量およびそれを誘起した外力を書類で残す（示す） 必要がある。アニメーションは報告書として書類に残すのには適当な形式ではない。工学的な意味のある情報を、紙面に残す手段が必要とされている。そこで、本発明は、センサ等により取得した物理量等のセンサ情報を簡単に紙面に残す手段を提供する。

【０００９】

従来のＡＲ技術を単に利用して、これらのひずみや応力といった物理量を測定するシステムで、動的に（アニメーションで）観察したとしても感覚的に変動を把握できるものの、これらの挙動の変化を詳細に分析することは困難であった。実際、土木建築物等の強度を測定する用途に用いられることが想定されるが、補強手段の検討には、橋梁に架かる外力（たとえば、特に車両の通過に伴なう力、他に風力、温度応力、地震力など）に応じて発生するひずみや応力や加速度などを詳細に分析する必要がある。そのような場合には、現実画像（走行している車両の位置）と仮想画像（物理量など）の厳密な時間同期された合成画像が必要となる。

【００１０】

そこで、本発明は、センサなどからの解析結果を現実画像に重ね合わせて表示する画像処理システム及び画像処理方法において、センサ情報を静止画像表示して解析可能にし、更に、センサの情報と現実画像との同期が取れており、現実空間において発生した現象に基づき、センサ情報がいかに変化するかを解析できる画像処理システム及び画像処理方法を提供することを目的とする。」

「【００３１】

第一の実施形態

図１は、本最良形態に係る画像処理システムの機能構成を示すブロック図である。図１に示すように本最良形態に係るシステムは、マーカＭが配置された現実空間Ｒの画像を撮影するカメラ１１０と、現実空間のマーカＭの周辺に配置されたセンサ１２０と、前記センサからの情報を取得可能なデータロガー１３０と、画像処理システム１４０と、表示装置１６０と、入力装置１７０とを有する。尚、ここで現実空間とは、画面に映っている空間に限定されず、実際の空間を意味する。

…(中略)…

続きを表示（全41行）

【００３４】

センサ１２０は、公知の各種センサを用いることができ、特に限定されないが、例えば、ひずみゲージ、ロードセル、変位計、温度センサ、湿度センサ、加速度センサ、ジャイロセンサ、距離センサ、磁気センサ、光位置センサ、光波距離計等が挙げられる。また、センサ１２０の数は、一つに限定されず、複数個であってもよい。これらのセンサ１２０は、データロガー１３０と接続されており、センサによる測定結果を処理して、センサ情報の取得時刻と共に、画像処理システムへと当該処理結果が供給される。また、これらのセンサの中でも、ひずみゲージを３つ積層した３軸のひずみゲージなどを用いることにより、主ひずみ、主応力などのベクトル量を算出することが可能となり、これらのベクトルの絶対値及び方向を従来の方法と比較してよりわかり易く表示することができる。

【００３５】

表示装置１６０は、公知の表示装置を使用することができ、特に限定されないが、例えば、コンピュータ用のディスプレイや、ユーザの頭部に装着するヘッドマウントディスプレイ（ＨＭＤ）を使用することが可能である。これらの中でも、後々に解析結果を表示するためにはコンピュータ用のディスプレイを用いることが好適である。また、入力装置１７０は、特に限定されないが、例えば、マウス、キーボードを使用することができる。

【００３６】

続いて、画像処理システム１４０について説明する。

【００３７】

画像入力部１４２は、カメラ１１０から送出される各フレームの撮影画像を受信すると、これを撮影画像の取得時刻（例えば、フレーム画像の取得開始時刻など）、又は、フレームの取得開始時間から次のフレーム取得時間までのフレーム取得時間範囲と共に画像記憶部１４３及びマーカ検出部１４４に送出する。これらの撮影画像の取得時刻又は取得時間範囲はカメラなどの撮影手段から送られるものを使用してもよいし、画像処理システムにおいて計算してもよい。

【００３８】

マーカ検出部１４４は、画像入力部１４２から撮影画像を受けると、当該撮像画中に映っているマーカを検出し、画像座標を計算する。なお、画像座標及び後述するマーカの姿勢を求める方法については公知文献（例えば、加藤博一ら著、マーカー追跡に基づく拡張現実感システムとそのキャリブレーション、ＴＶＲＳＪＶｏｌ．４Ｎｏ．４１９９９年）に記載の通り、周知である。

【００３９】

配置情報生成部１４５は、マーカ検出部１４４からの画像座標情報と、配置情報記憶部１４１に記憶されているマーカＭの形態情報とに基づき、マーカの配置情報（位置・姿勢情報）を計算する。

【００４０】

配置情報記憶部１４１は、前述したマーカＭの形態情報の他、配置情報生成部１４５が生成した配置情報を格納する。

【００４１】

撮影手段位置姿勢推定部１４６は、マーカ検出部１４４が求めたマーカの配置情報から、現フレームにおけるカメラ１１０の位置姿勢を求める（推定する）。直前のフレームについて推定したカメラ１１０の撮像面上に投影した位置（画像座標）と、マーカ検出部１４４が求めた画像座標との誤差が最小になるように、カメラ１１０の位置姿勢を、非線形最適化の繰り返しによって算出する。ここで求まる位置姿勢は、現フレームにおけるカメラ１１０の位置姿勢である。

【００４２】

画像記憶部１４３は、画像入力部１４２を介してカメラ１１０から受けた撮影画像を当該画像の各フレームの取得時間範囲と共に一時的に記憶する。

【００４３】

操作入力部１４７は、操作入力装置１７０から送出された指示信号を、撮影手段位置姿勢推定部１４６や配置情報編集部１４８に送出する。

【００４４】

配置情報編集部１４８は、マーカとセンサの相対的な位置情報を編集するための機能を備える。ここで、マーカとセンサの相対的な位置情報とは、例えば、マーカの一点を基準点として、当該基準点を原点とするマーカ座標上において、センサが位置する座標の情報を指す。

【００４５】

センサ情報入力部１５１は、データロガー１３０から送出されたセンサから得られたデータ及びデータ取得時刻をセンサ情報処理部１５２に送出する。

【００４６】

センサ情報処理部１５２は、当該データを解析し、解析結果を計算により求める。センサ情報処理部１５２で算出された解析結果は、センサ情報画像生成部１５４に送出される。

【００４７】

センサ情報記憶部１５３は、センサ情報処理部１５２が求めた解析結果及び対応するデータ取得時刻を一時的に記憶する。

【００４８】

センサ情報画像生成部１５４は、操作者により指定された形式で、上記のセンサ情報処理部１５２により求められた解析結果を反映したセンサ情報画像を生成する。ここで、指定可能な形式は、画像情報記憶部１５５に格納されており、例えば、情報処理により得られる結果を色で示すための画像や、結果のスカラ値反映する大きさの異なる円形画像や、得られた結果がベクトル値である場合には大きさと方向を反映するための矢印画像や、数値表示画像や、グラフ表示画像や、その他３Ｄの表示画像が挙げられる。

【００４９】

合成部１４９は、画像記憶部１４３から取得した撮影画像上に、センサの位置に反映した場所にセンサ情報の処理結果を反映する画像を示す合成画像を生成する。具体的には、合成部１４９は、撮影手段位置姿勢推定部１４６からの撮影手段位置姿勢情報及びマーカとセンサの相対的な位置情報を踏まえて、センサ情報画像生成部１５４が生成したセンサ情報画像が撮影画像におけるセンサ位置に対応する箇所に配された仮想画像を生成する。画像記憶部１４３から取得した撮影画像と当該仮想画像とを、同期して合成する。

【００５０】

本発明に係る画像処理システムにおいては、単にリアルタイムにセンサ測定情報と画像情報を重ね合わせて表示するのみならず、センサ情報や撮影画像等を記録して、後から当該センサ情報を反映した仮想画像と撮影画像と重ね合わせた静止画像を表示させられるように構成する。また、静止画像をＪＰＧやＢＭＰの形式の画像ファイルとして出力できるように構成してもよい。

…(中略)…

【００５９】

ここで、カメラ１１０により撮影される現実画像と、本発明に係る撮影画像の様子を図４に示す。このように、現実画像上に存在するセンサの近傍に、センサにより得られた測定結果を反映した画像を示す。」

［図：0001405557000001.jpg］

「【図１】

」

「【図４】

［図：0001405557000002.jpg］

［図：0001405557000003.jpg］

」

(イ) 引用発明の認定

ａ 引用文献１の段落【００３１】から【００８５】の第一実施形態の記述においては、センサ情報の解析結果の表示がどのような用途に用いられるか記載はないものの、引用文献１の段落【０００２】においては、従来の技術の説明として、「橋梁部材等の建築物の点検・調査」が挙げられているから、当然にこのような用途のものが把握される。

ｂ 前記(ア)の引用文献１の記載事項及び前記ａの認定事項を総合すると、引用文献１には、次の発明（以下「引用発明」という。）が記載されていると認められる。

［引用発明］

「現実画像に仮想画像を重ね合わせて表示する画像処理システムであって、（【０００１】）

橋梁部材等の建築物の点検・調査において用いられるものであり、（前記ａの認定事項）

マーカＭが配置された現実空間Ｒの画像を撮影するカメラ１１０と、現実空間のマーカＭの周辺に配置されたセンサ１２０と、前記センサからの情報を取得可能なデータロガー１３０と、画像処理システム１４０と、表示装置１６０と、入力装置１７０とを有し、（【００３１】）

センサ１２０は複数個の変位計であり、（【００３４】）

画像処理システム１４０のセンサ情報入力部１５１は、データロガー１３０から送出されたセンサから得られたデータ及びデータ取得時刻をセンサ情報処理部１５２に送出し、（【００３６】、【００４５】）

センサ情報処理部１５２は、当該データを解析し、解析結果を計算により求めてセンサ情報画像生成部１５４に送出し、（【００４６】）

センサ情報画像生成部１５４は、操作者により指定された形式で、センサ情報処理部１５２により求められた解析結果を反映したセンサ情報画像を生成するものであり、

指定可能な形式は、画像情報記憶部１５５に格納されており、情報処理により得られる結果のスカラ値を反映する大きさの異なる円形画像や、得られた結果がベクトル値である場合には大きさと方向を反映するための矢印画像であり、（【００４８】）

センサ情報画像生成部１５４が生成したセンサ情報画像が撮影画像におけるセンサ位置に対応する箇所に配された仮想画像を生成し、センサ測定情報と画像情報を重ね合わせて表示する（【００４９】、【００５０】）

画像処理システム。」

イ 引用文献２の記載事項及び技術常識１の認定

(ア) 引用文献２の記載事項

当審において新たに引用する、本願出願前の平成２８年に発行された「関屋英彦ほか「橋梁の加速度記録を用いた変位応答算出法の提案」土木学会論文集A1（構造・地震工学）,Vol.72,No.1,61-74ページ,2016」（以下「引用文献２」という。）には、次の事項が記載されている。（なお、引用文中の参照文献番号の記載は省略している。）

「１．はじめに

鋼橋における疲労損傷は発見が困難である上，脆性破壊を起こす危険性があり，適切な点検および補修が必要である．疲労き裂が脆性破壊に移行する限界き裂長に至る前に発見し，対策を講じるためには，外力に対する橋梁全体や部材ごとの変位挙動を把握し，損傷原因となる局部的な応力を引き起こす部材の変位を特定することが重要となる．特に活荷重により生じる変位応答が疲労損傷の支配的要因となっており，この変位応答を把握することが必要である．

外力に対する応答を計測する手法として，MEMS（Micro Electro Mechanical Systems）加速度センサを利用した方法が提案されている．MEMS加速度センサは塗膜の上からマグネット等での設置が可能なため，設置が非常に容易であり，かつ小型で安価なことから構造物のヘルスモニタリングへの活用が期待されている．ワイヤレス機能を付加することにより，一度設置した加速度センサを取り外し，別の場所にも設置することも可能である．さらに，レーザー変位計等の既存の変位計測方法と異なり，不動点が不必要なため，施工性の向上が期待される．

…後略…」

「４．実橋梁における実証実験

以上の検討により，提案する自由振動仮定法を用いることによって，加速度センサの測定誤差に起因する変位の誤差を軽減し，精度良く橋梁の変位応答を把握出来る可能性を示した．

本章では，実橋梁において9種類の加速度センサを用いて測定した加速度記録に対して，自由振動仮定法および初期速度推定法を用いることによって，それぞれの手法の評価および有効性を検討する．

(1)試験橋梁および加速度センサの設置について

首都高速道路湾岸線において，9種類の加速度センサおよび接触式変位計を用いて活荷重に対する変位応答の計測を行った．図-11に試験橋梁の平面図および正面図と，計測機器設置位置を示す．試験橋梁は下り線4車線となっており，支間長34.55m，総幅員18.3mの鋼単純合成6主I桁橋である．支間中央に荷重分配横桁が配置され，支点上に端対傾構が配置されており，その間を三分割するように中間対傾構が配置されている．試験橋梁における路面プロファイルの計測は行っていないが，走行性に影響を与えるような路面の補修跡等はなかった．

変位算出用の加速度センサおよび接触式変位計の設置状況を図-12に示す．加速度センサの設置に関しては，9種類の加速度センサをL字型の鋼製治具に設置し，その治具をG3桁中央部下フランジに固定した．この際，加速度センサによってはz方向とx，y方向で感度が異なることに注意し，加速度センサのx，y方向のどちらかが重力方向となるように設置した．また，加速度センサで計測した加速度記録から算出した変位応答の検証を行うため，下フランジに接触式変位計を設置し，鉛直変位の計測を行った．接触式変位計のサンプリングは100Hzとした．

車両の進入および退出検知用の加速度センサは主桁端部垂直スティフナ上部にマグネット治具を用いて取り付けた．加速度センサ設置状況（退出検知用）を図-13に示す．サンプリングは500Hzとした．

計測は交通規制等を行わず，一般車両が走行する供用下にて行った．なお，本研究では車両検知用の加速度センサおよび接触式変位計による計測記録から第二車線を車両一台が単独走行したと考えられるデータを使用した.」

「

［図：0001405557000004.jpg］

」

「

［図：0001405557000005.jpg］

」

「

［図：0001405557000006.jpg］

」

前記図-11と「車両の進入および退出検知用の加速度センサは主桁端部垂直スティフナ上部にマグネット治具を用いて取り付けた．」の記載から、「車両の進入および退出検知用の加速度センサ」がG3桁に取り付けられており、またそのG3桁が橋梁の主桁であることが分かる。さらに、前記「変位算出用の加速度センサおよび接触式変位計の設置状況を図-12に示す．加速度センサの設置に関しては，9種類の加速度センサをL字型の鋼製治具に設置し，その治具をG3桁中央部下フランジに固定した．」の記載から、「変位算出用の加速度センサ」も主桁であるG3桁に設置されていることが明らかである。

(イ) 技術常識１の認定

前記(ア)に摘記した引用文献２の記載に例示されているように、次の事項は、本願出願前に技術常識（以下「技術常識１」という。）であったと認められる。

［技術常識１］

「主桁に加速度センサを設置して、橋梁の点検のための変位応答を計測すること。」

審判請求書において、請求人は、次のａ及びｂの点を主張している。

ａ 請求人の主張１

補正後の請求項１に係る発明の「構造物の複数の部位に配置されている複数の物理量センサーから出力された出力信号に基づいて算出された前記構造物の複数の変位量の相対値に基づいて、前記構造物の前記複数の部位の変位を視覚的に認識可能な画像情報として表示部に表示する」との構成は、引用文献１に記載も示唆もされていないので、引用文献１に記載の発明に基づいて当該構成を導くことはできない。

さらに、補正後の請求項１に係る発明は、当該構成により、「物理量センサーから算出された変位量の相対値によって、物理量センサーの配置されている構造物のそれぞれの部位の変位量が示されることから、管理者（ユーザー）は、構造物の異なる部位に係る変位の大きさの比較を容易に認識することができる。」（本願明細書の０１５４段落）という格別な技術的効果を奏するのであるから、当業者が適宜設定し得る設計事項とは認められない。

ｂ 請求人の主張２

引用文献１の図４の画像は、橋梁に関する画像ではないことは明らかであり、また、引用文献２の００９４段落には「一台のカメラで映し出せない部分の画像を取得して、拡張現実感画像と並べて表示することにより、例えば、橋梁の上を車が通過する際に橋脚にどのような応力が加わるのかを視覚的に解り易く表示することが可能となる。」と記載され、図１２では、複数のセンサ１２０は、橋梁の主桁もしくは横桁ではなく、橋脚に配置されている。

これに対して、請求項１に係る発明は、複数の物理量センサーが配置されている橋梁の主桁もしくは横桁の複数の部位の変位を視覚的に認識可能な画像情報として表示部に表示することができる。

ａ 請求人の主張１について

変位量の「相対値」に基づく表示を行うことが極めて自明のことであることは、前記アにおいて説示したとおりである。そして、請求人の主張する格別な技術的効果は、自明のことにすぎない。

したがって、請求人の前記主張１は、採用することができない。

ｂ 請求人の主張２について

センサを橋梁の主桁もしくは横桁に配置することが実質的な相違点でなく、少なくとも当業者が容易になし得たものであることは、前記イにおいて説示したとおりである。

したがって、請求人の前記主張２は、採用することができない。