2020-003819

本願は、平成２７年１０月２９日の出願であって、平成３１年４月２６日に手続補正書が提出され、令和元年８月１４日付けで拒絶理由が通知され、同年１０月１８日付けで意見書及び手続補正書が提出され、同年１２月１９日付けで拒絶査定（原査定）がされたところ、これに対し、令和２年３月２３日に拒絶査定不服審判の請求がされると同時に手続補正がされ、同年７月２０日付けで拒絶理由通知（以下、「当審拒絶理由通知」という。）がされ、同年９月１日付けで意見書及び手続補正書が提出されたものである。

（１）原査定に引用された引用文献１には、次の記載がある（下線は当審にて付した。）。

（引１ａ）

「【技術分野】

【０００１】

本発明の実施形態は、医用画像表示装置及びプログラムに関する。」

（引１ｂ）

「【０００９】

（第１の実施形態）

図１は、第１の実施形態に係る医用情報システムの構成例を示すブロック図である。第１の実施形態に係る医用情報システム１は、医療機関や自宅、職場等において行われるリハビリテーションを支援するシステムである。・・・

【００１０】

続きを表示（全28行）

図１に示すように、第１の実施形態に係る医用情報システム１は、動作情報収集部１０と、医用情報処理装置２０と、医用画像診断装置３０と、医用画像保管装置４０と、医用画像表示装置１００とを備える。・・・

【００１１】

動作情報収集部１０は、リハビリテーションが行われる空間における人物や物体等の動作を検知し、人物や物体等の動作を表す動作情報と、その人物や物体を撮影した動画情報とを収集する。なお、動作情報収集部１０としては、例えば、Ｋｉｎｅｃｔ（登録商標）が用いられる。

【００１２】

図２は、第１の実施形態に係る動作情報収集部１０の詳細な構成例を示すブロック図である。図２に示すように、動作情報収集部１０は、医用情報処理装置２０に接続され、カラー画像収集部１１と、距離画像収集部１２と、音声認識部１３と、動作情報生成部１４とを有する。なお、図２に示す動作情報収集部１０の構成は、あくまでも一例であり、実施形態はこれに限定されるものではない。

・・・

【００１６】

動作情報生成部１４は、人物や物体等の動作を表す動作情報を生成する。この動作情報は、例えば、人物の動作（ジェスチャー）を複数の姿勢（ポーズ）の連続として捉えることにより生成される。概要を説明すると、動作情報生成部１４は、まず、人体パターンを用いたパターンマッチングにより、距離画像収集部１２によって生成される距離画像情報から、人体の骨格を形成する各関節の座標を得る。距離画像情報から得られた各関節の座標は、距離画像の座標系(以下、「距離画像座標系」と呼ぶ)で表される値である。このため、動作情報生成部１４は、次に、距離画像座標系における各関節の座標を、リハビリテーションが行われる３次元空間の座標系（以下、「世界座標系」と呼ぶ）で表される値に変換する。この世界座標系で表される各関節の座標が、１フレーム分の骨格情報となる。また、複数フレーム分の骨格情報が、動作情報である。以下、第１の実施形態に係る動作情報生成部１４の処理を具体的に説明する。

・・・

【００３６】

例えば、医用情報処理装置２０は、動作情報生成部１４によって送信された動画情報及び動作情報を受け付ける。そして、医用情報処理装置２０は、受け付けた動画情報及び動作情報をモニタやスピーカー等に出力したり、医用画像保管装置４０へ送信したりする。

・・・

【００４０】

例えば、医用画像保管装置４０は、医用情報処理装置２０によって送信された動画情報及び動作情報を対応付けて対象者ごとに保管する。この動画情報は、カラー画像収集部１１によって生成された複数フレームのカラー画像情報であり、例えば、リハビリテーションを行う対象者が撮影された動画の情報である。また、動画情報は、付帯情報として、撮影された対象者によって行われたリハビリテーションの種目（例えば、歩行訓練や関節可動域訓練等）を示す情報を有する。また、動作情報は、動画情報の各フレームに対応する骨格情報であり、例えば、動画情報に撮影された対象者の動作を表す。

・・・

【００４２】

図５は、第１の実施形態に係る医用画像表示装置１００の詳細な構成例を示すブロック図である。図５に示すように、医用画像表示装置１００は、出力部１１０と、入力部１２０と、記憶部１３０と、制御部１４０とを有する。

【００４３】

ここで、第１の実施形態に係る医用画像表示装置１００は、以下に説明する処理により、リハビリテーションの様子が撮影された動画を適切に表示することができる。例えば、医用画像表示装置１００は、歩行訓練の動画を複数並べて表示する際に、動作のタイミングを同期させて表示することができる。

・・・

【００４６】

なお、第１の実施形態では、右足が着地するタイミングを用いる場合を説明するが、実施形態はこれに限定されるものではない。例えば、実施形態は、左足で床面を蹴るタイミング等、他の動作が行われるタイミングを用いても良い。また、実施形態は、歩行訓練の動画が表示される場合に限定されるものでもなく、例えば、関節可動域訓練等、他の訓練の動画が表示される場合に適用されても良い。また、実施形態は、健常者と対象者とを比較する場合に限定されるものでもなく、例えば、現在の対象者と過去の対象者とを比較しても良い。より具体的には、実施形態は、術前及び術後で比較しても良いし、術後直後と術後数ヶ月経過後とで比較しても良い。更に、実施形態は、３つ以上の動画を比較しても良い。また、実施形態は、複数の動画を横方向に並べて表示しても良いし、縦方向に並べて表示しても良い。

【００５２】

制御部１４０は、取得部１４１と、特定部１４２と、表示制御部１４３とを有する。・・・」

（引１ｃ）

「【００８１】

（第２の実施形態）

上述した第１の実施形態では、歩行訓練の動画を表示する場合を説明したが、実施形態はこれに限定されるものではない。例えば、関節可動域訓練等、他の訓練の動画が表示される場合に適用されても良い。そこで、第２の実施形態では、医用画像表示装置１００が関節可動域訓練の動画を表示する場合を説明する。

・・・

【００９３】

例えば、表示制御部１４３は、リハビリテーションの目的に応じて、複数の動画情報の表示制御を行う。例えば、表示制御部１４３は、関節可動域訓練の動画を複数並べて表示する場合には、特定部１４２によって特定された極大タイミングに対応するフレームを用いて、これら複数の動画情報の表示制御を行う。」

（引１ｄ）

「【０１０３】

（第３の実施形態）

さて、これまで第１及び第２の実施形態について説明したが、上述した第１及び第２の実施形態以外にも、種々の異なる形態にて実施されてよいものである。

・・・

続きを表示（全15行）

【０１１０】

（被写体の向きの調整）

また、例えば、上述した第１及び第２の実施形態では、被写体の向きを一致させずに動画を表示する場合を説明したが、被写体の向きを一致させた上で動画を表示しても良い。例えば、表示制御部１４３は、動画情報間で各被写体の向きが略一致するように、少なくとも一方の動画情報を平行移動や回転の上、表示制御を行う。

・・・

【０１１３】

（複数動画の重畳表示）

また、例えば、上述した第１及び第２の実施形態では、表示対象となる動画を並べて表示する場合を説明したが、実施形態はこれに限定されるものではない。例えば、表示対象となる動画を重畳表示しても良い。

【０１１４】

図１４は、重畳表示について説明するための図である。図１４には、健常者の関節可動域訓練の動作情報と、対象者の関節可動域訓練の動作情報とを重畳表示する表示画像を例示する。

【０１１５】

図１４に示すように、表示制御部１４３は、表示対象となる動作情報に含まれるフレームに対応する骨格情報を重畳表示する。具体的には、表示制御部１４３は、右腕の関節可動域訓練の動画を表示する場合には、表示対象となる右肩（関節３ｅ）、右肘（関節３ｆ）、右手首（関節３ｇ）及び右手（関節３ｈ）の位置を示す情報を、健常者及び対象者の骨格情報からそれぞれ抽出する。そして、表示制御部１４３は、健常者の右肩と右肘の位置と、対象者の右肩と右肘の位置とがそれぞれ一致するように、重畳画像を生成する。そして、表示制御部１４３は、生成した重畳画像を出力部１１０に表示する。このように、医用画像表示装置１００は、複数の動画を重畳表示することができる。このとき、健常者の動作情報なのか、対象者の動作情報なのか区別できるように、線種や色を変えて表示しても良い。」

（２）引用発明

上記（１）から、上記引用文献１（特に下線部参照）には、以下の発明（以下「引用発明」という。）が記載されていると認められる。

「医用情報システム１であって、

医用情報システム１は、動作情報収集部１０と、医用情報処理装置２０と、医用画像診断装置３０と、医用画像保管装置４０と、医用画像表示装置１００とを備え、

動作情報収集部１０は、医用情報処理装置２０に接続され、カラー画像収集部１１と、距離画像収集部１２と、音声認識部１３と、動作情報生成部１４とを有し、

動作情報生成部１４は、距離画像収集部１２によって生成される距離画像情報から、人体の骨格を形成する各関節の座標である骨格情報を得、

医用画像保管装置４０は、人物や物体を撮影した動画情報及び人物や物体等の動作を表す動作情報を対応付けて対象者ごとに保管し、動画情報は撮影された対象者によって行われたリハビリテーションの種目（例えば、歩行訓練や関節可動域訓練等）を示す情報を付帯情報として有し、

医用画像表示装置１００は、歩行訓練や関節可動域訓練の動画を複数横方向又は縦方向に並べて表示し、

また、医用画像表示装置１００は、健常者の動作情報に含まれる骨格情報を表示する動画と、対象者の動作情報に含まれる骨格情報を表示する動画とを重畳表示する、

医用情報システム１。」

原査定に引用された引用文献２には、図面とともに、次の記載がある（下線は当審にて付した。）。

「【００５０】

図５は，関節角度計算部２のディスプレイ２４の表示の例である。ディスプレイ２４の表示は，一画面に２フィールドの情報表示エリアを有し，図５に示す表示は，２フィールドの情報表示エリアの内の一つの表示エリアである。

・・・

【００５２】

画像表示エリア５０の表示は，入力ボタン表示エリア５１の背景表示ボタン５２の切り替えにより，背景画像上にスケルトン（骨格）画像を表示するか，背景画像を表示せずにスケルトン（骨格）画像のみを表示するかの切り替えが可能である。図５に示す例では，背景画像を表示せずにスケルトン（骨格）画像のみを表示している。」

【図５】

上記記載から、引用文献２には「スケルトン（骨格）画像を表示する画像表示エリアについて、背景画像上にスケルトン（骨格）画像を表示するか，背景画像を表示せずにスケルトン（骨格）画像のみを表示するかの切り替えが可能である。」という技術的事項が記載されているといえる。

原査定に引用された引用文献３には、次の記載がある（下線は当審にて付した。）。

「【００５７】

また、電子計算機１にて適度な歩行のピッチ（ペース）を利用者５に示すように、利用者５の実際の歩行の状態とは関係なく、スピーカから一定間隔でビープ音又はリズムを発するようにして実施してもよい。

本発明は、図１０に示すように手すり４ａを備えたトレッドミル４を用いて実施したり、合成画像を利用したゲームなどへの応用も可能である。

さらに、利用者５が病気（片麻痺）に掛かる前の動画データが存する場合には、画像処理装置によって、それをオリジナル動画データ（健常時の正しい運動を示す参照画像）として用い（そのままの動画データ又は左右を反転させた動画データの何れをも参照画像とすることが可能）、現在の運動の様子を示す動画データ（そのままの動画データ又は左右を反転させた動画データ）と重ね合わせてモニタ３上に表示するようにしても、良好なリハビリテーション効果を得ることができる。」

上記記載から、引用文献３には「利用者の健常時の正しい運動を示す動画データと、現在の運動の様子を示す動画データと重ね合わせてモニタ上に表示するにあたり、それぞれの動画データについて左右を反転させた動画データを用いる」という技術的事項が記載されているといえる。

原査定に引用された引用文献４には、以下の記載がある（下線は当審にて付した。）。

（引４ａ）

「【技術分野】

【０００１】

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【０００２】

従来から、ゴルフやテニスのスイングや野球のバッティングフォーム等、スポーツにおけるユーザ自身のフォームの画像を、プロのフォームの画像等、見本となる画像と並べて表示することができる技術が開示されている（例えば、特許文献１参照）。」

（引４ｂ）

「【００１０】

［第１実施形態］

図１は、本発明の第１実施形態に係る画像処理装置１のハードウェアの構成を示すブロック図である。画像処理装置１は、例えばデジタルカメラして構成される。

【００１１】

続きを表示（全19行）

画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

・・・

【００２０】

ＣＰＵ１１においては、第１実施形態に係る画像向き揃え処理の実行が制御される場合、主制御部４１と、ユーザ操作受付部４２と、画像選択部４３と、向き判別部４４と、向き調整部４５と、表示制御部４６と、が機能する。・・・

・・・

【００２２】

ユーザ操作受付部４２は、ユーザによる入力部１７に対する操作の内容を受け付ける。

例えば、ユーザは、入力部１７を操作して、画像記憶部５１に記憶されている複数の動画像の中から比較対象となる動画像として少なくとも２以上を選択する。具体的には例えば、ユーザは、入力部１７を操作して、２画面同時再生の対象となる再生対象動画及び手本動画を選択する。この場合、ユーザ操作受付部４２は、その選択結果を受け付ける。

また例えば、ユーザ操作受付部４２は、動画の向きを所定の方向に揃えるか否か、及び揃える場合には何れの方向に揃えるのかを指示するための、入力部１７に対するユーザの操作も受け付ける。

・・・

【００３１】

図５は、向きが揃えられた２つの動画像が、出力部１８のディスプレイに並列に並べられて２画面同時再生が行われる様子を示す模式図である。

図５に示すように、２画面同時再生の場合には、右向きの手本動画たる動画像Ｍａと、右向きに揃えられた（左右反転された）再生対象動画たる動画像Ｍｂｒとは、左右に並列に並べられて同時に再生される。

これにより、ユーザは、右向きに揃えられた再生対象動画（動画像Ｍｂｒ）と手本動画（動画像Ｍａ）を同時に比較しながら視認することが容易にできるようになる。

更に、ユーザが比較しやすくなるように、図５に示すように、表示制御部４６は、ゴルフのスイングの各タイミングを同期させて再生させるようにしてもよい。」

上記記載から、引用文献４には以下の技術的事項が記載されているといえる。

「スポーツにおけるユーザ自身のフォームの画像を、プロのフォームの画像等、見本となる画像と並べて表示することができる画像処理装置１において、

ユーザ操作受付部が、動画の向きを所定の方向に揃えるか否か、及び揃える場合には何れの方向に揃えるのかを指示するための、ユーザの操作を受け付け、

出力部のディスプレイが、向きを揃えられた２つの動画像を左右に並列に並べて同時に再生する技術。」

（１）原査定に引用された引用文献５には、図面とともに以下の記載がある（下線は当審にて付した。）。

「【００２７】上記のようにして求めた軌跡をスケルトン画像７２として表示する例を図６に示す。図６では同一患者に於ける任意で日付の違う２つの動画像７０による歩行状況の様子の比較と、原画像を元に処理、作成した２つのスケルトン画像７２による歩行状況の様子の比較を示している。スケルトン画像７２は、同時に表示されている動画像７０と比較して余計な情報がないので体の骨格の動きが見やすいという利点がある。また、撮影対象者２８の決められた体の部位の軌跡に着目して、例えば図７のグラフ７６に示すように、歩行時における腰の関節の軌跡を定量データとしてグラフに示すことによって回復の度合を的確に検討することも可能である。なお、図７のグラフ７４は、図１に示した回復状態グラフ表示のモード３Ｂにおける表示例であり、撮影対象者２８（患者）の歩行速度がリハビリ歩行訓練の結果日増しに向上している様子を示している。なお、更に多くの情報を見やすくするために、図６の動画像７０やスケルトン画像７２と、図７に示されるようなグラフを合成して一つの画面に表示してもよい。また、表示比較するデータは同じ患者の撮影時期の異なるデータどうしでもよいし、片方を健常者のデータとして比較してもよい。」

【図６】

（２）図６からは、「同一患者に於ける任意で日付の違う２つの動画像７０」が、左右に並べて表示される点が見てとれる。

（３）上記（１）、（２）から、引用文献５には「同一患者に於ける任意で日付の違う２つの動画像を左右に並べて表示することで、歩行状況の様子の比較を行う」という技術的事項が記載されているといえる。

原査定に引用された引用文献６には、以下の記載がある（下線は当審にて付した。）。

「【００３８】

つぎに、スケルトンモデル生成手段１２は、生成したスケルトン画像と学習者のスイング画像とを合成して表示装置５の画面上に表示させるとともに、図１０に示すように、スケルトン調整ダイアログを画面上に表示させてスケルトン画像のサイズ調整及びスケルトン画像の位置調整を可能にする（ステップＳ１３）。スケルトンモデル生成手段１２は、スケルトン画像のサイズ及び位置の調整が完了すると、スイング画像（動画像）の再生を行ってスイング画像とスケルトン画像を合成表示する（ステップＳ１４）。この際、画面上には各種の機能ボタンが表示されており、それらの機能ボタンを操作することで、スケルトン表示の有無や軌跡表示の有無、どの部位（「ヘッド」、「肩」、「手」）の軌跡を表示するかの選択が可能である。

【００３９】

図１０は、スケルトン調整ダイアログの一具体例を示す図である。スケルトン調整ダイアログには、サイズ調整用の４つのボタンＢ１～Ｂ４（横拡張、横縮小、縦拡張、縦縮小）及び位置調整用の５つのボタンＢ５～Ｂ９、並びに完了ボタンＢ１０が設けられている。ボタンＢ１をクリックするとスケルトン画像を横方向に拡張される。ボタンＢ２をクリックするとスケルトン画像が横方向に縮小される。ボタンＢ３をクリックするとスケルトン画像が縦方向に拡張される。ボタンＢ４をクリックするとスケルトン画像が縦方向に縮小される。したがって、これらのボタンＢ１～Ｂ４を操作することで、スケルトン画像を撮影画像と同じ大きさ（サイズ）に調整できる。ボタンＢ５をクリックするとスケルトン画像の位置が上方向に移動され、ボタンＢ６をクリックすると下方向へ移動され、ボタンＢ７をクリックすると左方向へ、ボタンＢ８をクリックすると右方向を移動される。また、マウスカーソルをボタンＢ９の位置に合せてドラッグすることでスケルトン画像を任意の方向へ移動させることができる。したがって、これらのボタンＢ５～Ｂ９を操作することでスケルトン画像を移動させ、スイング画像（学習者画像）と位置を合わせることができる。完了ボタンＢ１０をクリックするとスケルトン調整が終了される。なお、本実施の形態では、スケルトン画像ダイアログは、スケルトン生成時に自動的に表示されるようにしている。スケルトンのサイズや位置を新たに調整する場合には、手本となるスケルトンを選択し直すことでスケルトン画像ダイアログを表示させることができる。」

上記記載から、引用文献６には「スイング画像とスケルトン画像を合成表示するにあたり、スケルトン画像のサイズを及び位置の調整ができる」という技術的事項が記載されているといえる。