特許拒絶査定不服審判
2021-013958
表示プログラム、表示装置および表示方法
- 審判番号
- 2021-013958
- 法域
- 特許
- 審判種別
- 拒絶査定不服審判(拒絶査定不服の審決)
- 出願番号
- 特願2018-234909
- 請求日
- 2021年10月13日
- 審決日
- 2023年04月11日
- 公報発行日
- 2023年07月28日
- 結論
- 請求不成立
- 当事者
- 【請求人】ヤフー株式会社
- 【請求人代理人】弁理士法人酒井国際特許事務所
- 審判長/審判官
- 審判長 五十嵐 努
- 審判官 田中 啓介
- 審判官 渡辺 努
- 分類
- P18 .121-WZ (G06T) / P18 .575-WZ (G06T)
- 根拠条文(結論部分から自動抽出・参考)
- 特許法29条2項
- 条文(本文から自動抽出・参考)
- 特許法第29条第2項、特許法第17条の2第5項第2号、特許法第17条の2第6項
- データ出所
- 審決公報(XML)
事件の表示
特願2018-234909「表示プログラム、表示装置および表示方法」拒絶査定不服審判事件〔令和 2年 6月18日出願公開、特開2020- 95645〕について、次のとおり審決する。
結論
結 論
本件審判の請求は、成り立たない。
理由
理 由
第1 手続の経緯
本願は、平成30年12月14日の出願であって、その手続の経緯は以下のとおりである。
令和3年 3月 2日付け:拒絶理由通知書
同年 5月 6日 :意見書、手続補正書の提出
同年 7月 9日付け:拒絶査定
同年10月13日 :審判請求書、手続補正書の提出
令和4年 6月17日付け:拒絶理由通知書(当審)
同年 8月19日 :意見書、手続補正書の提出
同年 9月29日付け:拒絶理由通知書(当審:最後)
同年12月 5日 :意見書、手続補正書の提出
第2 令和4年12月5日にされた手続補正についての補正の却下の決定
[補正の却下の決定の結論]
令和4年12月5日にされた手続補正(以下「本件補正」という。)を却下する。
[理由]
1 本件補正について
(1)本件補正は、特許請求の範囲を補正するものであり、本件補正後の特許請求の範囲の請求項1の記載は次のとおりである。(下線部は、補正箇所である。)
なお、各構成の符号A~D等は、説明のために当審で付したものであり、以下「構成A」~「構成D」等という。以下、同様である。
「【請求項1】
A 撮影画像に撮影された撮影対象と、当該撮影画像を撮影した撮影装置との位置関係を推定する推定手順と、
B’ 所定の対象をそれぞれ異なる視点から撮影した複数の多視点画像のうち、推定された前記位置関係と対応する視点から撮影された多視点画像を、前記撮影画像内のうち前記撮影対象が撮影されている領域に配置して表示させる表示手順と、
C’ 前記多視点画像を配置した前記撮影画像を表示する画面に対するスクロール操作が行われた場合は、前記撮影画像を変更することなく、前記撮影画像内に配置して表示された多視点画像を、当該多視点画像とは異なる視点から撮影された多視点画像に変更し、前記撮影対象が撮影されている領域に配置して表示させる表示制御手順と、
D をコンピュータに実行させるための表示プログラム。」
(2)本件補正前の、令和4年8月19日にされた手続補正により補正された特許請求の範囲の請求項1の記載は次のとおりである。
「【請求項1】
A 撮影画像に撮影された撮影対象と、当該撮影画像を撮影した撮影装置との位置関係を推定する推定手順と、
B 所定の対象をそれぞれ異なる視点から撮影した複数の多視点画像のうち、推定された前記位置関係と対応する視点から撮影された多視点画像を、前記撮影画像内に配置して表示させる表示手順と、
C 前記多視点画像を配置した前記撮影画像に対する所定の操作が行われた場合は、前記撮影画像を変更することなく、前記撮影画像内に配置して表示された多視点画像を、当該多視点画像とは異なる視点から撮影された多視点画像に変更し、変更前の多視点画像を配置した位置に変更後の多視点画像を配置して表示させる表示制御手順と、
D をコンピュータに実行させるための表示プログラム。」
2 補正の適否
請求項1に係る本件補正は、以下の補正事項を含むものである。
(1)本件補正前の請求項1に記載された発明を特定するために必要な事項である多視点画像を配置して表示させる「撮影画像内」について、「撮影画像内のうち前記撮影対象が撮影されている領域」との限定を付加する。
(2)本件補正前の請求項1に記載された発明を特定するために必要な事項である「撮影画像に対する所定の操作」について、「撮影画像を表示する画面に対するスクロール操作」との限定を付加する。
(3)本件補正前の請求項1に記載された発明を特定するために必要な事項である「表示制御手順」において「多視点画像」を配置する位置について、補正前の「・・・に変更し、変更前の多視点画像を配置した位置に変更後の多視点画像を配置して表示させる」ことを、「・・・に変更し、前記撮影対象が撮影されている領域に配置して表示させる」ことに補正する。
ここで、上記補正事項(1)、(2)は、本件補正前の請求項1に係る発明を特定する事項を限定するものであって、本件補正前の請求項1に係る発明と本件補正後の請求項1に係る発明の産業上の利用分野及び解決しようとする課題は同一であるから、特許法第17条の2第5項第2号に掲げる特許請求の範囲の減縮を目的とするものに該当する。
また、上記補正事項(3)は、上記補正事項(1)によって本件補正前の「撮影画像内」を「撮影画像内のうち前記撮影対象が撮影されている領域」に限定したことに伴い、「多視点画像」を配置する位置を「前記撮影対象が撮影されている領域」としたものであり、請求項の記載に、請求項の他の記載を整合させて明確にするためのものであるから、同法第17条の2第5項第4号に掲げる明りょうでない記載の釈明を目的とするものに該当する。
上記のとおり、本件補正は特許請求の範囲の減縮を目的とするものを含むから、本件補正後の請求項1に係る発明が同法第17条の2第6項において準用する同法第126条第7項の規定に適合するか(特許出願の際独立して特許を受けることができるものであるか)について、以下、検討する。
ア 本件補正発明
本件補正後の請求項1に係る発明(以下「本件補正発明」という。)は、上記1(1)に記載したとおりのものである。
イ 引用文献の記載事項、引用発明等
(ア)引用文献1について
a 引用文献1の記載事項
令和4年9月29日付けの当審の拒絶の理由で引用された特開2017-16166号公報(以下「引用文献1」という。)には、次の事項が記載されている。(以降の下線は、強調のために当審で付した。)
「【技術分野】
【0001】
本発明は、拡張現実(Augmented Reality;AR)の画像処理技術に関する。」
「【0004】
下記非特許文献2は、AR技術を用いた、移動ロボットの遠隔操縦システムを提案する。この提案手法では、ロボットの3次元モデルがAR技術を用いて拡張自由視点画像に重畳された画像がHMDを介して操縦者に提示される。この拡張自由視点画像は、移動ロボットにより複数地点で取得された全方位画像群および距離画像群、並びに、当該取得時のロボットの位置及び姿勢に基づいて、生成される。また、下記特許文献1には、重畳する3次元コンテンツの生成手法として、注目物体の3次元表示をするための変換画像を加速度センサ等の専用の機材を用いることなく単一のカメラで生成する手法が提案されている。この提案手法では、注目物体を含む複数の画像についてカメラの回転軸を構成する複数の画像座標をユーザに指定させ、指定された画像座標が一致するように変換対象画像が幾何変換される。」
「【0009】
本発明は、このような事情に鑑みてなされたものであり、場所や時間の制限なく、所望の背景画像にARコンテンツが重畳されたAR画像を提示する技術を提供することにある。
【課題を解決するための手段】
【0010】
本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。
・・・
【0012】
第2の側面は、画像処理方法に関する。・・・
【0013】
なお、本発明の他の側面としては、上記第2の側面の方法を少なくとも1つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。」
「【0019】
背景取得部102は、マーカが写る背景画像を保存する画像ファイルを保持する背景保持部107から、操作受付部101により受け付けられる選択操作で選択された画像ファイルの画像を背景画像として取得する。ここで、画像ファイルには、動画データ又は静止画データが保存され、背景取得部102は、動画データ又は静止画データから静止画情報としての背景画像を取得する。
【0020】
マーカ検出部103は、背景取得部102で取得される背景画像からマーカを検出する。ここで、マーカとは、現実世界に配置された画像や物であり、ARマーカ等と呼ばれる。但し、本実施形態は、このマーカから、参照方向によらず、或る基準点及びその基準点からの相互に直交する3つの方向を一定に得ることができるのであれば、このマーカの具体的形態を制限しない。例えば、マーカ検出部103は、マーカの現実情報(形状情報等)を予め保持しており、この現実情報に基づいて、背景画像からマーカを検出する。
【0021】
基準算出部104は、検出されたマーカに関する現実情報及び画像情報に基づいて、3次元座標空間を設定し、かつ、背景撮影位置及び背景撮影方向を算出する。マーカに関する現実情報とは、マーカの現実世界における既知の情報を意味し、例えば、マーカの実際の形状を示す。また、マーカに関する画像情報とは、マーカの背景画像内における情報を意味し、マーカの背景画像内の形状を示す。基準算出部104は、検出されたマーカから認識される基準点に応じた位置に3次元座標空間を設定する。3次元座標空間の設定位置については、特に制限されない。また、基準算出部104は、マーカに関する現実情報と画像情報との比較により、背景撮影位置及び背景撮影方向を算出する。背景撮影位置及び背景撮影方向は、その画像ファイルの背景画像を撮影した撮像装置の位置及び向き(姿勢)を意味する。
【0022】
位置決定部105は、表示対象のARコンテンツを仮想的に配置する上記3次元座標空間上の位置を決定する。位置決定部105は、この位置を任意に又は固定的に決定することができる。表示対象のARコンテンツは、上記非特許文献1及び2で提案される3次元モデルであってもよいし、現実オブジェクトを複数の方向から撮影して得られた複数のコンテンツ画像を切り替え表示することで模擬される3次元コンテンツであってもよいし、平面的な2次元コンテンツであってもよい。」
「【0026】
(S22)では、当該コンピュータは、マーカがそれぞれ背景画像を保存する画像ファイルを保持する背景保持部から、(S21)で受け付けられた選択操作で選択された画像ファイルの画像を背景画像として取得する。マーカ及び画像ファイルについては上述したとおりである。(S22)の内容は、背景取得部102の処理内容と同様である。
【0027】
(S23)では、当該コンピュータは、(S22)で取得された背景画像からマーカを検出する。(S23)の内容は、マーカ検出部103の処理内容と同様である。
【0028】
(S24)では、当該コンピュータは、(S23)で検出されたマーカに関する現実情報及び画像情報に基づいて、3次元座標空間を設定する。
(S25)では、当該コンピュータは、(S23)で検出されたマーカに関する現実情報及び画像情報に基づいて、背景撮影位置及び背景撮影方向を算出する。(S24)及び(S25)の内容は、基準算出部104の処理内容と同様である。
【0029】
(S26)では、当該コンピュータは、表示対象のARコンテンツを仮想的に配置する上記3次元座標空間上の位置を決定する。(S26)の内容は、位置決定部105の処理内容と同様である。」
「【0040】
〔装置構成〕
図3は、第1実施形態における画像処理装置10のハードウェア構成例を概念的に示す図である。画像処理装置10は、いわゆるコンピュータである。携帯型、据え置き型等、画像処理装置10の形態は制限されない。画像処理装置10は、例えば、バスで相互に接続される、CPU(Central Processing Unit)11、メモリ12、入出力インタフェース(I/F)13、通信装置14等を有する。メモリ12は、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスク等である。通信ユニット14は、他のコンピュータや機器と信号のやりとりを行う。通信ユニット14には、可搬型記録媒体等も接続され得る。」
「【0043】
〔処理構成〕
図4は、第1実施形態における画像処理装置10の処理構成例を概念的に示す図である。第1実施形態における画像処理装置10は、操作受付部21、背景取得部22、マーカ検出部23、基準算出部24、位置決定部25、画像抽出部26、サイズ調整部27、合成処理部28、表示処理部29、背景保持部31、コンテンツ保持部32等を有する。これら各処理部は、例えば、CPU11によりメモリ12に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、CD(Compact Disc)、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力I/F13又は通信ユニット14を介してインストールされ、メモリ12に格納されてもよい。
【0044】
操作受付部21は、上述の操作受付部101に相当する。操作受付部21は、表示装置15に表示される画面に対する入力装置16を用いたユーザ操作を受け付ける。操作受付部21は、画像ファイルの選択操作に加えて、合成画像に対するコンテンツ画像の移動操作を更に受け付ける。当該選択操作は、例えば、表示装置15に表示される複数の画像ファイルのリストから1つの画像ファイルを選択する操作と、その操作を確定するボタン操作とから構成される。また、その移動操作は、例えば、表示装置15に表示される合成画像上のコンテンツ画像をドラッグアンドドロップ又はスワイプする操作である。但し、本実施形態は、具体的な操作内容自体を制限しない。コンテンツ画像とは、背景画像にARコンテンツの視認画像として重畳される画像であり、その詳細については後述する。
・・・
【0046】
背景取得部22、背景保持部31、マーカ検出部23及び基準算出部24は、上述の実施形態における、背景取得部102、背景保持部107、マーカ検出部103及び基準算出部104と同様である。
【0047】
位置決定部25は、上述の位置決定部105のように、表示対象のARコンテンツを仮想的に配置する3次元座標空間上の位置を決定する。更に、位置決定部25は、操作受付部21で移動操作が受け付けられた場合に、その移動操作が示す3次元座標空間上のARコンテンツの移動後の位置を決定する。具体的には、位置決定部25は、マーカの現実情報及び画像情報に基づいて、合成画像上における移動操作が示す移動後の位置を3次元座標空間上の位置に変換し、その変換された位置をARコンテンツの移動後の位置に決定する。
【0048】
コンテンツ保持部32は、ARコンテンツに相当する現実オブジェクトを複数の方向から撮影して得られた複数のコンテンツ画像を各コンテンツ撮影方向に対応付けて保持する。第1実施形態では、当該複数のコンテンツ画像がARコンテンツの視認画像として用いられるため、コンテンツ保持部32は、細かい角度幅で全方向から撮影された多数のコンテンツ画像を保持することが望ましい。背景画像に重畳するコンテンツ画像を、背景画像の背景撮影方向及び背景撮影位置からの現実オブジェクトの視認画像に近似させることができるからである。
・・・
【0053】
画像抽出部26は、コンテンツ保持部32から、位置決定部25で決定された位置から基準算出部24で算出された背景撮影位置への方向と近いコンテンツ撮影方向に対応付けられて保持されるコンテンツ画像を抽出する。・・・
【0057】
合成処理部28は、3次元座標空間における位置決定部25により決定された位置に配置されるARコンテンツの背景撮影位置及び背景撮影方向からの視認画像が背景画像に重畳された合成画像(AR画像)を生成する。具体的には、合成処理部28は、画像抽出部26により抽出されたコンテンツ画像を現実オブジェクト(ARコンテンツ)の視認画像として、背景取得部22により取得された背景画像に重畳する。
【0058】
合成処理部28は、背景画像に重畳するコンテンツ画像を、操作受付部21による移動操作の受け付けに応じて画像抽出部26により新たに抽出されたコンテンツ画像に切り換える。また、合成処理部28は、サイズ調整部27によりコンテンツ画像が拡大又は縮小された場合には、その拡大又は縮小されたコンテンツ画像を背景画像に重畳する。
【0059】
表示処理部29は、合成処理部28により生成された合成画像を表示装置15に表示させる。」
「【0061】
画像処理装置10は、入力装置16を用いたユーザ操作を受け付ける(S61)。(S61)の内容は、操作受付部21の処理内容と同様である。
画像処理装置10は、選択操作が受け付けられた場合には(S62;選択)、図2と同様に、(S22)から(S26)を実行する。
【0062】
この場合、画像処理装置10は、コンテンツ保持部32から、(S26)で決定された位置から(S25)で算出された背景撮影位置への方向と近いコンテンツ撮影方向に対応付けられて保持されるコンテンツ画像を抽出する(S63)。(S63)の内容は、画像抽出部26の処理内容と同様である。
【0063】
続いて、画像処理装置10は、現実オブジェクトが現実世界におけるサイズで背景画像に写る現実世界に重畳されるように、(S63)で抽出されたコンテンツ画像を拡大又は縮小する(S64)。(S64)の内容は、サイズ調整部27の処理内容と同様である。
【0064】
画像処理装置10は、(S64)で拡大又は縮小されたコンテンツ画像を(S22)で取得された背景画像に重畳して合成画像性を生成する(S65)。(S65)の内容は、合成処理部28の処理内容と同様である。
【0065】
画像処理装置10は、(S65)で生成された合成画像を表示装置15に表示させる(S66)。
【0066】
一方で、画像処理装置10は、移動操作が受け付けられた場合には(S62;移動)、(S61)で受け付けられた移動操作が示す3次元座標空間上のARコンテンツの移動後の位置を決定する(S67)。(S67)の内容は、位置決定部25の処理内容と同様である。
【0067】
画像処理装置10は、(S67)で決定された移動後の位置から(S25)で算出された背景撮影位置への方向と近いコンテンツ撮影方向に対応付けられてコンテンツ保持部32に保持されるコンテンツ画像を新たに抽出する(S63)。以降、画像処理装置10は、この新たに抽出されたコンテンツ画像に対して、(S64)以降を実行する。」
「【0102】
図12A、図12B及び図12Cは、AR画像上でのARコンテンツの移動を示す図である。図12Aでは、ARコンテンツがマーカの上に配置されており、図12Bでは、図12Aの状態からARコンテンツがマーカに対して後ろ方向に移動されており、図12Cでは、図12Aの状態からARコンテンツがマーカに対して左方向に移動されている。ユーザは、図12Aに示されるAR画像が表示装置15に表示されている状態で、コンテンツ画像を移動する操作を行うことで、図12B及び図12Cに示されるようなAR画像を見ることができる。また、図12Bでは、コンテンツ画像は、移動後の位置に応じて、図12Aに示されるコンテンツ画像よりもサイズが縮小されている。図12Cでは、コンテンツ画像は、移動後の位置に応じて、図12Aに示されるコンテンツ画像から切り換えられている。」
「【図12A】
[図:0001398691000001.jpg]
」
図12Aによると、コンテンツ画像が背景画像のマーカ上に配置されて重畳された合成画像が生成されることが見て取れる。
「【図12C】
[図:0001398691000002.jpg]
」
図12A及び図12Cによると、背景画像を変更することなく、コンテンツ画像の位置が左横方向に移動されるとともに、コンテンツ画像が別方向から撮影して得られたものに切り換えられることが見て取れる。
b 引用文献1に記載された発明(引用発明)
(a)【0009】-【0013】の記載によれば、引用文献1には、場所や時間の制限なく、所望の背景画像にARコンテンツが重畳されたAR画像を提示する処理をコンピュータに実行させるプログラムの発明が記載されている。
また、【0040】、【0043】の記載によれば、引用文献1のプログラムは、操作受付部、コンテンツ保持部、背景保持部、マーカ検出部、基準算出部、位置決定部、画像抽出部、背景取得部、合成処理部、表示処理部などの各処理部の処理をコンピュータである画像処理装置に実行させるものである。
(b)【0019】、【0026】の記載によれば、引用文献1の画像処理装置は、背景保持部に保持されたマーカが写る背景画像を背景取得部に取得させる。
また、【0020】-【0021】、【0027】-【0028】の記載によれば、引用文献1の画像処理装置は、マーカ検出部に検出させた背景画像に写るマーカに基づいて、基準算出部に当該背景画像を撮影した撮像装置の位置及び向き(姿勢)を算出させる。
(c)【0022】、【0047】の記載によれば、引用文献1の画像処理装置は、位置決定部にARコンテンツを仮想的に配置する3次元座標空間上の位置を決定させる。
また、【0048】の記載によれば、引用文献1の画像処理装置は、ARコンテンツに相当する現実オブジェクトを細かい角度幅で全方向から撮影して得られた複数のコンテンツ画像をコンテンツ保持部に保持させるとともに、【0053】の記載から、決定された位置から背景撮影位置への方向と近いコンテンツ撮影方向に対応付けられて保持されるコンテンツ画像を画像抽出部に抽出させる。
そして、【0048】、【0057】、【0059】、【0061】-【0065】、【0102】、図12Aの記載によれば、引用文献1の画像処理装置は、背景画像のマーカ上に、複数のコンテンツ画像のうち抽出されたコンテンツ画像を重畳した合成画像を合成処理部に生成させ、前記合成画像を表示処理部に表示させる。
(d)【0044】、【0058】、【0066】-【0067】、【0102】、図12A、図12Cの記載によれば、引用文献1の画像処理装置は、操作受付部でコンテンツ画像をスワイプする移動操作が受け付けられた場合には、前記背景画像に重畳された前記抽出されたコンテンツ画像を、背景画像を変更することなく、後ろ方向への移動後の位置に応じてコンテンツ画像のサイズを縮小し、または横方向への移動後の位置に応じて新たに抽出された別方向から撮影して得られたコンテンツ画像に切り換えて表示させる。
したがって、上記摘記事及び図面を総合勘案すると、引用文献1には、次の発明(以下「引用発明」という。)が記載されている。なお、各構成の符号a~d1は、説明のために当審で付したものであり、以下「構成a」~「構成d1」という。
[引用発明]
d 場所や時間の制限なく、所望の背景画像にARコンテンツが重畳されたAR画像を提示する処理をコンピュータに実行させるプログラムであって、
d1 操作受付部、コンテンツ保持部、背景保持部、マーカ検出部、基準算出部、位置決定部、画像抽出部、背景取得部、合成処理部、表示処理部などの各処理部の処理をコンピュータである画像処理装置に実行させるものであり、
a 背景保持部に保持されたマーカが写る背景画像を背景取得部に取得させ、マーカ検出部に検出させた前記背景画像に写るマーカに基づいて、基準算出部に当該背景画像を撮影した撮像装置の位置及び向き(姿勢)を算出させ、
b1 位置決定部にARコンテンツを仮想的に配置する3次元座標空間上の位置を決定させ、
b2 前記ARコンテンツに相当する現実オブジェクトを細かい角度幅で全方向から撮影して得られた複数のコンテンツ画像をコンテンツ保持部に保持させ、
b3 前記決定された位置から背景撮影位置への方向と近いコンテンツ撮影方向に対応付けられて保持されるコンテンツ画像を画像抽出部に抽出させるとともに、背景画像のマーカ上に、複数のコンテンツ画像のうち抽出されたコンテンツ画像を重畳した合成画像を合成処理部に生成させ、前記合成画像を表示処理部に表示させ、
c 操作受付部でコンテンツ画像をスワイプする移動操作が受け付けられた場合には、前記背景画像に重畳された前記抽出されたコンテンツ画像を、背景画像を変更することなく、後ろ方向への移動後の位置に応じてコンテンツ画像のサイズを縮小し、または横方向への移動後の位置に応じて新たに抽出された別方向から撮影して得られたコンテンツ画像に切り換えて表示させる
d プログラム。
(イ)引用文献4について
a 引用文献4の記載事項
同じく令和4年9月29日付けの当審の拒絶の理由で引用された特表2017-501516号公報(以下「引用文献4」という。)には、次の事項が記載されている。
「【0002】
技術分野
本開示は、マルチビュー対話型デジタルメディア表現を提供することを含む、サラウンドビュー内の階層に関する。」
「【0011】
本発明の様々な実施形態によれば、サラウンドビューはマルチビュー対話型デジタルメディア表現である。図1を参照し、サラウンドビュー取得システム100の一例が示されている。この実施形態例では、サラウンドビューを生成するために使用可能なフローシーケンスによってサラウンドビュー取得システム100を示す。様々な実施形態によれば、サラウンドビューを生成するために使用するデータは様々な情報源から来ることができる。とりわけ、サラウンドビューを生成するために、これだけに限定されないが二次元(2D)画像104等のデータを使用することができる。それらの2D画像は、複数の画像シーケンス、映像データ等のカラー画像データストリーム、又は様々な画像形式の何れかの複数の画像を応用例に応じて含み得る。サラウンドビューを生成するために使用可能な別のデータ源は位置情報106を含む。この位置情報106は、加速度計、ジャイロスコープ、磁気計、GPS、WiFi、IMUのようなシステム(慣性測定ユニットシステム)等の情報源から取得され得る。サラウンドビューを生成するために使用可能な更に別のデータ源は、奥行画像108を含み得る。これらの奥行画像は奥行、3D、又は視差画像データストリーム等を含むことができ、これだけに限定されないが、ステレオカメラ、飛行時間カメラ、三次元カメラ等の装置によって捕捉され得る。
【0012】
この実施形態例では、センサ融合ブロック110で、データを融合することができる。一部の実施形態では、奥行画像108が一切提供されることなしに、2D画像104及び位置情報106の両方を含むデータの組合せとして、サラウンドビューを生成することができる。他の実施形態では、センサ融合ブロック110で、奥行画像108及び位置情報106を一緒に使用することができる。応用例及び使用可能なデータに応じて、画像データの様々な組合せを106の位置情報と共に使用することができる。
【0013】
この実施形態例では、センサ融合ブロック110で融合したデータを、コンテンツモデリング112及びコンテキストモデリング114に使用する。図4に関してより詳細に説明するように、画像内で取り上げられる内容をコンテンツとコンテキストに分離することができる。コンテンツは関心のあるオブジェクトとして描写でき、コンテキストは関心のあるオブジェクトを取り巻く風景として描写することができる。様々な実施形態によれば、コンテンツは関心のあるオブジェクトを描く三次元モデルとし得るが、図4に関して以下でより詳細に説明するように一部の実施形態では2次元画像とすることができる。更に一部の実施形態では、コンテキストは、関心のあるオブジェクトを取り巻く風景を描く二次元モデルであり得る。多くの例で、コンテキストは、関心のあるオブジェクトを取り巻く風景の二次元ビューを提供できるが、一部の実施形態では三次元の側面も含み得る。例えばコンテキストは、円柱状の「キャンバス」に沿った「平面」画像として描くことができ、そのため「平面」画像は円柱の表面に表示される。加えて、一部のオブジェクトが三次元オブジェクトとして周囲の風景内で識別される場合等、一部の例は三次元コンテキストモデルを含むことができる。様々な実施形態によれば、コンテンツモデリング112及びコンテキストモデリング114によって提供されるモデルは、図3に関してより詳細に説明するように画像と位置情報データとを組み合わせることによって生成され得る。」
「【0064】
図7Dを参照し、ダイナミックコンテンツ744を有するダイナミックパノラマ740の一例が示されている。図7B~図7Cに関して上記で説明したようにパノラマを捕捉すると、利用者はダイナミックパノラマ740をナビゲートすることができる。この例では、利用者がダイナミックパノラマ740をナビゲートするとき、ダイナミックコンテンツ744が動画化される。例えば、利用者がシーン742を横にスワイプするとき、ダイナミックコンテンツ744がシーン742に対して動いているように見え得る。」
「【0070】
様々な例によれば、オブジェクトパノラマは利用者がオブジェクトの周りをナビゲートすることを可能にする。図7Jを参照し、利用者によるナビゲーションに基づいてオブジェクトパノラマの視角を変更する一例が示されている。この例では、サラウンドビューパノラマ784の3つのビューを示す。このサラウンドビューパノラマでは、前景オブジェクト786が背景パノラマ788の前に示されている。利用者がサラウンドビューをスワイプし又はサラウンドビューと他の方法でインタラクションすることによってパノラマをナビゲートすると、オブジェクトの位置、オブジェクトの視角、又はその両方を変えることができる。この例では、利用者がメインパノラマ軸の方向にスワイプすることができる。このナビゲーションは、このビュー内の前景オブジェクト786を回転させることができる。一部の例では、前景のオブジェクトパノラマが回転し又は他の方法で動くとき、遠方の背景パノラマ788が変わらないこともある。」
「【図7D】
[図:0001398691000003.jpg]
」
図7Dによると、背景となるシーン742を変更することなく、前景となる車のダイナミックコンテンツ744を横方向に移動させて表示することが見て取れる。
「【図7J】
[図:0001398691000004.jpg]
」
図7Jによると、背景パノラマ788を変更することなく、車の前景オブジェクト786を同じ領域で異なる視点の画像に切り替えて表示することが見て取れる。
b 引用文献4に記載された技術(文献4技術)
(a)【0011】の記載によれば、引用文献4には、サラウンドビュー取得システムの技術が記載されている。
(b)【0013】の「画像内で取り上げられる内容をコンテンツとコンテキストに分離することができる。コンテンツは関心のあるオブジェクトとして描写でき、コンテキストは関心のあるオブジェクトを取り巻く風景として描写することができる」との記載、【0064】の「利用者がシーン742を横にスワイプするとき」との記載、及び【0070】の「利用者によるナビゲーションに基づいてオブジェクトパノラマの視角を変更する一例」、「このサラウンドビューパノラマでは、前景オブジェクト786が背景パノラマ788の前に示されている。利用者がサラウンドビューをスワイプし又はサラウンドビューと他の方法でインタラクションすることによってパノラマをナビゲートすると」との記載によれば、引用文献4のサラウンドビュー取得システムでは、関心のあるオブジェクトについてスワイプなどの利用者操作を受け付ける。
(c)【0064】の「利用者がシーン742を横にスワイプするとき、ダイナミックコンテンツ744がシーン742に対して動いているように見え得る」との記載、【0070】の「オブジェクトの位置、オブジェクトの視角、又はその両方を変えることができる。この例では、利用者がメインパノラマ軸の方向にスワイプすることができる。このナビゲーションは、このビュー内の前景オブジェクト786を回転させることができる。一部の例では、前景のオブジェクトパノラマが回転し又は他の方法で動くとき、遠方の背景パノラマ788が変わらないこともある」との記載、及び図7D、7Jから、引用文献4のサラウンドビュー取得システムでは、スワイプする利用者操作を受け付けると、背景を変更することなく、当該関心のあるオブジェクトの位置、オブジェクトの視角、又はその両方を変えることができ、例えばオブジェクトの横方向への移動や回転ができ、オブジェクトの回転の場合には、同じ領域で異なる視点の画像に切り替えて回転させて表示する。
上記摘記事項及び(a)~(c)から、引用文献4には次の技術(以下「文献4技術」という。)が記載されているといえる。
[文献4技術]
サラウンドビュー取得システムにおいて、関心のあるオブジェクトについてスワイプなどの利用者操作を受け付けると、背景を変更することなく、当該関心のあるオブジェクトの位置、オブジェクトの視角、又はその両方を変えることができ、例えばオブジェクトの横方向への移動や回転ができ、オブジェクトの回転の場合には、同じ領域で異なる視点の画像に切り替えて表示する技術。
ウ 対比
本件補正発明と引用発明とを対比する。
(ア)構成Aについて
本件補正発明における「撮影対象」について、明細書の発明の詳細な説明及び図面を参照すると、【0034】のステップ3や図2等に「撮影画像(P1)から所定の撮影対象として、マーカ(TM)を抽出する」と記載されており、本件補正発明における「撮影対象」は「マーカTM」を含むものである。
そうすると、引用発明の構成aの「背景画像に写るマーカ」は、本件補正発明の構成Aの「撮影画像に撮影された撮影対象」に相当する。
また、引用発明の「背景画像」が「マーカが写る」ものであることを踏まえると、引用発明の構成aの「背景画像を撮影した撮像装置の位置及び向き(姿勢)」は、マーカと撮像装置との位置関係を示すものであることから、本件補正発明の構成Aの「(撮影対象と)当該撮影画像を撮影した撮影装置との位置関係」に相当する。
したがって、引用発明において撮像装置の位置及び向き(姿勢)を「算出」することは、本件補正発明において撮影対象と「撮影装置との位置関係を推定する推定手順」に相当する。
(イ)構成B’について
引用発明の構成b2の「現実オブジェクトを細かい角度幅で全方向から撮影して得られた複数のコンテンツ画像」、構成b3の「前記決定された位置から背景撮影位置への方向と近いコンテンツ撮影方向に対応付けられて保持されるコンテンツ画像」は、それぞれ本件補正発明の構成B’の「所定の対象をそれぞれ異なる視点から撮影した複数の多視点画像」、「推定された前記位置関係と対応する視点から撮影された多視点画像」に相当する。
また、引用発明の構成b3の「背景画像のマーカ上」は、本件補正発明の構成B’の「前記撮影画像内のうち前記撮影対象が撮影されている領域」に相当する。
したがって、引用発明の構成b3の「背景画像の前記マーカ上」に、「背景撮影位置への方向と近いコンテンツ撮影方向に対応付けられて保持されるコンテンツ画像」を抽出し、「複数のコンテンツ画像のうち抽出されたコンテンツ画像を重畳した合成画像」を「生成させ」、「表示させ」ることは、本件補正発明の構成B’の「推定された前記位置関係と対応する視点から撮影された多視点画像を、前記撮影画像内のうち前記撮影対象が撮影されている領域に配置して表示させる表示手順」に相当する。
(ウ)構成C’について
「スワイプ」は、画面をタッチして指を滑らせて行う「スクロール」のための作業であることは技術常識であることから、引用発明の構成cの「コンテンツ画像をスワイプする移動操作が受け付けられた場合」は、本件補正発明の構成C’の「前記多視点画像を配置した前記撮影画像を表示する画面に対するスクロール操作が行われた場合」に相当する。
また、引用発明の構成cの「別方向から撮影して得られたコンテンツ画像」は、本件補正発明の構成C’の「異なる視点から撮影された多視点画像」に相当する。
ここで、引用発明においては、「背景画像を変更することなく」「別方向から撮影して得られたコンテンツ画像」への切り換えを行っていることから、本件補正発明と引用発明とは、「前記多視点画像を配置した前記撮影画像を表示する画面に対するスクロール操作が行われた場合は、前記撮影画像を変更することなく、前記撮影画像内に配置して表示された多視点画像を、当該多視点画像とは異なる視点から撮影された多視点画像に変更」する表示制御を行う点で共通する。
しかしながら、本件補正発明では、変更した多視点画像を「前記撮影対象が撮影されている領域に配置して表示させる」のに対して、引用発明では、そのような特定はされていない点で、相違する。
(エ)構成Dについて
引用発明の構成dの「プログラム」は、本件補正発明の構成Dの「表示プログラム」に相当する。
以上の対比から、本件補正発明と引用発明との一致点及び相違点は、次のとおりである。
[一致点]
撮影画像に撮影された撮影対象と、当該撮影画像を撮影した撮影装置との位置関係を推定する推定手順と、
所定の対象をそれぞれ異なる視点から撮影した複数の多視点画像のうち、推定された前記位置関係と対応する視点から撮影された多視点画像を、前記撮影画像内のうち前記撮影対象が撮影されている領域に配置して表示させる表示手順と、
前記多視点画像を配置した前記撮影画像を表示する画面に対するスクロール操作が行われた場合は、前記撮影画像を変更することなく、前記撮影画像内に配置して表示された多視点画像を、当該多視点画像とは異なる視点から撮影された多視点画像に変更して表示させる表示制御手順と、
をコンピュータに実行させるための表示プログラム。
[相違点]
本件補正発明では、変更した多視点画像を「前記撮影対象が撮影されている領域に配置して表示させる」のに対して、引用発明では、そのような特定はされていない点。
エ 判断
上記相違点について検討する。
引用文献4には、サラウンドビュー取得システムにおいて、関心のあるオブジェクトについてスワイプなどの利用者操作を受け付けると、背景を変更することなく、当該関心のあるオブジェクトの位置、オブジェクトの視角、又はその両方を変えることができ、例えばオブジェクトの横方向への移動や回転ができ、オブジェクトの回転の場合には、同じ領域で異なる視点の画像に切り替えて表示する技術が記載されている。(上記イ(イ)bの文献4技術参照)。
ここで、引用文献1は、【0004】に背景技術として記載されるように、自由視点画像すなわちオブジェクトについて任意の方向から見た画像を用いた表示を提供するという技術に関係するものであり、引用発明においても「現実オブジェクトを細かい角度幅で全方向から撮影して得られた複数のコンテンツ画像」を保持している(構成a1)。
そうすると、引用発明と文献4技術は、ともに操作対象オブジェクトについて異なる方向から見た画像を表示して提供するという共通の技術分野に属するものであるから、引用発明に文献4技術を適用して、操作対象オブジェクトであるコンテンツ画像の移動操作として、後ろ方向や横方向への移動だけでなく回転もできるようにして、別方向から撮影して得られたコンテンツ画像をマーカ上に切り換えて表示させることで上記相違点に係る構成とすることは、当業者が容易に想到し得るものである。
したがって、本件補正発明は、引用発明1及び文献4技術に基づいて、当業者が容易に発明をすることができたものであり、特許法第29条第2項の規定により、特許出願の際独立して特許を受けることができないものである。
オ 請求人の主張について
令和4年12月5日付けで提出された意見書において、請求人は、次の主張をしている。
「引用文献1に開示の技術は、利用者の操作により多視点画像の視点を切り替えるものではなく、多視点画像の配置位置を変動させる結果として、多視点画像が配置される位置と端末装置との位置が変化するため、異なる視点の多視点画像を表示するものです。このように、引用文献1に開示の技術は、利用者のスクロール操作により多視点画像を変更させるものではないため、このような技術を、利用者のスクロール操作により前景オブジェクトの視点を切り替える引用文献4と組み合わせるのは、いかに当業者であっても想到するものではなく、阻害要因があると考えます。」
しかしながら、上記「エ」で述べたように、引用発明に文献4技術を適用して相違点に係る構成とすることは、当業者が容易に想到し得るものであり、また、引用発明は利用者のスクロール操作を受け付けるものであることから、引用発明に文献4技術を適用することに阻害要因もないことから、当該主張は採用することはできない。
カ 補正の適否のまとめ
よって、本件補正は、特許法第17条の2第6項において準用する同法第126条第7項の規定に違反するので、同法第159条第1項の規定において読み替えて準用する同法第53条第1項の規定により却下すべきものである。
したがって、上記補正の却下の決定の結論のとおり決定する。
第3 本願発明について
1 本願発明
令和4年12月5日にされた手続補正は、上記のとおり却下されたので、本願の請求項1に係る発明は、令和4年8月19日にされた手続補正により補正された特許請求の範囲の請求項1に記載された事項により特定されるものであるところ、その請求項1に係る発明(以下「本願発明」という。)は、その請求項1に記載された事項により特定される、前記「第2」の[理由]1(2)に記載のとおりのものである。
2 当審の拒絶の理由
本願発明についての令和4年9月29日付けの当審の拒絶の理由は、次のとおりのものである。
本件出願の下記の請求項に係る発明は、その出願前日本国内または外国において頒布された下記の刊行物に記載された発明又は電気通信回線を通じて公衆に利用可能となった発明に基いて、その出願前にその発明の属する技術の分野における通常の知識を有する者が容易に発明をすることができたものであるから、特許法第29条第2項の規定により特許を受けることができない。
・請求項1-7、14、17、19-20について;引用文献1、4
・請求項8-13、15-16について;引用文献1-2、4
・請求項18について;引用文献1-4
<引用文献等一覧>
1.特開2017-016166号公報
2.特開2014-071850号公報
3.国際公開第2013/187129号
4.特表2017-501516号公報
3 引用文献
上記拒絶の理由で引用された引用文献1、引用文献4及びその記載事項は、前記「第2」の[理由]2イに記載したとおりである。
4 対比・判断
本願発明と引用発明とを対比する。
(1)構成Aについて
前記「第2」の[理由]2ウ(ア)で述べたとおりである。
(2)構成Bについて
引用発明の構成b3の「背景画像のマーカ上」は、本願発明の構成Bの「撮影画像内」に相当する。
また、引用発明の構成b3の合成画像を「生成させ」、「表示させ」ることは、本願発明の構成Bにおいて推定された前記位置関係と対応する視点から撮影された多視点画像を、撮影画像内に「配置して表示させる表示手順」に相当する。
(3)構成Cについて
引用発明の構成cの「スワイプする移動操作が受け付けられた場合」、「別方向から撮影して得られたコンテンツ画像」は、それぞれ本願発明の構成Cの「前記多視点画像を配置した前記撮影画像に対する所定の操作が行われた場合」、「異なる視点から撮影された多視点画像」に相当する。
また、引用発明においては、「背景画像を変更することなく」「別方向から撮影して得られたコンテンツ画像」への切り換えを行っていることから、本願発明と引用発明とは、「前記多視点画像を配置した前記撮影画像に対する所定の操作が行われた場合は、前記撮影画像を変更することなく、前記撮影画像内に配置して表示された多視点画像を、当該多視点画像とは異なる視点から撮影された多視点画像に変更」する表示制御を行う点で共通する。
しかしながら、本願発明では、「変更前の多視点画像を配置した位置に変更後の多視点画像を配置して表示させる」のに対して、引用発明では、そのような特定はされていない点で、相違する。
(4)構成Dについて
前記「第2」の[理由]2ウ(エ)で述べたとおりである。
以上の対比から、本願発明と引用発明との一致点及び相違点は次のとおりである。
[一致点]
撮影画像に撮影された撮影対象と、当該撮影画像を撮影した撮影装置との位置関係を推定する推定手順と、
所定の対象をそれぞれ異なる視点から撮影した複数の多視点画像のうち、推定された前記位置関係と対応する視点から撮影された多視点画像を、前記撮影画像内に配置して表示させる表示手順と、
前記多視点画像を配置した前記撮影画像に対する所定の操作が行われた場合は、前記撮影画像を変更することなく、前記撮影画像内に配置して表示された多視点画像を、当該多視点画像とは異なる視点から撮影された多視点画像に変更して表示させる表示制御手順と、
をコンピュータに実行させるための表示プログラム。
[相違点]
本願発明では、「変更前の多視点画像を配置した位置に変更後の多視点画像を配置して表示させる」のに対して、引用発明では、そのような特定はされていない点。
上記相違点について検討すると、上記「第2」の[理由]2エで述べたとおり、引用発明と文献4技術は、ともに操作対象オブジェクトについて異なる方向から見た画像を表示して提供するという共通の技術分野に属するものであるから、引用発明に文献4技術を適用して、操作対象オブジェクトであるコンテンツ画像の移動操作として、後ろ方向や横方向への移動だけでなく回転もできるようにして、別方向から撮影して得られたコンテンツ画像をマーカ上に切り換えて表示させることで上記相違点に係る構成とすることは、当業者が容易に想到し得るものである。
5 本願発明についてのむすび
以上のことから、本願発明は、令和4年9月29日付けの当審の拒絶の理由で通知したとおり、特許法第29条第2項の規定により特許を受けることができない。
第4 むすび
以上のとおり、本願発明は、特許法第29条第2項の規定により特許を受けることができないから、本願は拒絶されるべきものである。
よって、結論のとおり審決する。
審決本文(J-PlatPat)
J-PlatPatの審決検索トップを開きます。番号入力で「審判番号」を選び、下の番号を貼り付けて検索してください。
J-PlatPat 審決検索を開く
2021-013958