特許拒絶査定不服審判
2022-003043
ホログラフィックオブジェクトのリレーショナルレンダリング
- 審判番号
- 2022-003043
- 法域
- 特許
- 審判種別
- 拒絶査定不服審判(拒絶査定不服の審決)
- 出願番号
- 特願2018-566435
- 請求日
- 2022年03月01日
- 審決日
- 2022年11月21日
- 公報発行日
- 2023年05月26日
- 結論
- 請求不成立
- 当事者
- 【請求人】マイクロソフト テクノロジー ライセンシング,エルエルシー
- 【請求人代理人】伊東 忠重
- 【請求人代理人】伊東 忠彦
- 【請求人代理人】宮崎 修
- 審判長/審判官
- 審判長 岡田 吉美
- 審判官 後藤 慎平
- 審判官 濱野 隆
- 分類
- P18 .121-Z (G09G)
- 条文(本文から自動抽出・参考)
- 特許法第29条
- データ出所
- 審決公報(XML)
事件の表示
特願2018-566435「ホログラフィックオブジェクトのリレーショナルレンダリング」拒絶査定不服審判事件〔平成29年12月28日国際公開、WO2017/222859、令和 1年 9月26日国内公表、特表2019-527376〕について、次のとおり審決する。
結論
結 論
本件審判の請求は、成り立たない。
理由
理 由
第1 手続の経緯
本願は、平成29年6月13日(パリ条約による優先権主張 2016年6月24日 米国)を国際出願日とする外国語特許出願であって、その手続の経緯の概略は、次のとおりである。
平成30年12月18日 :翻訳文の提出
令和 2年 5月12日 :手続補正書の提出
令和 3年 4月 6日付け:拒絶理由通知書
同年 8月 6日 :意見書の提出
同年10月25日付け:拒絶査定(以下「原査定」という。)
令和 4年 3月 1日 :審判請求書、手続補正書の提出
第2 本願発明について
本願の請求項1~17に係る発明は、令和4年3月1日に提出された手続補正書により補正された請求項1~17に記載された事項により特定されるとおりのものであるところ、請求項1の記載は次のとおりである。
以下、請求項1に係る発明を「本願発明」という。
「 【請求項1】
コンピュータシステムによって実施される方法であって、
ホログラムオブジェクトを識別するステップと、
物理的オブジェクトを識別するステップであって、前記物理的オブジェクトは、前記物理的オブジェクトと前記ホログラムオブジェクトに割り当てられた1つ以上の化学的又は熱的特性に基づいて前記物理的オブジェクトと前記ホログラムオブジェクトとの間に存在にする所定の化学的又は熱的関係に従って前記ホログラムオブジェクトに関連付けられている、ステップと、
前記ホログラムオブジェクトと前記物理的オブジェクトとの間の近接性に対する変化を検出するステップと、
前記ホログラムオブジェクトと前記物理的オブジェクトとの間の近接性の前記検出された変化に応答して、前記所定の化学的又は熱的関係に基づいて、新たなホログラムオブジェクト又は変更されたホログラムオブジェクトを生成するステップであって、前記新たな又は変更されたホログラムオブジェクトは、前記所定の化学的又は熱的関係に基づいて前記ホログラムオブジェクトと前記物理的オブジェクトとの間の化学的又は熱的反応をシミュレートし、前記シミュレートされた化学的又は熱的反応は、前記ホログラムオブジェクトと前記物理的オブジェクトとの間の前記シミュレートされた化学的又は熱的反応の進行又は強さの程度が時間期間に依存するように、前記ホログラムオブジェクトと前記物理的オブジェクトとの間の前記近接性だけでなく、前記ホログラムオブジェクトが前記物理的
オブジェクトに対して近接距離内にある時間期間にも基づいており、前記ホログラムオブジェクトは、前記物理的オブジェクトを含む異なる物理的オブジェクトとの物理的関係に従って異なるように反応するように構成される、ステップと、
前記新たな又は変更されたホログラムオブジェクトのマッピングを格納するステップと、を含む、
方法。」
第3 原査定の拒絶の理由
原査定の拒絶の理由のうち、本願発明についての理由1(進歩性)の概要は、次のとおりである。
理由1(進歩性)
本願発明は、本願の優先日前に発行された下記の引用文献1及び引用文献2に記載された発明に基づいて、当業者が容易に発明をすることができたものであるから、特許法29条2項の規定により特許を受けることができない。
記
引用文献1: 特開2014-010664号公報
引用文献2: フュージョンフレンジー2 NBA ライブ 07,ファミ通Xbox 360 第5巻 第12号,日本,株式会社エンターブレイン,2006年11月 2日,第5巻,143頁
第4 引用文献等
1 引用文献1
(1) 引用文献1の記載事項
原査定の拒絶の理由において引用された引用文献1には、以下の記載がある。下線は当審において付与した。以下同様である。
ア 【請求項6】~【請求項8】
「【請求項6】
仮想的な3次元空間における3次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型HMDと、当該光学透過型HMDを装着するユーザの視野を含む領域にある被写体を撮像する撮像素子とを備える立体映像観察デバイスに提示させる、前記撮像素子が撮像した被写体をマーカとするARイメージを生成するステップと、
第1のマーカに紐付けられた第1ARイメージと、第2のマーカまたは第2のマーカに紐付けられた第2ARイメージとの間の、仮想的な3次元空間における近接度を取得するステップと、
取得した近接度をもとに、第1ARイメージまたは第2ARイメージとの間に生じる相互作用を算出するステップと、
算出した相互作用に応じて、第1ARイメージまたは第2ARイメージの少なくともいずれか一方のイメージを変化させるステップとをプロセッサに実行させることを特徴とする映像処理方法。
【請求項7】
仮想的な3次元空間における3次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型HMDと、当該光学透過型HMDを装着するユーザの視野を含む領域にある被写体を撮像する撮像素子とを備える立体映像観察デバイスに提示させる、前記撮像素子が撮像した被写体をマーカとするAR イメージを生成する機能と、
第1のマーカに紐付けられた第1ARイメージと、第2のマーカまたは第2のマーカに紐付けられた第2ARイメージとの間の、仮想的な3次元空間における近接度を取得する機能と、
取得した近接度をもとに、第1ARイメージまたは第2ARイメージとの間に生じる相互作用を算出する機能と、
算出した相互作用に応じて、第1ARイメージまたは第2ARイメージの少なくともいずれか一方のイメージを変化させる機能とをコンピュータに実現させることを特徴とするプログラム。
【請求項8】
仮想的な3次元空間における3次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型HMDと、
前記光学透過型HMDに備えられ、前記光学透過型HMDを装着するユーザの視野を含む領域にある被写体を撮像する撮像素子と、
前記撮像素子が撮像した被写体をマーカとして、前記光学透過型HMDに提示させるAR(Augmented Reality)イメージを生成するARイメージ生成部と、
第1のマーカに紐付けられた第1ARイメージと、第2のマーカまたは第2のマーカに紐付けられた第2ARイメージとの間の、仮想的な3次元空間における近接度を取得する近接度取得部と、
前記近接度取得部が取得した近接度をもとに、第1ARイメージまたは第2ARイメージとの間に生じる相互作用を算出する相互作用演出部とを含み、
前記ARイメージ生成部は、前記相互作用演出部が算出した相互作用に応じて、第1ARイメージまたは第2ARイメージの少なくともいずれか一方のイメージを変化させることを特徴とする映像処理システム。」
イ 段落【0001】~【0010】
「【技術分野】
【0001】
本発明は、映像処理装置、映像処理方法、および映像処理システムに関する。
【背景技術】
【0002】
近年、立体映像を提示するための技術開発が進み、奥行きを持った立体映像を提示することが可能なヘッドマウントディスプレイ(Head Mounted Display; 以下「HMD」と記載する。)が普及してきている。このようなHMDの中には、ホログラフィック素子やハーフミラー等を用いて、立体映像をユーザに提示しつつ、かつユーザがHMDの外の様子をシースルーで見ることができる光学透過型HMDも開発されている。
【0003】
一方、カメラ等の撮像素子で撮像した実世界の映像にCG(Computer Graphics)等の映像を付加した映像を生成し、ユーザに提示する実世界の映像の一部に修正を加えるAR(Augmented Reality)技術も実用段階に入りつつある。AR技術では、バーコード等の識別可能な特定の情報を認識し、その情報に紐付けて画像を生成する場合もある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
特定の対象物に紐付けて画像を生成する場合、対象物の位置や向きが変化すると、対象物に紐付けられた画像はその変化に応じて生成される。この結果、互いに異なる対象物に紐付けて生成されたふたつの異なる画像が接近したり、場合によっては接触したりすることも起こり得るが、それを起因として互いの画像に生じる変化を表現することにより、インタラクティブな立体映像を提供できる可能性について本願の発明者は認識するに至った。
本発明はこうした課題に鑑みてなされたものであり、その目的は、特定の対象物に紐付けて生成される画像間の相互作用を演出する技術を提供することにある。
・・・(中略)・・・
【0007】
本発明の別の態様は、映像処理方法である。この方法は、仮想的な3次元空間における3次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型HMDと、当該光学透過型HMDを装着するユーザの視野を含む領域にある被写体を撮像する撮像素子とを備える立体映像観察デバイスに提示させる、前記撮像素子が撮像した被写体をマーカとするARイメージを生成するステップと、第1のマーカに紐付けられた第1ARイメージと、第2のマーカまたは第2のマーカに紐付けられた第2ARイメージとの間の、仮想的な3次元空間における近接度を取得するステップと、取得した近接度をもとに、第1ARイメージまたは第2ARイメージとの間に生じる相互作用を算出するステップと、算出した相互作用に応じて、第1ARイメージまたは第2ARイメージの少なくともいずれか一方のイメージを変化させるステップとをプロセッサに実行させる。
【0009】
本発明のさらに別の態様は、上記の方法の各ステップをコンピュータに実現させるプログラムである。
【0010】
このプログラムは、ビデオやオーディオのデコーダ等のハードウェア資源の基本的な制御を行なうために機器に組み込まれるファームウェアの一部として提供されてもよい。このファームウェアは、たとえば、機器内のROM(Read Only Memory)やフラッシュメモリなどの半導体メモリに格納される。このファームウェアを提供するため、あるいはファームウェアの一部をアップデートするために、このプログラムを記録したコンピュータ読み取り可能な記録媒体が提供されてもよく、また、このプログラムが通信回線で伝送されてもよい。」
ウ 段落【0014】~【0019】、【図1】
「【0014】
本発明の実施の形態の概要を述べる。本発明の実施の形態は、ユーザの操作によって移動された3次元イメージが別の3次元イメージに近づいたとき、その近接度をもとに、3次元イメージ間の仮想的な相互作用を演出し、3次元イメージに反映させる。また、相互作用とは例えば3次元イメージ間の接触や衝突等であり、相互作用の前後における3次元イメージの仮想的な速度や加速度等の属性に応じて、3次元イメージを変化させて提示する。
【0015】
図1は、実施の形態に係る映像提示システム100の全体構成を模式的に示す図である。実施の形態に係る映像提示システム100は、立体映像観察デバイス200、3次元モニタ300、および情報処理装置400を含む。
【0016】
立体映像観察デバイス200は、光学透過型HMDである。ここで立体映像観察デバイス200は、後述する3次元モニタ300を観察するための光学シャッタ(図示せず)を備えてもよい。光学シャッタは3次元モニタ300の視差画像の切替と同期して、左右のシャッタを開閉する。より具体的には、3次元モニタ300が左目用の視差画像を表示しているときは、右目用のシャッタを閉じるとともに左目用のシャッタを開け、立体映像観察デバイス200を装着するユーザに左目用の視差画像を提示する。反対に、3次元モニタ300が右目用の視差画像を表示しているときは、左目用のシャッタを閉じるとともに右目用のシャッタを開け、ユーザに右目用の視差画像を提示する。光学シャッタは、例えば既知の液晶シャッタを用いて実現できる。
【0017】
立体映像観察デバイス200は、シャッタ切替のための同期信号を受信する。同期信号は、3次元モニタ300または情報処理装置400に設けられた図示しない信号送信部から、例えば赤外光等を用いて無線で伝達される。
【0018】
3次元モニタ300は、フレームシーケンシャル方式で立体映像を表示する。人間の左右の目は6cm程度離れているため、左目から見える映像と右目から見える映像には視差が生じる。人間の脳は、左右の目で知覚した視差画像を、奥行きを認識するためのひとつの情報として利用しているといわれている。そのため、左目で知覚される視差画像と右目で知覚される視差画像とをそれぞれの目に投影すると、人間には奥行きを持った映像として認識される。3次元モニタ300は、左目用の視差画像と右目用の視差画像とを交互に時分割で表示する。3次元モニタ300は、液晶テレビやプラズマディスプレイ、有機ELモニタ等の既知の提示デバイスを用いて実現できる。
【0019】
情報処理装置400は、映像提示システム100で提示するための立体映像や上述した同期信号を取得する。情報処理装置400の例としては、例えば据置型のゲーム機や携帯ゲーム機等である。情報処理装置400は内蔵するプロセッサを用いて立体映像や同期信号を生成したり、図示しないネットワークインタフェースを介して、サーバ等の他の情報処理装置から立体映像を取得したりする。」
「【図1】
[図:0001396838000001.jpg]
」
エ 段落【0024】~【0046】、【図3】、【図4】
「【0024】
図3は、実施の形態に係る映像処理装置500の内部構成を模式的に示す図である。実施の形態に係る映像処理装置500は、上述した情報処理装置400の一部として実現される。あるいは、インターネット等のネットワークを介して情報処理装置400に送信するための立体映像を生成するサーバ内に実現されてもよいし、立体映像観察デバイス200や3次元モニタ300に内蔵されてもよい。あるいはさらに、映像処理装置500は独立したひとつの装置であってもよい。以下では、実施の形態に係る映像処理装置500は、上述した情報処理装置400の一部として実現されることを前提に説明する。
【0025】
実施の形態に係る映像処理装置500は、コンテント実行部510、映像生成部520、出力部530、属性管理部540、マーカ特定部550、近接度取得部560、および相互作用演出部570を含む。
【0026】
コンテント実行部510は、例えばゲームアプリケーションや、地図情報を提供するアプリケーション等、映像処理装置500の処理対象となる映像を含むコンテントを実行する。コンテント実行部510は、コンテントを実行することにより、仮想的な3次元空間中に立体映像観察デバイス200に表示させる3次元オブジェクトを設定する。
【0027】
ここで本明細書における「オブジェクト」とは、3次元CGにおける描画の要素となるポリゴン(polygon)の集合であって、各ポリゴンが共通の座標軸を持ち、ひとまとまりとして意味を持つものである。具体的には、木や家、車などの物体を表現するポリゴンの集合体や、ユーザの操作対象となるキャラクタ等の人物や生物を表現するポリゴンの集合体である。「オブジェクト」を構成するポリゴンの集合は共通の座標軸をもっているため、仮想的な3次元空間中において位置や向きを特定することができる。
【0028】
例えば「木」を表すオブジェクトが根本から切り倒されることを表現する場合、仮想的な3次元空間中に直立していた「木」は、根本を中心軸として3次元空間中で次第に傾けて描画される。この時「木」のオブジェクトを構成するポリゴンの各座標は、中心軸を中心とする回転の座標変換を計算することによって求めることができる。これらの操作は、拡大、縮小のスケール変換と合わせて、既知の4×4の変換行列を用いる線形変換の演算によって実現できる。
【0029】
映像生成部520は、コンテント実行部510が仮想的な3次元空間中に設定した3次元オブジェクトをもとに、立体映像観察デバイス200に表示させる立体映像を生成する。具体的には、コンテント実行部510が仮想的な3次元空間中に設定した3次元オブジェクトの左目用の視差画像と右目用の視差画像とを生成する。
【0030】
マーカ特定部550は、立体映像観察デバイス200に備えられた撮像素子204が流し撮りする映像を取得し、映像中のマーカを特定する。ここで「マーカ」とは、例えばオブジェクトを生成するオブジェクト取得部502が利用する情報であって、仮想的な3次元空間に生成する画像の位置を特定できる情報である。マーカの具体例としては、例えばモニタに表示された画像や動画、カードや紙に印刷された画像、円や星形等の特定形状の物体、特定の色、人物や動物のシルエットや顔、GPS等による特定の位置情報が示す位置などである。マーカとして、例えば円錐のような3次元の物体が用いられる場合には、マーカの3次元空間における「向き」が特定できる。このような場合、画像を生成すべき位置のみならず、生成する画像の向きも特定できる。
【0031】
マーカにはARイメージが関連づけられることが多い。ここで「ARイメージ」とは、マーカに関連づけられたオブジェクトであって、そのマーカの位置、向き、または傾きの変化に連動して位置や向き、傾きが変化するオブジェクトである。例えば、紙に印刷されたバーコードをマーカとして、速度ベクトルv1で移動する「ボール」のARイメージが関連づけられているとする。このとき、ユーザがマーカを速度ベクトルv2で移動させたとすると、「ボール」はマーカに連動して動くため、速度ベクトルv1と速度ベクトルv2との合成ベクトルv3の向きおよび速さで移動する。このように、映像生成部520が生成するオブジェクトには、マーカに関連づけられたARイメージも含む。このため、映像生成部520は、オブジェクト生成部524、ARイメージ生成部526、および制御部522を含む。
【0032】
制御部522は、オブジェクト生成部524とARイメージ生成部526との動作を統括的に制御する。制御部522は、コンテント実行部510が仮想的な3次元空間中に設定した3次元オブジェクトの情報、およびユーザに提示する映像を生成するための視線方向を取得し、オブジェクト生成部524に視差画像を生成させる。オブジェクト生成部524は、制御部522の制御の下、視差画像を生成して後述する出力部530に出力する。
【0033】
ARイメージ生成部526は、制御部522の制御の下、マーカ特定部550が特定したマーカに関連づけられているARイメージを生成する。図4は、マーカ710とそのマーカに紐付けられたARイメージ712とを含む映像を例示する図である。図4は、ユーザの腕702が握っている棒状の握り部および球状の物体からなるマーカ710を例示している。当然のことながら、ユーザの腕702は実在する。また、マーカ710も実在する物体である。図4に示すように、3次元空間にはx軸、y軸、およびz軸による直交座標系602が設定されている。直交座標系602は、オブジェクト生成部524およびARイメージ生成部526が仮想的な3次元空間に設定する座標系と一致する。
【0034】
なお、直交座標系602のx軸とy軸とが張るxy平面と、3次元モニタ300の表示領域とが平行となるように、直交座標系602を設定するのが好ましい。より具体的には、直交座標系602のx軸とy軸とが張るxy平面上に3次元モニタ300の表示領域が重なるように、直交座標系602の原点Oが設定されるのが好ましい。また、直交座標系602のz軸は、3次元モニタ300の表示領域に対して立体映像観察デバイス200を装着するユーザの視点側が負のz座標値、3次元モニタ300の表示領域に対して視点と反対側が正のz座標値となるように設定されるのが好ましい。
【0035】
図4に示す例では、ARイメージ712は炎を表現するオブジェクトである。ARイメージ生成部526がマーカ710と関連づけて生成するARイメージ712もオブジェクトであるため、位置座標が定められている。ARイメージ生成部526は、上述の直交座標系602ではなく、ARイメージ712を関連づけるマーカ710の位置に応じて定まる点を原点として設定された座標系704にしたがって、ARイメージ712を生成する。このため、ユーザがマーカ710の位置や向き、傾きを変更すると、ARイメージ712が基準とする座標系704も変更する。座標系704が変更されると、それに伴ってARイメージ712の位置および向きも変更される。なお、ARイメージ712が基準とする座標系704の原点は、必ずしも関連するマーカと重なる位置になくてもよい。
【0036】
このように、ARイメージ生成部526が生成するオブジェクトであるARイメージは、マーカ710の動きと連動して動く。そこで、近接度取得部560が、異なるふたつのARイメージ同士の近接度、すなわちたつのARイメージ間の距離を計算して取得する。
【0037】
図5は、異なるふたつのARイメージ間の近接度を説明するための図であり、立体映像観察デバイス200を装着したユーザに提示される映像の一例を示す図である。図5は、3種類のマーカ710、714、および300と、それらに対応付けられた3種類のARイメージ716、718、および720を示している。ここでマーカ714は紙に印刷された画像であり、マーカ300は3次元モニタ300における表示領域がマーカとなっている。マーカ710に関連づけられたARイメージ716は光り輝く仮想的な刀身であり、マーカ714に関連づけられたARイメージ718は、円錐形のオブジェクトである。た、マーカ300に関連づけられたARイメージ720は、3次元モニタ300から飛来し3次元モニタ300から離れる方向に移動する球状のオブジェクトである。
【0038】
各ARイメージには、ARイメージ間の距離を計測するために定められた距離計測基準点が定められている。図5に示す例では、ARイメージ716の距離計測基準点は符号722で示されている。同様に、ARイメージ718およびARイメージ720の距離計測基準点は、それぞれ符号724および726で示されている。距離計測基準点は、ARイメージ716を構成するポリゴンの表面やARイメージ716付近に存在すればどのような点でもよいが、一例として、近接度取得部560は、ARイメージ716を構成する複数のポリゴンの重心位置に距離計測基準点を設定する。これにより、オブジェクトを構成するポリゴンが複数あったとしてもオブジェクトの位置座標をひとつの座標で表すことができるので、計算コストの抑制と処理速度の向上とが期待できる。
【0039】
各ARイメージには、ARイメージ間の衝突を判定するために定められた衝突判定基準半径も定められている。例えば図5に示す例において、ARイメージ716の衝突判定基準半径がr1であり、ARイメージ720の衝突判定基準半径がr2であるとする。また、ARイメージ716の距離計測基準点の座標が(x1,y1,z1)であり、ARイメージ720の距離計測基準点の座標が(x2,y2,z2)であるとする。このとき近接度取得部560は、次の式(1)で示す式の値Eを評価する。
E=(x1-x2)2+(y1-y2)2+(z1-z2)2-(r1+r2)2 (1)
【0040】
式(1)において、E=0の場合、ARイメージ716の距離計測基準点とARイメージ720の距離計測基準点との間のユークリッド距離Lが、ARイメージ716の衝突判定基準半径r1とARイメージ720衝突判定基準半径r2との和に等しいことを意味する。このとき、近接度取得部560は、ARイメージ716とARイメージ720とが「接している」とみなす。また、式(1)においてE<0の場合、ARイメージ716の衝突判定基準半径r1とARイメージ720の衝突判定基準半径r2との和が、ARイメージ716の距離計測基準点とARイメージ720の距離計測基準点との間のユークリッド距離Lよりも大きいことを意味する。この場合、近接度取得部560は、ARイメージ716とARイメージ720とが「離れている」とみなす。反対に、式(1)においてE>0の場合、ARイメージ716の衝突判定基準半径r1とARイメージ720の衝突判定基準半径r2との和が、ARイメージ716の距離計測基準点とARイメージ720の距離計測基準点との間のユークリッド距離Lよりも小さいことを意味する。この場合、近接度取得部560は、ARイメージ716とARイメージ720とが「重なっている」とみなす。このように、近接度取得部560が取得するEの値は、ふたつのARイメージ間の近接度を表現する値として利用することができる。
【0041】
ここで各ARイメージの衝突判定基準半径は、3次元空間中におけるARイメージの大きさを反映する値であればよく、例えば、距離計測基準点からARイメージを構成するポリゴンまでの距離をもとに設定すればよい。より具体的には、距離計測基準点からARイメージを構成する各ポリゴンまでの距離の平均値、距離の最大値または最小値等を、そのARイメージの衝突判定基準半径として採用すればよい。
【0042】
図3の説明に戻り、相互作用演出部570は、近接度取得部560が取得した近接度をもとに、ふたつの異なるARイメージ間に生じる相互作用を算出する。ここで「相互作用」とは、ARイメージ間に生じる仮想の物理的あるいは化学的な相互作用と、CGを用いた視覚効果(Visual Effects;VFX)とを含む概念である。前者の例は、剛体同士の衝突における運動量保存則や、軟体同士の衝突であれば両者が結合する現象、あるいは一方のARイメージが燃焼している場合に、燃焼していなかった他方のARイメージに炎が移るといった現象である。後者の例は、一方のARイメージがあらゆるものを切断する刀身である場合にそのARイメージに触れた別のARイメージが切断されるといった効果や、一方のARイメージがあらゆるものを透過する属性が付加されている場合に、他方のARイメージと干渉することなく重なるといった効果である。
【0043】
属性管理部540は、ARイメージ生成部526が生成するARイメージそれぞれに付与される仮想的な物理特性や視覚効果を示す情報を含む属性を管理する。ここで属性管理部540が管理する属性は、相互作用演出部570が算出する相互作用に応じて変化する。具体的に、属性管理部540が管理する属性に含まれる物理特性は、ARイメージの3次元空間における位置座標、速度ベクトル、加速度ベクトル、質量、ARイメージの剛性、色、温度、燃焼しているか否か、発光しているか否か、上述した距離計測基準点および衝突基準半径を含む。これらの物理特性は例示であり、属性管理部540は、これらの物理特性を必ずしも全て管理する必要はない。どのような物理特性を管理するかは、コンテント実行部510が再生するコンテントが想定する利用シーンに応じて決定すればよい。
【0044】
相互作用演出部570は、近接度取得部560が取得した近接度をもとに、ふたつのARイメージの物理特性を変化させる。より具体的には、相互作用演出部570は、近接度取得部560が取得した近接度をもとに相互作用を算出し、属性管理部540が、相互作用演出部570が算出した相互作用に応じてARイメージに付与された属性を変化させる。ARイメージ生成部526は、ARイメージの属性が変化したときに生成するイメージを変化させる。
【0045】
例えば図5に示す例において、3次元モニタ300から飛来して3次元モニタ300から離れる方向に移動する球状のオブジェクトであるARイメージ720が、3次元空間上で静止している円錐形のオブジェクトであるARイメージ718に衝突する場合を考える。このとき近接度取得部560がARイメージ720とARイメージ718との間の近接度を計算し、両者が接したと判断したとする。相互作用演出部570は、ARイメージ720に属性である質量および速度ベクトルと、ARイメージ718の属性である質量および速度ベクトルとをもとに、運動量保存則と運動エネルギー保存則とを適用して、衝突後の両者の速度ベクトルを算出する。
【0046】
属性管理部540は、ARイメージ718およびARイメージ720の属性中の速度ベクトルを、相互作用演出部570が算出した速度ベクトルで書き換える。ARイメージ生成部526は、属性管理部540が書き換えた速度ベクトルにしたがって、ARイメージ718およびARイメージ720が移動するようにARイメージ718およびARイメージ720を変化させる。」
「【図3】
[図:0001396838000002.jpg]
」
「【図4】
[図:0001396838000003.jpg]
」
オ 段落【0047】~【0049】、【図6】
「【0047】
図6は、異なるふたつのARイメージ間の相互作用を例示する図であり、立体映像観察デバイス200を装着したユーザに提示される映像の一例を示す図である。図6に示す例では、マーカ710に関連づけられた炎を表すARイメージ712が、紙のマーカ728に関連づけられた爆弾を表すARイメージ730の導火線に近接している。図6に示す例ではARイメージ730の導火線に火はついていないが、ユーザがマーカ710を動かすことによって、ARイメージ712がARイメージ730の導火線とが十分に近接したと、近接度取得部560が判断したとする。このとき、相互作用演出部570は、ARイメージ730の導火線が着火したとみなし、属性管理部540はARイメージ730の属性を「燃焼していない」から「燃焼している」に変化させる。この結果、ARイメージ生成部526は、ARイメージ730の導火線に火がついて、時間とともに短くなるようにARイメージ730を変化させる。
【0048】
図6に示す例において、所定時間が経過した後に爆弾本体が着火したとする。この時、ARイメージ生成部526は、爆弾を表すARイメージ730は、爆発によっていくつかの破片に分裂されたように生成される。このように、ARイメージ生成部526は、ひとつのARイメージから別のARイメージを新しく生成することもある。ひとつのARイメージから別のARイメージを新しく生成する場合の別の例としては、ピストルを表すARイメージから銃弾を発射するイメージを生成する場合があげられる。あるいは、図6に示す例においてユーザがマーカ710を高速で移動させたとする。この時、マーカ710の移動に応じてARイメージ712の移動ベクトルおよび加速度ベクトルが変化するが、これらの物理特性の単位時間あたりの変化量が所定のしきい値を上回る場合、ARイメージ生成部526は、ARイメージ712とは別の新たなARイメージを生成してもよい。これにより、ユーザの操作に応じて炎が分裂して飛び出るといった演出が可能となる。
【0049】
ここで、ひとつのARイメージから別のARイメージを新しく生成する場合、新しく生成されるARイメージはもととなるマーカに関連づけられてもよいし、位置情報を用いた別のマーカであってもよい。」
「【図6】
[図:0001396838000004.jpg]
」
(2) 引用発明の認定
前記(1)において摘記した事項から、引用文献1には次の発明(以下「引用発明」という。)が記載されていると認められる。
[引用発明]
「 仮想的な3次元空間における3次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型HMDと、当該光学透過型HMDを装着するユーザの視野を含む領域にある被写体を撮像する撮像素子とを備える立体映像観察デバイスに提示させる、前記撮像素子が撮像した被写体をマーカとするARイメージを生成するステップと、
第1のマーカに紐付けられた第1ARイメージと、第2のマーカまたは第2のマーカに紐付けられた第2ARイメージとの間の、仮想的な3次元空間における近接度を取得するステップと、
取得した近接度をもとに、第1ARイメージまたは第2ARイメージとの間に生じる相互作用を算出するステップと、
算出した相互作用に応じて、第1ARイメージまたは第2ARイメージの少なくともいずれか一方のイメージを変化させるステップとをプロセッサに実行させる映像処理方法であって、(【請求項6】)
各ステップをコンピュータによって実現させており、(【0009】)
仮想的な3次元空間における3次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型HMDと、
前記光学透過型HMDに備えられ、前記光学透過型HMDを装着するユーザの視野を含む領域にある被写体を撮像する撮像素子と、
前記撮像素子が撮像した被写体をマーカとして、前記光学透過型HMDに提示させるAR(Augmented Reality)イメージを生成するARイメージ生成部と、
第1のマーカに紐付けられた第1ARイメージと、第2のマーカまたは第2のマーカに紐付けられた第2ARイメージとの間の、仮想的な3次元空間における近接度を取得する近接度取得部と、
前記近接度取得部が取得した近接度をもとに、第1ARイメージまたは第2ARイメージとの間に生じる相互作用を算出する相互作用演出部とを含み、
前記ARイメージ生成部は、前記相互作用演出部が算出した相互作用に応じて、第1ARイメージまたは第2ARイメージの少なくともいずれか一方のイメージを変化させる映像処理システムにより実施されるものであり、(【請求項8】)
立体映像観察デバイス200は、光学透過型HMDであり、立体映像観察デバイス200は、3次元モニタ300を観察するための光学シャッタを備え、光学シャッタは3次元モニタ300の視差画像の切替と同期して、左右のシャッタを開閉するものであり、より具体的には、3次元モニタ300が左目用の視差画像を表示しているときは、右目用のシャッタを閉じるとともに左目用のシャッタを開け、立体映像観察デバイス200を装着するユーザに左目用の視差画像を提示し、反対に、3次元モニタ300が右目用の視差画像を表示しているときは、左目用のシャッタを閉じるとともに右目用のシャッタを開け、ユーザに右目用の視差画像を提示するものであり、(【0016】)
実施の形態に係る映像提示システム100は、立体映像観察デバイス200、3次元モニタ300、および情報処理装置400を含み、(【0015】)
映像処理装置500は、情報処理装置400の一部として実現され、(【0024】)
映像処理装置500は、コンテント実行部510、映像生成部520、出力部530、属性管理部540、近接度取得部560、および相互作用演出部570を含み、(【0025】)
コンテント実行部510は、映像処理装置500の処理対象となる映像を含むコンテントを実行するものであって、コンテントを実行することにより、仮想的な3次元空間中に立体映像観察デバイス200に表示させる3次元オブジェクトを設定するものであり、(【0026】)
ここで「オブジェクト」とは、3次元CGにおける描画の要素となるポリゴン(polygon)の集合であって、各ポリゴンが共通の座標軸を持ち、ひとまとまりとして意味を持つものであり、具体的には、木や家、車などの物体を表現するポリゴンの集合体や、ユーザの操作対象となるキャラクタ等の人物や生物を表現するポリゴンの集合体であり、「オブジェクト」を構成するポリゴンの集合は共通の座標軸をもっているため、仮想的な3次元空間中において位置や向きを特定することができるものであり、(【0027】)
映像生成部520は、コンテント実行部510が仮想的な3次元空間中に設定した3次元オブジェクトをもとに、立体映像観察デバイス200に表示させる立体映像を生成するものであり、具体的には、コンテント実行部510が仮想的な3次元空間中に設定した3次元オブジェクトの左目用の視差画像と右目用の視差画像とを生成するものであり、(【0029】)
マーカ特定部550は、立体映像観察デバイス200に備えられた撮像素子204が流し撮りする映像を取得し、映像中のマーカを特定するものであり、ここで「マーカ」とは、例えばオブジェクトを生成するオブジェクト取得部502が利用する情報であって、仮想的な3次元空間に生成する画像の位置を特定できる情報であり、マーカの具体例としては、例えばモニタに表示された画像や動画、カードや紙に印刷された画像、円や星形等の特定形状の物体、特定の色、人物や動物のシルエットや顔、GPS等による特定の位置情報が示す位置などであり、マーカとして、例えば円錐のような3次元の物体が用いられる場合には、マーカの3次元空間における「向き」が特定でき、このような場合、画像を生成すべき位置のみならず、生成する画像の向きも特定でき、(【0030】)
「ARイメージ」とは、マーカに関連づけられたオブジェクトであって、そのマーカの位置、向き、または傾きの変化に連動して位置や向き、傾きが変化するオブジェクトであり、(【0031】)
前記マーカ710は実在する物体であり、(【0033】)
相互作用演出部570は、近接度取得部560が取得した近接度をもとに、ふたつの異なるARイメージ間に生じる相互作用を算出するものであり、ここで「相互作用」とは、ARイメージ間に生じる仮想の物理的あるいは化学的な相互作用と、CGを用いた視覚効果(Visual Effects;VFX)とを含む概念であり、前者の例は、剛体同士の衝突における運動量保存則や、軟体同士の衝突であれば両者が結合する現象、あるいは一方のARイメージが燃焼している場合に、燃焼していなかった他方のARイメージに炎が移るといった現象であり、後者の例は、一方のARイメージがあらゆるものを切断する刀身である場合にそのARイメージに触れた別のARイメージが切断されるといった効果や、一方のARイメージがあらゆるものを透過する属性が付加されている場合に、他方のARイメージと干渉することなく重なるといった効果であり、(【0042】)
相互作用演出部570は、近接度取得部560が取得した近接度をもとに、ふたつのARイメージの物理特性を変化させるものであり、より具体的には、相互作用演出部570は、近接度取得部560が取得した近接度をもとに相互作用を算出し、属性管理部540が、相互作用演出部570が算出した相互作用に応じてARイメージに付与された属性を変化させるものであり、(【0044】)
ARイメージ生成部526は、ARイメージの属性が変化したときに生成するイメージを変化させるものであり、(【0044】)
前記属性管理部540は、ARイメージ生成部526が生成するARイメージそれぞれに付与される仮想的な物理特性や視覚効果を示す情報を含む属性を管理するものであり、ここで属性管理部540が管理する属性は、相互作用演出部570が算出する相互作用に応じて変化するものであり、具体的に、属性管理部540が管理する属性に含まれる物理特性は、ARイメージの3次元空間における位置座標、速度ベクトル、加速度ベクトル、質量、ARイメージの剛性、色、温度、燃焼しているか否か、発光しているか否か、距離計測基準点および衝突基準半径を含むものであり、(【0043】)
異なるふたつのARイメージ間の相互作用の例示として、マーカ710に関連づけられた炎を表すARイメージ712が、紙のマーカ728に関連づけられた爆弾を表すARイメージ730の導火線に近接している例ではARイメージ730の導火線に火はついていないが、ユーザがマーカ710を動かすことによって、ARイメージ712がARイメージ730の導火線に十分に近接したと、近接度取得部560が判断したとき、相互作用演出部570は、ARイメージ730の導火線が着火したとみなし、属性管理部540はARイメージ730の属性を「燃焼していない」から「燃焼している」に変化させ、この結果、ARイメージ生成部526は、ARイメージ730の導火線に火がついて、時間とともに短くなるようにARイメージ730を変化させるものである、(【0047】)
映像処理方法。」
2 引用文献2
(1) 引用文献2の記載事項及び周知事項1の認定について
ア 引用文献2の記載事項
原査定の拒絶の理由において引用した引用文献2には、以下の記載がある。
「 フュージョンフレンジー2
年末に楽しむのにぴったりのパーティーゲームがXbox 360に登場。舞台となるのは未来の銀河にある7つの惑星、氷や水中、火炎地獄といった過酷な環境のもと、未知のスポーツ(ミニゲーム)で腕を競い合うという趣向のアクションだ。Xbox Liveに対応した本作は、最大4人が参加してのバトルが可能。目指すは宇宙一だ。」
「 豊富に用意されたミニゲームの数々
楽しめるミニゲームは40種類!未来という舞台設定だからこそ実現した、未知のスポーツばかり。いずれも惑星ごとの環境を利用した競技内容となっている。“未知”といっても、どのゲームも覚えやすいルールばかりなので、ご安心を。気軽に遊べちゃうよ。」
「 モニュメントメーカー
氷づけの彫像を水で溶かして、誰よりも早くもとの姿に戻す。水が噴射する方向をうまく移動させ、効率よく氷を溶かすのがコツ。」
イ 周知事項1の認定
次の事項は、本願の優先日前において、当業者にとって周知の事項であったと認められる(以下「周知事項1」という。)
[周知事項1]
「氷を溶かすことを競うゲームの演出。」
3 引用文献3及び引用文献4の記載事項及び公知事実1の認定について
(1) 引用文献3及び引用文献4の記載事項
ア 引用文献3の記載事項
当審において新たに引用する「1月真冬に役立つバーナー特集」、新富士バーナー株式会社、2014年 1月、URL,http://www.shinfuji.co.jp/1gatsumafuyu1126/(以下「引用文献3」という。)には、次の記載がある。
「
[図:0001396838000005.jpg]
[図:0001396838000006.jpg]
」
イ 引用文献4の記載事項
当審において新たに引用する「前代未聞の雪害JR大月駅の120時間【2】」、PRESIDENT Online、2014年 3月31日、URL、https://president.jp/articles/-/12116?page=1(以下「引用文献4」という。)には、次の記載がある。
「無人駅の168人を「電気機関車」で救出
鉄道の運行において、豪雪により危ぶまれるのが「ポイント不転換」だ。列車の進路を変えるポイントの可動部分に凍結や雪詰まりが起きると切り替えができなくなる。ポイント不転換が発生すると運行は困難だ。熱で雪を溶かす装置も設置されているが、今回のような積雪では人力で除雪するしかない。
ポイント不転換が起こるたび、駅員たちがシャベルなどを手に外に出た。しかし線路はホームの高さを超えるほどの雪に覆われている。ポイント周辺に見当をつけ、泳ぐように雪をかき分け進む。シャベルで雪を掘り、ポイントに付着する氷をバールで砕き、バーナーで溶かす。そして畑井が信号所でポイントが正常に作動するかチェックする。不転換が起きるたびに、同じ作業を繰り返した。」
(2) 公知事実1の認定
引用文献3及び引用文献4に例示されているようにバーナーの炎によって氷を溶かすことは、広く行われている事実である。
また、炎によって氷を溶かす際、氷の溶ける度合いが炎を当てた時間に依存することも、顕著な経験則又は事実である。
したがって、次の事項は、本願の優先日前において、顕著な公知事実であったと認められる(以下「公知事実1」という。)
[公知事実1]
「炎で氷を溶かすこと、及び、氷の溶け具合は、炎を氷に近づけた時間に依存すること。」
4 引用文献5の記載事項及び周知技術1の認定について
(1) 引用文献5の記載事項
当審において新たに引用する特開2010-88693号公報(以下「引用文献5」という。)には、以下の記載がある。
「【0021】
温度分布シミュレータ44は、ゲームフィールド91内の温度分布をシミュレートする。本実施の形態のゲームでは、ゲームフィールド91内に堆積したオブジェクトを燃焼させるための着火アイテムが用意されており、着火アイテムがゲームフィールド91内に配置されると、周囲のオブジェクトが所定の燃焼条件を満たしたときにオブジェクトが燃焼する。温度分布シミュレータ44は、着火アイテムやオブジェクトの燃焼によるゲームフィールド91内の温度分布の変化をシミュレートする。
【0022】
温度分布シミュレータ44は、オブジェクトデータベース60を参照して、着火アイテム又は燃焼しているオブジェクトなどの熱源の3次元位置を取得し、その位置に該当するメッシュの位置を特定する。温度分布シミュレータ44は、熱源があるメッシュの温度を所定の温度に設定する。
【0023】
温度分布シミュレータ44は、所定のタイミング、例えば、画面生成部66が画面を生成する間隔で、各メッシュの温度を算出して、分布データ保持部62のデータを更新する。温度分布シミュレータ44は、オブジェクトや空気などの温度伝播速度を設定して、物理計算により温度分布を計算してもよいし、より単純に、周囲のメッシュの温度の統計量などを計算して、当該メッシュの次のタイミングにおける温度としてもよい。
【0024】
温度分布シミュレータ44は、各メッシュの温度を算出すると、ゲームフィールド91内に配置されている各オブジェクトが燃焼するか否かを判定する。温度分布シミュレータ44は、オブジェクトデータベース60から各オブジェクトの3次元位置を取得し、その位置に該当するメッシュを特定する。温度分布シミュレータ44は、オブジェクトデータベース60から各オブジェクトの発火温度を取得し、該当するメッシュの温度が発火温度を超えているか否かを確認する。メッシュの温度が発火温度を超えており、かつ、ゲームフィールド91内の酸素量が所定値以上であれば、温度分布シミュレータ44は、そのオブジェクトが燃焼を開始したと判定し、オブジェクトデータベース60及び分布データ保持部62のステータスを更新する。オブジェクトの一部が燃焼を開始したときにオブジェクトの他の部分も燃焼を開始したとみなしてもよいし、メッシュごとにオブジェクトが燃焼するか否かを判定してもよい。」
「【0032】
図7は、表示装置に表示された画面の例を示す。ゲームフィールド91内に着火アイテム87が配置されると、温度分布シミュレータ44は、ゲームフィールド91内の温度分布のシミュレートを開始する。各オブジェクトには発火温度が設定されており、オブジェクトが配置されているメッシュの温度が発火温度を超えると、図8に示すように、ゲーム制御部41はオブジェクト93を燃焼させ、オブジェクトデータベース60及び分布データ保持部62のステータス欄を更新する。ゲーム制御部41は、分布データ保持部62に格納されている温度をオブジェクトに適用する際に、表示画面に鉛直な方向は全て同じ温度であるとする。ゲーム制御部41は、ゲームフィールド91内のオブジェクトが燃焼しているとき、所定の速度でゲームフィールド91内の酸素量を減少させる。ゲーム制御部41は、ゲームフィールド91内の酸素量が所定値を下回ると、オブジェクトの燃焼を停止させる。」
「【図7】
[図:0001396838000007.jpg]
」
「【図8】
[図:0001396838000008.jpg]
」
(2) 周知技術1の認定
前記(1)において摘記した事項から、次の技術事項は本願の優先日前において、当業者にとって周知の技術であったと認められる(以下「周知技術1」という。)
[周知技術1]
「仮想空間内に配置されたオブジェクトの位置の温度が時間の経過によって上昇し、オブジェクトの発火温度を超えた場合に燃焼を開始したとシミュレートする技術」
第5 当審の判断
1 本願発明について
(1) 本願発明と引用発明の対比
請求項1における本願発明の特定の順に沿って、本願発明と引用発明を対比する。
ア 引用発明は、「プロセッサに実行させる映像処理方法」であり、「各ステップをコンピュータによって実現させており」、「映像処理システムにより実施されるもの」であるから、本願発明と引用発明は、「コンピュータシステムによって実施される方法」である点で一致する。
イ(ア)a(a) 引用発明において、「ARイメージ」は、「仮想的な3次元空間における3次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型HMDと、当該光学透過型HMDを装着するユーザの視野を含む領域にある被写体を撮像する撮像素子とを備える立体映像観察デバイスに提示さ[れる]」ものである。
(b) そして、引用発明における「立体映像観察デバイス200」は、「光学透過型HMDであり」、「3次元モニタ300を観察するための光学シャッタを備え、光学シャッタは3次元モニタ300の視差画像の切替と同期して、左右のシャッタを開閉するものであり、より具体的には、3次元モニタ300が左目用の視差画像を表示しているときは、右目用のシャッタを閉じるとともに左目用のシャッタを開け、立体映像観察デバイス200を装着するユーザに左目用の視差画像を提示し、反対に、3次元モニタ300が右目用の視差画像を表示しているときは、左目用のシャッタを閉じるとともに右目用のシャッタを開け、ユーザに右目用の視差画像を提示するものである。
(c) 前記(a)及び(b)より、引用発明の「ARイメージ」は、視差画像により、立体映像観察デバイスに提示される仮想的な3次元イメージであるといえる。
b ここで、本願発明の「ホログラムオブジェクト」は、本願明細書の【0019】に記載されるように「深度キュー、視差効果及び/又は観察者の相対的視点に基づいて現実的に変化する透視視覚化(perspective visualization)のような1つ以上の3次元視覚的キューを含む、仮想のレンダリングされる画像及び/又はアニメーションを指す。」と定義されている。
c 前記a及びbを踏まえると、引用発明の「ARイメージ」及び一実施形態の「ARイメージ730」は、本願発明の「ホログラムオブジェクト」に相当する。
(イ)a 本願は外国語でされた国際特許出願であるところ、原語の明細書(外国語特許出願に係る国際出願日における明細書)を参酌すると、「識別する」は、「to identify」の翻訳であることが分かる。
b 引用発明において、「相互作用演出部570」は、「近接度取得部560が取得した近接度をもとに」「相互作用を算出」し、「属性管理部540」は、「相互作用演出部570が算出した相互作用に応じてARイメージに付与された属性を変化させるもの」であり、「ARイメージ生成部526」は、「ARイメージの属性が変化したときに生成するイメージを変化させるもの」であるところ、具体例としては、「爆弾を表すARイメージ730」については、「ARイメージ712がARイメージ730の導火線に十分に近接したと、近接度取得部560が判断したとき、相互作用演出部570は、ARイメージ730の導火線が着火したとみなし、属性管理部540はARイメージ730の属性を「燃焼していない」から「燃焼している」に変化させ、この結果、ARイメージ生成部526は、ARイメージ730の導火線に火がついて、時間とともに短くなるようにARイメージ730を変化させるもの」である。
c そうすると、近接度取得部560、相互作用演出部570、属性管理部540及びARイメージ生成部526は、それぞれ、「ARイメージ730」が「爆弾を表す」ことを前提にして各部の処理を行うのであるから、明示の特定がなくとも、「ARイメージ730」が「爆弾」であると「識別(identify)」するステップが備わっていることは、明らかである。
(ウ) 前記(ア)c及び(イ)cを踏まえると、本願発明と引用発明は、「ホログラムオブジェクトを識別するステップ」を備える点で一致する。
ウ(ア)a(a) 本願発明の「物理的オブジェクト」について、本願明細書の【0020】には、「本明細書で使用されるとき、「物理的オブジェクト」、「有形オブジェクト」及び同様の用語は、現実世界に存在し、1つ以上のホログラフィックオブジェクトがその上に重畳され、かつ/又はその中にレンダリングされてMR環境を形成する環境内で観察される、実際の物理的な物体を指す。」と定義されている。
(b) ここで、「MR」は、本願明細書の【0021】に、「本明細書で使用されるとき、「複合現実(MR)」、「拡張現実」及び同様の用語は、1つ以上の物理的オブジェクトを1つ以上のホログラフィックオブジェクトと組み合わせるディスプレイ、アプリケーション、シーン及び/又は環境を指す。一部の実施形態では、1つ以上のホログラフィックオブジェクトは、ユーザによって知覚される表示が物理的シーン内に1つ以上のホログラフィックオブジェクトを含むように、物理的シーンの上に重畳され、かつ/又はその中にレンダリングされる。」と定義されていることから、本願発明の「物理的オブジェクト」の定義における「MR環境」に関して、「複合現実(MR)」と「拡張現実」(AR)は、同義なものとして扱われている。
b(a) 引用発明の「マーカ710」は、「実在する物体」であって、「ARイメージ」は、「マーカに関連づけられたオブジェクトであって、そのマーカの位置、向き、または傾きの変化に連動して位置や向き、傾きが変化するオブジェクトであ[る]」から、「マーカ710に関連づけられた炎を表すARイメージ712」は、実在する物体と連動して仮想空間内で観察されるものである。
(b) なお、引用発明の「マーカの位置、向き、または傾きの変化に連動して位置や向き、傾きが変化するオブジェクトであ[る]」「ARイメージ」は、必ずしも「マーカ」の上に重畳されていないが、仮想空間内で観察されていることは明らかである。
c(a) したがって、本願発明の「物理的オブジェクト」と引用発明の「マーカ」及び一実施形態の「マーカ710」は、「現実世界に存在し、一つのホログラフィックオブジェクトとともにMR環境を形成する環境内で観察される実際の物理的な物体」(以下、この意味で単に「物理的な物体」という。)である点で共通する。
(b) 前記(a)のとおり、引用発明において、「炎を表すARイメージ712」が「関連付けられ[ている]「マーカ710」は、「物理的な物体」であるといえるところ、このことは、「ARイメージ712」が「炎を表す」ことを前提にして、「実際の物理的な物体」である「マーカ710」が「炎」を出しているものとして対応付けることになるから、引用発明においては、明示の特定がなくとも、「物理的な物体」である「マーカ710」を「識別」するステップが備わっていることは、明らかである。
(イ)a 引用発明において、「前記属性管理部540は、ARイメージ生成部526が生成するARイメージそれぞれに付与される仮想的な物理特性や視覚効果を示す情報を含む属性を管理するものであり、ここで属性管理部540が管理する属性は、相互作用演出部570が算出する相互作用に応じて変化するものであり、具体的に、属性管理部540が管理する属性に含まれる物理特性は、ARイメージの3次元空間における位置座標、速度ベクトル、加速度ベクトル、質量、ARイメージの剛性、色、温度、燃焼しているか否か、発光しているか否か、距離計測基準点および衝突基準半径を含むものであり」、「相互作用演出部570は、近接度取得部560が取得した近接度をもとに、ふたつのARイメージの物理特性を変化させるものであり、より具体的には、相互作用演出部570は、近接度取得部560が取得した近接度をもとに相互作用を算出し、属性管理部540が、相互作用演出部570が算出した相互作用に応じてARイメージに付与された属性を変化させるものであ[る]」から、属性管理部540によって、「炎を表すARイメージ712」にも「燃焼している」という化学的特性が割り当てられていることは明らかである。
b そうすると、「炎を表すARイメージ712」が「関連付けられ[ている]「マーカ710」は、前記(ア)c(a)を踏まえると、「物理的な物体」であり、「ARイメージ712」を含めて全体としてみれば、「燃焼している」という化学的特性が割り当てられていると認められる。
(ウ) 引用発明の「爆弾を表すARイメージ730」の「導火線」は、「[当初は]火はついていないが、ユーザがマーカ710を動かすことによって、ARイメージ712がARイメージ730の導火線に十分に近接したと、近接度取得部560が判断したとき、相互作用演出部570は、ARイメージ730の導火線が着火したとみなし、属性管理部540はARイメージ730の属性を「燃焼していない」から「燃焼している」に変化させ、この結果、ARイメージ生成部526は、ARイメージ730の導火線に火がついて、時間とともに短くなるようにARイメージ730を変化させるものである」から、「マーカ710」と「ARイメージ730」には「導火線に火を近づけると燃焼する」という化学的特性が割り当てられており、「マーカ710」は、両者の間に存在する「近づけると燃焼する」という化学的関係に基づいて、「ARイメージ730」に関連付けられていると認められる。
(エ) 前記(ア)から(ウ)を踏まえると、本願発明と引用発明は、「物理的な物体を識別するステップであって、前記物理的な物体は、前記物理的な物体とホログラムオブジェクトに割り当てられた化学的又は熱的特性に基づいて前記物理的な物体と前記ホログラムオブジェクトとの間に存在にする所定の化学的又は熱的関係に従って前記ホログラムオブジェクトに関連付けられている、ステップ」を含む点で共通する。
エ(ア) 引用発明においては、「ユーザがマーカ710を動かすことによって、ARイメージ712がARイメージ730の導火線に十分に近接したと、前記近接度取得部560が判断したとき」に導火線が着火したとみなし[ており]」、「ARイメージ730」と「マーカ710」に関連付けられた「ARイメージ712」との近接性の変化を検出していると認められる。
(イ)a ここで、引用発明の「マーカ710」と「ARイメージ712」は、全体として「物理的な物体」を構成するものであり(前記ウ(ア)を参照)、引用発明において「ARイメージ730」と「マーカ710」との近接性の変化を検出していると認められる。
b また、引用発明は、「第1のマーカに紐付けられた第1ARイメージと、第2のマーカまたは第2のマーカに紐付けられた第2ARイメージとの間の、仮想的な3次元空間における近接度を取得するステップ」とあるように、「ARイメージ」同士だけでなく、「ARイメージ」と「マーカ」の近接度を取得することも構成として含むものである。
(ウ) したがって、本願発明と引用発明は、「ホログラムオブジェクトと物理的な物体との間の近接性に対する変化を検出するステップ」を含む点で共通する。
オ(ア)a 引用発明においては、ARイメージ712(「マーカ710」)が「ARイメージ730」の導火線に十分に近接したと判断されたとき「ARイメージ730」の導火線が着火したとみなし、属性管理部540は「ARイメージ730」の属性を「燃焼していない」から「燃焼している」に変化させており、変更された「ARイメージ730」を生成しているものと認められる。
b したがって、引用発明は、「ARイメージと物理的な物体との間の近接性の検出された変化に応答して、所定の化学的又は熱的関係に基づいて、新たなARイメージ又は変更されたARイメージを生成するステップ」を備えているといえる。
(イ)a 本願発明の「物理的関係」については、本願明細書の【0022】に、「ホログラフィックオブジェクトと物理的オブジェクトとの間の「関係」、「物理的関係」又は「関連」は、例えばあるオブジェクトの別のオブジェクトに対する近接性、あるオブジェクトの別のオブジェクトに対する向き、あるオブジェクトの別のオブジェクトに対する動きパターン、あるオブジェクトの別のオブジェクトに対する動きの速さ、上記のうちの1つ以上の持続時間又はこれらの組合せによって定義され、かつ/又はこれらを指すことがある。」とあり、「近接性」を含むものとなっている。
b 引用発明においては、「[当初は]ARイメージ730の導火線に火はついていないが、ユーザがマーカ710を動かすことによって、ARイメージ712がARイメージ730の導火線に十分に近接したと、近接度取得部560が判断したとき、相互作用演出部570は、ARイメージ730の導火線が着火したとみなし、属性管理部540はARイメージ730の属性を「燃焼していない」から「燃焼している」に変化させ、この結果、ARイメージ生成部526は、ARイメージ730の導火線に火がついて、時間とともに短くなるようにARイメージ730を変化させるものであり、「各ステップをコンピュータによって実現させて[いる]」から、コンピュータによってシミュレートして行っていることは明らかである。
c 前記エ並びに前記a及びbを踏まえると、引用発明は、次のステップを有しているといえる。
「前記新たな又は変更されたARイメージは、前記所定の化学的又は熱的関係に基づいて前記ARイメージと前記物理的な物体との間の化学的又は熱的反応をシミュレートし、前記シミュレートされた化学的又は熱的反応は、前記ARイメージと前記物理的な物体との間の近接性に基づいており、前記ARイメージは、前記物理的な物体を含む異なる物理的な物体との物理的関係に従って異なるように反応するように構成される、ステップ」
(ウ) 前記(ア)と(イ)の検討結果をまとめると、本願発明と引用発明は、次のステップを含む点で共通する。
「ホログラムオブジェクトと物理的な物体との間の近接性の検出された変化に応答して、所定の化学的又は熱的関係に基づいて、変更されたホログラムオブジェクトを生成するステップであって、前記変更されたホログラムオブジェクトは、前記所定の化学的又は熱的関係に基づいて前記ホログラムオブジェクトと前記物理的な物体との間の化学的又は熱的反応をシミュレートし、前記シミュレートされた化学的又は熱的反応は、前記近接性に基づいており、前記ホログラムオブジェクトは、前記物理的な物体を含む異なる物理的な物体との物理的関係に従って異なるように反応するように構成される、ステップ」
カ 引用発明において、「ARイメージ生成部526」は「ARイメージ730」を「変化させる」ところ、「各ステップをコンピュータによって実現させて[いる]」ことから、変化させられた「ARイメージ730」のマッピング(イメージ)を映像処理システムに格納していることは明らかである。
したがって、本願発明と引用発明は、「前記変更されたホログラムオブジェクトのマッピングを格納するステップ」を含む点で一致する。
(2) 一致点及び相違点の認定
前記(1)の対比結果を踏まえると、本願発明と引用発明は、次の一致点において一致し、以下の相違点において相違する。
ア 一致点
「コンピュータシステムによって実施される方法であって、
ホログラムオブジェクトを識別するステップと、
物理的な物体を識別するステップであって、前記物理的な物体は、前記物理的な物体と前記ホログラムオブジェクトに割り当てられた化学的又は熱的特性に基づいて前記物理的な物体と前記ホログラムオブジェクトとの間に存在にする所定の化学的又は熱的関係に従って前記ホログラムオブジェクトに関連付けられている、ステップと、
前記ホログラムオブジェクトと前記物理的な物体との間の近接性に対する変化を検出するステップと、
ホログラムオブジェクトと物理的な物体との間の近接性の検出された変化に応答して、所定の化学的又は熱的関係に基づいて、変更されたホログラムオブジェクトを生成するステップであって、前記変更されたホログラムオブジェクトは、前記所定の化学的又は熱的関係に基づいて前記ホログラムオブジェクトと前記物理的な物体との間の化学的又は熱的反応をシミュレートし、前記シミュレートされた化学的又は熱的反応は、前記近接性に基づいており、前記ホログラムオブジェクトは、前記物理的な物体を含む異なる物理的な物体との物理的関係に従って異なるように反応するように構成される、ステップと、
前記変更されたホログラムオブジェクトのマッピングを格納するステップと、
を含む、方法」である点。
なお、ここで、「物理的な物体」とは、「現実世界に存在し、一つのホログラフィックオブジェクトとともにMR環境を形成する環境内で観察される実際の物理的な物体」の意味である。
イ 相違点
(ア) 相違点1
「物理的な物体」が、
本願発明においては、「物理的オブジェクト」、すなわち「現実世界に存在し、1つ以上のホログラフィックオブジェクトがその上に重畳され、かつ/又はその中にレンダリングされてMR環境を形成する環境内で観察される、実際の物理的な物体を指す。」を意味するものであるのに対して、
引用発明においては、「マーカ710」は、「現実世界に存在し、一つのホログラフィックオブジェクト(ARイメージ)とともにMR環境を形成する環境内で観察される実際の物理的な物体」ではあるが、ARイメージ712が「マーカ710」の上に重畳され、かつ/又はその中にレンダリングされているとは必ずしもいえない点。
(イ) 相違点2
シミュレートされた化学的又は熱的反応が、
本願発明においては、「前記ホログラムオブジェクトと」物理的な物体「との間の前記シミュレートされた化学的又は熱的反応の進行又は強さの程度が時間期間に依存するように、前記ホログラムオブジェクト」が前記物理的な物体に対して「近接距離内にある時間期間にも基づいて[いる]」のに対して、
引用発明においては、ARオブジェクト(「ホログラムオブジェクト」に相当する。)と物理的な物体の近接性のみに基づいている点。
(3) 本願発明の想到容易性についての判断
ア 相違点1について
引用発明において、ARイメージ712は「マーカ710」と紐付けられおり、「マーカ710」に対してどの位置に設けるかについては、適宜設定可能であると認められから、ARイメージ712を「マーカ710」の上に重畳して配置する点は、微差にすぎない。
ARイメージ712を「マーカ710」の上に重畳して配置すると、「マーカ710」は本願発明の「物理的オブジェクト」の概念範囲に含まれることとなる。
したがって、相違点1は、微差にすぎず、実質的な相違点ではない。
イ 相違点2について
(ア) 相違点2についての判断その1
a 「炎で氷を溶かすこと」は、広く知られた顕著な事実である(前記第4の3(2)の「公知事実1」参照)。そして、「氷を溶かすことを競うゲームの演出」は、周知の事項である(前記第4の2(1)イの「周知事項1」参照)。
したがって、引用発明において、「炎を表すARイメージ712」を、氷を溶かすことを競うゲームの演出に用いることは、当業者にとっては、コンテンツのバラエティーに富んだゲーム演出を設計するという設計事項にすぎない。
b そして、その際、「氷の溶け具合が炎を氷へ近づけた時間に依存すること」も、広く知られた経験則であり、公知事実でもある(前記第4の3(2)の「公知事実1」参照)。
公知の事象をコンピュータ仮想空間上で再現し、リアルさを追求することは、当業者の通常の創作能力の発揮にすぎないから(「特許・実用新案審査ハンドブック 附属書B 第1章 コンピュータソフトウエア関連発明 2.2.3.2(5)」を参照)、引用発明において、「ARイメージ730」として氷を採用し、「氷の溶け具合が、炎を表すARイメージ712を氷へ近づけた時間に依存する」ようにして、「炎」と「氷」の近接性だけでなく、時間期間にも基づくようにし、「前記ホログラムオブジェクトと前記物理的な物体との間の前記シミュレートされた化学的又は熱的反応の進行又は強さの程度が時間期間に依存するように、前記ホログラムオブジェクトが前記物理的な物体に対して近接距離内にある時間期間にも基づいて[いる]」という相違点2に係る構成を備えるようにすることは、当業者にとっては、設計変更にすぎない。
(イ) 相違点2についての判断その2
第4の4(2)に示したように、「仮想空間内に配置されたオブジェクトの位置の温度が時間の経過によって上昇し、オブジェクトの発火温度を超えた場合に燃焼を開始したとシミュレートする技術」は周知技術であるから(前記第4の4(2)の周知技術1を参照)、当該周知技術を採用して、引用発明の「ARイメージ730」である「導火線」について「炎」との空間的関係だけでなく時間的関係を用いてシミュレートし、所定の時間経過後に発火温度を超えて燃焼を開始するように構成し、相違点2に係る構成を備えるようにすることは、当業者が適宜なし得ることである。
したがって、相違点2に係る本願発明の構成は、引用発明及び周知技術1から当業者が容易に想到し得たものである。
ウ 総合評価
前記ア及びイにおいて検討したとおり、前記相違点1及び相違点2は、設計事項にすぎず、格別のものではない。
また、両相違点を総合的に勘案しても、本願発明の奏する効果としては、引用発明、周知事項1、公知事実1、周知技術1からは当業者が予測困難で、かつ、格別顕著な効果を認めることができない。
したがって、本願発明は、引用発明、周知事項1,公知事実1及び周知技術1に基づいて当業者が容易に発明することができたものである。
2 請求人の主張について
(1) 審判請求書の主張内容
請求人の主張は、概略次のとおりである。
引用文献1において、化学的特性及び熱的特性は、マーカ710に割り当てられておらず、「前記物理的オブジェクトは、前記物理的オブジェクトと前記ホログラムオブジェクトに割り当てられた1つ以上の化学的又は熱的特性に基づいて前記物理的オブジェクトと前記ホログラムオブジェクトとの間に存在にする所定の化学的又は熱的関係に従って前記ホログラムオブジェクトに関連付けられている」という請求項1に係る発明の構成を何ら開示も示唆もしていない(審判請求書5. 5.1 (5)(6)参照)。
(2) 請求人の主張の検討
前記1(1)エのとおり、引用発明の「マーカ710」には「ARイメージ712」が紐付いて又は関連付けられており、「ARイメージ712」を「マーカ710」に重畳することは、前記1(3)イにおいて検討したとおり、微差にすぎず、当業者にとって自明のことにすぎない。この場合、「ARイメージ712」が重畳された「マーカ710」は、全体として、本願明細書の【0020】に「本明細書で使用されるとき、「物理的オブジェクト」、「有形オブジェクト」及び同様の用語は、現実世界に存在し、1つ以上のホログラフィックオブジェクトがその上に重畳され、かつ/又はその中にレンダリングされてMR環境を形成する環境内で観察される、実際の物理的な物体を指す。」と定義されていることを踏まえれば、物理的オブジェクトとなり、例えば「燃焼している」という化学的特性が割り当てられていると認められる。
したがって、請求人の主張は、採用することができない。
第6 むすび
以上のとおりであるから、本願発明は、特許法29条2項の規定により特許を受けることができない。
したがって、他の請求項に係る発明について検討するまでもなく、本願は拒絶すべきものである。
よって、結論のとおり審決する。
審決本文(J-PlatPat)
J-PlatPatの審決検索トップを開きます。番号入力で「審判番号」を選び、下の番号を貼り付けて検索してください。
J-PlatPat 審決検索を開く
2022-003043