2021-014363

第１ 手続の経緯

本願は、２０１７年（平成２９年）１１月７日（パリ条約による優先権主張外国庁受理２０１６年１１月８日、ドイツ）を国際出願日とする出願であって、その手続の経緯は以下のとおりである。

第２ 原査定の概要

原査定（令和３年６月１１日付け拒絶査定）の概要は次のとおりである。

理由２（明確性）この出願は、特許請求の範囲の記載が下記の点で、特許法第３６条第６項第２号に規定する要件を満たしていない。

理由３（進歩性）この出願の下記の請求項に係る発明は、その出願前に日本国内又は外国において、頒布された下記の刊行物に記載された発明又は電気通信回線を通じて公衆に利用可能となった発明に基いて、その出願前にその発明の属する技術の分野における通常の知識を有する者（以下、「当業者」という。）が容易に発明をすることができたものであるから、特許法第２９条第２項の規定により特許を受けることができない。

記（引用文献等については引用文献等一覧参照）

理由２について

・請求項 １６

請求項１６の末尾の記載「コンピュータプログラム製品」との記載について、コンピュータプログラム自体であるのか、記録媒体であるのか、コンピュータシステム等を意味するのか、不明確である。

理由３について

・請求項 １－１６

・引用文献等 １－３

＜引用文献等一覧＞

１．特開２０１５－１５８４６１号公報

２．特開２０１６－１１５２６８号公報

３．ZHOU, Zhiying 他3名，An experimental study on the role of 3D sound in augmented reality environment，Interacting with computers，

２００４年１２月 １日，Vol.16,No.6，第1043-1068ページ

第３ 本願発明

本願請求項１－１４に係る発明（以下、それぞれ「本願発明１」－「本願発明１４」という。）は、令和３年１０月２２日になされた手続補正で補正された特許請求の範囲の請求項１－１４に記載された事項により特定される発明であり、このうち、本願発明１は、以下のとおりの発明である。

「 【請求項１】

現実シーンの光学的かつ音響的な複製物に仮想の三次元又は二次元の画像及び音声データを重ね合わせる方法であって、前記方法は、

複製物データを読み取るステップ（４８０）であって、

前記複製物データは、携帯デバイス（１００）の少なくとも１つの環境センサ（１０２）によって取り込まれた前記現実シーン（１０６）の画像複製物（１０８）を表現する画像データ（３６４）を表現し、前記複製物データは更に、前記携帯デバイス（１００）の少なくとも１つの更なる環境センサ（１０３）によって取り込まれた前記現実シーン（１０６）の音響的複製物を表現する音声データ（３６５）を表現する、ステップと、

続きを表示（全15行）

前記画像データ（３６４）からマーカーデータ（１３２）を決定するステップ（４８４）であって、

前記マーカーデータ（１３２）は、前記現実シーン（１０６）内に配置されたマーカー（１１２）の複製物（１１６）及び位置決めを表現する、ステップと、

前記マーカーデータ（１３２）を使用して、複数（２５２）の仮想画像及び音声データ（１４０）から選択された、画像及び音声データを表現する仮想画像及び音声データ（１４０）を読み取るステップ（４８８）であって、

前記仮想画像及び音声データ（１４０）は、三次元的に定義された物体及び／又は様々な角度から取り込まれた物体のキャプチャの選択項目である仮想複製物（１２４）として表現するための表現命令と、前記仮想複製物（１２４）を位置決めするための位置決め命令と、音響データを再生するための位置決め命令と、を含む、ステップと、

前記複製物データから物体データ（１３４）を決定するステップ（４８６）であって、

前記物体データ（１３４）は、画像及び音響的複製物（１１８）、並びに前記現実シーン（１０６）内の前記マーカー（１１２）の周囲に配置された物体（１１０）の物体部分（１１４）の位置決めからなり、

前記マーカー（１１２）の周囲に配置された前記物体（１１０）の前記物体部分（１１４）は、新しい自然マーカーを作成し保存するために抽出される、ステップと、

前記物体データ（１３４）及び前記仮想画像及び音声データ（１４０）を使用して、前記物体部分（１１４）の前記複製物（１１８）を参照して、前記仮想複製物（１２４）及び前記音響データを表現するための位置決め規則（１４２）を確認するステップ（４９２）であって、

前記物体部分（１１４）の前記複製物（１１８）は、前記仮想複製物（１２４）及び前記音響データを位置決めするための前記マーカー（１１２）の代替として使用される、ステップと、

前記現実シーン（１０６）の更なる光学的及び音響的複製物（１２０）に前記仮想複製物（１２４）および前記音響データを重ね合わせるために、前記位置決め規則（１４２）を使用するステップ（４９４）と、を含み、

前記読み取るステップ（４８０、４８８）、前記決定するステップ（４８４、４８６）と新しい自然マーカーを作成し保存するステップ、前記確認するステップ（４９２）、および前記使用するステップ（４９４）を連続的に繰り返すステップが、短い時間間隔、特に１秒あたり数回で実施されて、新しい自然マーカーが連続的に作成され保存される、方法。」

また、本願発明２－１４についての概要は、以下のとおりである。

本願発明２－１１は、本願発明１を減縮した方法の発明である。

本願発明１２は、本願発明１－１１のいずれか一項に記載の方法の前記ステップを実現するための装置の発明である。

本願発明１３は、本願発明１２を減縮した発明である。

本願発明１４は、本願発明１－１１のいずれか一項に記載の方法を実施する、コンピュータプログラムを格納した記憶媒体の発明である。

第４ 引用文献、引用発明等

１．引用文献２、引用発明について

原査定の拒絶の理由に引用された引用文献２には、図面とともに次の事項が記載されている。（下線は、強調のために当審が付与した。以下同様。）

「【背景技術】

【０００２】

カメラ等の撮像部により撮像された画像の一部に画像等のコンテンツを重畳して表示させる拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）技術が知られている。ＡＲ技術では、撮像画像から認識されたＡＲマーカ（基準物）に対する位置情報や識別情報（マーカＩＤ）に基づき、拡張空間に重畳して表示される画像データ（以下、必要に応じて「ＡＲコンテンツ」という）等を配置する。

【０００３】

例えば、従来のＡＲ表示では、テンプレートマッチング等により撮影画像にＡＲマーカ形状が写っているかを認識し、認識したＡＲマーカからマーカＩＤを読み取る。次に、マーカ領域の大きさや形状（歪み）から、マーカとカメラとの位置関係を推定し、推定した位置関係を用いて、ＡＲコンテンツの配置（位置、向き等）を決定し、決定した配置でＡＲコンテンツを画像に重畳表示している。

【０００４】

また、ＡＲ技術において、任意の場所にＡＲコンテンツを関連付ける際に、ＡＲマーカに基づいて、そのＡＲマーカの位置から相対的な位置にコンテンツを表示する技術が知られている。また、認識中の識別子が特定の理由（例えば、識別子の認識を妨げる物体が識別子の前に出現したり、識別子がカメラ外にフレームアウトする等）により、ＡＲマーカの認識が行えなくなる場合がある。このような場合に、そのＡＲマーカの位置情報、形状情報等を追尾し、ＡＲコンテンツの表示等の処理を継続される技術として、オブジェクトトラッキング技術が知られている。オブジェクトトラッキングとは、例えばＡＲマーカの認識後に、そのＡＲマーカを認識していなくても画像上の環境に対する特徴点情報（以下、「環境マップ」という）等に基づいて位置情報のトレースを可能とする技術である。」

「【００１２】

＜情報処理システムの概略構成例＞

図１は、情報処理システムの概略構成の一例を示す図である。図１に示す情報処理システム１０は、サーバ１１と、情報処理装置の一例としての１又は複数の端末装置１２－１～１２－ｎ（以下、必要に応じて「端末装置１２」と総称する）とを有する。サーバ１１及び端末装置１２は、例えば通信ネットワーク１３によりデータの送受信が可能な状態で接続されている。

【００１３】

続きを表示（全29行）

サーバ１１は、基準物の一例としてのＡＲマーカ、及びＡＲマーカに対応付けて登録された各ＡＲコンテンツ（ＡＲオブジェクト）が管理されている。ここで、ＡＲマーカとは、例えばＡＲコンテンツ等の各種コンテンツ情報の内容や表示する位置等を指定するための標識となるもの（識別子）である。ＡＲマーカは、例えば二次元コード等のように、所定の領域内に所定の模様や文字パターン等が形成された画像等であるが、これに限定されるものではない。

【００１４】

また、基準物の一例としては、ＡＲマーカに限定されるものではなく、例えば壁掛け時計や絵画、壁紙、置物等の実物体（いわゆる自然マーカ）であってもよい。この場合、基準物の認識（検出）は、例えば実物体の形状や色、模様等に対応する特徴情報と、予め設定された基準物毎の特徴情報とを比較して、実物体を特定することで、その実物体に対応する識別情報（ＩＤ）を上述したマーカＩＤとして用いることができる。

【００１５】

ＡＲコンテンツとは、例えば現実空間に対応する三次元の仮想空間上に配置された物体のモデルデータ等であり、例えば端末装置１２で撮影された画像に重畳して表示される重畳用データ（オブジェクト情報）である。

【００１６】

また、ＡＲコンテンツは、例えば撮影画像中に含まれるＡＲマーカの大きさや形状（歪み）等から推定されるＡＲマーカとカメラ等の撮像部との位置関係を用いて、ＡＲマーカを基準とした相対座標（マーカ座標系）で設定された位置に表示される。また、ＡＲコンテンツは、上述した位置関係を用いて、ＡＲマーカの撮影方向に対応する向きで表示される。位置関係とは、ＡＲマーカと撮影位置との距離及び撮影方向のうち少なくとも１つを含むが、これに限定されるものでない。マーカ座標系は、例えば三次元空間座標系（Ｘ，Ｙ，Ｚ）であるが、これに限定されるものはなく、二次元平面座標系（Ｘ，Ｙ）でもよい。

【００１７】

本実施形態のＡＲコンテンツは、マーカＩＤ等に対応付けられており、例えばテキスト、アイコン、アニメーション、マーク、模様、画像、映像等の様々な形態が含まれる。また、ＡＲコンテンツは、表示出力されるものに限定されず、例えば音声等の情報であってもよい。

【００１８】

サーバ１１は、例えば端末装置１２におけるＡＲコンテンツの設定処理（オーサリング処理）により、端末装置１２から得られるＡＲマーカに関する情報（例えば、マーカＩＤ、ＡＲマーカの位置情報等）と、ＡＲマーカの位置を基準とする相対位置に設定されたＡＲコンテンツとを登録する。また、サーバ１１は、端末装置１２におけるオーサリング処理により、端末装置１２からマーカＩＤに対応する１又は複数のＡＲコンテンツの設定情報を取得した場合に、そのＡＲコンテンツ情報（例えば、ＡＲコンテンツＩＤ、座標値、回転角度、拡縮率、ＡＲコンテンツ格納先情報（テクスチャパス）等）を登録して管理する。

【００１９】

また、サーバ１１は、端末装置１２から、ＡＲコンテンツの取得要求等を受信した場合には、端末装置１２から送信されたマーカＩＤに対応させて、予め登録されたＡＲコンテンツに関する情報を抽出し、抽出した情報を端末装置１２に送信する。

【００２０】

サーバ１１は、例えばＰｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ（ＰＣ）等でもよいが、これに限定されるものではなく、例えば一以上の処理装置を有するクラウドコンピューティングにより構成されるクラウドサーバ等であってもよい。

【００２１】

端末装置１２は、カメラ等の撮像部等により、実空間上にあるＡＲマーカを撮影する。また、端末装置１２は、カメラ等により撮影された画像又は通信ネットワーク１３等を介して外部装置から得られる画像（以下、必要に応じて「取得画像」という）に含まれるＡＲマーカから、対応する情報を認識する。また、端末装置１２は、認識したＡＲマーカに対してＡＲオブジェクトの登録を行う。この登録情報は、サーバ１１に送信され、サーバ１１内で管理されてもよく、端末装置１２内部で管理されていてもよい。

【００２２】

また、端末装置１２は、撮影等により取得した画像にＡＲマーカが含まれている場合に、そのＡＲマーカを認識し、認識した結果として得られたマーカＩＤに対応付けられているＡＲコンテンツ（オブジェクト）を取得し、取得したＡＲコンテンツを、画像データに対してＡＲマーカの表示位置（座標）を基準にした相対的な座標位置に重畳表示する。

【００２３】

なお、端末装置１２は、認識中（検出中）のＡＲマーカ（基準物）が特定の理由（例えば、ＡＲマーカの認識を妨げる物体がＡＲマーカの前に出現したり、ＡＲマーカがカメラの画角外にフレームアウトする等）により、ＡＲマーカの認識が行えなくなる場合がある。このような場合に、端末装置１２は、そのＡＲマーカの位置情報、形状情報等を追尾し、コンテンツの表示等の処理を継続されるオブジェクトトラッキングによるＡＲコンテンツ表示を行う。

【００２４】

このとき、端末装置１２は、複数のＡＲマーカ認識時に、オブジェクトトラッキングによる処理負荷が高くなるため、ＡＲマーカ毎に環境マップ（基準物が設置されている環境に関する情報（環境情報））を設定する場合に、同時認識するＡＲマーカが増える毎に処理速度が低下する。また、負荷低減のために、オブジェクトトラッキング対象とする環境マップを減らした場合、ロストした（認識不能（検出不能）になった）ＡＲマーカのトラッキングが不可能なケースがある。

【００２５】

そこで、端末装置１２は、ＡＲマーカを複数認識しているタイミングで、そのＡＲマーカに対して環境マップが設定されているか否かの判定を行い、環境マップが両方に設定されている場合、環境マップの中心点（元々認識していたＡＲマーカの中心座標）から、他のＡＲマーカの相対位置及び相対形状を取得し、各々の環境マップにその情報を追加する。」

「【００２８】

端末装置１２は、例えばタブレット端末やスマートフォン、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ（ＰＤＡ）、ノート型ＰＣ等であるが、これに限定されるものではなく、例えばゲーム機器、携帯電話等の通信端末であってもよい。」

「【００３４】

撮像部２２は、静止画又は予め設定されたフレーム間隔で画像（動画像）を撮影する。撮像部２２は、撮像した画像を制御部３１へ出力したり、記憶部２３に記憶させる。撮像部２２は、例えばデジタルカメラ等であるが、これに限定されるものではない。

【００３５】

記憶部２３は、本実施形態における情報処理（例えば、表示制御処理等）に必要な各種情報を記憶する。例えば、記憶部２３は、制御部３１による制御に基づき、各種情報を記憶する。記憶部２３は、例えばＡＲコンテンツ生成時の設定情報やＡＲコンテンツ情報、環境マップ等を記憶する。また、記憶部２３は、ＡＲマーカ管理情報（現在認識しているマーカーのＩＤや位置等）の情報を一時的に記憶してもよい。」

「【００３７】

表示部２４は、取得画像（例えば、撮像部２２により撮影された画像や通信ネットワーク１３を介して外部より取得した画像）等を表示する。表示部２４は、表示される取得画像にＡＲマーカが含まれている場合、そのＡＲマーカに対応するＡＲコンテンツ（重畳用の画像データ等）を所定の位置に重畳して表示する。また、表示部２４は、画面生成部３０により生成された重畳画像や、本実施形態における処理の開始や終了等をユーザが選択するためのボタン、その他各種の指示入力ボタン等を表示する。表示部２４は、ディスプレイやモニタ等であるが、これに限定されるものではない。」

「【００３９】

判定部２６は、取得画像にＡＲマーカが含まれるか否かを判定する。例えば、判定部２６は、撮像部２２により得られる撮影画像に対して画像認識を行い、予め設定された複数のＡＲマーカ画像とのマッチングを行って画像中におけるＡＲマーカの有無を判定する。

【００４０】

また、判定部２６は、ＡＲマーカ認識からオブジェクトトラッキング処理への切り替えの判定や、ユーザ入力に対するアプリケーションの起動や終了等を判定する。また、判定部２６は、認識部２７により認識したＡＲマーカの領域の大きさや形状から画像の撮影位置を推測し、推測した画像撮影位置とＡＲマーカの位置関係を示す情報を生成してもよい。位置関係を示す情報とは、例えばＡＲマーカと撮影位置との距離及び方向のうち少なくとも１つであるが、これに限定されるものではない。判定部２６における判定は、定期的、又は端末装置１２の撮影位置が所定の距離以上移動した場合等の所定のタイミングで行う。

続きを表示（全14行）

【００４１】

認識部２７は、判定部２６からの判定結果により、取得画像中に１又は複数のＡＲマーカが存在すると判定された場合、各ＡＲマーカに対応する識別情報（マーカＩＤ）を取得する。また、認識部２７は、取得画像から認識（検出）していたＡＲマーカが遮蔽物等の影響で認識不能（検出不能）となった場合（ロストした場合）に、環境マップを用いたオブジェクトトラッキング処理により認識不能となったＡＲマーカの位置情報を取得する。

【００４２】

例えば、認識部２７は、環境マップ生成部２９により取得画像に含まれる２つのＡＲマーカ（第１のＡＲマーカ、第２のＡＲマーカ）の環境マップを生成し、その後の取得画像において、第１及び第２のＡＲマーカの両方が認識不能となった場合に、第１のＡＲマーカに対する環境情報と環境マップから得られる相対位置情報とを用いて、第２のＡＲマーカの位置情報を生成する。

【００４３】

また、認識部２７は、例えば第１及び第２のＡＲマーカの一方が認識不能となった場合に、認識可能（検出可能）な一方の基準物に対する環境情報と環境マップから得られる相対位置情報とを用いて、認識不能となった基準物の位置情報を生成する。

【００４４】

また、認識部２７は、ＡＲマーカが認識不能となった場合に、現在の取得画像より所定フレーム前まで認識済み（検出済み）であったか否かを判断し、認識済みであった場合に、そのＡＲマーカの位置情報を取得する処理を行ってもよい。また、認識部２７は、オブジェクトトラッキング処理における特徴点の抽出、特徴点のマッチング処理等を行う。また、認識部２７は、オブジェクトトラッキング処理により得られる位置情報に基づいて、認識不能となったＡＲマーカに対応するマーカＩＤを取得する。

【００４５】

なお、上述したＡＲマーカの判定や認識では、ＡＲマーカに限定されるものではなく、例えば取得画像に含まれる実物体（例えば、壁掛け時計や配管、絵画等）を基準物としてもよい。この場合、認識部２７は、取得画像から実物体の特徴情報を抽出し、抽出した特徴情報と、予め登録された特徴情報とを比較し、同一又は類似度が所定値以上の特徴情報から物体を特定し、その物体に対応する識別情報を取得する。特徴情報とは、物体のエッジ情報や輝度情報等の特徴量に基づいて取得することができ、お互いの特徴情報がどの程度一致しているかに応じて物体を特定することができるが、これに限定されるものではない。」

「【００４８】

また、コンテンツ生成部２８は、例えばオーサリング処理等において、ＡＲコンテンツの位置情報、及びＡＲコンテンツを形成する表示データと、マーカＩＤとを対応付けてＡＲコンテンツ情報を生成する。例えば、コンテンツ生成部２８は、ユーザが画面上で指定した点を、ＡＲマーカの位置を基準とした座標系（マーカ座標系）に変換することで、その変換後の座標値をＡＲマーカに基づく相対位置情報とすることができるが、これに限定されるものではない。コンテンツ生成部２８は、生成したコンテンツ情報をマーカＩＤと対応付けて記憶部２３に記憶してもよく、サーバ１１に登録要求を行ってもよい。

【００４９】

更に、コンテンツ生成部２８は、ＡＲコンテンツの位置情報及びＡＲコンテンツを形成する表示データと、ＡＲマーカの識別情報とを対応付けて、ＡＲコンテンツ情報を生成する。例えば、コンテンツ生成部は、ユーザが画面上で指定した点を、マーカ座標系に変換し、変換後の座標値を位置情報とする。

【００５０】

環境マップ生成部２９は、判定部２６による判定結果により、取得画像に１又は複数の複数のＡＲマーカが存在すると判定された場合に、認識部２７により認識された各ＡＲマーカに環境マップ（環境情報）を生成する。また、環境マップ生成部２９は、所定時間間隔で、環境マップを更新してもよい。また、環境マップ生成部２９は、管理者等によるオーサリング処理のときに行ってもよく、オーサリング処理後の作業員等による運用時の撮影中に行ってもよい。」

「【００５５】

＜端末装置１２のハードウェア構成例＞

次に、端末装置１２のハードウェア構成例について図を用いて説明する。図３は、端末装置のハードウェア構成の一例を示す図である。図３の例において、端末装置１２は、マイクロフォン（以下、「マイク」という）４１と、スピーカ４２と、カメラ４３と、表示部４４と、操作部４５と、センサ部４６と、電力部４７と、無線部４８と、近距離通信部４９と、補助記憶装置５０と、主記憶装置５１と、ＣＰＵ５２と、ドライブ装置５３とを有し、これらはシステムバスＢで相互に接続されている。

【００５６】

マイク４１は、ユーザが発した音声や、その他の音を入力する。スピーカ４２は、通話相手先の音声を出力したり、着信音等の音を出力する。マイク４１及びスピーカ４２は、例えば、通話機能等により通話相手と会話するとき等に用いることができるが、これに限定されるものではなく、音声による情報の入出力に用いることができる。

【００５７】

カメラ４３は、例えば予め設定された画角内の実空間の画像（動画像、静止画像）を撮影する。カメラ４３は、例えば上述した撮像部２２の一例である。

【００５８】

表示部４４は、ユーザに対してＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）や各種アプリケーションで設定された画面（例えば、実空間にＡＲオブジェクトが重畳された画像等）を表示する。また、表示部４４は、タッチパネルディスプレイ等でもよく、その場合には表示部４４は、入出力部としての機能を有する。」

「【００７３】

＜情報処理（表示制御処理）の一例：オーサング処理＞

次に、本実施形態における情報処理（オーサング処理）の一例についてフローチャートを用いて説明する。図４は、オーサリング時における情報処理の一例を示すフローチャートである。図４の例において、端末装置１２は、オーサリングプログラム等の対応するアプリケーションを起動し（Ｓ０１）、例えば撮像部２２等による撮影により実空間における画像（動画像でも静止画像でもよい）を取得する（Ｓ０２）。なお、Ｓ０２の処理で取得される画像は、端末装置１２以外の装置から撮影された画像であってもよい。

【００７４】

次に、判定部２６は、取得画像中のＡＲマーカの有無を判定し、ＡＲマーカを認識（検出）したか否かを判断する（Ｓ０３）。ＡＲマーカを認識した場合（Ｓ０３において、ＹＥＳ）、そのＡＲマーカの識別情報（マーカ）を認識し、ＡＲマーカに既に対応付けられたＡＲコンテンツがある場合には、そのＡＲコンテンツを取得して画面に表示する（Ｓ０４）。次に、コンテンツ生成部２８は、ＡＲコンテンツの追加、変更等の編集を開始するか否かを判断し（Ｓ０５）、ユーザ指示等により開始する場合（Ｓ０５において、ＹＥＳ）、編集を実施する（Ｓ０６）。

【００７５】

次に、各ＡＲマーカに対する環境マップ（環境情報）の生成を開始するか否かを判断し（Ｓ０７）、環境マップの生成を開始する場合（Ｓ０７において、ＹＥＳ）、環境マップ生成部２９は、環境マップ生成処理を実行する（Ｓ０８）。Ｓ０７の処理では、例えば取得画像中に複数のＡＲマーカが認識できている場合には、環境マップの生成を開始すると判断することができるが、判断基準はこれに限定されるものではない。」

「【００７８】

＜Ｓ０８；環境マップ生成処理の一例＞

次に、上述したＳ０８における環境マップ生成処理の一例について、フローチャートを用いて説明する。図５は、環境マップ生成処理の一例を示すフローチャートである。図５の例において、環境マップ生成部２９は、認識部２７がＡＲマーカを認識したか否かを判断し（Ｓ２１）、ＡＲマーカを認識した場合（Ｓ２１において、ＹＥＳ）、第１視点の画像を取得する（Ｓ２２）。次に、環境マップ生成部２９は、第１視点と異なる視点の第２視点の画像を取得する（Ｓ２３）。Ｓ２２の処理において２視点の画像を取得する場合には、三角測量が可能な視点位置を取得する必要がある。また、Ｓ２３の処理において、この２視点の画像の特徴点を対応付けることでオブジェクトトラッキング処理におけるロストしたＡＲマーカの座標値が取得可能となる。

【００７９】

続きを表示（全24行）

次に、環境マップ生成部２９は、２視点の画像の特徴点の対応付けを行い（Ｓ２４）、特徴点の対応付けが成功したか否かを判断する（Ｓ２５）。対応付けが成功した場合（Ｓ２５において、ＹＥＳ）、環境マップ生成部２９は、２視点の画像から、特徴点の座標を取得する（Ｓ２６）。次に、環境マップ生成部２９は、特徴点の座標を環境マップに保存する（Ｓ２７）。

【００８０】

また、Ｓ２１の処理においてＡＲマーカを認識していない場合（Ｓ２１において、ＮＯ）、Ｓ２５の処理において特徴点の対応付けが成功していない場合（Ｓ２５において、ＮＯ）、又はＳ２７の処理後、環境マップ生成部２９は、環境マップ生成を終了するか否かを判断し（Ｓ２８）、終了しない場合（Ｓ２８において、ＮＯ）、Ｓ２１の処理に戻る。また、環境マップ生成を終了する場合（Ｓ２８において、ＹＥＳ）、環境マップ生成処理を終了する。

【００８１】

＜情報処理（表示制御処理）の一例：運用処理＞

次に、本実施形態における運用時の情報処理（表示制御処理）の一例についてフローチャートを用いて説明する。図６は、運用時における情報処理の一例を示すフローチャートである。図６の例において、端末装置１２は、運用プログラム等の対応するアプリケーションを起動し（Ｓ３１）、例えば撮像部２２等による撮影により実空間における画像（動画像でも静止画像でもよい）を取得する（Ｓ３２）。なお、Ｓ３２の処理で取得される画像は、端末装置１２以外の装置から撮影された画像であってもよい。

【００８２】

次に、判定部２６は、取得した画像中からＡＲマーカの有無を判定し、その判定結果からＡＲマーカを認識したか否かを判断する（Ｓ３３）。なお、Ｓ３３の処理では、説明の便宜上、例えば取得画像から２つのＡＲマーカを認識したか否かを判断しているが、これに限定されるものではなく、複数（３以上も含む）のＡＲマーカを認識したか否かを判断してもよい。

【００８３】

ＡＲマーカを認識した場合（Ｓ３３において、ＹＥＳ）、認識部２７は、マーカＩＤに対応付けられた情報を取得し（Ｓ３４）、その情報の中に環境マップの設定があるか否かを判断する（Ｓ３５）。なお、Ｓ３４の処理において、取得する情報としては、例えばマーカＩＤに対応するＡＲコンテンツ情報や環境マップ等であるが、これに限定されるものではない。

【００８４】

Ｓ３５の処理において、環境マップの設定がある場合（Ｓ３５において、ＹＥＳ）、環境マップ生成部２９は、更新処理として、自マーカ（第１のＡＲマーカ）と他マーカ（第２のＡＲマーカ）との相対位置を取得して保存する（Ｓ３６）。ここで、相対位置とは、例えば上述した相対距離ベクトル及び相対回転角度等であるが、これに限定されるものではなく、例えば相対形状等でもよい。

【００８５】

次に、画面生成部３０は、Ｓ３４の処理で得られたＡＲコンテンツ情報からマーカＩＤに対応するＡＲコンテンツをマーカＩＤに対する相対的な位置等に表示する（Ｓ３７）。

【００８６】

また、Ｓ３３の処理において、ＡＲマーカが認識できなかった場合（Ｓ３３において、ＮＯ）、現在の取得画像より所定フレーム（Ｎフレーム）前までにマーカ認識済み（マーカ検出済み）であったか否かを判断する（Ｓ３８）。マーカ認識済みであったか否かとは、例えば現在の対象フレームからＮフレーム前までの間に（過去に）、認識できたＡＲマーカが存在したか否かに対応する。

【００８７】

マーカ認識済みである場合（Ｓ３８において、ＹＥＳ）、認識部２７は、そのＡＲマーカに環境マップがあるか否かを判断する（Ｓ３９）。環境マップがある場合（Ｓ３９において、ＹＥＳ）、認識部２７は、その環境マップと現在の取得画像との特徴点のマッチング（比較）を行う（Ｓ４０）。

【００８８】

次に、認識部２７は、Ｓ４０のマッチング処理によるマッチ率（一致度）が予め設定された閾値以上か否かを判断し（Ｓ４１）、閾値以上である場合（Ｓ４１において、ＹＥＳ）、コンテンツ生成部２８は、環境マップが設定されたマーカＩＤに対応するＡＲコンテンツを生成し、表示部２４に表示させる（Ｓ４２）。」

「【０１０２】

＜オブジェクトトラッキングの利用シーン例＞

次に、オブジェクトトラッキングの利用シーン例について、図を用いて説明する。図１０は、オブジェクトトラッキングの利用シーンの一例を示す図である。図１０の例では、工場や施設等の実空間上に存在する物体６０－１，６０－２のうち、物体６０－２に基準物の一例であるＡＲマーカ６１が設置されている。物体の例としては、例えば配管やバルブ、操作パネル、椅子、机、建物、車両、機械等であるが、これらに限定されるものではなく、実空間上に存在するあらゆる物体でもよい。また、物体そのものを基準物としてよい。

【０１０３】

管理者等のユーザ６２は、端末装置１２を所持し、端末装置１２から撮影して表示部２４の画面６３に表示された取得画像に対して、ＡＲマーカ６１が認識できた場合に、その認識したＡＲマーカに対応付けられたＡＲコンテンツを表示する。

【０１０４】

このとき、例えば図１０の画面６３－１に示すように、ＡＲマーカ６１を一度認識できた状態で、そのＡＲマーカが画面外に外れた場合や、図１０の画面６３－２に示すように、ＡＲマーカ６１を認識中に、画面内にＡＲマーカ６１を遮る遮蔽物（例えば、人物の手や移動物体等）６４が出現した場合や照明の明暗の状態の変化があった場合には、ＡＲマーカが認識できなくなり、対応するＡＲコンテンツを表示することができない。そこで、上述したように、マーカ認識が途切れた場合において、本実施形態におけるオブジェクトトラッキングを実施することで、ＡＲコンテンツの利用を継続させることが可能となる。」

「【０１１５】

＜ＡＲコンテンツの表示例＞

図１３は、本実施形態におけるＡＲコンテンツの表示例を示す図である。図１３（Ａ）は、ＡＲマーカ認識時のＡＲコンテンツの表示例を示し、図１３（Ｂ）は、オブジェクトトラッキング実施時におけるＡＲコンテンツ表示例を示している。

【０１１６】

例えば、図１３（Ａ）に示すように、マーカ認識時には、ＡＲマーカ６１－１，６１－２のうち、ＡＲマーカ６１－１に対応付けられてＡＲコンテンツ７０－１，７０－２が画像データとして、撮影画像に対して重畳表示されている。これらのＡＲコンテンツ７０－１，７０－２は、それぞれ物体６０に対する注意事項やメッセージ、操作手順等のテキスト情報であるが、これに限定されるものではなく、例えば動画や音声等でもよい。

【０１１７】

ここで、図１３（Ｂ）に示すように遮蔽物６４によりＡＲマーカ６１－１をロストした場合（認識不能になった場合）、ＡＲマーカ６１－２に対応する環境マップを用いて、ＡＲマーカ６１－１の相対位置を取得し、取得した位置に対応させてＡＲコンテンツ７０－１，７０－２を継続して表示させることができる。また、ＡＲマーカ６１－１，６１－２の両方がロストした場合でも、一方の環境マップを用いて各ＡＲマーカ６１－１，６１－２の位置を取得することができる。

【０１１８】

なお、上述の処理は、例えば現在の取得画像より所定フレーム（Ｎフレーム）前までにマーカ認識済みであったか否かを判断し、所定フレーム前までマーカ認識済みであった場合に行ってもよい。これにより、ＡＲマーカ６１が遮蔽物６４等により遮蔽されてから所定時間（所定フレーム数）の間だけ、ＡＲコンテンツ７０を表示させることができる。」

「【図１】

［図：0001385080000001.jpg］

」

「【図６】

［図：0001385080000002.jpg］

」

「【図１３】

［図：0001385080000003.jpg］

」

したがって、上記引用文献２には次の発明（以下、「引用発明」という。）が記載されていると認められる。

＜引用発明＞

「情報処理システム１０は、サーバ１１と、１又は複数の端末装置１２－１～１２－ｎ（以下、必要に応じて「端末装置１２」と総称する）とを有し、サーバ１１及び端末装置１２は、通信ネットワーク１３によりデータの送受信が可能な状態で接続され

サーバ１１は、基準物の一例としてのＡＲマーカ、及びＡＲマーカに対応付けて登録された各ＡＲコンテンツ（ＡＲオブジェクト）が管理され、ここで、ＡＲマーカとは、ＡＲコンテンツ等の各種コンテンツ情報の内容や表示する位置等を指定するための標識となるもの（識別子）であり、ＡＲマーカは、例えば二次元コード等のように、所定の領域内に所定の模様や文字パターン等が形成された画像等であり、

また、基準物の一例としては、ＡＲマーカに限定されるものではなく、例えば壁掛け時計や絵画、壁紙、置物等の実物体（いわゆる自然マーカ）であってもよく、この場合、基準物の認識（検出）は、例えば実物体の形状や色、模様等に対応する特徴情報と、予め設定された基準物毎の特徴情報とを比較して、実物体を特定することで、その実物体に対応する識別情報（ＩＤ）を上述したマーカＩＤとして用いることができ、

ＡＲコンテンツは、例えば撮影画像中に含まれるＡＲマーカの大きさや形状（歪み）等から推定されるＡＲマーカとカメラ等の撮像部との位置関係を用いて、ＡＲマーカを基準とした相対座標（マーカ座標系）で設定された位置に表示され、また、ＡＲコンテンツは、上述した位置関係を用いて、ＡＲマーカの撮影方向に対応する向きで表示され、位置関係とは、ＡＲマーカと撮影位置との距離及び撮影方向のうち少なくとも１つを含み、

続きを表示（全35行）

ＡＲコンテンツは、マーカＩＤ等に対応付けられており、例えばテキスト、アイコン、アニメーション、マーク、模様、画像、映像等の様々な形態が含まれ、また、ＡＲコンテンツは、表示出力されるものに限定されず、例えば音声等の情報であってもよく、

サーバ１１は、例えば端末装置１２におけるＡＲコンテンツの設定処理（オーサリング処理）により、端末装置１２から得られるＡＲマーカに関する情報（例えば、マーカＩＤ、ＡＲマーカの位置情報等）と、ＡＲマーカの位置を基準とする相対位置に設定されたＡＲコンテンツとを登録し、また、サーバ１１は、端末装置１２におけるオーサリング処理により、端末装置１２からマーカＩＤに対応する１又は複数のＡＲコンテンツの設定情報を取得した場合に、そのＡＲコンテンツ情報（例えば、ＡＲコンテンツＩＤ、座標値、回転角度、拡縮率、ＡＲコンテンツ格納先情報等）を登録して管理し、

また、サーバ１１は、端末装置１２から、ＡＲコンテンツの取得要求等を受信した場合には、端末装置１２から送信されたマーカＩＤに対応させて、予め登録されたＡＲコンテンツに関する情報を抽出し、抽出した情報を端末装置１２に送信し、

サーバ１１は、例えばＰｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ（ＰＣ）等でもよく、一以上の処理装置を有するクラウドコンピューティングにより構成されるクラウドサーバ等であってもよく、

端末装置１２は、カメラ等の撮像部等により、実空間上にあるＡＲマーカを撮影し、カメラ等により撮影された画像に含まれるＡＲマーカから、対応する情報を認識し、認識したＡＲマーカに対してＡＲオブジェクトの登録を行い、この登録情報は、サーバ１１に送信され、サーバ１１内で管理されてもよく、端末装置１２内部で管理されていてもよく、

また、端末装置１２は、撮影等により取得した画像にＡＲマーカが含まれている場合に、そのＡＲマーカを認識し、認識した結果として得られたマーカＩＤに対応付けられているＡＲコンテンツ（オブジェクト）を取得し、取得したＡＲコンテンツを、画像データに対してＡＲマーカの表示位置（座標）を基準にした相対的な座標位置に重畳表示し、

端末装置１２は、認識中（検出中）のＡＲマーカ（基準物）が特定の理由（例えば、ＡＲマーカの認識を妨げる物体がＡＲマーカの前に出現したり、ＡＲマーカがカメラの画角外にフレームアウトする等）により、ＡＲマーカの認識が行えなくなる場合があり、このような場合に、端末装置１２は、そのＡＲマーカの位置情報、形状情報等を追尾し、コンテンツの表示等の処理を継続されるオブジェクトトラッキングによるＡＲコンテンツ表示を行い、

オブジェクトトラッキングとは、例えばＡＲマーカの認識後に、そのＡＲマーカを認識していなくても画像上の環境に対する特徴点情報（以下、「環境マップ」という）等に基づいて位置情報のトレースを可能とする技術であり、

端末装置１２は、ＡＲマーカを複数認識しているタイミングで、そのＡＲマーカに対して環境マップが設定されているか否かの判定を行い、環境マップが両方に設定されている場合、環境マップの中心点（元々認識していたＡＲマーカの中心座標）から、他のＡＲマーカの相対位置及び相対形状を取得し、各々の環境マップにその情報を追加し、

端末装置１２は、例えばタブレット端末やスマートフォン、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ（ＰＤＡ）、ノート型ＰＣ等であるが、ゲーム機器、携帯電話等の通信端末であってもよく、

撮像部２２は、静止画又は予め設定されたフレーム間隔で画像（動画像）を撮影し、撮像部２２は、撮像した画像を制御部３１へ出力したり、記憶部２３に記憶させ、撮像部２２は、例えばデジタルカメラ等であり、

記憶部２３は、制御部３１による制御に基づき、各種情報を記憶し、例えばＡＲコンテンツ生成時の設定情報やＡＲコンテンツ情報、環境マップ等を記憶し、また、ＡＲマーカ管理情報（現在認識しているマーカーのＩＤや位置等）の情報を一時的に記憶し、

表示部２４は、取得画像（例えば、撮像部２２により撮影された画像）等を表示し、表示される取得画像にＡＲマーカが含まれている場合、そのＡＲマーカに対応するＡＲコンテンツ（重畳用の画像データ等）を所定の位置に重畳して表示し、表示部２４は、ディスプレイやモニタ等であり、

判定部２６は、取得画像にＡＲマーカが含まれるか否かを判定し、例えば、撮像部２２により得られる撮影画像に対して画像認識を行い、予め設定された複数のＡＲマーカ画像とのマッチングを行って画像中におけるＡＲマーカの有無を判定し、

また、判定部２６は、ＡＲマーカ認識からオブジェクトトラッキング処理への切り替えの判定をし、判定部２６における判定は、定期的、又は端末装置１２の撮影位置が所定の距離以上移動した場合等の所定のタイミングで行い、

認識部２７は、判定部２６からの判定結果により、取得画像中に１又は複数のＡＲマーカが存在すると判定された場合、各ＡＲマーカに対応する識別情報（マーカＩＤ）を取得し、また、認識部２７は、取得画像から認識（検出）していたＡＲマーカが遮蔽物等の影響で認識不能（検出不能）となった場合（ロストした場合）に、環境マップを用いたオブジェクトトラッキング処理により認識不能となったＡＲマーカの位置情報を取得し、例えば、認識部２７は、環境マップ生成部２９により取得画像に含まれる２つのＡＲマーカ（第１のＡＲマーカ、第２のＡＲマーカ）の環境マップを生成し、その後の取得画像において、第１及び第２のＡＲマーカの両方が認識不能となった場合に、第１のＡＲマーカに対する環境情報と環境マップから得られる相対位置情報とを用いて、第２のＡＲマーカの位置情報を生成し、また、第１及び第２のＡＲマーカの一方が認識不能となった場合に、認識可能（検出可能）な一方の基準物に対する環境情報と環境マップから得られる相対位置情報とを用いて、認識不能となった基準物の位置情報を生成し、また、認識部２７は、オブジェクトトラッキング処理における特徴点の抽出、特徴点のマッチング処理等を行い、また、認識部２７は、オブジェクトトラッキング処理により得られる位置情報に基づいて、認識不能となったＡＲマーカに対応するマーカＩＤを取得し、

コンテンツ生成部２８は、例えばオーサリング処理等において、ＡＲコンテンツの位置情報、及びＡＲコンテンツを形成する表示データと、マーカＩＤとを対応付けてＡＲコンテンツ情報を生成し、

環境マップ生成部２９は、判定部２６による判定結果により、取得画像に１又は複数の複数のＡＲマーカが存在すると判定された場合に、認識部２７により認識された各ＡＲマーカに環境マップ（環境情報）を生成し、また、環境マップ生成部２９は、所定時間間隔で、環境マップを更新してもよく、

端末装置１２のハードウェア構成の一例として、端末装置１２は、マイクロフォン（以下、「マイク」という）４１と、スピーカ４２と、カメラ４３と、表示部４４と、を有し、

マイク４１は、ユーザが発した音声や、その他の音を入力し、スピーカ４２は、通話相手先の音声を出力したり、着信音等の音を出力し、マイク４１及びスピーカ４２は、例えば、通話機能等により通話相手と会話するとき等に用いることができ、これに限定されるものではなく、音声による情報の入出力に用いることができ、

カメラ４３は、例えば予め設定された画角内の実空間の画像（動画像、静止画像）を撮影し、カメラ４３は、上述した撮像部２２であり、

表示部４４は、ユーザに対してＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）や各種アプリケーションで設定された画面（例えば、実空間にＡＲオブジェクトが重畳された画像等）を表示し、

情報処理（オーサング処理）について、

端末装置１２は、アプリケーションを起動し、撮像部２２等による撮影により実空間における画像（動画像でも静止画像でもよい）を取得し、次に、判定部２６は、取得画像中のＡＲマーカの有無を判定し、ＡＲマーカを認識（検出）したか否かを判断し、ＡＲマーカを認識した場合、そのＡＲマーカの識別情報（マーカ）を認識し、ＡＲマーカに既に対応付けられたＡＲコンテンツがある場合には、そのＡＲコンテンツを取得して画面に表示し、次に、各ＡＲマーカに対する環境マップ（環境情報）の生成を開始するか否かを判断し、環境マップの生成を開始する場合、環境マップ生成部２９は、環境マップ生成処理を実行し、例えば取得画像中に複数のＡＲマーカが認識できている場合には、環境マップの生成を開始すると判断することができるが、判断基準はこれに限定されるものではなく、

環境マップ生成処理について、環境マップ生成部２９は、認識部２７がＡＲマーカを認識したか否かを判断し、ＡＲマーカを認識した場合、第１視点の画像を取得し、次に、環境マップ生成部２９は、第１視点と異なる視点の第２視点の画像を取得し、この２視点の画像の特徴点を対応付けることでオブジェクトトラッキング処理におけるロストしたＡＲマーカの座標値が取得可能となり、次に、環境マップ生成部２９は、２視点の画像の特徴点の対応付けを行い、特徴点の対応付けが成功したか否かを判断し、対応付けが成功した場合、環境マップ生成部２９は、２視点の画像から、特徴点の座標を取得し、次に、環境マップ生成部２９は、特徴点の座標を環境マップに保存し、

運用時の情報処理（表示制御処理）について、

端末装置１２は、運用プログラム等の対応するアプリケーションを起動し、撮像部２２等による撮影により実空間における画像（動画像でも静止画像でもよい）を取得し、次に、判定部２６は、取得した画像中からＡＲマーカの有無を判定し、その判定結果からＡＲマーカを認識したか否かを判断し、ＡＲマーカを認識した場合、認識部２７は、マーカＩＤに対応付けられた情報を取得し、その情報の中に環境マップの設定があるか否かを判断し、環境マップの設定がある場合、環境マップ生成部２９は、更新処理として、自マーカ（第１のＡＲマーカ）と他マーカ（第２のＡＲマーカ）との相対位置を取得して保存し、次に、画面生成部３０は、得られたＡＲコンテンツ情報からマーカＩＤに対応するＡＲコンテンツをマーカＩＤに対する相対的な位置等に表示し、また、ＡＲマーカが認識できなかった場合、現在の取得画像より所定フレーム（Ｎフレーム）前までにマーカ認識済み（マーカ検出済み）であったか否かを判断し、マーカ認識済みである場合、認識部２７は、そのＡＲマーカに環境マップがあるか否かを判断し、環境マップがある場合、認識部２７は、その環境マップと現在の取得画像との特徴点のマッチング（比較）を行い、次に、認識部２７は、マッチング処理によるマッチ率（一致度）が予め設定された閾値以上か否かを判断し、閾値以上である場合、コンテンツ生成部２８は、環境マップが設定されたマーカＩＤに対応するＡＲコンテンツを生成し、表示部２４に表示させ、

オブジェクトトラッキングの利用シーン例について、

工場や施設等の実空間上に存在する物体６０－１，６０－２のうち、物体６０－２に基準物の一例であるＡＲマーカ６１が設置されており、ユーザ６２は、端末装置１２を所持し、端末装置１２から撮影して表示部２４の画面６３に表示された取得画像に対して、ＡＲマーカ６１が認識できた場合に、その認識したＡＲマーカに対応付けられたＡＲコンテンツを表示し、このとき、例えば、ＡＲマーカ６１を一度認識できた状態で、そのＡＲマーカが画面外に外れた場合や、ＡＲマーカ６１を認識中に、画面内にＡＲマーカ６１を遮る遮蔽物６４が出現した場合には、ＡＲマーカが認識できなくなり、対応するＡＲコンテンツを表示することができないため、そこで、上述したように、マーカ認識が途切れた場合において、オブジェクトトラッキングを実施することで、ＡＲコンテンツの利用を継続させることが可能となり、

ＡＲコンテンツの表示例について、マーカ認識時には、ＡＲマーカ６１－１，６１－２のうち、ＡＲマーカ６１－１に対応付けられてＡＲコンテンツ７０－１，７０－２が画像データとして、撮影画像に対して重畳表示されており、これらのＡＲコンテンツ７０－１，７０－２は、それぞれ物体６０に対する注意事項やメッセージ、操作手順等のテキスト情報であるが、これに限定されるものではなく、例えば動画や音声等でもよく、遮蔽物６４によりＡＲマーカ６１－１をロストした場合（認識不能になった場合）、ＡＲマーカ６１－２に対応する環境マップを用いて、ＡＲマーカ６１－１の相対位置を取得し、取得した位置に対応させてＡＲコンテンツ７０－１，７０－２を継続して表示させることができ、また、ＡＲマーカ６１－１，６１－２の両方がロストした場合でも、一方の環境マップを用いて各ＡＲマーカ６１－１，６１－２の位置を取得することができ、なお、上述の処理は、例えば現在の取得画像より所定フレーム（Ｎフレーム）前までにマーカ認識済みであったか否かを判断し、所定フレーム前までマーカ認識済みであった場合に行ってもよく、これにより、ＡＲマーカ６１が遮蔽物６４等により遮蔽されてから所定時間（所定フレーム数）の間だけ、ＡＲコンテンツ７０を表示させることができる

情報処理方法。」

２．引用文献１について

原査定の拒絶の理由に引用された引用文献１には、図面とともに次の事項が記載されている。

「【発明を実施するための形態】

【００１３】

以下、図を参照しつつ、姿勢推定装置について説明する。この姿勢推定装置は、撮像部が所定の撮影周期でその周囲を撮影して画像を生成する度に、その画像に基づいて撮影時の撮像部の位置及び姿勢を推定する。その際、この姿勢推定装置は、予め設置された、形状及び設置位置が既知のマーカが画像に写っており、かつ、画像からマーカを検出できる場合には、画像上でのマーカの位置に基づいて撮像部の位置及び姿勢を推定することで演算量を抑制する。一方、姿勢推定装置は、画像からマーカを検出できない場合には、マーカの周囲にあり、かつ、画像に写っている複数の特徴的な点（以下、自然特徴点と呼ぶ）を画像から検出し、それらの特徴点に基づいて撮像部の位置及び姿勢を推定する。」

「【００１５】

図１は、姿勢推定装置の一つの実施形態である携帯端末のハードウェア構成図である。携帯端末１は、表示部２と、撮像部３と、記憶媒体アクセス装置４と、記憶部５と、制御部６とを有する。表示部２、撮像部３、記憶媒体アクセス装置４、記憶部５及び制御部６は、筐体７内に配置される。なお、携帯端末１は、例えば、携帯電話機、携帯情報端末またはタブレット型コンピュータである。さらに携帯端末１は、携帯端末１を他の機器に接続するための通信インターフェース回路（図示せず）を有していてもよい。なお図１は、携帯端末１が有する構成要素を説明するための図であり、携帯端末１の各構成要素の実際の配置を表した図ではないことに留意されたい。

【００１６】

携帯端末１は、撮像部３が所定の撮影周期ごとに周囲を撮影して得られた画像に写っているマーカまたは自然特徴点に基づいて、撮像部３の位置及び姿勢を推定する。そしてこの携帯端末１は、その位置及び姿勢の推定結果を利用して、画像上に様々な情報を重畳することで、ARをユーザに提供してもよい。

続きを表示（全24行）

【００１７】

表示部２は、例えば、液晶ディスプレイ、あるいは有機エレクトロルミネッセンスディスプレイを有し、表示部２の表示画面が、筐体７の正面に対向するユーザを向くように配置される。そして表示部２は、撮像部３により生成された画像など、ユーザに対して様々な情報を表示する。また表示部２は、タッチパネルディスプレイを有してもよい。この場合、表示部２は、例えば、様々なアイコンまたは操作ボタンを、制御部６からの制御信号に応じて表示する。そして表示部２は、表示されたアイコンまたは操作ボタンの位置にユーザが触れた場合に、その位置に応じた操作信号を生成し、その操作信号を制御部６へ出力する。

【００１８】

撮像部３は、例えば、２次元アレイ状に配置された固体撮像素子を有するイメージセンサと、そのイメージセンサ上に被写体の像を結像する撮像光学系とを有する。

【００１９】

撮像部３は、所定の撮影周期ごとに携帯端末１の周囲を撮影することで、その撮影周期ごとに画像を生成する。なお、生成される画像は、RGB表色系により表されるカラー画像であってもよく、あるいは、グレー画像であってもよい。そして撮像部３は、画像を生成する度に、生成した画像を制御部６へ出力する。なお、撮影周期は、例えば、33msecである。

【００２０】

記憶媒体アクセス装置４は、例えば、半導体メモリカードといった記憶媒体８にアクセスする装置である。記憶媒体アクセス装置４は、例えば、記憶媒体８に記憶された、制御部６上で実行されるコンピュータプログラムを読み込み、制御部６に渡す。また、後述するように、制御部６が姿勢推定装置としての機能を実現するコンピュータプログラムを実行する場合には、記憶媒体アクセス装置４は、記憶媒体８から姿勢推定用コンピュータプログラムを読み込んで、制御部６に渡してもよい。

【００２１】

記憶部５は、例えば、読み書き可能な不揮発性の半導体メモリと、読み書き可能な揮発性の半導体メモリとを有する。そして記憶部５は、制御部６上で実行される各種のアプリケーションプログラム及び各種のデータを記憶する。また記憶部５は、姿勢推定処理に利用される各種のデータを記憶する。例えば、記憶部５は、直近の一定期間（例えば、数フレーム～数十フレームに相当する期間）に取得された画像から推定された撮像部３の位置及び姿勢を表す情報を記憶する。

【００２２】

さらに記憶部５は、実空間に設定された三次元の世界座標系における、マーカの三次元座標と、複数の自然特徴点のそれぞれについての３次元座標とその自然特徴点を特定するための特徴量とが格納された三次元マップを記憶する。

【００２３】

図２は、マーカの一例を示す図である。マーカ２００は、識別用パターン２０１と、識別用パターン２０１を囲む矩形パターン２０２とを有する。識別用パターン２０１は、例えば、マーカ２００が設置された場所の周囲の模様との区別が付き易いパターンであればよい。本実施形態では、撮像部３の位置及び姿勢を推定するために、矩形パターン２０２の外周の四隅の位置が画像上で検出される。なお、マーカは、図２に示されたものに限られず、マーカが設置された場所の周囲の模様との区別が付き易いものであればよい。また、撮像部３の位置及び姿勢の推定に、マーカの他の位置が利用されてもよい。

【００２４】

なお、本実施形態では、実空間に設定される世界座標系は、簡単化のために、マーカの中心を原点とし、マーカが含まれる平面にX軸及びY軸を設定し、マーカが含まれる平面の法線をZ軸とする。

【００２５】

図３は、三次元マップの一例を示す図である。三次元マップ３００の各行には、それぞれ、自然特徴点またはマーカの外周の四隅の何れかの三次元座標と、マーカか自然特徴点かを表す種別フラグ（自然特徴点：f、マーカ：m）と、自然特徴点の特徴量が記録される。この例では、１行目～６４行目には、例えば、各自然特徴点の三次元座標などが記録されている。また、６５行目～６８行目には、マーカの四隅の三次元座標などが記録されている。

【００２６】

なお、自然特徴点の特徴量は、画像上で自然特徴点を特定するために利用できるものであればよく、例えば、自然特徴点が位置する画像上での画素の輝度値と、その周囲８近傍画素または２４近傍画素の輝度値とすることができる。・・・（略）」

「【図１】

［図：0001385080000004.jpg］

」

「【図２】

［図：0001385080000005.jpg］

」

「【図３】

［図：0001385080000006.jpg］

」

したがって、上記引用文献１には次の技術的事項（以下、「引用文献１技術的事項」という。）が記載されていると認められる。

＜引用文献１技術的事項＞

「姿勢推定装置について、

姿勢推定装置は、撮像部が所定の撮影周期でその周囲を撮影して画像を生成する度に、その画像に基づいて撮影時の撮像部の位置及び姿勢を推定し、その際、予め設置された、形状及び設置位置が既知のマーカが画像に写っており、かつ、画像からマーカを検出できる場合には、画像上でのマーカの位置に基づいて撮像部の位置及び姿勢を推定し、一方、画像からマーカを検出できない場合には、マーカの周囲にあり、かつ、画像に写っている複数の特徴的な点（以下、自然特徴点と呼ぶ）を画像から検出し、それらの特徴点に基づいて撮像部の位置及び姿勢を推定し、

姿勢推定装置の一つの実施形態である携帯端末のハードウェア構成として、携帯端末１は、表示部２と、撮像部３と、記憶媒体アクセス装置４と、記憶部５と、制御部６とを有し、

携帯端末１は、撮像部３が所定の撮影周期ごとに周囲を撮影して得られた画像に写っているマーカまたは自然特徴点に基づいて、撮像部３の位置及び姿勢を推定し、そしてこの携帯端末１は、その位置及び姿勢の推定結果を利用して、画像上に様々な情報を重畳することで、ARをユーザに提供してもよく、

表示部２は、撮像部３により生成された画像など、ユーザに対して様々な情報を表示し、

撮像部３は、イメージセンサと、そのイメージセンサ上に被写体の像を結像する撮像光学系とを有し、所定の撮影周期ごとに携帯端末１の周囲を撮影することで、その撮影周期ごとに画像を生成し、なお、撮影周期は、例えば、33msecであり、

記憶部５は、実空間に設定された三次元の世界座標系における、マーカの三次元座標と、複数の自然特徴点のそれぞれについての３次元座標とその自然特徴点を特定するための特徴量とが格納された三次元マップを記憶し、

実空間に設定される世界座標系は、マーカの中心を原点とし、マーカが含まれる平面にX軸及びY軸を設定し、マーカが含まれる平面の法線をZ軸とし、

三次元マップ３００の各行には、それぞれ、自然特徴点またはマーカの外周の四隅の何れかの三次元座標と、マーカか自然特徴点かを表す種別フラグ（自然特徴点：f、マーカ：m）と、自然特徴点の特徴量が記録される、

姿勢推定装置。」

３．引用文献３について

原査定の拒絶の理由に引用された引用文献３には、次の事項が記載されている。

（１）第１０４３頁「Abstract」欄

「

［図：0001385080000007.jpg］

」

（当審対訳）

「概要

拡張現実(AR)環境の調査研究は、技術者、コンピュータ、および認知科学者にとって人気のある研究テーマになっている。オーディオAR環境に焦点を当てたアプリケーション指向研究が公表されているが、ARコンテキストにおける3次元(3D)音の有効性、および3D音の追加がAR体験にどの程度寄与するかという重要な研究問題を精力的に研究および評価するための研究はほとんど行われていない。

したがって、我々は、2つのAR環境を開発し、AR状況における3D音の効果を研究するために、ヒト対象を用いて活発な実験を行った。研究は2つのシナリオに関する。第1のシナリオでは、1人の参加者は、視覚のみ及び3D音を伴う視覚を使用して、増加した仮想オブジェクトの相対的な奥行きを判断しなければならない。第2のシナリオでは、2人の参加者が協力して、ゲームベースのAR環境で共同タスクを実行しなければならない。

したがって、この研究の目的は、(1)単一カメラAR環境における奥行きの知覚に対する3D音の影響にアクセスすること、(2)タスク性能および「人間の存在および協調」の感覚に対する3D音の影響を研究すること、(3)人間－コンピュータおよび人間－人間相互作用における3D音の役割をより理解すること、(4)性別がAR環境における3D音の影響に影響を及ぼし得るかどうかを調査すること、である。この研究の成果は、3D音を導入することによって、より没入感があり、リアルで、楽しい体験を提供するオーディオARシステムの開発に有用な影響を及ぼすことができる。我々の結果は、AR環境における3D音が奥行きの判定の精度を著しく改善し、タスク性能を改善することを示唆する。我々の結果はまた、3D音が、人間の存在および協調の感覚に有意に寄与し、対象が「空間オブジェクトを識別する」のに役立つことを示唆する。」

（２）第１０４７頁下から７行目～第１０４８頁第１５行「2.2 Implementation」欄

「

［図：0001385080000008.jpg］

［図：0001385080000009.jpg］

」

（当審対訳）

「2.2 実装

最も一般的なARパラダイムでは、ユーザは、HMDを装着し、それを通して、ユーザは、直接、またはディスプレイの正面に取り付けられたビデオカメラを介して、実世界を視認する。次いで、仮想オブジェクトは、実世界上に重畳される。このタイプの(Feiner他、1993年)のような初期の研究では、シーン内のオブジェクトに2Dテキスト情報を単に重ね合わせたが、現在では、3次元でオブジェクトを重ね合わせることが一般的になっている。このための最小限の要件は、カメラの位置がシーン全体(またはその中のオブジェクト)に対して決定されなければならないことである。次いで、シーンとカメラ座標との間の変換行列を使用して、仮想オブジェクトの正確でシームレスなビューを生成することができる。この変換行列が与えられると、ユーザの頭部座標系における仮想オブジェクト(仮想音源)の正確な3D位置を得ることができ、これは3Dサウンドシンセサイザの基本要件である。以下のサブセクションで変換行列を得るために2つの手法を導入する。

我々の実験では、OpenAL(ロキエンターテインメントソフトウェア)を適用して3D音を生成した。必要とされる本質的なパラメータは、仮想音源の3D位置及びユーザの耳に対するその速度である。より一般的には、仮想音源の3D位置及び速度、並びにユーザの頭部の位置及び向きが必要とされる。次のパートでは、この問題を解決するために2つの追跡方法を導入する。しかし、我々の実験では、仮想音源に対する頭部の相対速度は、2m/s程度しかないので、我々は、それらの相対運動によって引き起こされるドップラー効果を無視し、したがって、我々はそれらの位置及び向きにのみ関心を持った。」

（３）第１０５３頁下から１０行目～第１０５４頁第９行「4.1.1 Design and procedures」欄

「

［図：0001385080000010.jpg］

［図：0001385080000011.jpg］

」

（当審対訳）

「4.1.1. 設計および手順

この実験では、我々は、視覚ベースの追跡方法によって実施されるAR環境(図4)においてオブジェクトの相対的な奥行きを判断するためにユーザを支援する3D音の効果を調べた。ユーザは、増加した仮想オブジェクト上の2つのマーカの相対的な奥行きを知る必要があった。マーカを正確に位置決めするために、マーカを保持するホワイトボードを使用した。マーカと目が同じ高さになるように使用者の椅子の高さを設定した。このようにして、同一平面上の相対的な位置が相対的な奥行きを示すことができるので、奥行きの知覚に対する垂直方向の視覚的なてがかりを排除した。AR環境では、増加したオブジェクトが必ずしも同じ平面上に位置しているとは限らず、したがってこの状況は一般に利用可能ではないのだが、意味のあることである。2つのマーカの相対位置は、2つのマーカがカメラの視野においてほぼ同じサイズであるように見えるように慎重に選択された。セクション2.2.2で説明したように、これは、奥行きの混乱を引き起こし、したがって、仮想オブジェクトに3Dサウンドを追加することの有効性を慎重に決定することができる。

予備研究(Mereu、1995年)は、視覚障害のあるユーザが、3Dアプリケーションにおいて奥行きと位置を知覚するために、音環境を使用することができることを示した。したがって、我々は、3D音がAR環境において奥行きを知覚するのにも有用であり得ることを提案する。この仮説を検証するために、我々はAR環境において3D音を実装し、対象の相対的な奥行き判定の精度を測定した。」

したがって、上記引用文献３には次の技術的事項（以下、「引用文献３技術的事項」という。）が記載されていると認められる。

＜引用文献３技術的事項＞

「AR状況における3D音の効果を研究するための実験において、3D音を伴う視覚を使用して、増加した仮想オブジェクトの相対的な奥行きを判断するものであって、ユーザは、HMDを装着し、それを通して、ディスプレイの正面に取り付けられたビデオカメラを介して、実世界を視認し、次いで、仮想オブジェクトは、実世界上に重畳され、AR環境においてオブジェクトの相対的な奥行きを判断するために3D音の効果を調べ、3D音がAR環境において奥行きを知覚するのにも有用であり得ること。」

第５ 対比・判断

１．本願発明１について

（１）対比

本願発明１と引用発明とを対比すると、次のことがいえる。

ア

（ア）引用発明の「実空間」は、本願発明１の「現実シーン」に相当する。そして、引用発明の「端末装置１２」は、「撮像部２２等による撮影により実空間における画像（動画像でも静止画像でもよい）を取得」し、「表示部２４は、取得画像（例えば、撮像部２２により撮影された画像）等を表示」するものであるから、当該「画像」は「実空間」を「撮影」したもの、いわば「実空間」の複製物を光学的に「表示」したものであるといえる。したがって、当該「表示」される「画像」は、本願発明１の「現実シーンの光学的かつ音響的な複製物」とは、「現実シーンの光学的な複製物」である点で共通するとともに、本願発明１の「画像複製物（１０８）」に相当する。

（イ）引用発明の「ＡＲ」とは「拡張現実感」を意味する「Augmented Reality」の略語であり、当該ＡＲによる視覚、聴覚等の情報は、現実感のある仮想的な情報であることは、技術常識であるところ、引用発明の「ＡＲコンテンツ」は、「表示される取得画像にＡＲマーカが含まれている場合、そのＡＲマーカに対応」して「所定の位置に重畳して表示」する「重畳用の画像データ等」であって、「例えばテキスト、アイコン、アニメーション、マーク、模様、画像、映像等の様々な形態が含まれ」、「また、ＡＲコンテンツは、表示出力されるものに限定されず、例えば音声等の情報であってもよ」いものであること、そして、引用発明の当該「ＡＲコンテンツ」としての「音声等の情報」は、本願発明１の「仮想」の「音声データ」に相当することから、引用発明の前記「ＡＲコンテンツ」は、本願発明１の「仮想の三次元又は二次元の画像及び音声データ」に相当する。

（ウ）引用発明の「重畳」することは、本願発明１の「重ね合わせる」ことに相当する。したがって、上記（ア）及び（イ）を踏まえると、引用発明の「情報処理方法」は、後述する相違点を除き、本願発明１の「現実シーンの光学的かつ音響的な複製物に仮想の三次元又は二次元の画像及び音声データを重ね合わせる方法」とは、「現実シーンの光学的な複製物に仮想の三次元又は二次元の画像及び音声データを重ね合わせる方法」である点で共通する。

イ 引用発明では、「ＡＲコンテンツを、画像データに対してＡＲマーカの表示位置（座標）を基準にした相対的な座標位置に重畳表示」することから、上記ア（ア）～（ウ）を踏まえると、引用発明の前記「画像データ」は、「実空間」を「撮影」した「画像」の「データ」といえるものであり、したがって、本願発明１の「複製物データ」に相当する。よって、引用発明の「情報処理方法」として、「実空間」の「画像」を「撮影」することは、本願発明１の「複製物データを読み取るステップ」に相当するといえる。

ウ

（ア）引用発明の「端末装置１２は、例えばタブレット端末やスマートフォン、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ（ＰＤＡ）、ノート型ＰＣ等であるが、ゲーム機器、携帯電話等の通信端末であってもよ」いことから、本願発明１の「携帯デバイス（１００）」に相当する。また、引用発明の「端末装置１２」が有する「カメラ４３は、例えば予め設定された画角内の実空間の画像（動画像、静止画像）を撮影し、カメラ４３は、上述した撮像部２２であ」ることから、本願発明１の「環境センサ（１０２）」に相当する。また、引用発明では、「ＡＲコンテンツを、画像データに対してＡＲマーカの表示位置（座標）を基準にした相対的な座標位置に重畳表示」することから、引用発明の前記「画像データ」は、「実空間」を「撮影」した「画像」の「データ」といえるものであり、上記イで示したように、本願発明１の「複製物データ」に相当するとともに、本願発明１の「画像複製物（１０８）を表現する画像データ（３６４）」に相当するといえる。

以上のことから、引用発明において、「画像データ」は、「端末装置１２」が有する「カメラ４３」によって「実空間」を「撮影」した「画像」のデータであることは、本願発明１の「前記複製物データは、携帯デバイス（１００）の少なくとも１つの環境センサ（１０２）によって取り込まれた前記現実シーン（１０６）の画像複製物（１０８）を表現する画像データ（３６４）を表現」することに相当する。

（イ）引用発明の「マイクロフォン４１」は、前記「カメラ４３」とともに「端末装置１２」が有する「ハードウェア構成」であって、「ユーザが発した音声や、その他の音を入力」することから、本願発明１の「更なる環境センサ（１０３）」に相当する。

（ウ）上記（ア）及び（イ）を踏まえると、引用発明の「情報処理方法」は、本願発明１の「方法」の「前記複製物データは、携帯デバイス（１００）の少なくとも１つの環境センサ（１０２）によって取り込まれた前記現実シーン（１０６）の画像複製物（１０８）を表現する画像データ（３６４）を表現し、前記複製物データは更に、前記携帯デバイス（１００）の少なくとも１つの更なる環境センサ（１０３）によって取り込まれた前記現実シーン（１０６）の音響的複製物を表現する音声データ（３６５）を表現する、ステップ」とは、「前記複製物データは、携帯デバイス（１００）の少なくとも１つの環境センサ（１０２）によって取り込まれた前記現実シーン（１０６）の画像複製物（１０８）を表現する画像データ（３６４）を表現する、ステップ」を備える点で共通する。

エ 引用発明の「ＡＲマーカに関する情報（例えば、マーカＩＤ、ＡＲマーカの位置情報等）」は、「例えば、撮像部２２により撮影された画像」である「取得画像中に１又は複数のＡＲマーカが存在すると判定された場合」に「取得」される「各ＡＲマーカに対応する識別情報（マーカＩＤ）」であるから、上記ウ（ア）を踏まえると、本願発明１の「前記画像データ（３６４）」から「決定」される「マーカーデータ（１３２）」に相当する。したがって、引用発明の上記「ＡＲマーカに関する情報（例えば、マーカＩＤ、ＡＲマーカの位置情報等）」を「取得」することは、本願発明１の「前記画像データ（３６４）からマーカーデータ（１３２）を決定するステップ（４８４）」に相当する。

オ 引用発明の「実空間上にあるＡＲマーカ」は、本願発明１の「前記現実シーン（１０６）内に配置されたマーカー（１１２）」に相当する。また、引用発明の「端末装置１２は、カメラ等の撮像部等により、実空間上にあるＡＲマーカを撮影し、カメラ等により撮影された画像に含まれるＡＲマーカから、対応する情報を認識」することから、当該「撮影された画像に含まれるＡＲマーカ」は、本願発明１の「前記現実シーン（１０６）内に配置されたマーカー（１１２）の複製物（１１６）」に相当する。そして、引用発明の「端末装置１２」が「ＡＲマーカを認識し」、「取得」する「ＡＲマーカに関する情報（例えば、マーカＩＤ、ＡＲマーカの位置情報等）」のうちの「ＡＲマーカの位置情報」は、本願発明１の「位置決め」に相当する。

したがって、上記エを踏まえると、引用発明の「情報処理方法」において、「端末装置１２は、カメラ等の撮像部等により、実空間上にあるＡＲマーカを撮影し、カメラ等により撮影された画像に含まれるＡＲマーカから、対応する情報を認識」し、「取得」する「ＡＲマーカに関する情報」は、「例えば、マーカＩＤ、ＡＲマーカの位置情報等」であることは、本願発明１の「方法」の「前記マーカーデータ（１３２）は、前記現実シーン（１０６）内に配置されたマーカー（１１２）の複製物（１１６）及び位置決めを表現する、ステップ」に相当する。

カ 引用発明の「ＡＲコンテンツは、マーカＩＤ等に対応付けられて」いることから、複数の「ＡＲマーカ」が存在する引用発明においては、それぞれに対応する複数の「ＡＲコンテンツ」が存在するといえる。そして、引用発明の「端末装置１２は、撮影等により取得した画像にＡＲマーカが含まれている場合に、そのＡＲマーカを認識し、認識した結果として得られたマーカＩＤに対応付けられているＡＲコンテンツ（オブジェクト）を取得し、取得したＡＲコンテンツを、画像データに対してＡＲマーカの表示位置（座標）を基準にした相対的な座標位置に重畳表示」することから、上記ア（イ）及びエを踏まえると、引用発明において、当該「端末装置１２」は、「ＡＲマーカを認識し」て、得られた「マーカＩＤ」を使用して、「マーカＩＤ」に「対応付けられているＡＲコンテンツ」を「取得」することは、本願発明１の「前記マーカーデータ（１３２）を使用して、複数（２５２）の仮想画像及び音声データ（１４０）から選択された、画像及び音声データを表現する仮想画像及び音声データ（１４０）を読み取るステップ（４８８）」に相当する。

キ 引用発明の「ＡＲコンテンツ」は、上記ア（イ）に示したとおり、本願発明１の「仮想の三次元又は二次元の画像及び音声データ」に相当する。そして、引用発明において、当該「ＡＲコンテンツ」に対応する「マーカＩＤ」は、「そのＡＲコンテンツ情報」として、例えば「ＡＲコンテンツＩＤ、座標値、回転角度、拡縮率」が登録されており、当該「回転速度、拡縮率」は、その「ＡＲコンテンツ」の表示のための情報といえることから、本願発明１の「表現するための表現命令」に相当するといえる。また、引用発明の「座標値」は、その「ＡＲコンテンツ」を表示する座標の情報といえることから、本願発明１の「位置決めするための位置決め命令」に相当するといえる。また、引用発明の「ＡＲコンテンツ」は、「例えば音声等の情報であってもよ」いものであるから、当該「音声」は、本願発明１の「音響データ」に相当する。そして、当該「音声等の情報」は、当該音声を再生するための情報を当然含むものといえるから、本願発明１の「音響データを再生するための位置決め命令」とは、「音響データを再生するための命令」である点で共通するといえる。

一方で、引用発明の「ＡＲコンテンツ」は、上記ア（イ）に示したとおり、「例えばテキスト、アイコン、アニメーション、マーク、模様、画像、映像等の様々な形態が含まれ」るとあるものの、本願発明１のような「三次元的に定義された物体及び／又は様々な角度から取り込まれた物体のキャプチャの選択項目である」との特定はなく、また、「ＡＲコンテンツ」は「拡張現実感」として、現実感のある仮想的な情報ではあるものの、本願発明１のような「複製」との特定もないことを踏まえると、引用発明の「情報処理方法」は、本願発明１の「方法」の「前記仮想画像及び音声データ（１４０）は、三次元的に定義された物体及び／又は様々な角度から取り込まれた物体のキャプチャの選択項目である仮想複製物（１２４）として表現するための表現命令と、前記仮想複製物（１２４）を位置決めするための位置決め命令と、音響データを再生するための位置決め命令と、を含む、ステップ」とは、「前記仮想画像及び音声データ（１４０）は、仮想物（１２４）として表現するための表現命令と、前記仮想物（１２４）を位置決めするための位置決め命令と、音響データを再生するための命令と、を含む、ステップ」を含む点で共通する。

ク

（ア）上記イに示すとおり、引用発明の「実空間」を「撮影」した「画像」は、本願発明１の「複製物データ」に相当するといえるから、引用発明の「画像上の環境に対する特徴点情報（環境マップ）」は、本願発明１の「前記複製物データ」から「決定」される「物体データ（１３４）」に相当する。

（イ）引用発明においては、「オブジェクトトラッキングとは、例えばＡＲマーカの認識後に、そのＡＲマーカを認識していなくても画像上の環境に対する特徴点情報（以下、「環境マップ」という）等に基づいて位置情報のトレースを可能とする技術」であり、「基準物の一例としてのＡＲマーカ」を「認識していな」くても、「基準物の一例としては、ＡＲマーカに限定されるものではなく、例えば壁掛け時計や絵画、壁紙、置物等の実物体（いわゆる自然マーカ）であってもよ」いことから、当該「例えば壁掛け時計や絵画、壁紙、置物等の実物体」は、本願発明１の「前記現実シーン（１０６）内の」「物体（１１０）の物体部分（１１４）」に相当する。そして、引用発明では、「取得画像から認識（検出）していたＡＲマーカが遮蔽物等の影響で認識不能（検出不能）となった場合（ロストした場合）に、環境マップを用いたオブジェクトトラッキング処理により認識不能となったＡＲマーカの位置情報を取得し、例えば、認識部２７は、環境マップ生成部２９により取得画像に含まれる２つのＡＲマーカ（第１のＡＲマーカ、第２のＡＲマーカ）の環境マップを生成し、その後の取得画像において、第１及び第２のＡＲマーカの両方が認識不能となった場合に、第１のＡＲマーカに対する環境情報と環境マップから得られる相対位置情報とを用いて、第２のＡＲマーカの位置情報を生成し、また、第１及び第２のＡＲマーカの一方が認識不能となった場合に、認識可能（検出可能）な一方の基準物に対する環境情報と環境マップから得られる相対位置情報とを用いて、認識不能となった基準物の位置情報を生成し、また、認識部２７は、オブジェクトトラッキング処理における特徴点の抽出、特徴点のマッチング処理等を行い、また、認識部２７は、オブジェクトトラッキング処理により得られる位置情報に基づいて、認識不能となったＡＲマーカに対応するマーカＩＤを取得」することから、引用発明においては、「位置情報」を含む「画像上の環境に対する特徴点情報（環境マップ）」が「生成」される「例えば壁掛け時計や絵画、壁紙、置物等の実物体」は、「ＡＲマーカ」の周囲に配置されているといえる。

したがって、上記（ア）を踏まえると、引用発明は、本願発明１の「前記複製物データから物体データ（１３４）を決定するステップ（４８６）であって、前記物体データ（１３４）は、画像及び音響的複製物（１１８）、並びに前記現実シーン（１０６）内の前記マーカー（１１２）の周囲に配置された物体（１１０）の物体部分（１１４）の位置決めからな」る構成とは、「前記複製物データから物体データ（１３４）を決定するステップ（４８６）であって、前記物体データ（１３４）は、画像、並びに前記現実シーン（１０６）内の前記マーカー（１１２）の周囲に配置された物体（１１０）の物体部分（１１４）の位置決めからな」る構成を含む点で共通している。

（ウ）引用発明の「例えば壁掛け時計や絵画、壁紙、置物等の実物体（いわゆる自然マーカ）」として特定されている「自然マーカ」は、本願発明１の「自然マーカー」に相当する。そして、引用発明において、「判定部２６は、取得画像にＡＲマーカが含まれるか否かを判定し、例えば、撮像部２２により得られる撮影画像に対して画像認識を行い、予め設定された複数のＡＲマーカ画像とのマッチングを行って画像中におけるＡＲマーカの有無を判定し、また、判定部２６は、ＡＲマーカ認識からオブジェクトトラッキング処理への切り替えの判定をし、判定部２６における判定は、定期的、又は端末装置１２の撮影位置が所定の距離以上移動した場合等の所定のタイミングで行」い、そして、「環境マップ生成部２９は、判定部２６による判定結果により、取得画像に１又は複数の複数のＡＲマーカが存在すると判定された場合に、認識部２７により認識された各ＡＲマーカに環境マップ（環境情報）を生成し、また、環境マップ生成部２９は、所定時間間隔で、環境マップを更新してもよ」いことから、上記（イ）を踏まえると、引用発明の「情報処理方法」は、本願発明１の「前記マーカー（１１２）の周囲に配置された前記物体（１１０）の前記物体部分（１１４）は、新しい自然マーカーを作成し保存するために抽出される、ステップ」に相当する構成を含むといえる。

ケ 引用発明においては、「端末装置１２は、運用プログラム等の対応するアプリケーションを起動し、撮像部２２等による撮影により実空間における画像（動画像でも静止画像でもよい）を取得し、次に、判定部２６は、取得した画像中からＡＲマーカの有無を判定し、その判定結果からＡＲマーカを認識したか否かを判断し」、「ＡＲマーカが認識できなかった場合、現在の取得画像より所定フレーム（Ｎフレーム）前までにマーカ認識済み（マーカ検出済み）であったか否かを判断し、マーカ認識済みである場合、認識部２７は、そのＡＲマーカに環境マップがあるか否かを判断し、環境マップがある場合、認識部２７は、その環境マップと現在の取得画像との特徴点のマッチング（比較）を行い、次に、認識部２７は、マッチング処理によるマッチ率（一致度）が予め設定された閾値以上か否かを判断し、閾値以上である場合、コンテンツ生成部２８は、環境マップが設定されたマーカＩＤに対応するＡＲコンテンツを生成し、表示部２４に表示させ」るものであって、上記ウ（ア）を参照すると、引用発明では、「ＡＲコンテンツを、画像データに対してＡＲマーカの表示位置（座標）を基準にした相対的な座標位置に重畳表示」し、また、上記ク（イ）を参照すると、引用発明においては、「オブジェクトトラッキング」を用いて、「例えばＡＲマーカの認識後に、そのＡＲマーカを認識していなくても画像上の環境に対する特徴点情報（環境マップ）等に基づいて位置情報のトレースを可能とする」ことから、

引用発明は、「環境マップ」及び「ＡＲコンテンツ」を用いて、「画像データに対して」、「ＡＲコンテンツ」を「重畳表示」する「座標位置」を確認する動作を行うものといえる。したがって、引用発明の当該確認する動作は、本願発明１の「前記物体データ（１３４）及び前記仮想画像及び音声データ（１４０）を使用して、前記物体部分（１１４）の前記複製物（１１８）を参照して、前記仮想複製物（１２４）及び前記音響データを表現するための位置決め規則（１４２）を確認するステップ（４９２）」とは、「前記物体データ（１３４）及び前記仮想画像及び音声データ（１４０）を使用して、前記物体部分（１１４）の前記複製物（１１８）を参照して、前記仮想物（１２４）及び前記音響データを表現するための位置決め規則（１４２）を確認するステップ（４９２）」を含む点で共通する。

コ 上記ク（イ）及びケを参照すると、引用発明は、「ＡＲマーカが認識できなかった場合」に、「環境マップ」として「例えば壁掛け時計や絵画、壁紙、置物等の実物体」の「いわゆる自然マーカ」が代わりに使用され、「環境マップが設定されたマーカＩＤに対応するＡＲコンテンツを生成し、表示部２４に表示させ」ることから、引用発明の「情報処理方法」は、本願発明１の「前記物体部分（１１４）の前記複製物（１１８）は、前記仮想複製物（１２４）及び前記音響データを位置決めするための前記マーカー（１１２）の代替として使用される、ステップ」と、「前記物体部分（１１４）の前記複製物（１１８）は、前記仮想物（１２４）及び前記音響データを位置決めするための前記マーカー（１１２）の代替として使用される、ステップ」を含む点で共通する。

サ 上記ケに示したとおり、引用発明は、「環境マップ」及び「ＡＲコンテンツ」を用いて、「画像データに対して」、「ＡＲコンテンツ」を「重畳表示」する「座標位置」を確認する動作を行うものといえるから、引用発明の「情報処理方法」は、本願発明１の「前記現実シーン（１０６）の更なる光学的及び音響的複製物（１２０）に前記仮想複製物（１２４）および前記音響データを重ね合わせるために、前記位置決め規則（１４２）を使用するステップ（４９４）」と、「前記現実シーン（１０６）の更なる光学的複製物（１２０）に前記仮想物（１２４）および前記音響データを重ね合わせるために、前記位置決め規則（１４２）を使用するステップ（４９４）」を含む点で共通する。

シ 上記イ及びカを踏まえると、引用発明は本願発明１の「前記読み取るステップ（４８０、４８８）」に相当する構成を備え、また、上記エ、ク（ア）及び（イ）を踏まえると、引用発明は本願発明１の「前記決定するステップ（４８４、４８６）」に相当する構成を備え、また、上記ク（ウ）を踏まえると、引用発明は本願発明１の「新しい自然マーカーを作成し保存する」ステップに相当する構成を含み、また、上記ケを踏まえると、引用発明は本願発明１の「前記確認するステップ（４９２）」に相当する構成を含み、上記サを踏まえると、引用発明は本願発明１の「前記使用するステップ（４９４）」に相当する構成を含んでいる。

そして、引用発明において、上記イに示した「実空間」の「画像」を「撮影」すること、また、上記エに示した「ＡＲマーカに関する情報（例えば、マーカＩＤ、ＡＲマーカの位置情報等）」を「取得」すること、また、上記カに示した「ＡＲマーカを認識し」て得られた「マーカＩＤ」を使用して、「マーカＩＤ」に「対応付けられているＡＲコンテンツ」を「取得」すること、また、上記ケ及びサに示した「画像データに対して」、「ＡＲコンテンツ」を「重畳表示」する「座標位置」を確認することは、少なくとも「ＡＲコンテンツ」を「継続して表示させる」ために、連続して繰り返しているといえる。ここで、一般に、特定の動作を「連続して繰り返す」ということは、当該特定の動作を所定の時間間隔で行うことを意味するといえる。

したがって、引用発明は、本願発明１の「前記読み取るステップ（４８０、４８８）、前記決定するステップ（４８４、４８６）と新しい自然マーカーを作成し保存するステップ、前記確認するステップ（４９２）、および前記使用するステップ（４９４）を連続的に繰り返すステップが、短い時間間隔、特に１秒あたり数回で実施されて、新しい自然マーカーが連続的に作成され保存される」構成とは、「前記読み取るステップ（４８０、４８８）、前記決定するステップ（４８４）、前記確認するステップ（４９２）、および前記使用するステップ（４９４）を連続的に繰り返すステップが、所定の時間間隔で実施される」構成を備える点で共通する。

したがって、本願発明１と引用発明との間には、次の一致点、相違点があるといえる。

＜一致点＞

「 現実シーンの光学的な複製物に仮想の三次元又は二次元の画像及び音声データを重ね合わせる方法であって、前記方法は、

複製物データを読み取るステップ（４８０）であって、

前記複製物データは、携帯デバイス（１００）の少なくとも１つの環境センサ（１０２）によって取り込まれた前記現実シーン（１０６）の画像複製物（１０８）を表現する画像データ（３６４）を表現する、ステップと、

前記画像データ（３６４）からマーカーデータ（１３２）を決定するステップ（４８４）であって、

続きを表示（全14行）

前記マーカーデータ（１３２）は、前記現実シーン（１０６）内に配置されたマーカー（１１２）の複製物（１１６）及び位置決めを表現する、ステップと、

前記マーカーデータ（１３２）を使用して、複数（２５２）の仮想画像及び音声データ（１４０）から選択された、画像及び音声データを表現する仮想画像及び音声データ（１４０）を読み取るステップ（４８８）であって、

前記仮想画像及び音声データ（１４０）は、仮想物（１２４）として表現するための表現命令と、前記仮想物（１２４）を位置決めするための位置決め命令と、音響データを再生するための命令と、を含む、ステップと、

前記複製物データから物体データ（１３４）を決定するステップ（４８６）であって、

前記物体データ（１３４）は、画像（１１８）、並びに前記現実シーン（１０６）内の前記マーカー（１１２）の周囲に配置された物体（１１０）の物体部分（１１４）の位置決めからなり、

前記マーカー（１１２）の周囲に配置された前記物体（１１０）の前記物体部分（１１４）は、新しい自然マーカーを作成し保存するために抽出される、ステップと、

前記物体データ（１３４）及び前記仮想画像及び音声データ（１４０）を使用して、前記物体部分（１１４）の前記複製物（１１８）を参照して、前記仮想物（１２４）及び前記音響データを表現するための位置決め規則（１４２）を確認するステップ（４９２）であって、

前記物体部分（１１４）の前記複製物（１１８）は、前記仮想物（１２４）及び前記音響データを位置決めするための前記マーカー（１１２）の代替として使用される、ステップと、

前記現実シーン（１０６）の更なる光学的複製物（１２０）に前記仮想物（１２４）および前記音響データを重ね合わせるために、前記位置決め規則（１４２）を使用するステップ（４９４）と、を含み、

前記読み取るステップ（４８０、４８８）、前記決定するステップ（４８４）前記確認するステップ（４９２）、および前記使用するステップ（４９４）を連続的に繰り返すステップが、所定の時間間隔で実施される、方法。」

＜相違点＞

（相違点１）

複製物データは、本願発明１では、「更に、前記携帯デバイス（１００）の少なくとも１つの更なる環境センサ（１０３）によって取り込まれた前記現実シーン（１０６）の音響的複製物を表現する音声データ（３６５）を表現する」ものであるのに対し、引用発明では、「端末装置１２」に「マイクロフォン４１」を備えるものの、当該「マイクロフォン４１」に入力された音の「音響的複製物」を出力する構成は特定されておらず、したがって、本願発明１のような「環境センサ（１０３）によって取り込まれた前記現実シーン（１０６）の音響的複製物を表現する音声データ（３６５）を表現する」構成は特定されていない点。

（相違点２）

仮想画像及び音声データ（１４０）は、本願発明１では、「三次元的に定義された物体及び／又は様々な角度から取り込まれた物体のキャプチャの選択項目である仮想複製物（１２４）」であるのに対し、引用発明では、「ＡＲコンテンツ」として「例えばテキスト、アイコン、アニメーション、マーク、模様、画像、映像等の様々な形態が含まれ」るとあるように、仮想物といえるものの、本願発明１のような「三次元的に定義された物体及び／又は様々な角度から取り込まれた物体のキャプチャの選択項目である仮想複製物」であるとの特定はされていない点。

（相違点３）

仮想画像及び音声データ（１４０）における、音響データを再生するための命令は、本願発明１では、「音響データを再生するための位置決め命令」であるのに対し、引用発明には、音響データを再生するための「位置決め」について特定されていない点。

（相違点４）

「前記読み取るステップ（４８０、４８８）、前記決定するステップ（４８４）、前記確認するステップ（４９２）、および前記使用するステップ（４９４）を連続的に繰り返すステップが、所定の時間間隔で実施される」構成において、本願発明は、さらに、「前記決定するステップ（４８６）と新しい自然マーカーを作成し保存するステップを連続的に繰り返すステップ」が、所定の時間間隔で実施されて、「新しい自然マーカーが連続的に作成され保存される」のに対し、引用発明にはそのような特定がされていない点。

（相違点５）

連続的に繰り返すステップにおいて、「所定の時間間隔で実施される」のは、本願発明１では、「短い時間間隔、特に１秒あたり数回で」実施されるのに対し、引用発明には、そのような特定がされていない点。

＜相違点についての判断＞

事案に鑑み、先に相違点４について検討する。

上記相違点４に係る本願発明１の「前記決定するステップ（４８６）と新しい自然マーカーを作成し保存するステップを連続的に繰り返すステップ」が、所定の時間間隔で実施されて、「新しい自然マーカーが連続的に作成され保存される」構成は、引用文献１－３のいずれにも記載も示唆もされておらず、本願の優先日前において周知技術であったとも認められない。

特に、引用発明（引用文献２に記載された発明）には、「判定部２６は、取得画像にＡＲマーカが含まれるか否かを判定し、例えば、撮像部２２により得られる撮影画像に対して画像認識を行い、予め設定された複数のＡＲマーカ画像とのマッチングを行って画像中におけるＡＲマーカの有無を判定し、また、判定部２６は、ＡＲマーカ認識からオブジェクトトラッキング処理への切り替えの判定をし、判定部２６における判定は、定期的、又は端末装置１２の撮影位置が所定の距離以上移動した場合等の所定のタイミングで行」い、そして、「環境マップ生成部２９は、判定部２６による判定結果により、取得画像に１又は複数の複数のＡＲマーカが存在すると判定された場合に、認識部２７により認識された各ＡＲマーカに環境マップ（環境情報）を生成」することが記載されており、判定部２６における判定は「定期的」との特定がされているものの、当該「定期的」な判定により、「取得画像に１又は複数の複数のＡＲマーカが存在すると判定された場合に、」その「認識された各ＡＲマーカに環境マップ（環境情報）を生成」するのであるから、「環境マップ」の生成は、「ＡＲマーカが存在すると判定された場合」に依存しており、「環境マップ」を生成するステップ自体は連続的に繰り返されるものとはいえない。

さらに、引用発明では、「ＡＲコンテンツの表示例」として、「遮蔽物６４によりＡＲマーカ６１－１をロストした場合（認識不能になった場合）、ＡＲマーカ６１－２に対応する環境マップを用いて、ＡＲマーカ６１－１の相対位置を取得し、取得した位置に対応させてＡＲコンテンツ７０－１，７０－２を継続して表示させることができ、また、ＡＲマーカ６１－１，６１－２の両方がロストした場合でも、一方の環境マップを用いて各ＡＲマーカ６１－１，６１－２の位置を取得することができ、なお、上述の処理は、例えば現在の取得画像より所定フレーム（Ｎフレーム）前までにマーカ認識済みであったか否かを判断し、所定フレーム前までマーカ認識済みであった場合に行ってもよく、これにより、ＡＲマーカ６１が遮蔽物６４等により遮蔽されてから所定時間（所定フレーム数）の間だけ、ＡＲコンテンツ７０を表示させることができる」とあることから、引用発明における「環境マップ」は「連続的に作成され保存される」ものとはいえず、ＡＲマーカが認識された際に生成されるものと把握できる。

なお、引用発明には、「環境マップ生成部２９は、判定部２６による判定結果により、取得画像に１又は複数の複数のＡＲマーカが存在すると判定された場合に、認識部２７により認識された各ＡＲマーカに環境マップ（環境情報）を生成し、また、環境マップ生成部２９は、所定時間間隔で、環境マップを更新してもよ」いとの特定もあるものの、当該下線で示した部分は、「ＡＲマーカが存在すると判定された場合」において、「所定時間間隔で、環境マップを更新」するものと把握でき、「ＡＲマーカが存在すると判定された場合」に依存せずに、「環境マップ」を連続的に繰り返して生成するものとはいえない。

したがって、他の相違点について判断するまでもなく、本願発明１は、当業者であっても、引用発明、引用文献１及び３に記載された技術的事項に基づいて容易に発明できたものであるとはいえない。

２．本願発明２－１１について

本願発明２－１１は、本願発明１を減縮した発明であるから、本願発明１と同様の理由により、当業者であっても、引用発明、引用文献１及び３に記載された技術的事項に基づいて容易に発明できたものであるとはいえない。

３．本願発明１２、１３について

本願発明１２は、本願発明１－１１のいずれか一項に記載の方法の前記ステップを実現するための装置の発明であるから、上記相違点４に係る本願発明１の「前記決定するステップ（４８６）と新しい自然マーカーを作成し保存するステップを連続的に繰り返すステップ」が、所定の時間間隔で実施されて、「新しい自然マーカーが連続的に作成され保存される」構成を有している。また、本願発明１３は、本願発明１２を減縮した発明である。したがって、本願発明１２及び１３は、本願発明１と同様の理由により、当業者であっても、引用発明、引用文献１及び３に記載された技術的事項に基づいて容易に発明できたものであるとはいえない。

４．本願発明１４について

本願発明１４は、本願発明１－１１のいずれか一項に記載の方法を実施する、コンピュータプログラムを格納した記憶媒体の発明であるから、上記相違点４に係る本願発明１の「前記決定するステップ（４８６）と新しい自然マーカーを作成し保存するステップを連続的に繰り返すステップ」が、所定の時間間隔で実施されて、「新しい自然マーカーが連続的に作成され保存される」構成を有している。したがって、本願発明１４は、本願発明１と同様の理由により、当業者であっても、引用発明、引用文献１及び３に記載された技術的事項に基づいて容易に発明できたものであるとはいえない。

第６ 原査定について

１．理由２（特許法第３６条第６項第２号）について

原査定では、「コンピュータプログラム製品」との記載について不明確である旨の通知をしていたが、令和３年１０月２２日になされた手続補正により、「コンピュータプログラム製品」を「コンピュータプログラムを格納した記憶媒体」とする補正がなされ、明確となったことから、原査定の理由２を維持することはできない。

２．理由３（特許法第２９条第２項）について

上記「第５ 対比・判断」で示したとおり、本願発明１－１４は、原査定において引用された引用文献１－３に基づいて、容易に発明できたものとはいえないから、原査定の理由３を維持することはできない。

第７ むすび

以上のとおり、本願発明１－１４は、当業者が引用発明、引用文献１及び３に記載された技術的事項に基づいて容易に発明できたものではない。したがって、原査定の理由によっては、本願を拒絶することはできない。

また、他に本願を拒絶すべき理由を発見しない。

よって、結論のとおり審決する。