2022-002235

第２ 本願発明

本願の請求項１ないし５に係る発明は、令和４年８月１７日の手続補正により補正された特許請求の範囲の請求項１ないし５に記載された事項により特定されるとおりのものと認められるところ、請求項１に係る発明（以下、「本願発明」という。）は、次のとおりである。

なお、各構成の符号Ａ～Ｅは、説明のために当審において付与したものであり、以下、構成Ａ～構成Ｅという。

「Ａ サーバ上にある仮想３Ｄオブジェクトをクライアント上でインタラクティブに再現する方法であって、

Ｂ 前記サーバから前記仮想３Ｄオブジェクトのカラー情報、アルファ情報及びジオメトリ情報を含む符号化されたストリームを受信することと、

Ｃ 前記ストリームを復号し、そこから前記カラー情報、前記アルファ情報及び前記ジオメトリ情報を抽出することと、

Ｄ 前記ジオメトリ情報に基づいて前記仮想３Ｄオブジェクトの形状を再現することと、

Ｅ 前記再現された仮想３Ｄオブジェクトの形状の上に、前記カラー情報を投影し、その上に前記アルファ情報を用いてシェーダーを適用し、前記仮想３Ｄオブジェクトをインタラクティブに再現することと、

Ａ を含む、方法。」

第３ 当審拒絶理由の概要

当審において令和４年７月８日付けで通知した拒絶理由の概要は、次のとおりである。

本願の請求項１ないし５に係る発明は、その出願前日本国内または外国において頒布された下記の刊行物に記載された発明又は電気通信回線を通じて公衆に利用可能となった発明に基いて、その出願前にその発明の属する技術の分野における通常の知識を有する者が容易に発明をすることができたものであるから、特許法第２９条第２項の規定により特許を受けることができない。

・請求項１～５

・引用文献等 １～５

引 用 文 献 等 一 覧

１．国際公開第２０１９／０３９２８２号（原査定の引用文献１）

２．特表２０２０－５３６３００号公報（原査定の引用文献２；周知技術を示す文献）

３．特開平９－２００５９９号公報（原査定の引用文献３；周知技術を示す文献）

４．特開２０１４－２１９７３９号公報（原査定の引用文献５）

５．特開２０１９－４６０７７号公報（当審で新たに引用する文献）

第４ 引用文献

１ 引用文献１

引用文献１には、画像処理方法に関して、図面と共に以下の記載がある。下線は当審で付与した。

（１）「[0001] 本技術は、画像処理装置および画像処理方法に関し、特に、複数の3Dオブジェクトをモデリングする際の処理負荷を低減することができるようにした画像処理装置および画像処理方法に関する。」

（２）「[0011] なお、本技術の一側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。」

（３）「[0019] 本技術を適用した画像処理システムは、複数の撮像装置で撮像して得られた撮影画像からオブジェクトの3Dモデルを生成して配信する配信側と、配信側から伝送される3Dモデルを受け取り、再生表示する再生側とからなる。」

（４）「[0027] 3Dモデルデータのデータフォーマットとしては、様々なフォーマットをとり得る。

[0028] データフォーマットの一つは、オブジェクトのジオメトリ情報（形状情報）を、オブジェクトの３次元位置を点の集合（ポイントクラウド）で表し、その各点に対応してオブジェクトの色情報を保有する形式である。この形式では、１つのオブジェクトに対して、１つのジオメトリ情報と色情報が保持される。本実施の形態では、この形式を、ポイントクラウド形式と記述する。

[0029] データフォーマットの他の一つは、オブジェクトのジオメトリ情報を、上記ポイントクラウド形式と同様の点の集合（ポイントクラウド）か、または、ポリゴンメッシュと呼ばれる頂点（Vertex）と頂点間のつながりで表し、オブジェクトの色情報を、各撮像装置が撮像した撮影画像（２次元テクスチャ画像）で保有する形式である。この形式では、１つのオブジェクトに対して、１つのジオメトリ情報と、撮像装置の台数と同じ枚数の撮影画像（２次元テクスチャ画像）からなる色情報が保持される。本実施の形態では、この形式を、マルチテクスチャジオメトリ形式と記述する。

[0030] データフォーマットのさらに他の一つは、オブジェクトのジオメトリ情報をポリゴンメッシュで表し、その各ポリゴンメッシュに対応してオブジェクトの色情報を保有する形式である。各ポリゴンメッシュに貼り付けられる色情報としての２次元テクスチャ画像はUV座標系で表現される。この形式では、１つのオブジェクトに対して、１つのジオメトリ情報と、１つの２次元テクスチャ画像からなる色情報が保持される。本実施の形態では、この形式を、UVテクスチャジオメトリ形式と記述する。UVテクスチャジオメトリ形式は、MPEG-4 AFX (Animation Framework eXtension)で規格化された形式である。

続きを表示（全26行）

[0031] データフォーマットのさらに他の一つは、オブジェクトのジオメトリ情報を各撮像装置が撮像した撮影画像に対応する距離情報で表し、オブジェクトの色情報を、各撮像装置が撮像した撮影画像（２次元テクスチャ画像）で保有する形式である。各撮像装置が撮像した撮影画像に対応する距離情報には、撮影画像の各画素に対応させて、被写体までの奥行き方向の距離をデプス値として格納したデプス画像が採用される。この形式では、１つのオブジェクトに対して、撮像装置の台数と同じ枚数のデプス画像からなるジオメトリ情報と、撮像装置の台数と同じ枚数の撮影画像（２次元テクスチャ画像）からなる色情報が保持される。本実施の形態では、この形式を、マルチテクスチャデプス形式と記述する。マルチテクスチャデプス形式のメリットは、3Dモデルデータを伝送する場合の符号化方式として、AVC（Advanced Video Coding）方式、HEVC（High Efficiency Video Coding）方式等を、そのまま利用することができ、高効率に圧縮することができる点である。

[0032] ポイントクラウド形式およびUVテクスチャジオメトリ形式は、仮想カメラの位置（仮想視点）に関わらず、色情報が同一となるViewIndependentな形式である。

[0033] これに対して、マルチテクスチャジオメトリ形式およびマルチテクスチャデプス形式は、仮想カメラの位置（仮想視点）によって、色情報が変化し得るViewDependentな形式である。

[0034] 以上のような各種の3Dモデルデータのデータフォーマットのうち、どのようなデータフォーマットを採用するかは任意である。再生側がデータフォーマットを指定してもよいし、配信側がデータフォーマットを決定してもよい。また、アプリケーションごとに予めデータフォーマットを決めておいてもよい。

[0035]＜２．画像処理システムの構成例＞

図３は、本技術を適用した画像処理システムの構成例を示すブロック図である。

[0036] 図３の画像処理システム１０は、図１で説明した配信側として、撮像装置２１－１乃至２１－N（N＞１）、記憶装置２２、3D再構成装置（画像処理装置）２３、符号化装置２４、および、送受信装置２５を備える。

[0037] また、画像処理システム１０は、図１で説明した再生側として、再生装置２７、および、表示装置２８を備える。配信側の送受信装置２５と再生側の再生装置２７は、ネットワーク２６を介して接続される。

・・・（中略）・・・

[0043] 3D再構成装置２３は、記憶装置２２に記憶されている、複数の撮像装置２１それぞれで得られた撮影空間内のテクスチャ画像およびデプス画像の動画像を用いて、撮影空間内に存在する多数のオブジェクトについて、オブジェクトごとに3Dモデルを生成し、生成された各オブジェクトの3Dモデルデータを符号化装置２４に供給する。

・・・（中略）・・・

[0045] また、画像処理システム１０では、再生装置２７から、撮影空間のなかの、ユーザの視聴範囲を示す情報や、ユーザが注目しているオブジェクトを示す情報が、ユーザの視聴情報として、送信されてくる場合がある。この場合、3D再構成装置２３は、再生装置２７から送信されてきたユーザの視聴情報を、送受信装置２５を介して取得し、ユーザの視聴情報に応じたオブジェクトの3Dモデルを生成し、生成された各オブジェクトの3Dモデルデータを符号化装置２４に供給する。なお、ユーザの視聴情報は画像処理システム１０において必須ではなく、再生装置２７から3D再構成装置２３に送信しない構成も取り得る。

[0046] 符号化装置２４は、3D再構成装置２３から供給される所定のオブジェクトの3Dモデルデータを、例えば、AVC方式、HEVC方式等の所定の符号化方式で符号化する。符号化して得られた3Dモデルの符号化ストリームは、送受信装置２５へ供給される。

[0047] 送受信装置２５は、符号化装置２４から供給された3Dモデルの符号化ストリームを、ネットワーク２６を介して再生装置２７へ送信する。また、送受信装置２５は、再生装置２７からユーザの視聴情報が送信されてきた場合、それを3D再構成装置２３に供給する。

・・・（中略）・・・

[0050] 再生装置２７は、送受信部４１、復号部４２、描画部４３、仮想視点検出部４４、および、入力部４５を備える。

[0051] 再生装置２７の送受信部４１は、送受信装置２５から供給される各オブジェクトの3Dモデルデータを符号化した符号化ストリームを受信（取得）し、復号部４２に供給する。

[0052] 復号部４２は、送受信部４１から供給される符号化ストリームを、符号化装置２４における符号化方式に対応する方式で復号する。復号部４２は、復号して得られる１以上のオブジェクトの3Dモデルデータを描画部４３に供給する。

[0053] 描画部４３は、復号部４２から供給される１以上のオブジェクトの3Dモデルデータに基づいて、仮想カメラの視点からのオブジェクトの画像（オブジェクト画像）を表示画像として生成し、表示装置２８に供給する。描画部４３には、仮想視点検出部４４から、仮想カメラの視点に基づく視聴範囲を示す仮想カメラ視聴範囲情報が供給され、復号部４２から供給される１以上のオブジェクトの3Dモデルを、仮想カメラの視聴範囲に透視投影することにより、仮想カメラの視点からのオブジェクトの画像が生成される。仮想カメラの視聴範囲は、ユーザ（視聴者）の視点による視聴範囲に対応するものであり、仮想カメラの視点に基づく視聴範囲を示す仮想カメラ視聴範囲情報は、ユーザの視聴情報の一例である。

・・・（中略）・・・

[0056] 入力部４５は、コントローラ、マウス等の入力装置で構成される。入力部４５は、例えば、視聴者による視聴位置の指示や、表示対象とするオブジェクトの指定などを受け付ける。入力部４５で受け付けられた各種の入力情報は、必要に応じて再生装置２７内の各部へ供給される。ユーザの視聴位置や視聴範囲は、入力部４５で受け付けたユーザの指示に基づいて決定してもよい。

[0057] 表示装置２８は、例えば、２次元ヘッドマウントディスプレイ（ＨＭＤ）や２次元モニタなどにより構成される。表示装置２８は、描画部４３から供給される表示画像を２次元表示する。」

（５）「[0231]＜１１．マルチユーザに伝送する場合＞

上述した例では、配信側である3D再構成装置２３と、再生側である再生装置２７および表示装置２８とが、１対１の関係である場合について説明した。しかしながら、再生側として複数のユーザが存在し、配信側である3D再構成装置２３が、複数のユーザに対応する複数の再生装置２７からの要求に応えて、所定のオブジェクトの3Dモデルを伝送する構成も可能である。」

（６）「[0233]＜１２．コンピュータ構成例＞

上述した3D再構成処理、配信処理、再生処理等の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。」

上記（１）ないし（６）から、引用文献１には以下の事項が記載されている。

・上記[0001]、[0019]によれば、引用文献１には、複数の撮像装置で撮像して得られた撮影画像からオブジェクトの3Dモデルを生成して配信する配信側と、配信側から伝送される3Dモデルを受け取り、再生表示する再生側とからなる画像処理システムにおける画像処理方法の発明が記載されているといえる。

・上記[0011]、[0233]によれば、画像処理システム１０は、コンピュータにプログラムを実行させることにより実現されているといえる。

・上記[0036]によれば、画像処理システム１０は、配信側として、撮像装置２１－１乃至２１－N（N＞１）、記憶装置２２、3D再構成装置（画像処理装置）２３、符号化装置２４、および、送受信装置２５を備える。

・上記[0037]によれば、画像処理システム１０は、再生側として、再生装置２７、および、表示装置２８を備えており、配信側の送受信装置２５と再生側の再生装置２７は、ネットワーク２６を介して接続される。

・上記[0231]によれば、画像処理システム１０は、再生側として複数のユーザが存在し、配信側である3D再構成装置２３が、複数のユーザに対応する複数の再生装置２７からの要求に応えて、所定のオブジェクトの3Dモデルを伝送するものであるといえる。

・上記[0027]～[0029]によれば、3Dモデルデータのデータフォーマットは、オブジェクトのジオメトリ情報（形状情報）を、オブジェクトの３次元位置を点の集合（ポイントクラウド）か、または、ポリゴンメッシュと呼ばれる頂点（Vertex）と頂点間のつながりで表し、オブジェクトの色情報を保有する形式であるといえる。

・上記[0036]、[0043]、[0031]によれば、配信側において、3D再構成装置２３は、記憶装置２２に記憶されている、複数の撮像装置２１それぞれで得られた撮影空間内のテクスチャ画像およびデプス画像の動画像を用いて、撮影空間内に存在する多数のオブジェクトについて、オブジェクトごとに3Dモデルを生成し、生成された各オブジェクトの3Dモデルデータを符号化装置２４に供給しており、デプス画像は撮影画像の各画素に対応させて、被写体までの奥行き方向の距離をデプス値として格納したものであるといえる。

・上記[0036]、[0045]によれば、配信側において、再生装置２７から、撮影空間のなかの、ユーザの視聴範囲を示す情報や、ユーザが注目しているオブジェクトを示す情報が、ユーザの視聴情報として送信されてくる場合には、3D再構成装置２３は、ユーザの視聴情報に応じたオブジェクトの3Dモデルを生成し、生成された各オブジェクトの3Dモデルデータを符号化装置２４に供給しているといえる。

・上記[0036]、[0046]によれば、配信側において、符号化装置２４は、3D再構成装置２３から供給される所定のオブジェクトの3Dモデルデータを、所定の符号化方式で符号化し、符号化して得られた3Dモデルの符号化ストリームは、送受信装置２５へ供給されているといえる。

・上記[0036]、[0047]によれば、配信側において、送受信装置２５は、符号化装置２４から供給された3Dモデルの符号化ストリームを、ネットワーク２６を介して再生装置２７へ送信するといえる。

・上記[0037]、[0051]、[0052]によれば、再生側において、再生装置２７は、送受信装置２５から供給される各オブジェクトの3Dモデルデータを符号化した符号化ストリームを受信（取得）して復号しているといえる。

・上記[0037]、[0052]、[0053]、[0057]によれば、再生側において、復号して得られるオブジェクトの3Dモデルデータに基づいて、仮想カメラの視点からのオブジェクトの画像（オブジェクト画像）を表示画像として生成し、表示装置２８に２次元表示させているといえる。

・上記[0037]、[0050]、[0056]によれば、再生側において、再生装置２７の入力部４５は、視聴者による視聴位置の指示や、表示対象とするオブジェクトの指定などを受け付けている。

したがって、上記摘記事項および図面を総合勘案すると、引用文献１には次の発明（以下、「引用発明」という。）が記載されている。

なお、各構成の符号ａ～ｅ３は、説明のために当審において付与したものであり、以下、構成ａ～構成ｅ３という。

「ａ 複数の撮像装置で撮像して得られた撮影画像からオブジェクトの3Dモデルを生成して配信する配信側と、配信側から伝送される3Dモデルを受け取り、再生表示する再生側とからなる画像処理システムにおける画像処理方法であって、

ｂ 画像処理システム１０は、コンピュータにプログラムを実行させることにより実現されており、

ｂ１ 配信側として、撮像装置２１－１乃至２１－N（N＞１）、記憶装置２２、3D再構成装置（画像処理装置）２３、符号化装置２４、および、送受信装置２５を備えており、

ｂ２ 再生側として、再生装置２７、および、表示装置２８を備えており、ｂ３ 配信側の送受信装置２５と再生側の再生装置２７は、ネットワーク２６を介して接続されており、

続きを表示（全16行）

ｂ４ 再生側として複数のユーザが存在し、配信側である3D再構成装置２３が、複数のユーザに対応する複数の再生装置２７からの要求に応えて、所定のオブジェクトの3Dモデルを伝送するものであり、

ｃ 3Dモデルデータのデータフォーマットは、オブジェクトのジオメトリ情報（形状情報）を、オブジェクトの３次元位置を点の集合（ポイントクラウド）か、または、ポリゴンメッシュと呼ばれる頂点（Vertex）と頂点間のつながりで表し、オブジェクトの色情報を保有する形式であり、

ｄ 配信側において、

ｄ１１ 3D再構成装置２３は、記憶装置２２に記憶されている、複数の撮像装置２１それぞれで得られた撮影空間内のテクスチャ画像およびデプス画像の動画像を用いて、撮影空間内に存在する多数のオブジェクトについて、オブジェクトごとに3Dモデルを生成し、生成された各オブジェクトの3Dモデルデータを符号化装置２４に供給しており、デプス画像は撮影画像の各画素に対応させて、被写体までの奥行き方向の距離をデプス値として格納したものであり、

ｄ１２ 再生装置２７から、撮影空間のなかの、ユーザの視聴範囲を示す情報や、ユーザが注目しているオブジェクトを示す情報が、ユーザの視聴情報として送信されてくる場合には、3D再構成装置２３は、ユーザの視聴情報に応じたオブジェクトの3Dモデルを生成し、生成された各オブジェクトの3Dモデルデータを符号化装置２４に供給し、

ｄ２ 符号化装置２４は、3D再構成装置２３から供給される所定のオブジェクトの3Dモデルデータを、所定の符号化方式で符号化し、符号化して得られた3Dモデルの符号化ストリームは、送受信装置２５へ供給され、

ｄ３ 送受信装置２５は、符号化装置２４から供給された3Dモデルの符号化ストリームを、ネットワーク２６を介して再生装置２７へ送信し、

ｅ 再生側において、

ｅ１ 再生装置２７は、送受信装置２５から供給される各オブジェクトの3Dモデルデータを符号化した符号化ストリームを受信（取得）して復号し、

ｅ２ 復号して得られるオブジェクトの3Dモデルデータに基づいて、仮想カメラの視点からのオブジェクトの画像（オブジェクト画像）を表示画像として生成し、表示装置２８に２次元表示させ、

ｅ３ 再生装置２７の入力部４５は、視聴者による視聴位置の指示や、表示対象とするオブジェクトの指定などを受け付ける、

ａ 方法。」

２ 引用文献２

引用文献２には、図面と共に以下の記載がある。下線は当審で付与した（以下、同様）。

「【０００１】

１．技術分野

本明細書は、３Ｄシーンを処理する分野に関する。排他的ではないが、とりわけ本原理の技術分野は、３Ｄオブジェクトのジオメトリ及びテクスチャを表す点群の点を処理することに関する。本原理の技術分野は、テクスチャ及び深度投影スキームを使用する３Ｄ画像データの符号化／復号にも関し得る。」

「【００４２】

図２Ａは、点群のピクチャ２０、例えば点群のＧＯＰ（ピクチャ群：Group of Pictures）のピクチャの第１の例を示す。ピクチャ２０は１組のｎ個の画像２０１、２０２、２０３、２０ｎで構成され、ｎは２以上の整数である。・・・（中略）・・・画像２０１から２０ｎの各ピクセルにデータ、例えばテクスチャ情報及び／又は深度情報が関連し得る。テクスチャ情報は、例えば色空間（例えばＲＧＢ色空間又はＹＵＶ色空間）の各チャネルに関連するグレーレベルの形で記憶することができ、各チャネルのグレーレベルは例えば第１の決定されたビット数、例えば８ビット、１０ビット、又は１２ビットで表される。深度情報は、第２の決定されたビット数、例えば８ビット、１０ビット、又は１２ビットを用いて例えばαチャネル内の値の形で記憶することができる。従って、決定された時点「ｔ」における点群を表すために、４つの成分ＲＧＢα又はＹＵＶα（例えば４つの１０ビットチャネル）が例えばピクチャ２０内の各ピクセルに関連し得る。・・・。」

「【００９３】

ピクチャ２０の符号化データは記憶し及び／又はビットストリーム１０４内で伝送することができる。」

上記記載によれば、引用文献２には、３Ｄオブジェクトの画像データの処理に関して、以下の技術が記載されているといえる。

「３Ｄオブジェクトのジオメトリ及びテクスチャを表す点群のピクチャ２０について、各ピクセルの深度情報をαチャネル内の値の形で記憶する４つの成分ＲＧＢα又はＹＵＶαで定めること、及び当該点群のピクチャ２０をビットストリームで伝送すること」

３ 引用文献３

引用文献３には、図面と共に以下の記載がある。

「【０００１】

【産業上の利用分野】この発明は画像撮影方法に関し、特にたとえば、ビデオカメラで撮影した被写体像を画面上における所望の位置に表示する、画像撮影方法に関する。」

「【０００９】ここで、第１特徴情報となる輪郭画像の抽出方法について説明する。この実施例では画像の輪郭を抽出するためにアルファ値を流用する。つまり、画像撮像部１２によって撮影された画像データは、ＲＧＢＡフォーマット（各２５６階調）に変換され、画像メモリ１６に記録される。ＲＧＢＡフォーマットにおける“Ａ”は画像の透過度を“０”から“２５５”の範囲で表すアルファ値を意味し、画像データに含まれる画素のアルファ値を“１～２５５”とし、それ以外の画素つまり人物画像以外の画素のアルファ値を“０”とする。したがって、画像の輪郭付近のアルファ値の変化点を手掛かりとして輪郭線が検出される。」

上記記載によれば、引用文献３には、画像データの処理に関して、以下の技術が記載されている。

「画像データの画素を、透過度を表すアルファ値“Ａ”を含むＲＧＢＡフォーマットで表し、アルファ値を使用して画像の輪郭線を検出すること」

４ 引用文献４

引用文献４には、図面と共に以下の記載がある。

「【０００１】

本発明は，空間を分割した上でグラフィックスの描画処理を行うことのできる画像処理装置及び画像処理方法に関するものである。」

「【００２１】

［１．画像処理装置，画像処理方法］

図１は，本発明に係る画像処理装置１のブロック図を示している。本発明に係る画像処理装置１は，３次元コンピュータグラフィックス処理用のハードウェアとして利用される。・・・前段処理部３０が，空間インデックス付き頂点バッファ２１を読み込んで，空間ごとにラスタライズ処理を行うと共に，前処理用シェーダに基づいて，ピクセルのカラー値及び奥行き値を生成する。その後，後段処理部４０は，必要なピクセルに対し，後段処理用シェーダ６３に基づいてテクスチャ処理及びシェーディング処理を行う。・・・

【００２２】

・・・前段処理用シェーダ６２は，ピクセルのカラー値及び奥行き値の生成に必要な機能を抽出したシェーダコードである。前段処理用シェーダ６２には，カラー値と奥行き値の生成に関わる処理として，例えば，奥行きテストや，アルファテスト，ステンシルテストなどが含まれる。また，後段処理用シェーダ６３は，シェーダプログラム６１のうち前段処理用シェーダ６２以外のシェーダコードである。後段処理用シェーダ６３には，少なくとも，テクスチャ処理及びシェーディング処理に必要な機能が含まれる。・・・」

「【００３９】

・・・このため，前段処理部３０は，前段処理用シェーダ６２に従い，ラスタライズ処理により得られた各ピクセルについて，少なくとも，ＲＧＢ３原色で表されるカラー値や，奥行きを示す奥行き値（Ｚ値）を算出する。このとき，前段処理用シェーダ６２は，カラーの透明度を示すアルファ値を求めることとしてもよい。・・・」

上記記載によれば、引用文献４には、３次元コンピュータグラフィックスの描画処理に関して、以下の技術が記載されているといえる。

「シェーダを用いて、各ピクセルのカラー値及びアルファ値を利用したテクスチャ処理及びシェーディング処理を行うこと」

５ 引用文献５

引用文献５には、図面と共に以下の記載がある。

「【０００１】

本発明は、自由視点映像の合成技術に関する。」

「【００２４】

図１に示した、本発明による映像合成装置の一実施形態としてのスマートフォン１は、配信サーバ２に対し、通信ネットワークを介して大容量の多視点映像データの送信要求を行い、受信した当該データを用いて自由視点映像を合成して表示するクライアント（端末）である。・・・

【００２５】

本実施形態において、配信サーバ２の保存する多視点映像データは、対象物（オブジェクト）の画像を含む複数視点の映像データであり、例えば複数のカメラによって撮影された映像データや、ＣＧ（Computer Graphics）データであってもよい。

・・・（中略）・・・

【００２８】

ちなみに本実施形態において、多視点映像データは、多視点映像のＨＴＴＰ型ストリーミング方式に基づいて送受信され、そのプロトコルとして具体的に、例えばＤＡＳＨ（Dynamic Adaptive Streaming over Hyper transfer protocol）が使用可能となっている。また、ＨＴＴＰサーバである配信サーバ２は、予め作成された映像コンテンツとしての多視点映像ストリームデータを、ＶｏＤ（Video on Demand）型配信方式を用いて配信することができる。」

「【００８３】

図６（Ａ）に示したように、本実施形態のアルファ値投影処理では、

（ａ）配信された多視点の映像データ毎に、カメラキャリブレーション部１３１から入力したカメラキャリブレーションデータを用い、当該映像データにおけるオブジェクトに係る画像であるマスク画像を３次元モデル空間（X-Y-Z世界座標系）に配置し、

（ｂ）映像データ毎に、配置されたマスク画像におけるオブジェクトのアルファ値を、指定された視点に合わせて設定された逆投影面群Znの各逆投影面に投影し、

（ｃ）指定された視点に係る自由視点映像を表示する表示ウィンドウの画像Wを構成する画素I(u, v)毎に、対応するアルファ値の重ね合わせ結果を、ＧＰＵのピクセルシェーダを用いて算出する。」

上記記載によれば、引用文献５には、サーバから受信した多視点映像ストリームデータの画像処理に関して、以下の技術が記載されているといえる。

「多視点映像ストリームデータを受信し、シェーダを用いて、マスク画像におけるオブジェクトのアルファ値を、３次元モデル空間内の投影面に投影すること」

第５ 対比

本願発明と引用発明とを対比する。

１ 構成Ａについて

（１）引用発明の画像処理システム１０は、コンピュータにプログラムを実行させることにより実現されている（構成ｂ）ところ、配信側の「3D再構成装置２３」は、複数のユーザに対応する複数の「再生装置２７」からの要求に応えるものであり（構成ｂ４）、当該「3D再構成装置２３」を含む配信側の「記憶装置２２、3D再構成装置（画像処理装置）２３、符号化装置２４、および、送受信装置２５」（構成ｂ１）からなる構成は、本願発明の「サーバ」に相当する。

また、引用発明の再生側の「再生装置２７、および、表示装置２８」（構成ｂ２）からなる構成は、本願発明の「クライアント」に相当する。

（２）本願発明のサーバ上にある「仮想３Ｄオブジェクト」について、明細書の発明の詳細な説明を参照すると、「仮想３Ｄオブジェクト」という記載はないが、「仮想」及び「３Ｄオブジェクト」に関して以下の記載がある。下線は当審で付与したものである。

「【００４２】

クライアントからネットワーク１２０経由でコマンドなどを受信したサーバは、サーバ内のアプリ内の仮想的な画面１２０１上の対応する人１２０２の画像に対して、受信したコマンドなどに従った操作を行う。ここで、サーバは、通常表示装置を持っている必要がなく、仮想的な空間内の仮想的な画像を扱う。次に、サーバは、このコマンドなどの操作を行った後の３Ｄシーンデータ（又は３Ｄオブジェクトデータ）を生成し、そこから抽出した特徴量をコンテナストリーム１２０３としてネットワーク１２０経由でクライアントへ送信する。サーバから送られたコンテナストリーム１２０３を受信したクライアントは、コンテナストリーム１２０３に含まれるジオメトリ、カラー・テクスチャ、メタデータ、サウンド、及びコマンドに従って、クライアントの仮想画面中の対応する人１２１４のデータを書き換えて、再表示などする。この例において、オブジェクトは人であるが、オブジェクトは、ビル、自動車、動物、又は静物などの人以外でもよく、シーンは、１つ以上のオブジェクトを含む。」

上記記載によれば、本願発明の「仮想３Ｄオブジェクト」は、コンピュータ上の仮想的な空間内で扱う仮想的な３Ｄオブジェクトのデータと認められる。

一方、引用発明が撮影画像から生成する「オブジェクトの3Dモデル」（構成ａ）は、オブジェクトの形状がポイントクラウドまたはポリゴンメッシュで表されたもの（構成ｃ）であるから、コンピュータによって処理、加工されたコンピュータグラフィックスのデータであり、コンピュータ上の仮想的な空間内で扱う仮想的な３Ｄオブジェクトのデータといえ、本願発明の「仮想３Ｄオブジェクト」に相当する。

（３）引用発明の構成ｄ１２において「再生装置２７」から送信されてくる「ユーザの視聴情報」は、構成ｅ３において「再生装置２７」の入力部４５が受け付けた「視聴者による視聴位置の指示や、表示対象とするオブジェクトの指定」の情報である。

そして、引用発明の再生側で表示するオブジェクトの「3Dモデルデータ」は、配信側の構成ｄ１２において「再生装置２７」から送信される「ユーザの視聴情報」に応じて生成したものを含んでおり、「インタラクティブに再現する」といえるものである。

（４）したがって、引用発明は本願発明の構成Ａの「サーバ上にある仮想３Ｄオブジェクトをクライアント上でインタラクティブに再現する」構成を備えているといえる。

２ 構成Ｂ、Ｃについて

引用発明の構成ｃの「3Dモデルデータのデータフォーマット」におけるオブジェクトのポリゴンメッシュなどの「ジオメトリ情報」、「色情報」は、それぞれ、本願発明の３Ｄオブジェクトの「ジオメトリ情報」、「カラー情報」に相当する。

また、引用発明の配信側が送信する構成ｄ２の「符号化ストリーム」は、3Dモデルデータを所定の符号化方式で符号化したものであるから、これらの「ジオメトリ情報」、「色情報」が含まれており、再生側で構成ｅ１、ｅ２のように「符号化ストリーム」を受信して復号し、表示画像を生成する際に「ジオメトリ情報」と「色情報」を抽出していることは明白である。

したがって、引用発明と本願発明は「前記サーバから前記仮想３Ｄオブジェクトのカラー情報、及びジオメトリ情報を含む符号化されたストリームを受信すること」、及び「前記ストリームを復号し、そこから前記カラー情報、及び前記ジオメトリ情報を抽出すること」を含む点で共通する。

ただし、符号化されたストリームに関して、本願発明は「仮想３Ｄオブジェクトのカラー情報、アルファ情報及びジオメトリ情報」を含み、復号したストリームから「前記カラー情報、前記アルファ情報及び前記ジオメトリ情報」を抽出するのに対して、引用発明の符号化ストリームは「アルファ情報」を含んでおらず、復号したストリームから「アルファ情報」を抽出するものではない点で相違する。

３ 構成Ｄについて

引用発明の再生側の構成ｅ２は、「ジオメトリ情報」を含む「オブジェクトの3Dモデルデータ」に基づいて、オブジェクトの画像（オブジェクト画像）を表示画像として生成するものであり、「ジオメトリ情報に基づいて仮想３Ｄオブジェクトの形状を再現する」といえるものである。

したがって、引用発明は本願発明の構成Ｄを備えているといえる。

４ 構成Ｅについて

上記１（４）で述べたとおり、引用発明は本願発明の構成Ａの「サーバ上にある仮想３Ｄオブジェクトをクライアント上でインタラクティブに再現する」構成を備えている。

したがって、引用発明と本願発明は「前記仮想３Ｄオブジェクトをインタラクティブに再現すること」を含む点で共通する。

ただし、仮想３Ｄオブジェクトの再現に関して、本願発明は「前記再現された仮想３Ｄオブジェクトの形状の上に、前記カラー情報を投影し、その上に前記アルファ情報を用いてシェーダーを適用し」て仮想３Ｄオブジェクトを再現するのに対して、引用発明はそのような処理を行っていない点で相違する。

５ 上記１～４より、本願発明と引用発明との一致点及び相違点は、次のとおりである。

＜一致点＞

「Ａ サーバ上にある仮想３Ｄオブジェクトをクライアント上でインタラクティブに再現する方法であって、

Ｂ’前記サーバから前記仮想３Ｄオブジェクトのカラー情報及びジオメトリ情報を含む符号化されたストリームを受信することと、

Ｃ’前記ストリームを復号し、そこから前記カラー情報及び前記ジオメトリ情報を抽出することと、

Ｄ 前記ジオメトリ情報に基づいて前記仮想３Ｄオブジェクトの形状を再現することと、

Ｅ’前記仮想３Ｄオブジェクトをインタラクティブに再現することと、

Ａ を含む、方法。」

＜相違点１＞

符号化されたストリームに関して、本願発明は「３Ｄオブジェクトのカラー情報、アルファ情報及びジオメトリ情報」を含み、復号したストリームから「前記カラー情報、前記アルファ情報及び前記ジオメトリ情報」を抽出するのに対して、引用発明の符号化ストリームは「アルファ情報」を含んでおらず、復号したストリームから「アルファ情報」を抽出するものではない点。

＜相違点２＞

仮想３Ｄオブジェクトの再現に関して、本願発明は「前記再現された仮想３Ｄオブジェクトの形状の上に、前記カラー情報を投影し、その上に前記アルファ情報を用いてシェーダーを適用し」て仮想３Ｄオブジェクトを再現するのに対して、引用発明はそのような処理を行っていない点。

第６ 判断

１ 相違点についての検討

（１）相違点１について

３次元の画像処理に関して、画像データにおける画素を、色情報とアルファ値を有するデータで表すことは、当業者によって広く行われているところ（引用文献２、３（上記第４の２、３）等参照）、引用文献２、５（上記第４の５）に記載があるように、そのようなアルファ値を含む画像のストリームデータを送受信することは周知技術である。

３次元の画像処理において、よりリアリティの高い画像の生成するために画素データのパラメータを増やしたものを用いることは広く知られた課題の解決手法にすぎないことを踏まえると、引用発明における符号化ストリームに、元々の色情報に加えて、その他の情報として上記周知技術のようにアルファ値を含めるように構成することは、当業者が容易になし得たことである。

（２）相違点２について

本願発明の「仮想３Ｄオブジェクトの形状の上に、前記カラー情報を投影し、その上に前記アルファ情報を用いてシェーダーを適用し」て仮想３Ｄオブジェクトを再現することに関して、明細書の発明の詳細な説明に「シェーダー」の記載はなく、下記アに示すように図１４の「１４２０」の枠内に「カラーを投影し、アルファを用いてシェーダを適用し、ジオメトリを再構成する。」と記載があるのみである。

ア「【図１４】

［図：0001393789000001.jpg］

」

また、図１４に対応する明細書の記載は次のとおりである。

イ「【００８３】

＜５．３ メッシュにテクスチャを投影する（デカール）方法（本開示による方法）＞

ストリームの特定の位置からのカラー／テクスチャが、その位置に関するメタ情報とともにサーバからクライアントに送信される。クライアントは、このテクスチャを指定された位置からメッシュに投影する。・・・

【００８４】

図１４に記載のクライアント側の処理は、基本的に、図１３に記載のサーバ側の処理と逆の処理を行う。先ず、クライアントは、ネットワークを介してサーバが送信した３Ｄストリームであるコンテナストリームを受信する。次に、受信した３Ｄストリームからデータを復号し、オブジェクトを再構成するために、カラー情報、アルファ情報、ジオメトリ情報を復元する（１４１０）。

【００８５】

次に、先ず、カラー情報１４３１とアルファ情報１４３２が結合され、その結果としてテクスチャデータ生成される。次に、このテクスチャデータをジオメトリデータ１４３３に適用する（１４２０）。こうすることによって、サーバ上にあったオブジェクトがクライアント上で再構成される（１４４０）。」

上記ア、イの記載、及びシェーダに関する技術常識を勘案すると、本願発明の「仮想３Ｄオブジェクトの形状の上に、前記カラー情報を投影し、その上に前記アルファ情報を用いてシェーダーを適用」することは、「３Ｄオブジェクトを表すメッシュに、カラー情報に加えてアルファ情報を用いたデータを投影し、当該処理をシェーダで行うこと」と認められる。

一方、引用発明の符号化ストリームは、ポリゴンメッシュなどの「ジオメトリ情報」と「色情報」を含むものであり（上記第５の２参照）、再生側において、ポリゴンメッシュに色情報を投影して表示画像を生成するものといえる。

ここで、引用文献４（上記第４の４参照）には「シェーダを用いて、各ピクセルのカラー値及びアルファ値を利用したテクスチャ処理及びシェーディング処理を行うこと」が記載されており、引用文献５（上記第４の５）には「多視点映像ストリームデータを受信し、シェーダを用いて、マスク画像におけるオブジェクトのアルファ値を、３次元モデル空間内の投影面に投影すること」が記載されている。

これらの引用文献４、５に記載の技術は、３次元の画像処理に関して、シェーダを用いて、色情報に加えてアルファ情報を利用したデータを投影するものと認められる。

してみると、上記相違点１で述べたように、３次元の画像処理において、よりリアリティの高い画像を生成するために画素データのパラメータを増やしたものを用いることは広く知られた課題の解決手法にすぎないから、引用発明の再生側において表示画像を生成する際に、引用文献４、５記載の技術を適用して、シェーダを用いて、色情報に加えてアルファ情報を利用したデータを投影するようにして上記相違点２に係る本願発明の構成とすることは、当業者が容易になし得たことである。

（３）まとめ

上記（１）、（２）のとおり、本願発明は引用発明、引用文献４、５記載の技術、及び周知技術に基づいて当業者が容易に発明をすることができたものである。

そして、本願発明が奏する効果は、引用発明、引用文献４、５記載の技術、及び周知技術から当業者が十分に予測できたものであって格別なものとはいえない。

２ 審判請求人の主張について

審判請求人は、令和４年８月１７日提出の意見書において「引用されたすべての引用文献１～５は、現実世界で提示されている最初のオブジェクトを参照しており、これらのオブジェクトは実際のカメラで２Ｄ画像としてキャプチャされたものです。そして、次に、このオブジェクトをさまざまな角度から見る機能を備えたビデオをストリーミングするように処理されます。これに対して本願発明のアイデアは全く異なります。

引用文献に記載のこのようなアプローチと本願発明のアイデアの根本的な違いは、元のデータ形式にあります。本願発明の技術は、リアルタイムレンダリング３Ｄエンジンで処理されたデジタルアセットのオブジェクトに基づいています。初期情報は、すでにデジタルアセットとして提示されており、３Ｄエンジンレベルで処理されて、サーバ上のアプリケーションのプログラムコンポーネントでキャプチャされた必要な情報が取得されます。完全な３Ｄ情報は（デジタルアセットから）分かっており、タスクはそれをキャプチャして、クライアントで２Ｄオブジェクトとしてレンダリングすることが可能となります。」（下線は当審で付与。）と主張している。

しかしながら、上記主張する「リアルタイムレンダリング３Ｄエンジンで処理されたデジタルアセットのオブジェクト」について、本願の特許請求の範囲及び明細書等には記載がなく、審判請求人の主張は本願発明の構成に基づかないものである。

そして、上記第５の１（２）で述べたとおり、引用発明が撮影画像から生成する「オブジェクトの3Dモデル」は、オブジェクトの形状がポイントクラウドまたはポリゴンメッシュで表されたものであるから、コンピュータによって処理、加工されたコンピュータグラフィックスのデータであり、本願発明の「仮想３Ｄオブジェクト」に相当するものである。

よって、審判請求人の上記主張を採用することはできない。

第７ むすび

以上のとおり、本願の請求項１に係る発明は、特許法第２９条第２項の規定により特許を受けることができないものであるから、本願は、他の請求項について論及するまでもなく拒絶すべきものである。

よって、結論のとおり、審決する。