特許拒絶査定不服審判
2018-000425
ビデオデコーダエラー処理
- 審判番号
- 2018-000425
- 法域
- 特許
- 審判種別
- 拒絶査定不服審判(拒絶査定不服の審決)
- 出願番号
- 特願2016-002790外部サイト(J-PlatPat)へ移動します
- 請求日
- 2018年01月12日
- 審決日
- 2019年10月15日
- 公報発行日
- 2020年04月24日
- 結論
- 請求不成立
- 分類
- P18 .121-WZ (H04N)
- 条文(本文から自動抽出・参考)
- 特許法第29条第2項
- データ出所
- 審決公報(SGML)
事件の表示
特願2016- 2790「ビデオデコーダエラー処理」拒絶査定不服審判事件〔平成28年 6月16日出願公開、特開2016-106476〕について、次のとおり審決する。
結論
【結 論】
本件審判の請求は、成り立たない。
理由
【理 由】
第1 手続の経緯
本願は、2009年(平成21年)2月24日(パリ条約による優先権主張 外国庁受理2008年2月26日 米国、2008年7月10日 米国)を国際出願日とする出願である特願2010-548816号の一部を、平成25年12月20日に新たな特許出願とした特願2013-264453号の一部を、平成28年1月8日に新たな特許出願としたものであって、その手続の経緯は以下のとおりである。
平成28年 2月 5日 :手続補正
平成29年 1月27日 :手続補正
同年 3月13日付け:拒絶理由通知
同年 6月20日 :手続補正、意見書の提出
同年 9月 5日付け:拒絶査定
平成30年 1月12日 :手続補正、審判請求
平成31年 3月 6日付け:拒絶理由通知(当審)
同年 4月22日 :手続補正、意見書の提出
第2 当審の拒絶の理由
平成31年3月6日付けで当審が通知した拒絶の理由は、概略、以下のとおりである。
本件出願の下記の請求項に係る発明は、その出願前日本国内または外国において頒布された下記の刊行物に記載された発明又は電気通信回線を通じて公衆に利用可能となった発明に基いて、その出願前にその発明の属する技術の分野における通常の知識を有する者が容易に発明をすることができたものであるから、特許法第29条第2項の規定により特許を受けることができない。
記
・請求項1、2、6、8-10、12、13、17、19-21、23、24、28、30-32、34-37、41、43-45、47
・引用文献1、2
・請求項3-5、7、14-16、18、25-27、29、38-40、42
・引用文献1、2、4
・請求項11、22、33、46
・引用文献1-4
<引用文献等一覧>
1.特開2007-019979号公報(原査定の文献2)
2.特開平9-200743号公報 (原査定の文献1)
3.特開2006-339880号公報(原査定の文献3)
4.特開2005-295054号公報(原査定の文献4)
第3 本願発明
本願の請求項に係る発明は、平成31年4月22日付けの手続補正により補正された特許請求の範囲の請求項1~47に記載された事項により特定されるものと認められるところ、その請求項1に係る発明(以下、「本願発明」という)は、以下のとおりのものである。
なお、本願発明の各構成の符号は、説明のために当審において付与したものであり、以下、構成A~構成Hと称する。
(本願発明)
(A)ビデオデコーダが実行するビデオ復号方法であって、
(B)符号化ビデオデータのカレントユニットの開始を決定することと、ここにおいて前記カレントユニットの前記開始は1つのマクロブロックを含む、
(C)前記符号化ビデオデータの次の利用可能なユニットの開始を決定しないで前記カレントユニットの少なくとも一部分を復号することと、ここにおいて前記次の利用可能なユニットの前記開始は1つのマクロブロックを含む、
(D)前記カレントユニット中の復号エラーを検出することと、
(E)前記復号エラーが検出されたとき、前記符号化ビデオデータの前記次の利用可能なユニットの前記開始を決定することと、
(F)(F1)前記次の利用可能なユニットの前記開始に基づいて破損データセグメントの終了を決定することと、(F2)前記カレントユニットが第1のフレームのカレントスライスであり、(F3)前記破損データセグメントが、前記カレントスライスと第2のフレームからの符号化ビデオデータの少なくとも1つの追加のスライスとを含む、
(G)前記カレントユニットの前記開始と前記破損データセグメントの前記終了とに基づいて前記破損データセグメントを隠蔽することと、
を備え、
(H)前記カレントユニット中に前記復号エラーが検出されなかった場合、前記次の利用可能なユニットの前記開始を決定することなく、前記カレントユニット全体が復号される、
(A)ビデオ復号方法。
第4 引用文献の記載及び引用発明
1 引用文献1
(1)引用文献1の記載事項
当審の拒絶の理由に引用された引用文献1である特開2007-019979号公報には、動画像復号方法に関して、図面とともに以下の事項が記載されている。なお、下線は強調のために当審で付したものである。
ア「【0001】
この発明は、複数のブロックからフレームが構成される画像のブロックごとの動きベクトルを用いて動画像を符号化する動画像符号化装置が送信する符号化ビットストリームを入力して動画像を復号する動画像復号装置、動画像復号方法および動画像復号プログラムに関し、特に、動き探索を行うことなしに動きベクトルを用いた高精度なエラー補正を行うことができる動画像復号装置、動画像復号方法および動画像復号プログラムに関するものである。」
イ「【0033】
次に、本実施例に係るMPEG復号装置の構成について説明する。図2は、本実施例に係るMPEG復号装置の構成を示す機能ブロック図である。なお、このMPEG復号装置200は、図1に示したMPEG符号化装置100からの符号化信号(符号化ビットストリーム112a)を復号して元の画像信号100aを再生する。」
ウ「【0035】
最初に、エラーを含まない符号化ストリームの場合においてMPEG符号化装置100でIピクチャ符号化された符号化ストリームが入力された時の動作について説明する。符号化ビットストリーム200a(112a)は可変長復号回路201に入力される。可変長復号回路201は、符号化ビットストリーム200a内のヘッダに基づいて画像データの符号化信号や動きベクトルの符号化信号を分離して順次可変長復号する回路である。復号された動きベクトル信号201bは動き補償回路207に入力され、復号された信号201aは逆量子化回路203に供給される。」
エ「【0047】
復号処理中に復号エラーを検出する箇所は可変長復号回路201である。可変長復号回路201は、復号するストリームのヘッダに規格上認められていない値が入っていたりするヘッダ異常やストリームの順番が入れ替わったりデータの一部分が欠落するなどの構成異常を検出すると、検出したエラーMB番号201dをエラー補正回路211に通知する。」
オ「【0048】
エラー補正回路211は、エラーMB番号が通知されると、可変長復号回路201と連携して符号化ストリームの次のリカバリーポイントまでストリームを読み飛ばす処理を行う。リカバリーポイントとは、次にアラインが取れる箇所であり、例えばMPEG-2ではスライスヘッダ、MPEG-4ではビデオパケットヘッダなどが挙げられる。特にここではリカバリーポイントが決められているわけではなく、アラインが取れる箇所までストリームを読み飛ばすことを行う。これによって、エラー補正回路211は、エラーMB番号とリカバリー可能なMB番号を検出することが出来るため、これらの情報からエラー領域を特定できる。」
カ「【0050】
エラー領域の特定は図6に示すように、エラーMB番号とリカバリー可能MB番号から行う。すなわち、エラーMB番号のMBからリカバリー可能MB番号の一つ前のMBまでがエラー領域となる。
【0051】
また、図7および図8のようにエラー領域がフレームをまたぐ場合には、図9または図10に示すテンポラルリファレンスの値を使って、いくつのフレームをまたいでいるかを特定する。エラー補正回路211は、ここで検出したエラー領域に対して1MB毎にエラー補正処理を行う。」
キ「【0053】
次に、エラー補正回路211によるSkipMB判定処理について説明する。ここでSkipMB判定を行う目的は、特定したエラー領域に属する各マクロブロック(以下、これらのマクロブロックも「エラーMB」という。)の隣接MBがSkipMBであった場合、隣接MBは参照画像と同一の画像を復号画像として使用しており、隣接MBがSkipMBであるということはエラーMBもSkipMBである可能性が高く、先にSkipMB判定を行うことで、後述する参照ベクトル算出処理を省略することが出来るためである。
【0054】
エラー補正回路211は、エラーMBに対して隣接MBを特定する。隣接MBは、図11に示すようにエラーMBに隣接する既に復号を完了したMBである。すなわち、エラーMBの左に隣接するMBをA、左上に隣接するMBをB、上に隣接するMBをC、右上に隣接するMBをDとすると、エラー補正回路211は、これらの4個の隣接MBを用いてSkipMB判定を行う。また、画面の左側や上側、右側など隣接MBが存在しない場合は利用できる隣接MBだけで処理を行う。
【0055】
エラー補正回路211は、エラーMBに隣接するMBのSkipMBフラグを用いてSkipMB判定を行う。ここで、図3-1に示したSkipMBフラグが有効であるMBとは、復号処理を行わず参照フレームにおける同位置MBの画像を現フレームの画像として処理するMBである。したがって、エラー補正回路211は、もしエラーMBがSkipMBであると判定した場合には、参照フレームにおけるエラーMBと同位置MBの画像を現フレームの画像として処理する。」
ク「【0060】
エラー補正回路211は、エラーMBがSkipMB無効と判定した場合に、エラーMBにおける参照ベクトルを算出する処理を行う。参照ベクトル算出は、エラーMBに対して図11に示した隣接MBの4本の参照ベクトル情報を用いて行う。また、x方向およびy方向のベクトル成分それぞれを算出してエラーMBの参照ベクトルとする。そして、エラー補正回路211は、算出した参照ベクトルを元に補正画像になり得る画像をフレームメモリ208から読み出す。なお、参照ベクトル算出処理の詳細については後述する。
(中略)
【0062】
エラー補正回路211は、隣接MBのDC成分差分値を平均化して求めたものをエラーMBの補正画像になり得る画像に対して加算することで、エラーMBの補正画像を生成し、生成した画像をフレームメモリ208にエラーMBの画像として書き込む。」
(2)引用文献1に記載された発明
引用文献1に記載された発明を以下に認定する。
ア 上記(1)アによれば、引用文献1には、「符号化ビットストリームを入力して動画像を復号する動画像復号方法」が記載されている。ここで、当該方法を実行する主体が、動画像復号装置であることは自明である。
また、上記(1)イによれば、引用文献1の「復号装置」は、MPEG復号装置であることが記載されている。
これらを統合すると、引用文献1には、「符号化ビットストリームを入力して動画像を復号するMPEG復号装置のMPEG復号方法」が記載されている。
イ 上記(1)ウ及びエによれば、引用文献1に記載の「可変長復号回路201」は、「符号化ビットストリーム200a内のヘッダ」に基づいて、順次「可変長復号」を行い、かつ、復号するストリームの構成異常を検出すると、「検出したエラーMB番号201d」をエラー補正回路211に通知する回路であることが記載されている。
ここで、上記(1)オに記載される「MPEG-2」、「MPEG-4」のようなMPEG方式において、上記「符号化ビットストリーム200a(112a)」は、1又は複数のマクロブロックで構成されるスライスを有し、復号化は、スライスを単位として行われるものであることは技術常識であるから、順次行われる上記「可変長復号」は、復号の対象とするカレントスライスに対して行われるものであること、また、上記「検出したエラーMB番号201d」は、カレントスライスにおけるものであることは自明である。
よって、これらを統合すると、引用文献1には、「可変長復号回路201は、入力された符号化ビットストリーム200a(112a)のヘッダに基づいて、カレントスライスに対して順次可変長復号を行い、復号するストリームの構成異常を検出すると、検出したカレントスライスのエラーMB番号201dをエラー補正回路211に通知すること」が記載されている。
ウ 上記(1)オによれば、引用文献1に記載の「エラー補正回路211」は、「エラーMB番号」が通知されると、「符号化ストリームの次のリカバリーポイントまでストリームを読み飛ばす処理」を行い、これによって、「エラーMB番号とリカバリー可能なMB番号を検出する」ことで、「エラー領域」を特定すること、また、当該リカバリーポイントは、「次にアラインが取れる箇所」であって、「MPEG-2ではスライスヘッダ、MPEG-4ではビデオパケットヘッダなど」であることが記載されている。
エ 上記(1)オ、カによれば、引用文献1に記載の「エラー補正回路211」が特定する「エラー領域」は、「エラーMB番号のMBからリカバリー可能MB番号の一つ前のMBまで」とすること、そして、「エラー領域がフレームをまたぐ場合」には、「いくつのフレームをまたいでいるか」を特定することが記載されている。
オ 上記(1)キによれば、引用文献1に記載の「エラー補正回路211」は、「特定したエラー領域に属する各マクロブロック」である各「エラーMB」に対して、「隣接MBを用いてSkipMB判定」を行うことが記載されている。
また、上記(1)キによれば、引用文献1に記載の「エラー補正回路211」は、「エラーMBがSkipMBであると判定した場合には、参照フレームにおけるエラーMBと同位置MBの画像を現フレームの画像として処理」することが記載されている。
さらに、上記(1)クによれば、引用文献1に記載の「エラー補正回路211」は、「エラーMBがSkipMB無効と判定した場合に、「エラーMBにおける参照ベクトルを算出し」、「算出した参照ベクトルを元に補正画像になり得る画像」をフレームメモリ208から読み出し」、「隣接MBのDC成分差分値を平均化して求めたものを加算することで、エラーMBの補正画像を生成し、生成したエラーMBの補正画像をフレームメモリ208にエラーMBの画像として書き込む」ことが記載されている。
カ まとめ
以上によれば、引用文献1には、以下のとおりの発明(以下、「引用発明」という。)が記載されている。
なお、引用発明の各構成の符号(a)~(e3)は、説明のために付与したものであり、以下、構成a~構成e3と称する。
(引用発明)
(a)符号化ビットストリームを入力して動画像を復号するMPEG復号装置のMPEG復号方法であって、
(b)可変長復号回路201は、入力された符号化ビットストリーム200a(112a)のヘッダに基づいて、カレントスライスに対して順次可変長復号を行い、復号するストリームの構成異常を検出すると、検出したカレントスライスのエラーMB番号201dをエラー補正回路211に通知し、
(c)エラー補正回路211は、エラーMB番号が通知されると、符号化ストリームの次のリカバリーポイントまでストリームを読み飛ばす処理を行い、エラーMB番号とリカバリー可能なMB番号を検出することでエラー領域を特定し、ここで、リカバリーポイントとは、次にアラインが取れる箇所であって、MPEG-2ではスライスヘッダ、MPEG-4ではビデオパケットヘッダなどであり、
(d)エラー補正回路211は、エラーMB番号のMBからリカバリー可能MB番号の一つ前のMBまでをエラー領域と特定し、エラー領域がフレームをまたぐ場合には、いくつのフレームをまたいでいるかを特定し、
(e)エラー補正回路211は、(e1)特定したエラー領域に属する各マクロブロック(エラーMB)に対して、隣接MBを用いてSkipMB判定を行い、
(e2)エラーMBがSkipMBであると判定した場合には、参照フレームにおけるエラーMBと同位置MBの画像を現フレームの画像として処理し、
(e3)エラーMBがSkipMB無効と判定した場合に、エラーMBにおける参照ベクトルを算出し、その参照ベクトルを元に補正画像になり得る画像をフレームメモリ208から読み出し、隣接MBのDC成分差分値を平均化して求めたものを加算することで、エラーMBの補正画像を生成し、生成したエラーMBの補正画像をフレームメモリ208にエラーMBの画像として書き込む、
(a)MPEG復号方法。
2 引用文献2
(1)引用文献2の記載事項
当審の拒絶の理由に引用された引用文献2である特開平9-200743号公報には、ビデオデコーダに関して、図面とともに以下の事項が記載されている。なお、下線は強調のために当審で付したものである。
ア「【0001】
【発明の属する技術分野】本発明はデコーダおよびMPEG(Moving Picture Expert Group )ビデオデコーダに関するものである。」
イ「【0034】ハフマンエラー検出回路113は、可変長デコーダ106におけるデコード処理を監視することで、スライス毎にエラー検出を行う。すなわち、ハフマンエラー検出回路113は、スライスに対応するデータがハフマンテーブルに格納されていない場合や、スライスに対応するデータが過去のデコード結果と矛盾する場合、そのスライス内にエラーが含まれていると判定する。
【0035】制御コア回路112は、ハフマンエラー検出回路16によってスライス内にエラーが含まれていると判定された場合、以下のエラー処理を行う。ここでは、図8に示すスライスS1内にエラーが含まれている場合を例にとって説明する。尚、スライスS1はn個のマクロブロックMB1~MBnによって構成されているものとする。
【0036】(1) エラーが含まれていると判定されたスライスS1に対する可変長デコーダ106のデコード処理を停止させ、そのスライスS1のデコード処理結果を無効にさせる。
【0037】(2) スライスヘッダ検出回路105の検出結果に基づいて、ビットバッファ102からスライスS1の次のスライスS2を読み出す。そして、可変長デコーダ106にスライスS2の可変長デコードを行わせる。
【0038】(3) MC回路107およびフレームバッファ103を制御して、フレームバッファ103に格納されるスライスS1を、そのスライスS1が含まれているピクチャの1つ前にディスプレイ121へ出力されるピクチャの対応するマクロブロックMB1′~MBn′によって置き代える。この動作を、図10(d)(e)に示すように各ピクチャの順番が構成されている場合を例にとって説明する。」
ウ「【0139】このように、本実施形態によれば、以下の作用および効果を得ることができる。
(1)ハフマンエラー検出回路13によってスライス毎にエラー検出を行う。そして、あるスライスS1内にエラーが含まれている場合には、前記エラー処理Aを行う。
【0140】(2)上記(1)により、フレームバッファ3に格納されるエラーを含むスライスS1を、そのスライスS1を含むピクチャの1つ前にディスプレイ21へ出力されるピクチャの対応するマクロブロックMB1′~MBn′によって置き代えることができる。ディスプレイ21へ連続して出力される各ピクチャにおいて、あるピクチャと、その前後のピクチャとは良く似ており、異なっているのは、そのごく一部分に過ぎない。つまり、スライスS1とマクロブロックMB1′~MBn′とは同じデータ内容である可能性が高い。従って、エラーを含むスライスS1をマクロブロックMB1′~MBn′によって置き代えれば、ほとんどの場合にエラーを隠すことができる。」
(2)引用文献2に記載された技術
上記(1)によれば、引用文献2には、以下の技術(以下、「文献2技術」という。)が記載されていると認められる。
(文献2技術)
MPEGビデオデコーダにおいて、
可変長デコーダ106におけるデコード処理を監視することで、スライス毎にエラー検出を行い、
スライスS1内にエラーが含まれている場合、
エラーが含まれていると判定されたスライスS1に対する可変長デコーダ106のデコード処理を停止させ、そのスライスS1のデコード処理結果を無効にさせ、
スライスヘッダ検出回路105の検出結果に基づいて、次のスライスS2を読み出し、スライスS2の可変長デコードを行わせ、
フレームバッファ103に格納されるスライスS1を、そのスライスS1が含まれているピクチャの1つ前にディスプレイ121へ出力されるピクチャの対応するマクロブロックによって置き代えることで、エラーを隠す技術。
3 引用文献4
(1)引用文献4の記載事項
当審の拒絶の理由に引用された引用文献4である特開2005-295054号公報には、デジタル画像情報の復元処理に関して、図面とともに以下の事項が記載されている。なお、下線は、「(1)可変長復号処理」、「(2)復号破綻を検出しない場合のマクロブロック復号処理」及び「(3)復号破綻を検出した場合のマクロブロック復号処理」の部分を除き、強調のために当審で付したものである。
ア「【0001】
本発明は、圧縮動画データ伝送および蓄積、再生技術等に用いられるデジタル画像情報の復元処理に関するものである。」
イ「【0012】
この問題への対処方法として、従来、MPEGやITU-T H.26xなどの国際標準映像符号化方式では、上記のようなビット誤りによる品質劣化を抑制するため、1個ないし複数個のマクロブロックの連なりをスライス、ビデオパケット、GOB (Group of Blocks)などと定義し、これらの単位で正常復号同期が確保されるようにビットストリームシンタックスが定義されている。以下、本文中ではMPEG-4ビジュアル規格(ISO/IEC 14496-2)で用いられている「ビデオパケット」という用語を用いてこれらの単位を総称する。つまり、1フレームのビットストリームデータは一般に1つないしは複数のビデオパケットの集合となる。
図1に、ビデオパケットの典型的なビットストリームシンタックス例を示す。その先頭には再同期マーカとよばれる、ビットストリーム中でユニークな同期コードが付与される。あるポイントでビットストリームにビット誤りが含まれていたとしても、次の再同期マーカを検出することでそれ以降の復号同期を回復することができる。それに続いて、ビデオパケット内のマクロブロックを、それ以前のビデオパケットとはまったく独立に復号するために必要な各種情報を多重化したビデオパケットヘッダ情報が挿入され、さらに続いて個々のマクロブロックデータが多重化される。このような構成のシンタックスをとることによって、再同期マーカから先は他のいかなるビデオパケットの情報も必要とせず、独立にマクロブロックの復号を行うことができる。」
ウ「【0016】
(1)可変長復号処理
図3に示した復号装置は、図1で示したビデオパケット単位の動画像圧縮データ1を受け取り、ビデオパケット中の個々のマクロブロックデータについて、マクロブロック復号処理部2にて復号処理を行う。
マクロブロック復号処理部2は、ビデオパケット単位の動画像圧縮データ1を受け取ると、まず可変長復号部16において、ビデオパケットヘッダ情報の復号を行う(ステップS1)。ビデオパケットヘッダ情報には、図示はしていないが、当該ビデオパケットの先頭マクロブロックの画面内位置情報や、当該ビデオパケットに含まれるマクロブロックの量子化パラメータ基準値などが含まれる。このとき、復号破綻検出フラグ12aはゼロリセットし、さらに、後述する画像劣化検出位置情報をいかなる画面内位置にも該当しない初期値にセットする。
次いで、個々のマクロブロックの復号プロセスに移る。個々のマクロブロック復号プロセスでは、まず、可変長復号部16にてマクロブロック符号化データを動画像圧縮データ1から抽出する(ステップS2)。可変長復号部16では、入力動画像圧縮データ1の符号化規格に従ってシンタックス解析を行い、可変長符号化された各マクロブロックの符号化データを抽出・復元する。マクロブロック符号化データには、動きベクトル17、符号化モード情報18、直交変換係数データ6、各マクロブロックに対する量子化ステップパラメータ19などがある。
【0017】
また、可変長復号部16は、これらシンタックス解析処理過程で発生する復号破綻を検出する。復号破綻とは、再び復号同期が回復するまで、それ以上正常なビットストリーム解析を継続することが不可能な状態のことを指す。検出する復号破綻の例としては、たとえば以下のようなものがある。」
エ「【0019】
可変長復号部16は、シンタックス解析処理過程で上記のような復号破綻を検出したか否かによって、処理フローを切り替える(ステップS3)。当該ビデオパケットの復号処理中、復号破綻を検出しない限りは下記(2)で説明する処理(ステップS4~S8)を個々のマクロブロックごとに実行し続け、いずれかのマクロブロックで復号破綻を検出した場合には、それ以降下記(3)で説明する処理(ステップS9~S12)を実行する。
なお、図3の復号装置の構成では、復号破綻検出フラグ12aに基づき、復号破綻を検出したか否かで下記(2)の処理で生成される復号画像3と下記(3)の処理で生成される修復画像13とを切り替えて最終的な復号画像5を決定するように図示しているが、これは、復号破綻検出の有無に関わらず復号画像3、修復画像13の双方を生成することを意味するものではなく、本発明の骨子を明瞭に記載するための便宜上、このように図示したものである。下記(2)の処理を実行する場合は、図3の構成要素のうち、画像修復開始位置決定部9、画像修復処理部11における処理は実行されず、修復画像13は生成されない。また、下記(3)の処理に遷移する場合は、それ以降のマクロブロックに対して、図4におけるマクロブロック復号処理部2の内部構成における逆量子化部20、逆直交変換部21、動き補償部23での処理は一切実行されず、復号画像3は生成されない。
【0020】
(2)復号破綻を検出しない場合のマクロブロック復号処理
まず、復号破綻を検出しないマクロブロックの場合の処理(ステップS4~S8)について説明する。可変長復号部16にて、上記のような復号破綻が検出されない場合は、復号破綻検出フラグ12aはゼロを示したままとする。復号破綻検出フラグ12aの具体的な値は、復号破綻の有無を識別できるならばどのように定めてもよい。
この場合、図5の処理フローに従い、画像劣化検出部7において当該マクロブロックに画像劣化が認められるか否かを判定する(ステップS4)。いかなる状態を画像劣化と判定するかについては、下記(4)で詳しく説明する。」
オ「【0022】
画像劣化がないと判定された場合は(ステップS5)、マクロブロック符号化データを用いて、当該マクロブロックの復号画像を生成する(ステップS7)。ステップS6の処理には、図4の構成における逆量子化部20、逆直交変換部21、動き補償部23といった機能ブロックが使用される。まず、直交変換係数データ6、量子化ステップパラメータ19が、逆量子化部20と逆直交変換部21に送られ、画像信号に復号される。直交変換係数データ6は、後述する画像劣化検出処理に使用するため、マクロブロック復号処理部2より外部へ出力される。
切替器22は、符号化モード情報18がフレーム間動き予測モード(インターモード)を示している場合は、動き補償部23において、動きベクトル17と符号化モード情報18とに基づいてフレームメモリ14中の参照画像15から予測画像24を生成して出力する一方、フレーム内符号化モード(イントラモード)を示している場合は、0を出力する。」
カ「【0025】
(3)復号破綻を検出した場合のマクロブロック復号処理
可変長復号部16にて復号破綻が検出された場合は、可変長復号部16は、復号号破綻検出フラグ12aを1として復号破綻が発生したことを外部通知する。次いで、復号同期を回復して正常な復号を再開するために再同期マーカをサーチする(ステップS9)。上述したように、復号破綻検出後、上記再同期マーカが見つかるまでの間のマクロブロック符号化データは失われるので、所定の範囲の画像データを修復によって補う必要がある。
本発明のポイントのひとつは、当該ビデオパケット中のビット誤りに起因する画像劣化をできる限り抑制するように、上記(2)で説明した画像劣化検出の結果に基づいて画像修復範囲を適応的に定める点にある。
【0026】
再同期マーカ検出後、次のビデオパケットの先頭マクロブロックの画面内位置を確認することにより、当該ビデオパケットが画面内のどの位置のマクロブロックで終了するかを識別する。これによって、可変長復号部16は、当該ビデオパケット中で画像修復の必要がある画像領域(画像修復領域)の終端を認識し、この終端位置を画像修復終了位置情報12bによって外部通知する。この画像修復終了位置情報12bと、画像修復開始位置決定部9で定められる画像修復開始位置情報10とに基づいて、画像修復範囲が決定される(ステップS10)。本実施の形態では、画像修復開始位置決定部9は、画像劣化検出部7の出力である画像劣化検出位置情報8に基づいて、以下のように画像修復開始位置情報10を定める。
MBPOS_B = (MBPOS_A MBPOS_C < THR) ? MBPOS_C : THR
上式で、MBPOS_Aは復号破綻を検出したマクロブロックの画面内位置、MBPOS_Bは画像修復開始位置情報10の値、MBPOS_Cは画像劣化検出位置情報8の値、THRは所定の閾値である。Z = (X < Y) ? A : Bなる演算はC言語記述で定められる3項演算子であり、XがYより小の場合にZはAとなり、さもなくばZはBとなるという意味である。また、一般に、復号破綻を検出するマクロブロックないしはそれ以前にビット誤りにより復号同期が失われるため、MBPOS_A >= MBPOS_Cとなる。ただし、当該ビデオパケット内でMBPOS_Aに至るまでの間一切画像劣化が検出されなかった場合は、MBPOS_Cはいかなる画面内位置をも示しえない初期値のままであるので、その場合にはMBPOS_C==MBPOS_Aとみなす。また、MBPOS_Cは当該ビデオパケットの先頭マクロブロックの位置よりも前になることは原理上ありえない。」
キ「【0029】
次いで、画像修復終了位置情報12bと、後述する画像修復開始位置決定部9において決定される画像修復開始位置情報10とが画像修復処理部11に入力され、これらの開始・終了位置情報に基づいて定まる画像修復範囲内のすべてのマクロブロックに対し画像修復を行う処理(修復画像生成)が実行される(ステップS11)。画像修復処理は、修復対象のマクロブロックに対し、その時間的あるいは空間的な近傍にある画像情報ないしは符号化データから、類似な画像を修復画像として生成する処理である。例えば以下のようなさまざまな処理方法が考えられる。」
ク「【図5】
」
(2)引用文献4に記載された技術
上記(1)によれば、引用文献4には、以下の技術(以下、「文献4技術」という。)が記載されていると認められる。
(文献4技術)
可変長復号部16で、可変長符号化された各マクロブロックの符号化データを抽出・復元し、また、復号破綻を検出し、復号破綻を検出したか否かによって、処理フローを切り替えるものであって、
復号破綻が検出されない場合、マクロブロック符号化データを用いて、当該マクロブロックの復号画像を生成し、
復号破綻が検出された場合、可変長復号部16は、復号同期を回復して正常な復号を再開するために再同期マーカをサーチし、復号破綻検出後、上記再同期マーカが見つかるまでの間のマクロブロック符号化データは失われるので、所定の範囲の画像データを修復によって補うものであり、ここで、1個ないし複数個のマクロブロックの連なりをスライスとし、その単位で正常復号同期が確保されるように、その先頭に当該再同期マーカが付与され、
再同期マーカ検出後、次のスライスの先頭マクロブロックの画面内位置を確認することにより、当該スライスが画面内のどの位置のマクロブロックで終了するかを識別して、当該ビデオパケット中で画像修復の必要がある画像領域(画像修復領域)の終端を認識し、
この画像修復終了位置情報12bと、画像修復開始位置情報10とに基づいて、画像修復範囲が決定され、
これらの開始・終了位置情報に基づいて定まる画像修復範囲内のすべてのマクロブロックに対し画像修復を行う処理(修復画像生成)を実行する、
MPEGやITU-T H.26x方式におけるデジタル画像情報の復元処理技術。
第5 対比
本願発明と、引用発明を対比する。
1 構成A
構成aは、動画像を復号するMPEG復号装置のMPEG復号方法であるから、「ビデオデコーダが実行するビデオ復号方法」である点で、構成Aと一致する。
2 構成B
引用発明は、構成aのとおり、符号化ビットストリームを入力して動画像を復号するMPEG復号装置のMPEG復号方法であるから、構成a及び構成bの「符号化ビットストリーム」は、構成Bの「符号化ビデオデータ」であるといえる。
また、構成bの「カレントスライスに対して順次可変長復号」を行う際に、カレントスライスの先頭のマクロブロックの判定が行われていることは自明であり、さらに、スライスが、ユニットの1つであることは自明である。
以上のことから、構成bは、符号化ビデオデータのカレントユニットの先頭のマクロブロックの判定を行っているといえる。
したがって、構成bは、「符号化ビデオデータのカレントユニットの開始を決定することと、ここにおいて前記カレントユニットの前記開始は1つのマクロブロックを含む」点で、構成Bと一致する。
3 構成C
(1)本願発明の「次の利用可能なユニット」という発明特定事項について検討する。本願明細書には、次のとおりに記載されている。
「【0071】
(中略)
次のスライスは、ビットストリームを解析することによって復号エンジン32が見分けることができる次のスライスであるという点で、次の「利用可能な」スライスと呼ばれる。復号エラーは、NALヘッダ及び/又はフレームヘッダにわたって伝搬していることがあり、それによって、スライス間の区別、更にはフレーム間の区別を、不可能でないとしても困難にする。言い換えれば、復号エラーにより、単一のスライス中にMBの損失又は破損を生じることがあり、その場合、次の再同期ポイントは、受信したビットストリーム又は複数のスライス中のまさにその次のスライスに関連することがあり、ビットストリーム中の後のスライスに関連することがある。従って、次の利用可能なスライスは、例えば、識別可能なNALユニットヘッダによって容易に見分けることができる、ビットストリーム中の次のスライスを指すことがある。」
本願明細書の当該記載によれば、本願の発明の詳細な説明に記載の「ビットストリーム中の次のスライス」が、本願発明の「次の利用可能なユニット」の具体例の1つである。
(2)構成cの「リカバリー可能なMB番号」における「リカバリー可能なMB」は、「符号化ストリームの次のリカバリーポイントまでストリームを読み飛ばす処理」を行って検出されるMBであるから、「次の利用可能な」MBといえる。加えて、「リカバリーポイントとは、次にアラインが取れる箇所であって、MPEG-2ではスライスヘッダ、MPEG-4ではビデオパケットヘッダなど」であるから、構成cの「リカバリー可能なMB」は、次のスライスの先頭のMBであるといえる。
してみると、構成cの「リカバリー可能なMB」は「次の利用可能なスライスの先頭のMB」といえるから、上記(1)より、構成Cの「前記次の利用可能なユニットの前記開始」に相当する。
(3)構成bは、「カレントスライスに対して順次可変長復号」を行うものであるから、カレントユニットの少なくとも一部分を復号することを含むものである。
(4)したがって、上記(2)及び(3)より、構成b及び構成cは、「カレントユニットの少なくとも一部分を復号する」点、及び、「前記次の利用可能なユニットの前記開始は1つのマクロブロックを含む」点で、構成Cと共通する。
(5)しかしながら、「カレントユニットの少なくとも一部分」の復号を、本願発明は、「符号化ビデオデータの次の利用可能なユニットの開始を決定しないで」行うのに対し、引用発明は、「符号化ビデオデータの次の利用可能なユニットの開始を決定しないで」行うのか否かについて、明示的に特定していない点で相違する。
4 構成D
構成bは、「カレントスライスに対して順次可変長復号を行い、復号するストリームの構成異常を検出する」ものであるから、カレントユニット中の復号エラーを検出しているといえる。
したがって、構成bは、「前記カレントユニット中の復号エラーを検出する」ものであるという点で、構成Dと一致する。
5 構成E
構成cの「エラーMB番号が通知される」のは、構成bの「復号するストリームの構成異常を検出すると」通知されるから、構成Eの「復号エラーが検出されたとき」に相当する。
そして、上記3(2)より、構成cの「リカバリー可能なMB番号」は、構成C及び構成Eの「次の利用可能なユニットの前記開始」に相当するから、構成cは、復号エラーが検出されたとき、次の利用可能なユニットの開始を検出するものといえる。
したがって、構成cは、「前記復号エラーが検出されたとき、前記符号化ビデオデータの前記次の利用可能なユニットの前記開始を決定する」という点で、構成Eと一致する。
6 構成F
(1)構成c~構成eの「エラー領域」は、エラー補正の対象となる領域という点において、構成Fの「破損データセグメント」に相当する。
(2)構成c及び構成dは、当該エラー領域を「リカバリー可能MB番号の一つ前のMBまで」としているから、「リカバリー可能MB番号に基づいてエラー領域の終了を決定する」といえる。
ここで、上記3(2)より、当該「リカバリー可能MB番号」のMBは、「前記次の利用可能なユニットの前記開始」に相当するから、構成c及び構成dは、「次の利用可能なユニットの前記開始に基づいてエラー領域の終了を決定する」といえる。
したがって、構成c及び構成dは、「前記次の利用可能なユニットの前記開始に基づいて破損データセグメントの終了を決定する」という点で、構成F1と一致する。
(3)構成c及び構成dの当該エラー領域が「フレームをまたぐ場合」には、当該エラー領域に複数のフレームが含まれることは明らかであるから、当該エラー領域は、第1のフレームの「エラーMB番号のMB」から、当該第1のフレームと異なる「第2のフレームのリカバリー可能MB番号の一つ前のMBまで」を含むといえる。
そして、当該「第2のフレームのリカバリー可能MB番号の一つ前のMBまで」は、「第2のフレームからの符号化ビデオデータの少なくとも1つの追加のスライス」といえるから、構成c及び構成dの「エラー領域」と構成Fの「破損データセグメント」は、「第1のフレームのカレントスライスの所定の位置以降の部分と、第2のフレームからの符号化ビデオデータの少なくとも1つの追加のスライス」を含むという点で、共通する。
しかしながら、「破損データセグメント」の「第1フレーム」の部分について、本願発明は、「前記カレントユニットが第1のフレームのカレントスライスであり、前記破損データセグメントが、前記カレントスライス」であるのに対し、引用発明は、「カレントスライスのエラーMB番号のMBから」である点で相違する。
(4)以上のことから、構成c及び構成dは、構成Fと、「前記次の利用可能なユニットの前記開始に基づいて破損データセグメントの終了を決定すること」及び「前記破損データセグメントが、第1のフレームのカレントスライスの所定の位置以降の部分と、第2のフレームからの符号化ビデオデータの少なくとも1つの追加のスライスを含む」という点で共通する。
しかしながら、「破損データセグメント」について、本願発明は、「前記カレントユニットが第1のフレームのカレントスライスであり、前記破損データセグメントが、前記カレントスライスと第2のフレームからの符号化ビデオデータの少なくとも1つの追加のスライスとを含む」であるのに対し、引用発明は、「カレントスライスのエラーMB番号のMBから、第2のフレームからの符号化ビデオデータの少なくとも1つの追加のスライスを含む」である点で相違する。
7 構成G
(1)構成eの「特定したエラー領域に属する各マクロブロック(エラーMB)」に対して行う処理は、エラーMBを修正する処理であるから、構成Gの「破損データセグメントを隠蔽する」ことに相当する。
ここで、構成c及び構成dの「エラー領域」の「第2のフレームのリカバリー可能MB番号の一つ前のMBまで」は、上記6(2)のとおり、「破損データセグメントの終了」といえる。
よって、構成eは、「前記破損データセグメントを隠蔽する」という点で、構成Gと共通する。
しかしながら、上記6(3)と同様に、「破損データセグメント」について、本願発明は、「前記カレントユニットの前記開始と前記破損データセグメントの前記終了に基づいて」であるのに対し、引用発明は、「カレントスライスのエラーMB番号のMBからと前記破損データセグメントの終了とに基づいて」である点で相違する。
これは、上記6(4)と同様の点で相違するといえる。
8 構成H
構成bにおいて、「復号するストリームの構成異常」を検出しなかった場合、「カレントスライスに対して順次可変長復号」を行うことにより、カレントスライス全体が復号されることは当然である。
したがって、構成bは、「前記カレントユニット中に前記復号エラーが検出されなかった場合、前記カレントユニット全体が復号される」点で、構成Hと共通する。
しかしながら、「カレントユニット中に前記復号エラーが検出されなかった場合のカレントユニット全体の復号」について、本願発明は、「前記次の利用可能なユニットの開始を決定することなく」行うのに対し、引用発明は、「前記次の利用可能なユニットの開始を決定することなく」行うのか否かについて、明示的に特定していない点で相違する。
9 したがって、本願発明と引用発明とは、次の点で一致及び相違する。
[一致点]
(A)ビデオデコーダが実行するビデオ復号方法であって、
(B)符号化ビデオデータのカレントユニットの開始を決定することと、ここにおいて前記カレントユニットの前記開始は1つのマクロブロックを含む、
(C’)前記カレントユニットの少なくとも一部分を復号することと、ここにおいて次の利用可能なユニットの開始は1つのマクロブロックを含む、
(D)前記カレントユニット中の復号エラーを検出することと、
(E)前記復号エラーが検出されたとき、前記符号化ビデオデータの前記次の利用可能なユニットの前記開始を決定することと、
(F)(F1)前記次の利用可能なユニットの前記開始に基づいて破損データセグメントの終了を決定することと、
(F3’)前記破損データセグメントが、第1のフレームの所定の位置以降の部分と第2のフレームからの符号化ビデオデータの少なくとも1つの追加のスライスを含む、
(G’)前記破損データセグメントを隠蔽することと、
を備え、
(H’)前記カレントユニット中に前記復号エラーが検出されなかった場合、前記カレントユニット全体が復号される、
(A)ビデオ復号方法。
[相違点]
(相違点1)
「カレントユニットの少なくとも一部分」の復号を、本願発明は、「符号化ビデオデータの次の利用可能なユニットの開始を決定しないで」行うのに対して、引用発明は、「符号化ビデオデータの次の利用可能なユニットの開始を決定しないで」行うのか否かについて、明示的に特定していない点。
(相違点2)
「破損データセグメント」について、本願発明は、「前記カレントユニットが第1のフレームのカレントスライスであり、前記破損データセグメントが、前記カレントスライスと第2のフレームからの符号化ビデオデータの少なくとも1つの追加のスライスとを含む」であるのに対し、引用発明は、「カレントスライスのエラーMB番号のMBから、第2のフレームからの符号化ビデオデータの少なくとも1つの追加のスライスを含む」である点。
(相違点3)
「カレントユニット中に前記復号エラーが検出されなかった場合のカレントユニット全体の復号」について、本願発明は、「前記次の利用可能なユニットの前記開始を決定することなく」行うのに対し、引用発明は、「前記次の利用可能なユニットの前記開始を決定することなく」行うのか否かについて、明示的に特定していない点。
第6 判断
以下、相違点について検討する。
1 相違点について
(1)相違点2
文献2技術によれば、「MPEGビデオデコーダにおいて、スライスS1内にエラーが含まれている場合、スライスS1を、そのスライスS1が含まれているピクチャの1つ前のピクチャの対応するマクロブロックによって置き代えることで、エラーを隠す技術」、すなわち、MPEGビデオデコーダにおいて、スライス単位でエラーを隠す技術が公知のものである。
引用発明と、文献2技術とは、いずれも、MPEG復号化におけるエラー隠蔽に関するものという点で共通するから、引用発明において文献2技術を適用して、スライス単位でエラーを隠蔽するようにし、すなわち、「破損データセグメント」に対応する「エラー領域」の開始位置を、カレントスライスのエラーMB番号のMBとすることに替えて、カレントスライスの最初のMBとし、相違点2に係る構成とすることは、当業者が容易になし得たことである。
(2)相違点1
ア 上記第4の3(2)のとおり、文献4技術は、復号破綻を検出したか否かによって、処理フローを切り替えるものであり、復号破綻が検出された場合に、「再同期マーカをサーチ」し、そして、「画像修復の必要がある画像領域(画像修復領域)の終端を認識」するものである。
これを踏まえると、文献4技術によれば、「デジタル画像情報の復元処理技術において、符号化データの復号破綻が検出された場合、再同期マーカをサーチし、画像修復の必要がある画像領域の終端を特定し、他方、復号破綻が検出されない場合、当該再同期マーカのサーチを行わない技術」が、引用発明と同じ、MPEG、ITU-T H.26xの分野において公知であるといえる。
イ ここで、引用発明の構成bにおいて、復号するストリームの構成異常を検出すると、構成cの「符号化ストリームの次のリカバリーポイントまでストリームを読み飛ばす処理を行い、エラーMB番号とリカバリー可能なMB番号を検出することで、エラー領域を特定」するのは、特定した当該「エラー領域」に対して構成eの処理、すなわち、特定した当該「エラー領域」を隠蔽する処理を行うためである。
そうすると、引用発明が、当該「エラー領域」を隠蔽する処理を行うとする判断が生じる前に、「エラー領域を特定」することは不要であるから、構成bにおいて、「復号するストリームの構成異常を検出する」前に、構成cの「リカバリー可能なMB番号を検出する」処理を行うことは不要であるといえる。
ウ 上記イを踏まえた上で、上記アの文献4技術も考慮すると、引用発明では明示的に特定されていないものの、引用発明が、構成bにおいて、「カレントスライスに対して順次可変長復号を行い、復号するストリームの構成異常を検出する」ことがないのであれば、構成cの「リカバリー可能なMB番号を検出する」処理を行わないものであること、換言すると、構成cの上記「リカバリー可能なMB番号を検出する」処理を行わないで、カレントスライスに対して順次可変長復号を行うことは、当業者には明らかである。
してみると、上記第5の3(2)及び(3)より、引用発明が、符号化ビデオデータの次の利用可能なユニットの開始を決定しないで、「カレントユニットの少なくとも一部分」の復号を行うものであることは、当業者には明らかであるといえる。
エ したがって、引用発明では明示的に特定されていないものの、引用発明が、相違点1に係る構成を備えるものであることは、当業者には明らかである。
よって、相違点1に記載の事項は、本願発明と、引用発明との実質的な相違点ではない。
(3)相違点3
ア 上記(2)ウのとおり、引用発明では明示的に特定されていないものの、引用発明が、構成bにおいて、「カレントスライスに対して順次可変長復号を行い、復号するストリームの構成異常を検出する」ことがないのであれば、構成cの「リカバリー可能なMB番号を検出する」処理を行わないものであること、換言すると、構成cの上記「リカバリー可能なMB番号を検出する」処理を行わないで、カレントスライスに対して順次可変長復号を行うことは、当業者には明らかである。
してみると、上記第5の3(2)、(3)及び上記第5の4より、引用発明が、カレントユニット中に復号エラーが検出されない場合、次の利用可能なユニットの開始を決定することなく、カレントユニット全体の復号を行うものであることは、当業者には明らかであるといえる。
イ したがって、引用発明では明示的に特定されていないものの、引用発明が、相違点3に係る構成を備えるものであることは、当業者には明らかである。
よって、相違点3に記載の事項は、本願発明と、引用発明との実質的な相違点ではない。
2 効果等について
本願発明の構成は、上記のように当業者が容易に想到できたものであるところ、本願発明が奏する効果は、その容易想到である構成から当業者が容易に予測し得る範囲内のものであり、同範囲を超える顕著なものではない。
3 まとめ
以上のように、本願発明は、引用文献1に記載された発明、及び、引用文献2及び4に記載された技術に基いて、当業者が容易に発明をすることができたものである。
第7 むすび
以上のとおり、引用文献1に記載された発明、及び、引用文献2及び4に記載された技術に基いて、当業者が容易に発明をすることができたものであるから、特許法29条第2項の規定により特許を受けることができない。
したがって、本願は、その余の請求項について検討するまでもなく、拒絶をすべきものである。
よって、結論のとおり審決する。
審決本文(J-PlatPat)
J-PlatPatの審決検索トップを開きます。番号入力で「審判番号」を選び、下の番号を貼り付けて検索してください。
J-PlatPat 審決検索を開く
2018-000425