2020-015398
画像認識モデルを用いた識別子情報推論のための電子装置、方法、プログラム及びシステム
- 審判番号
- 2020-015398
- 法域
- 特許
- 審判種別
- 拒絶査定不服審判(拒絶査定不服の審決)
- 出願番号
- 特願2019-150334外部サイト(J-PlatPat)へ移動します
- 請求日
- 2020年11月06日
- 審決日
- 2021年09月28日
- 公報発行日
- 2021年11月26日
- 結論
- 原査定取消(特許/登録すべき)
- 分類
- P18 .121-WY (G06T)
- 条文(本文から自動抽出・参考)
- 特許法第29条第2項
- データ出所
- 審決公報(SGML)
事件の表示
結論
理由
目次 ▾ 19項目
第1 手続きの経緯
本願は,令和元年8月20日を出願日とする出願であって,その手続の経緯は以下のとおりである。
令和2年 2月13日付け 拒絶理由通知
令和2年 5月15日 意見書・手続補正書の提出
令和2年 8月18日付け 拒絶査定
令和2年11月 6日 審判請求書の提出
第2 原査定の概要
原査定(令和2年8月18日付け拒絶査定)の概要は次のとおりである。
本願請求項1-8に係る発明は,引用文献4に記載された発明および引用文献1ないし3および5ないし8に記載された周知技術に基づいて,その発明の属する技術の分野における通常の知識を有する者(以下,「当業者」という。)が容易に発明できたものであるから,特許法第29条第2項の規定により特許を受けることができない。
<引用文献等一覧>
1.特開2018-197948号公報
2.国際公開第2018/142765号
3.特開2018-163554号公報
4.特開2013-161267号公報
5.特開2019-97978号公報
6.超特集『ときメモ2』誕生から完成までメインスタッフが全てを
語り尽くす!!Making of 『ときメモ2』,
電撃Playstation D KONAMIFanBook,
日本,メディアワークス,2000年 1月 7日,
第5巻,第35号,通巻124号,第8-23頁
7.龍が如く2 完全攻略極ノ書,株式会社エンターブレイン,
2007年 2月 5日,初版,第286-327頁
8.ラブプラス LOVEPLUS,電撃ゲームス Vol.3,
株式会社アスキー・メディアワークス,
2010年 1月 1日,第10巻,第80-90頁
第3 本願発明
本願の請求項1ないし8に係る発明(以下,「本願発明1」ないし「本願発明8」という。)は,令和2年5月15日の手続補正書により補正された以下のとおりの特許請求の範囲の請求項1ないし請求項8に記載された事項により特定される発明である。
「【請求項1】ユーザからの操作を受け付け可能な操作受付部と,固有の学習内容によって定義され,当該学習内容を利用して少なくとも1つの識別子情報を推論可能な画像認識モデルであって,キャラクタのキャラクタ識別情報に紐づけられる画像認識モデルを複数記憶し,複数の識別子情報のそれぞれに対応する複数の応答内容を前記複数の画像認識モデルのそれぞれに紐づけて記憶する記憶部と,操作受付部の受け付けたキャラクタを選択するためのユーザによる操作に基づき,前記記憶部に記憶されたキャラクタ識別情報の中から前記選択されたキャラクタのキャラクタ識別情報を画像情報の送り先として特定する送り先属性情報特定部と,続きを表示(全41行)前記送り先属性情報特定部の特定したキャラクタ識別情報に紐づけられた画像認識モデルを,前記記憶部に記憶された複数の画像認識モデルの中から選択する画像認識モデル選択部と,前記画像認識モデル選択部の選択した画像認識モデルへ画像情報を入力し,前記学習内容に基づいて,当該画像情報から識別子情報を推論する識別子情報推論部と,前記識別子情報推論部の推論した識別子情報に基づき,当該識別子情報に対応した応答内容を前記記憶部に記憶された複数の応答内容の中から特定して実行する応答内容実行部と,を備えることを特徴とする電子装置。【請求項2】前記記憶部に記憶された複数の画像認識モデルは,その学習内容が各画像認識モデルに固有の教師データによって定義され,当該固有の教師データはそれぞれ画像情報および識別情報であるラベルの対の集合によって定義されることを特徴とする請求項1に記載の電子装置。【請求項3】ユーザに対して情報を表示する表示部を備え,前記記憶部は,前記キャラクタ識別情報に対応する文字情報及びアイコン画像情報の少なくとも1つを記憶し,前記送り先属性情報特定部は,前記記憶部に記憶された前記文字情報及び前記アイコン画像情報の少なくとも1つを前記表示部に表示するとともに,当該表示された文字情報及びアイコン画像情報の少なくとも1つを前記操作受付部によってユーザが指定することで前記記憶部に記憶されたキャラクタ識別情報の中からキャラクタ識別情報を画像情報の送り先として特定することを特徴とする請求項1ないし請求項2のいずれか1項に記載の電子装置。【請求項4】1つ以上のコンピュータによって実行される方法であって,固有の学習内容によって定義され,当該学習内容を利用して少なくとも1つの識別子情報を推論可能な画像認識モデルであって,キャラクタのキャラクタ識別情報に紐づけられる画像認識モデルを複数記憶し,複数の識別子情報のそれぞれに対応する複数の応答内容を前記複数の画像認識モデルのそれぞれに紐づけて記憶する記憶段階と,ユーザからの操作を受け付ける操作受付段階と,操作受付段階において受け付けたキャラクタを選択するためのユーザによる操作に基づき,前記記憶されたキャラクタ識別情報の中から前記選択されたキャラクタのキャラクタ識別情報を画像情報の送り先として特定する送り先属性情報特定段階と,前記送り先属性情報特定段階において特定したキャラクタ識別情報に紐づけられた画像認識モデルを,前記記憶された複数の画像認識モデルの中から選択する画像認識モデル選択段階と,前記画像認識モデル選択段階において選択した画像認識モデルへ画像情報を入力し,前記学習内容に基づいて,当該画像情報から識別子情報を推論する識別子情報推論段階と,前記識別子情報推論段階の推論した識別子情報に基づき,当該識別子情報に対応した応答内容を前記記憶段階において記憶された複数の応答内容の中から特定して実行する応答内容段階と,を実行させることを特徴とする方法。【請求項5】前記1つ以上のコンピュータは,ユーザ端末であることを特徴とする請求項4項に記載の方法。【請求項6】前記1つ以上のコンピュータは,ユーザ端末及びサーバを含むことを特徴とする請求項4に記載の方法。【請求項7】請求項4~6のいずれか1項に記載された方法を,1以上のコンピュータに実行させることを特徴とするプログラム。【請求項8】ユーザ端末及びサーバを含むシステムであって,前記ユーザ端末が,ユーザからの操作を受け付け可能な操作受付部と,操作受付部の受け付けたキャラクタを選択するためのユーザによる操作に基づき,前記選択されたキャラクタのキャラクタ識別情報を画像情報の送り先として特定する送り先属性情報特定部と,を備え,前記サーバが,固有の学習内容によって定義され,当該学習内容を利用して少なくとも1つの識別子情報を推論可能な画像認識モデルであって,キャラクタのキャラクタ識別情報に紐づけられる画像認識モデルを複数記憶し,複数の識別子情報のそれぞれに対応する複数の応答内容を前記複数の画像認識モデルのそれぞれに紐づけて記憶する記憶部と,前記送り先属性情報特定部の特定したキャラクタ識別情報に紐づけられた画像認識モデルを,前記記憶部に記憶された複数の画像認識モデルの中から選択する画像認識モデル選択部と,前記画像認識モデル選択部の選択した画像認識モデルへ画像情報を入力し,前記学習内容に基づいて,当該画像情報から識別子情報を推論する識別子情報推論部と,前記識別子情報推論部の推論した識別子情報に基づき,当該識別子情報に対応した応答内容を前記記憶部に記憶された複数の応答内容の中から特定して実行する応答内容実行部と,を備えることを特徴とするシステム。」
第4 引用文献
1 引用文献4の記載事項および引用発明
折りたたみ中(クリックで表示)
(1)引用文献4の記載事項
原査定の拒絶理由において,主たる引用例として引用された引用文献4には,図面とともに次の事項が記載されている(下線は,当審が付加した。以下同様。)。
ア 「【技術分野】【0001】本開示は,情報処理装置,情報処理方法及びプログラムに関する。【背景技術】続きを表示(全21行)【0002】撮像装置で撮像した画像に,その画像やその画像に含まれる被写体に関連した情報などを,重畳して表示することにより,実世界を拡張するAR(Augmented Reality;拡張現実)に関する技術が,近年多数開示されている。【0003】例えば,下記の特許文献1には,画像を撮像した位置及び方位に対応したタグを,画像に付与する技術が開示されている。また,下記の特許文献2には,複合現実感(MR:Mixed Reality)技術を利用して表示画面外の空間領域を有効活用することが可能なユーザインターフェースに関する技術が開示されている。【先行技術文献】【特許文献】【0004】【特許文献1】 特開2011-244058号公報【特許文献2】 特開2011-28309号公報【発明の概要】【発明が解決しようとする課題】【0005】しかし,上記の文献には,ユーザが,実世界に存在する実オブジェクトを利用して,仮想情報や仮想オブジェクトを直接操作する方法については開示されていない。そこで,本技術は,上記のような事情を受けて考案されたものであり,実世界に存在する実オブジェクトを利用して,仮想情報や仮想オブジェクトを直接操作することが可能な,新規かつ改良された情報処理装置,情報処理方法及びプログラムを提供することを意図している。(中略)【発明の効果】【0009】以上説明したように本開示によれば,実世界に存在する実オブジェクトを利用して,仮想情報や仮想オブジェクトを直接操作することが可能になる。」
イ 図6
ウ 「【0036】[2-2:情報処理装置100の構成(図6)]図6を参照しながら,第1実施例に係る情報処理装置100の構成について説明する。図6は,情報処理装置100の機能構成について説明するための説明図である。図6に示すように,情報処理装置100は,撮像部101と,三次元情報解析部102と,仮想オブジェクト管理部103と,表示部104と,位置関係解析部105と,コマンド発行部106と,通信部107とを主に備える。」
エ 図16
オ 「【0113】図16は,ユーザが仮想空間上のアバターの好物を接近させた場合の例について説明するための説明図である。図17は,ユーザが仮想空間上のアバターの好物以外を接近させた場合の例について説明するための説明図である。【0114】図16に示すように,例えば,ユーザが仮想空間上のアバターに実オブジェクトR_OBJとして好物のイチゴを接近させた場合,まず,撮像部101により撮像された実オブジェクトがイチゴであることが三次元情報解析部102により解析される。更に,仮想オブジェクト取得部131は,実オブジェクトであるイチゴに対応付けられた情報として,「イチゴがアバターの好物である」ことを取得する。【0115】表示部104は,予め記憶された仮想オブジェクトV_OBJとしてイチゴを表示し,さらに表示されたイチゴをアバターが食べる仕草をする表示をする。」
カ 図17
キ 「【0116】一方,図17に示すように,例えば,ユーザが仮想空間上のアバターに実オブジェクトR_OBJとして好物でないリンゴを接近させた場合,まず,撮像部101により撮像された実オブジェクトがリンゴであることが三次元情報解析部102により解析される。更に,仮想オブジェクト取得部131は,実オブジェクトであるリンゴに対応付けられた情報として,「リンゴがアバターの好物でない」ことを取得する。【0117】表示部104は,予め記憶された仮想オブジェクトV_OBJとしてリンゴを表示し,さらに表示されたリンゴをアバターが食べるのを嫌がる仕草をする表示をする。【0118】また,仮想オブジェクト取得部131は,予めアバターの好物のみの情報を記録したデータベースに取得した画像に含まれる実オブジェクトが含まれない場合(当該実オブジェクトがアバターの好物でない場合),仮想オブジェクトを取得しないようにしてもよい。この場合,実オブジェクトを接近させても表示部104の表示が変化せず,ユーザから見ると,アバターが反応しないように見える。【0119】上記のように,ユーザは実オブジェクトである食べ物を介して,仮想空間上のアバターに餌を与えるなどのコミュニケーションが可能であり,よりリアリティを追求したゲームの提供などへ応用することが可能である。」
(2)引用発明
上記(1)の引用文献4の,特に下線を付加した記載に着目すると,引用文献4には,以下の発明(以下,「引用発明」という。)が記載されていると認められる。
「実世界に存在する実オブジェクトを利用して,仮想情報や仮想オブジェクトを直接操作することが可能な情報処理装置であって,情報処理装置100は,撮像部101と,三次元情報解析部102と,仮想オブジェクト管理部103と,表示部104と,位置関係解析部105と,コマンド発行部106と,通信部107とを備えており,ユーザが仮想空間上のアバターに実オブジェクトR_OBJとして好物のイチゴを接近させた場合,まず,撮像部101により撮像された実オブジェクトがイチゴであることが三次元情報解析部102により解析され,仮想オブジェクト取得部131は,実オブジェクトであるイチゴに対応付けられた情報として,「イチゴがアバターの好物である」ことを取得し,表示部104は,予め記憶された仮想オブジェクトV_OBJとしてイチゴを表示し,さらに表示されたイチゴをアバターが食べる仕草をする表示をし,一方,ユーザが仮想空間上のアバターに実オブジェクトR_OBJとして好物でないリンゴを接近させた場合,まず,撮像部101により撮像された実オブジェクトがリンゴであることが三次元情報解析部102により解析され,仮想オブジェクト取得部131は,実オブジェクトであるリンゴに対応付けられた情報として,「リンゴがアバターの好物でない」ことを取得し,表示部104は,予め記憶された仮想オブジェクトV_OBJとしてリンゴを表示し,さらに表示されたリンゴをアバターが食べるのを嫌がる仕草をする表示をすることにより,ユーザは実オブジェクトである食べ物を介して,仮想空間上のアバターに餌を与えるなどのコミュニケーションが可能であり,よりリアリティを追求したゲームの提供などへ応用することが可能な情報処理装置。」
2 引用文献1および2の記載ならびに周知技術1
(1)引用文献1の記載事項
折りたたみ中(クリックで表示)
原査定の拒絶理由において,周知例として引用された引用文献1には,図面とともに次の事項が記載されている。
ア 「【技術分野】【0001】本発明は、線画画像に対して自動で着色を施すための線画自動着色プログラム、線画自動着色装置及びグラフィカルユーザインターフェース用プログラムに関するものである。【背景技術】続きを表示(全20行)【0002】近年、ディープラーニングと呼ばれる多層構造のニューラルネットワークを用いた機械学習が様々な分野において適用されている。画像認識や画像生成といった画像処理の分野においても活用が目立ち、目覚ましい成果を上げている。【0003】例えば、非特許文献1は、白黒写真の自動色付けの処理をディープネットワークによって実現したものであり、白黒写真の着色処理を機械学習によって実現している。【先行技術文献】【非特許文献】【0004】【非特許文献1】ディープネットワークを用いた大域特徴と局所特徴の学習による白黒写真の自動色付け 飯塚里志、シモセラ エドガー、石川博(http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/ja/)【発明の概要】【発明が解決しようとする課題】【0005】ところで、線画画像に対して自動で着色を施したいというニーズがある。従来、画像の閉じた領域に対して選択した色で着色を行う機能を備えたソフトウェアは存在したが、手書きの線画画像などは領域が閉じていない場合が多く、従来のソフトウェアでは簡単には着色できない対象であった。【0006】また、前記非特許文献1の白黒写真の場合、各ドットが輝度情報を備えており、輝度情報をヒントとして各ドットの色を決定する処理であると思われるが、線画画像は輝度情報を含まない画像であるといえるため、より着色が難しい対象であった。【0007】本発明は、上記問題点に鑑みなされたものであり、線画画像に対して自動で着色が可能な線画自動着色プログラム、線画自動着色装置及びグラフィカルユーザインターフェース用プログラムを提供することを目的とする。」
イ 「【0047】[第3の実施の形態]前記第1及び第2の実施の形態においては、一組の第1学習済モデル及び第2学習済モデルによって着色処理を実行させるものとして説明を行ったが、これに限定されるものではなく、第1学習済モデル及び第2学習済モデルを複数組備えるようにしてもよい。【0048】続きを表示(全17行)第1の実施の形態における線画自動着色装置10においては、記憶部15に一組の第1学習済モデル及び第2学習済モデルを記憶させるものとして説明を行ったが、本例では、学習に用いたサンプルデータ群の内容がそれぞれ異なる複数の第1学習済モデル及び複数の第2学習済モデルを予め学習させて記憶部15に記憶させる。【0049】すなわち、線画データからなる複数のサンプルデータによってそれぞれが構成された複数のサンプルデータ群であって含まれるサンプルデータの少なくとも一部が相互に異なる複数のサンプルデータ群のそれぞれに基づいて、所定の縮小サイズの線画データに対する着色処理について予め学習させることで複数の第1学習済モデルを得て、記憶部15に記憶させる。また、複数のサンプルデータ群と、この複数のサンプルデータ群を構成するそれぞれのサンプルデータに対して複数の第1学習済モデルの何れかにおいて着色処理を行って得られた複数の着色済縮小サンプルデータによってそれぞれが構成される複数の着色済縮小サンプルデータ群とを入力として、サンプルデータに対する着色処理について予め学習させることで複数の第2学習済モデルを得て、記憶部15に記憶させる。【0050】好ましくは、所定の割合以上が共通のサンプルデータで構成されたサンプルデータ群に基づいて学習された第1学習済モデルと第2学習済モデルとを1つの学習済モデルセットとしてその対応関係が分かるように記憶させるようにする。また、1つの着色済データを得るための第1着色処理部13における着色処理と第2着色処理部14における着色処理は、1つの学習済モデルセットとして対で記憶させた第1学習済モデルと第2学習済モデルを用いるようにすることが好ましい。このように、所定割合以上のサンプルデータが重複しているサンプルデータ群に基づいて第1学習済モデルと第2学習済モデルをそれぞれ学習させることで、第1着色処理部13における着色処理と第2着色処理部14における着色処理が、傾向の共通した着色処理となるため、得られる着色済データのクオリティが向上する。【0051】そして、1対の第1学習済モデルと第2学習済モデルからなる学習済モデルセットについて、着色傾向が異なるように複数の学習済モデルセットを学習させて記憶部15に記憶させる。着色傾向の異なる複数の学習済モデルセットが存在することで、様々な着色傾向の着色済データが得られるという効果がある。また、複数の学習済モデルセットのうち何れの学習済モデルセットを利用して着色処理を実行させるかについてユーザが選択できるようにすることで、ユーザは自分の好みの着色傾向の第1学習済モデル及び第2学習済モデルを選択することが可能となる。なお、第1の実施の形態乃至第3の実施の形態において記憶部15として記載したものは、線画自動着色装置10が内部に備える記憶部15であってもよいし、記憶部15を内部に備える代わりに、通信ネットワークを介して接続可能なサーバ装置に記憶させる記憶手段であってもよいことはいうまでもない。【0052】また、着色傾向の異なる2以上の学習済モデルセットを用いてそれぞれの学習済モデルセットから2以上の着色済データを得た場合に、それらの2以上の着色済データを合成して1つの合成着色済データをえるための合成部を設けるようにしてもよい。すなわち、合成部は、第1着色処理部13及び第2着色処理部14に基づいて元の線画データに対して着色処理を行って得られた一方の着色済データと、一方の着色済データの着色処理に用いられたものと異なる第1学習済モデル及び/又は一方の着色済データの着色処理に用いられたものと異なる第2学習済モデルを用いて、第1着色処理部13及び第2着色処理部14に基づいて元の線画データに対して着色処理を行って得られた少なくとも1以上の他方の着色済データとを取得し、一方の着色済データと他方の着色済データとを合成して合成着色済データを出力する機能を有する。【0053】この合成部における合成処理は、2以上の画像を合成することができればどのような合成処理であってもよいが、例えば、一般的に行われている加減乗除の画像合成手法をそのまま採用することができる。また、このときに、2以上の着色済データを合成する際の各データの合成比率についてユーザが指定可能としてもよい。例えば、2つの着色済データを合成する場合には、一方の着色済データの合成比率をシークバーによって0%~100%の間で調整可能とし、調整中の各比率における合成着色済データに基づく表示画像をディスプレイに表示させて、ユーザが合成比率の変化による合成着色済データに基づく表示画像の変化を視認できるように構成してもよい。【0054】以上のように、この第3の実施の形態に係る線画自動着色装置10によれば、複数の学習済モデルセットを学習させて記憶部15に記憶させることで、着色傾向の異なる複数の学習済モデルセットに基づいて、様々な着色傾向の着色済データが得られるという効果がある。また、複数の学習済モデルセットのうち何れの学習済モデルセットを利用して着色処理を実行させるかについてユーザが選択できるようにすることで、ユーザは自分の好みの着色傾向の第1学習済モデル及び第2学習済モデルを選択することが可能となる。また、得られた2以上の着色済データを合成する合成部を備えることで、着色傾向の異なる着色済データを合成した合成着色済データを得ることができるため、単独の着色済データでは得られない着色傾向の着色済画像を得ることが可能となる。」
(2)引用文献2の記載事項
折りたたみ中(クリックで表示)
原査定の拒絶理由において,周知例として引用された引用文献2には,図面とともに次の事項が記載されている。
ア 「技術分野[0001] 本開示は、ユーザ側装置から取得した利用要求に応じてデータベースに予め保管されている複数の学習済みモデルから1または複数の学習済みモデルを選択してユーザ側装置に提供する学習済みモデル提供方法および学習済みモデル提供装置に関する。背景技術[0002] 従来、センシングデータを利用するセンサネットワークにおいてセンシングデータの流通を適正化することを目的として、センシングデータを出力するセンサに関する情報であるセンサ側メタデータと、センシングデータを利用してサービスを提供するアプリケーションに関する情報であるアプリ側メタデータとのマッチングを行うことにより、アプリケーションの要求を満たすセンシングデータを提供可能なセンサを抽出するようにした技術が知られている(特許文献1参照)。続きを表示(全11行)先行技術文献特許文献[0003] 特許文献1:特許第5445722号公報発明の概要[0004] 本開示は、予め保管されている複数の学習済みモデルからユーザ側のニーズに適合する学習済みモデルを選択して提供することを主目的とする。[0005] 本開示の学習済みモデル提供方法は、複数の学習済みモデルを、それぞれの学習済みモデルの機能および生成環境の少なくとも一方の情報であるモデル情報とともに予め保管しておき、ユーザ側装置から、該ユーザ側装置が要求する学習済みモデルの機能および利用環境の少なくとも一方の情報であるニーズ情報を取得し、前記モデル情報を参照して、前記ニーズ情報に適合する学習済みモデルを前記複数の学習済みモデルから選択することを特徴とする。[0006] 本開示によれば、予め保管されている複数の学習済みモデルからユーザ側のニーズに適合する学習済みモデルを選択して提供することが可能となる。」
(3)周知技術1
上記(1)および(2)の記載の,特に下線部に着目すると,引用文献1および2には,以下の技術(以下,「周知技術1」という。)が記載されていると認められる。
「複数の学習済みモデルを予め記憶しておき,ユーザが選択した学習済みモデルを利用すること。」
3 引用文献3の記載ならびに周知技術2
原査定の拒絶理由において,周知例として引用された引用文献3には,図面とともに次の事項が記載されている。
ア 「【技術分野】【0001】本発明は、画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法に関する。【背景技術】続きを表示(全32行)【0002】今日、人工知能分野における機械学習のなかでもディープラーニング(deep learning;深層学習)は、画像認識の分野で目覚ましい成果を上げている。しかし、画像認識に限らず、ディープラーニングは、様々なバリエーションを持った大量の教師データを必要とする点が実用化においての課題となる。そのような大量の教師データを揃えることは時間面及びコスト面並びに著作権の権利処理の面から現実的に難しいことが多く、教師データが不十分な場合には学習が十分に行われず、認識精度が上がらないという問題がある。【0003】このため、例えば、画像データから、三次元コンピュータグラフィックス(Three-Dimensional Computer Graphics;3DCG)で光のモデルを変えた複数のデータを作成して、画像検出用の教師データを複数作成することが提案されている(例えば、特許文献1参照)。また、カメラで撮影した画像から、3DCGでブレのある複数のデータを作成することで、画像検出用の教師データを複数作成することが提案されている(例えば、特許文献2参照)。【0004】また、ディープラーニングにおいて、教師データが少ない場合に「データオーグメンテーション(data augmentation)」と呼ばれる手法を用いて、教師データのバリエーションを増強することが報告されている(例えば、非特許文献1参照)。この「データオーグメンテーション」は、画像の変色、変形、拡大・縮小、又は切り抜きを、教師データの特徴を損なわない範囲で行うものである。また、教師データを増強する方法として、三次元(3D)モデルを利用した方法が報告されている(例えば、非特許文献2参照)。この方法では、認識対象の3Dモデルをレンダリングした画像を教師データとして利用している。【先行技術文献】【特許文献】【0005】【特許文献1】 特開2016-62225号公報【特許文献2】 特開2010-211732号公報【非特許文献】【0006】【非特許文献1】Alex Krizhevsky,Ilya Sutskever,and Geoffrey E. Hinton,“ImageNet Classification with Deep Convolutional Neural Networks”,March 23,2017,[online],<https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf>【非特許文献2】Xingchao Peng, Baochen Sun,Karim Ali,and Kate Saenko,“Learning Deep Object Detectors from 3D Models”,March 23, 2017,[online],<URL:http://www.karimali.org/publications/PSAS_ICCV15.pdf>【発明の概要】【発明が解決しようとする課題】【0007】しかしながら、「データオーグメンテーション」は、あくまで画像加工であり、例えば、車の正面から撮影された画像から、車の側面や車の背面などの画像を生成することはできない手法である。また、3Dモデルを用いた従来の方法では、以下に説明するように、実写写真を用いた教師データに比べて、正しく認識できない教師データが得られてしまうという問題がある。(1)見た目のバリエーションが3Dモデルの数に依存してしまうディープラーニングでは教師データのバリエーションを増やすことが重要であるが、従来の方法では、固定の材質及び形状の教師データしか生成できず、3Dモデルの数でバリエーションが決まってしまう。このように3Dモデルを多数収集することはコストが高くなり、現実的でない。(2)認識対象が遮蔽された教師データを生成できない画像を入力データとしたディープラーニングでは、認識対象が一部遮蔽された教師データを含む場合には、ディープラーニングによって認識対象が一部遮蔽された教師データを正しく認識できるという利点がある。しかし、従来の方法では、認識対象が一部遮蔽された教師データを生成できないため、認識対象が一部遮蔽された教師データを認識できない確率が高くなる。【0008】一つの側面では、従来よりも高い認識率が得られる画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法を提供することを目的とする。」
イ 「【0013】本発明の画像処理装置は、認識対象の教師データを用いて画像認識を行う画像処理装置であり、画像認識はディープラーニングの手法により行われることが好ましい。認識対象の三次元モデルにおける描画パラメータを変化させるパラメータ変化部と、パラメータ変化部が変化させた描画パラメータに基づき、認識対象の教師データを生成する教師データ生成部とを有し、学習部及び推論部を有することが好ましい。描画パラメータは、例えば、乱数を使用してランダムに変化させることができる。【0014】認識対象とは、認識したい(分類したい)対象を意味する。認識対象としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、各種画像(例えば、人間の顔、鳥、犬、猫、猿、イチゴ、リンゴ、汽車、電車、大型自動車(バス、トラック等)、中型自動車、普通自動車、船、飛行機等)、図形、文字等の人間の視覚により検知できるものなどが挙げられる。【0015】教師データとは、教師ありディープラーニングで用いられる「入力データ」と「正解ラベル」とのペアである。「入力データ」を多数のパラメータを有するニューラルネットワークに入力することでディープラーニング学習を実施し、推論ラベルと正解ラベルとの差(学習中重み)を更新し、学習済み重みを求める。」
ウ 上記イの記載の,特に下線部に着目すると,引用文献3には,以下の技術(以下,「周知技術2」という。)が記載されていると認められる。
「教師ありディープラーニングで用いられる教師データは、教師ありディープラーニングで用いられる「入力データ」と「正解ラベル」とのペアであること。」
4 引用文献5記載ならびに周知技術3
原査定の拒絶理由において,周知例として引用された引用文献5には,図面とともに次の事項が記載されている。
ア 「【技術分野】【0001】本発明は、ゲームシステム及びプログラム等に関する。【背景技術】続きを表示(全17行)【0002】従来より、ロボットなどの移動体をユーザが操作し、敵ロボットとの対戦ゲームを実現するゲームシステムが知られている。このゲームシステムでは、ユーザがゲームコントローラなどの操作部を操作することで、自身のロボットを移動させたり、動作させて、相手ユーザ等が操作する敵ロボットと対戦する。この場合に、スクラッチ(Scratch)と呼ばれるプログラミングツールを用いて、ロボットの行動制御プログラムを作成し、当該行動制御プログラムに基づいてロボットを移動させたり、動作させる手法も考えられる。このスクラッチを用いる手法によれば、ユーザはロボットの行動制御プログラムを自身で作成できるため、物を作る楽しみをユーザに与えることができるという利点がある。一方、ユーザが操作可能なキャラクタを介して、移動体を移動させたり、動作させるゲームシステムも知られている。このようなゲームシステムの従来技術としては例えば特許文献1に開示される技術が知られている。また人型ロボットと人間との対話手法に関する従来技術としては特許文献2に開示される技術が知られている。【先行技術文献】【特許文献】【0003】【特許文献1】 特開2017-118979号公報【特許文献2】 特表2016-536630号公報【発明の概要】【発明が解決しようとする課題】【0004】しかしながら、スクラッチを用いる手法は、ユーザが使い易いようなビジュアルインターフェースになっているものの、ゲームに慣れていない初心者等のユーザには、行動制御プログラムの作成作業が煩雑であり、当該作成作業の煩雑さが、ゲームをプレイすることの大きな障壁となってしまう。また特許文献1の従来技術では、例えば移動体である戦車の操作手となるキャラクタ、砲弾の装填手となるキャラクタ、砲手となるキャラクタを用意し、これらの複数のキャラクタを用いて、戦車の移動や攻撃動作を制御する手法を採用している。従って、ゲームでの移動体の一連の行動を1人のキャラクタで制御するものではなかった。また移動体の制御をキャラクタを介して間接的に操作するだけであり、行動制御プログラムの作成処理等は行われていなかった。【0005】本発明の幾つかの態様によれば、ユーザとアバターが対話するだけでゲームでの移動体の適切な行動制御を実現可能にするゲームシステム及びプログラム等を提供できる。」
イ 「【0067】またゲーム処理部116は、ユーザによるアバターの選択を受け付ける処理を行う。具体的には、行動態様、性格、能力及び属性の少なくとも1つが異なる複数の候補アバターの中から、ユーザがゲームにおいて使用するアバターの選択を受け付ける処理を行う。例えば、行動態様、性格、能力及び属性の少なくとも1つが異なる複数の候補アバターを選択するための選択画面をユーザに対して表示する。そして、当該選択画面に表示された候補アバターの中からユーザが所望のアバターを選択すると、選択されたアバターが、例えば行動制御情報の作成処理の対象に設定される。」
ウ 上記イの記載の,特に下線部に着目すると,引用文献5には,以下の技術(以下,「周知技術3」という。)が記載されていると認められる。
「ゲームにおいて,ユーザによるアバターの選択を受け付ける処理を行うこと。」
5 引用文献6ないし8の記載ならびに周知技術4
(1)引用文献6の記載事項
原査定の拒絶理由において,周知例として引用された引用文献6には,図面とともに次の事項が記載されている。
18頁~23頁において,攻略対象となる複数の女の子について,「好き」な「デートスポット」,および,「嫌い」な「デートスポット」が列挙されている。
(2)引用文献7の記載事項
原査定の拒絶理由において,周知例として引用された引用文献7には,図面とともに次の事項が記載されている。
288頁,292頁,296頁,300頁,304頁,308頁,312頁,316頁,320頁,324頁において,攻略対象となるキャバ嬢の「好感度が上昇するプレゼント」および「飲み物のオーダーと好感度の増減」,「食べ物のオーダーと好感度の増減」が表形式で記載されている。
(3)引用文献8の記載事項
原査定の拒絶理由において,周知例として引用された引用文献8には,図面とともに次の事項が記載されている。
(81頁左下)
(4)周知技術4
上記(1)ないし(3)の記載の,特に下線部に着目すると,引用文献6ないし8には,以下の技術(以下,「周知技術4」という。)が記載されていると認められる。
「ゲームにおいて,攻略対象となる複数のキャラクター毎に異なる好みが設定されていること。」
第5 対比・判断
1 本願発明1について
(1)対比
本願発明1と引用発明とを対比すると,次のことが認められる。
ア 引用発明は,「撮像部101により撮像された実オブジェクトがイチゴであることが三次元情報解析部102により解析され」,「撮像部101により撮像された実オブジェクトがリンゴであることが三次元情報解析部102により解析」している。
ここで,引用発明の「撮像された実オブジェクト」は,「撮像部101により撮像され」ることにより,「画像情報」となっていることは,当業者に明らかであるから,引用発明の「撮像された実オブジェクト」は,本願発明1の「画像情報」に相当するといえる。
また,引用発明の「イチゴであること」を「解析」したり,「リンゴであること」を「解析」したりする際には,出力として,「イチゴ」あるいは「リンゴ」を示す情報を「解析」の結果として出力することは,当業者にとって明らかであるから,引用発明の「イチゴ」あるいは「リンゴ」を示す情報は,本願発明1の「識別子情報」に相当するといえる。
さらに,引用発明の「イチゴであること」を「解析」したり,「リンゴであること」を「解析」したりすることは,本願発明1の「推論する」ことに相当するといえる。
そして,引用発明の「情報処理装置」は,電子的な装置の一種であるから,引用発明の「情報処理装置」は,本願発明1の「電子装置」に相当するといえる。
したがって,本願発明1と引用発明とは,「画像情報から識別子情報を推論する識別子情報推論部と」「を備えることを特徴とする電子装置。」である点で共通しているといえる。
イ 引用発明の「仮想オブジェクト取得部131は,実オブジェクトであるイチゴに対応付けられた情報として,「イチゴがアバターの好物である」ことを取得し,表示部104は,予め記憶された仮想オブジェクトV_OBJとしてイチゴを表示し,さらに表示されたイチゴをアバターが食べる仕草をする表示をし,」「仮想オブジェクト取得部131は,実オブジェクトであるリンゴに対応付けられた情報として,「リンゴがアバターの好物でない」ことを取得し,表示部104は,予め記憶された仮想オブジェクトV_OBJとしてリンゴを表示し,さらに表示されたリンゴをアバターが食べるのを嫌がる仕草をする表示をする」とされている。
ここで,引用発明の「アバター」は,本願発明1の「キャラクタ」に相当する。
また,引用発明の,「イチゴをアバターが食べる仕草をする表示をし」たり,「リンゴをアバターが食べるのを嫌がる仕草をする表示を」したりすることは,「アバター」が「イチゴ」あるいは「リンゴ」の画像に対して,応答した表示であるから,引用発明の,「イチゴをアバターが食べる仕草をする表示をし」たり,「リンゴをアバターが食べるのを嫌がる仕草をする表示を」したりすることは,本願発明1の「識別子情報に対応した応答内容を」「複数の応答内容の中から特定して実行する」ことに相当する。
さらに,引用発明の,「イチゴをアバターが食べる仕草をする表示をし」たり,「リンゴをアバターが食べるのを嫌がる仕草をする表示を」したりすることが,記憶手段に記憶された応答内容であることは,当業者にとって明らかであるから,引用発明も,本願発明1と同様に,「複数の識別子情報のそれぞれに対応する複数の応答内容を」「記憶する記憶部」を備えているといえる。
したがって,本願発明1と引用発明とは,「複数の識別子情報のそれぞれに対応する複数の応答内容を」「記憶する記憶部と,」「前記識別子情報推論部の推論した識別子情報に基づき,当該識別子情報に対応した応答内容を前記記憶部に記憶された複数の応答内容の中から特定して実行する応答内容実行部と,を備える」点で共通しているといえる。
(2)一致点・相違点
本願発明1と,引用発明とは,以下アの点で一致し,以下イの点で相違する。
ア 一致点
「複数の識別子情報のそれぞれに対応する複数の応答内容を記憶する記憶部と,画像情報から識別子情報を推論する識別子情報推論部と,前記識別子情報推論部の推論した識別子情報に基づき,当該識別子情報に対応した応答内容を前記記憶部に記憶された複数の応答内容の中から特定して実行する応答内容実行部と,を備えることを特徴とする電子装置。」
イ 相違点
(ア)<相違点1>
本願発明1では,「ユーザからの操作を受け付け可能な操作受付部」を備えているのに対して,
引用発明では,ユーザからの操作を受け付け可能な操作受付手段について特定されていない点。
(イ)<相違点2>
本願発明1では,「複数の識別子情報のそれぞれに対応する複数の応答内容を」「記憶する記憶部」に,「固有の学習内容によって定義され,当該学習内容を利用して少なくとも1つの識別子情報を推論可能な画像認識モデルであって,キャラクタのキャラクタ識別情報に紐づけられる画像認識モデルを複数記憶し,」「複数の識別子情報のそれぞれに対応する複数の応答内容を前記複数の画像認識モデルのそれぞれに紐づけて記憶」しているのに対して,
引用発明では,そのような構成を備えていない点。
(ウ)<相違点3>
本願発明1では,「操作受付部の受け付けたキャラクタを選択するためのユーザによる操作に基づき,前記記憶部に記憶されたキャラクタ識別情報の中から前記選択されたキャラクタのキャラクタ識別情報を画像情報の送り先として特定する送り先属性情報特定部と,前記送り先属性情報特定部の特定したキャラクタ識別情報に紐づけられた画像認識モデルを,前記記憶部に記憶された複数の画像認識モデルの中から選択する画像認識モデル選択部と」を備え,「前記画像認識モデル選択部の選択した画像認識モデルへ画像情報を入力し」ているのに対して,
引用発明では,そのような構成を備えていない点。
(3)相違点についての判断
事案に鑑みて,<相違点2>から検討する。
引用文献1ないし3,および,引用文献5ないし8には,「複数の識別子情報のそれぞれに対応する複数の応答内容を」「記憶する記憶部」に,「固有の学習内容によって定義され,当該学習内容を利用して少なくとも1つの識別子情報を推論可能な画像認識モデルであって,キャラクタのキャラクタ識別情報に紐づけられる画像認識モデルを複数記憶し,」「複数の識別子情報のそれぞれに対応する複数の応答内容を前記複数の画像認識モデルのそれぞれに紐づけて記憶」について,いずれも,記載も示唆もされていない。
特に,上記第4の3で周知技術1として認定したように,「複数の学習済みモデルを予め記憶しておき,ユーザが選択した学習済みモデルを利用すること。」は,本願出願前に周知であったと認められるが,「複数の学習済みモデル」を「キャラクタのキャラクタ識別情報に紐づけ」て記憶することは,引用文献1ないし8に,記載も示唆もなく,また,本願出願前に周知であったとも認められない。
そもそも,主引例には「アバター」(キャラクタ)を複数用いることは記載も示唆もされておらず,仮に,複数の「アバター」(キャラクタ)を用いる構成を採用した場合でも,「リンゴ」や「イチゴ」を画像認識するための「学習済みモデル」を複数の「アバター」(キャラクタ)と紐付けて記憶する構成を採用する動機付けもみあたらない。
本願発明1の上記<相違点2>に係る構成より,「多数の属性情報のために多数の画像内容を認識する場合であっても,個別の属性情報向けに学習された画像認識モデルを用いた推論処理で対象となる画像内容を認識することができ,少量のデータを用いた場合でも高い推論性能を実現するとともに,個々の画像認識モデルを比較的小さなニューラルネットワークとして実装することにより高いレスポンス性能を実現できる。」(本願明細書段落【0014】),「ゲームアプリにおいて数百名以上のキャラクタが数万種類以上の画像内容を認識するという設定においても,個別のキャラクタ向けに学習された画像認識モデルを用いた高々1回の推論処理で対象となる画像内容を認識することができ,高いレスポンス性能を実現できる。」(本願明細書段落【0063】)という,引用文献1ないし8から,当業者といえども予測しえなかった効果を奏しているといえる。
したがって,引用発明に,引用文献1ないし3,および,引用文献5ないし8に記載の周知技術を適用しても,当業者は本願発明1の上記<相違点2>に係る構成を容易に想到することができない。
(4) 小括
したがって,本願発明1は,その他の相違点について検討するまでもなく,引用発明,引用文献1ないし3,および,引用文献5ないし8に記載の周知技術に基づいて,当業者が容易に発明できたものであるとはいえない。
2 本願発明2ないし本願発明8について
(1)本願発明2および3
本願発明2および3は,本願発明1と同一の構成を備えるものであるから,本願発明1と同じ理由により,引用発明,引用文献1ないし3,および,引用文献5ないし8に記載の周知技術に基づいて,当業者が容易に発明できたものであるとはいえない。
(2)本願発明4ないし7
本願発明4は,本願発明1の発明のカテゴリを,単に「電子装置」から「方法」に変更したものであり,本願発明1における上記相違点と同様の構成を備えているといえるから,本願発明1と同様の理由により,引用発明,引用文献1ないし3,および,引用文献5ないし8に記載の周知技術に基づいて,当業者が容易に発明できたものであるとはいえない。
また,本願発明5ないし7は,本願発明4と同一の構成を備えるものであるから,本願発明4と同じ理由により,引用発明,引用文献1ないし3,および,引用文献5ないし8に記載の周知技術に基づいて,当業者が容易に発明できたものであるとはいえない。
(3)本願発明8
本願発明8は,本願発明1の発明のカテゴリを,単に「電子装置」から「システム」に変更したものであり,本願発明1における上記相違点と同様の構成を備えているといえるから,本願発明1と同様の理由により,引用発明,引用文献1ないし3,および,引用文献5ないし8に記載の周知技術に基づいて,当業者が容易に発明できたものであるとはいえない。
第6 むすび
以上のとおり,原査定の理由によっては,本願を拒絶することはできない。
また,他に本願を拒絶すべき理由を発見しない。
よって,結論のとおり審決する。
審決本文(J-PlatPat)
J-PlatPatの審決検索トップを開きます。番号入力で「審判番号」を選び、下の番号を貼り付けて検索してください。
2020-015398