2022-013915

第２ 本願発明

令和４年９月６日に提出された手続補正書に係る補正によって補正された特許請求の範囲の請求項１ないし７は、以下のとおりである。

「 【請求項１】

入力層、中間層、及び出力層を有し、前記入力層のデータを前記出力層で再現するようにパラメータを学習するオートエンコーダの機能を備える異常検知装置であって、

MIBデータ、フローデータ、syslog、及びCPU情報のうちの１つ又は複数が含まれる複数種別の正常データを入力する入力手段と、

前記中間層において、正常データの次元数よりも小さい次元数のデータを用いて、データ種別間に跨る特徴を学習することにより、前記入力層の正常データを前記出力層で再現するようにパラメータを学習する学習手段と、

続きを表示（全29行）

前記学習手段により学習されたパラメータを用いた前記オートエンコーダにテストデータを入力し、当該オートエンコーダの出力データと、前記テストデータとに基づいて、当該テストデータの異常度を算出する異常度算出手段とを備え、

前記学習手段は、データ種別毎の学習を個別に実行することにより得られたパラメータを初期値として使用することにより、前記オートエンコーダにおけるパラメータを学習する

ことを特徴とする異常検知装置。

【請求項２】

前記オートエンコーダは、前記入力層としての第１層と、前記中間層としての３層である第２層、第３層、及び第４層と、前記出力層としての第５層とを有し、

前記学習手段は、前記第２層と前記第４層において、正常データの次元数よりも小さい次元数でデータ種別毎の特徴を抽出し、前記第３層において、データ種別間に跨る特徴を抽出する

ことを特徴とする請求項１に記載の異常検知装置。

【請求項３】

前記学習手段は、前記入力層のデータと前記出力層のデータとの間のMSEを最小化するように前記パラメータを学習する、又は、前記出力層における値をパラメータとした、予め定めた確率分布の元で前記入力層のデータが観測される尤度関数の正負を逆転した値を最小化するように前記パラメータを学習する

ことを特徴とする請求項１又は２に記載の異常検知装置。

【請求項４】

前記異常度算出手段は、データ種別毎の重みを用いて、前記テストデータの異常度をデータ種別毎の再構成誤差の重み付け平均として算出する

ことを特徴とする請求項１ないし３のうちいずれか１項に記載の異常検知装置。

【請求項５】

前記学習手段は、データ種別毎の重みを用いて、データ種別毎の再構成誤差の重み付け平均を最小化するようなパラメータの学習を行う

ことを特徴とする請求項１ないし４のうちいずれか１項に記載の異常検知装置。

【請求項６】

入力層、中間層、及び出力層を有し、前記入力層のデータを前記出力層で再現するようにパラメータを学習するオートエンコーダの機能を備える異常検知装置が実行する異常検知方法であって、

MIBデータ、フローデータ、syslog、及びCPU情報のうちの１つ又は複数が含まれる複数種別の正常データを入力する入力ステップと、

前記中間層において、正常データの次元数よりも小さい次元数のデータを用いて、データ種別間に跨る特徴を学習することにより、前記入力層の正常データを前記出力層で再現するようにパラメータを学習する学習ステップと、

前記学習ステップにより学習されたパラメータを用いた前記オートエンコーダにテストデータを入力し、当該オートエンコーダの出力データと、前記テストデータとに基づいて、当該テストデータの異常度を算出する異常度算出ステップとを備え、

前記学習ステップにおいて、前記異常検知装置は、データ種別毎の学習を個別に実行することにより得られたパラメータを初期値として使用することにより、前記オートエンコーダにおけるパラメータを学習する

ことを特徴とする異常検知方法。

【請求項７】

コンピュータを、請求項１ないし５のうちいずれか１項に記載の異常検知装置における各手段として機能させるためのプログラム。」

第３ 当審における拒絶の理由

令和５年４月２７日付けで当審が通知した拒絶理由は、概略、次のとおりのものである。

（理由１）進歩性欠如

本願の請求項１、２及び６に係る発明は、本願の出願前に日本国内又は外国において、頒布された又は電気通信回線を通じて公衆に利用可能となった以下の引用文献１に記載された発明に基いて、以下の引用文献２及び３に記載された事項を参酌することにより、その出願前にその発明の属する技術の分野における通常の知識を有する者（以下、「当業者」という。）が容易に発明をすることができたものであるから、特許法第２９条第２項の規定により特許を受けることができない。

また、本願の請求項３、４、５及び７に係る発明は、本願の出願前に日本国内又は外国において、頒布された又は電気通信回線を通じて公衆に利用可能となった以下の引用文献１に記載された発明に基いて、以下の引用文献２ないし４に記載された事項を参酌することにより、当業者が容易に発明をすることができたものであるから、特許法第２９条第２項の規定により特許を受けることができない。

ンコーダによるマルチモーダル音声認識，情報処理学会研究

報告［ｏｎｌｉｎｅ］，一般社団法人情報処理学会，２０１

７年７月２０日，Vol.2017-SLP-117, No.2，pp.1-6，ISSN 2

188-8663

常検知における精度向上に向けた一検討，電子情報通信学会

２０１７年総合大会講演論文集（通信２），一般社団法人電

子情報通信学会，２０１７年３月７日，p.127（B-7-34），I

SSN 1349-1369

宇宙機の異常検知，第２８回人工知能学会全国大会論文集［

ＣＤ－ＲＯＭ］，一般社団法人人工知能学会，２０１４年６

月１３日，pp.1-3

第４ 引用文献の記載及び引用発明

２ 引用発明

（１）上記１（１）から、引用文献１には、「「音響情報」「口唇の色画像情報」「口唇の深度画像情報」の特徴量を連結した高次元ベクトルを入出力として構築したディープオートエンコーダ（Ｔｒｉｍｏｄａｌ Ｄｅｅｐ Ａｕｔｏｅｎｃｏｄｅｒ）の中間層から得られる特徴量を利用するマルチモーダル音声認識手法」の発明が記載されているといえる。

（２）上記１（５）から、引用文献１には、「Ｔｒｉｍｏｄａｌ Ｄｅｅｐ Ａｕｔｏｅｎｃｏｄｅｒを学習するマシン」が記載されているといえる。

（３）上記１（２）及び（６）から、引用文献１には、「入力は各モード（音響，色画像，深度画像）の特徴ベクトルであり，中間層でそれらを圧縮，出力層で再び各モードの特徴ベクトルが復元されるようなネットワークとなっている５層のディープオートエンコーダ」が記載されているといえる。

（４）上記１（１）及び（２）から、引用文献１には、「ディープオートエンコーダ」が「各モード（音響，色画像，深度画像）の特徴ベクトルを連結した高次元ベクトルを入出力とする」ことが記載されているといえる。

（５）上記１（２）、（３）及び（７）から、引用文献１には、「ディープオートエンコーダ」が「それぞれのモードに対して個別に３層のオートエンコーダを構成して事前学習を行い，得られたオートエンコーダの上下の重みパラメータを分割し，目的とする５層のディープオートエンコーダのＷｉ（１）（第１層目からの出力に対する重みパラメータ）とＷｉ（４）（第４層目からの出力に対する重みパラメータ）の初期パラメータとして利用するとともに，３モード分をまとめ，それらを共有する中間層を挿入してディープオートエンコーダを構成し，中間部分を取り出して３モードの特徴ベクトルを連結した高次元ベクトルを利用して事前学習を行い，中間部分の重みパラメータＷｉ（２）（第２層目からの出力に対する重みパラメータ）とＷｉ（３）（第３層目からの出力に対する重みパラメータ）の推定を進める」ことが記載されているといえる。

（６）上記１（４）から、引用文献１には、「ディープオートエンコーダ」が「最後に平均二乗誤差（ＭＳＥ：Ｍｅａｎ ＳｑｕａｒｅｄＥｒｒｏｒｓ）で定義される損失関数を利用して重みパラメータを更新する」ことが記載されているといえる。

（７）上記１（１）及び（２）から、引用文献１には、「中間層の出力を新たな一つの特徴量として音声認識に利用する」ことが記載されているといえる。

（８）したがって、引用文献１には、次の発明（以下、「引用発明」という。）が記載されていると認められる。

「「音響情報」「口唇の色画像情報」「口唇の深度画像情報」の特徴量を連結した高次元ベクトルを入出力として構築されたディープオートエンコーダ（Ｔｒｉｍｏｄａｌ Ｄｅｅｐ Ａｕｔｏｅｎｃｏｄｅｒ）の中間層から得られる特徴量を利用するマルチモーダル音声認識手法であって，

ディープオートエンコーダは，

マシンによって学習され，

入力は各モード（音響，色画像，深度画像）の特徴ベクトルであり，中間層でそれらを圧縮，出力層で再び各モードの特徴ベクトルが復元されるようなネットワークとなっている５層のディープオートエンコーダであり，

各モード（音響，色画像，深度画像）の特徴ベクトルを連結した高次元ベクトルを入出力とし，

それぞれのモードに対して個別に３層のオートエンコーダを構成して事前学習を行い，得られたオートエンコーダの上下の重みパラメータを分割し，目的とする５層のディープオートエンコーダのＷｉ（１）（第１層目からの出力に対する重みパラメータ）とＷｉ（４）（第４層目からの出力に対する重みパラメータ）の初期パラメータとして利用するとともに，３モード分をまとめ，それらを共有する中間層を挿入してディープオートエンコーダを構成し，中間部分を取り出して３モードの特徴ベクトルを連結した高次元ベクトルを利用して事前学習を行い，中間部分の重みパラメータＷｉ（２）（第２層目からの出力に対する重みパラメータ）とＷｉ（３）（第３層目からの出力に対する重みパラメータ）の推定を進め，

最後に平均二乗誤差（ＭＳＥ：ＭｅａｎＳｑｕａｒｅｄ Ｅｒｒｏｒｓ）で定義される損失関数を利用して重みパラメータを更新し，

中間層の出力を新たな一つの特徴量として認識に利用する，

マルチモーダル音声認識手法．」

７ 周知技術

引用文献２、引用文献３、周知文献１及び周知文献２に記載された事項から、以下の事項は、本願優先日前における周知技術と認められる。

（周知技術）

正常なデータを用いて、入力層のデータを中間層で次元削減を行った上で出力層で再現するようにパラメータを学習したオートエンコーダに対して、入力したテストデータと出力されたデータとの距離を当該テストデータの異常度として定義することにより、オートエンコーダを観測データの異常検知に用いること。

第５ 対比

請求項６に係る発明（以下、「本願発明」という。）と引用発明とを対比する。

１ 引用発明の「特徴ベクトル」は、本願発明の「データ」に含まれる。

２ 引用発明の「ディープオートエンコーダ」は、「入力は各モード（音響，色画像，深度画像）の特徴ベクトルであり，中間層でそれらを圧縮，出力層で再び各モードの特徴ベクトルが復元されるようなネットワークとなっている５層のディープオートエンコーダ」であり、また、「Ｗｉ（１）（第１層目からの出力に対する重みパラメータ）」との構成からして、各モード（音響，色画像，深度画像）の特徴ベクトルが、「ディープオートエンコーダ」を構成する「５層」のうち「第１層目」に入力されるといえる。そうすると、引用発明において「第１層目」は、本願発明の「入力層」に相当し、引用発明の「中間層」、「出力層」はそれぞれ、本願発明の「中間層」、「出力層」に相当する。

また、引用発明の「ディープオートエンコーダ」は、上記のように「入力」が「出力層で再び各モードの特徴ベクトルが復元される」ように構成されている。そして、引用発明の「ディープオートエンコーダ」は、「それぞれのモードに対して個別に３層のオートエンコーダを構成して事前学習を行い，得られたオートエンコーダの上下の重みパラメータを分割し，目的とする５層のディープオートエンコーダのＷｉ（１）（第１層目からの出力に対する重みパラメータ）とＷｉ（４）（第４層目からの出力に対する重みパラメータ）の初期パラメータとして利用するとともに，３モード分をまとめ，それらを共有する中間層を挿入してディープオートエンコーダを構成し，中間部分を取り出して３モードの特徴ベクトルを連結した高次元ベクトルを利用して事前学習を行い，中間部分の重みパラメータＷｉ（２）（第２層目からの出力に対する重みパラメータ）とＷｉ（３）（第３層目からの出力に対する重みパラメータ）の推定を進め，最後に平均二乗誤差（ＭＳＥ：Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒｓ）で定義される損失関数を利用して重みパラメータを更新する」との構成によれば、「事前学習」と「損失関数」を利用した処理により、各層からの出力に対する「重みパラメータ」を学習するものといえる。

よって、引用発明の「ディープオートエンコーダ」は、「入力」が「出力層で再び各モードの特徴ベクトルが復元される」ように「重みパラメータ」を学習する機能を備えていると認められ、また、「復元」することは「再現」することに等しい。

そして、引用発明の「重みパラメータ」は、本願発明の「パラメータ」に相当し、また、引用発明の「ディープオートエンコーダ」は、「オートエンコーダ」の一種であることは明らかである。

したがって、引用発明の「ディープオートエンコーダ」は、本願発明の「入力層のデータを出力層で再現するようにパラメータを学習するオートエンコーダの機能」に相当する機能を備えているといえる。

３ 引用発明の「ディープオートエンコーダ」は、「マシンによって学習され」るとの構成から、「ディープオートエンコーダ」が「マシン」上に実装された上で、「マシン」が「ディープオートエンコーダ」の学習を実行するものといえる。さらに、引用発明の「マルチモーダル音声認識手法」は、「ディープオートエンコーダ」の学習によって得られた「中間層の出力」を「特徴量として認識に利用する」ものであるから、「マルチモーダル音声認識手法」も「ディープオートエンコーダ」が実装された「マシン」上で実行するものといえる。

また、引用発明の「マシン」と、本願発明の「異常検知装置」とは、「装置」である点において共通する。

したがって、上記１及び２の検討も参酌すると、引用発明において「ディープオートエンコーダ」が実装された「マシン」が実行する「マルチモーダル音声認識手法」と、本願発明の「入力層、中間層、及び出力層を有し、前記入力層のデータを前記出力層で再現するようにパラメータを学習するオートエンコーダの機能を備える異常検知装置が実行する異常検知方法」とは、「入力層、中間層、及び出力層を有し、前記入力層のデータを前記出力層で再現するようにパラメータを学習するオートエンコーダの機能を備える装置が実行する方法」である点において共通する。

４ 引用発明の「マルチモーダル音声認識手法」は、「ディープオートエンコーダ」が「各モード（音響，色画像，深度画像）の特徴ベクトルを連結した高次元ベクトルを入出力」するものであるところ、「マルチモーダル音声認識手法」において「ディープオートエンコーダ」が実装される「マシン」は、前記「高次元ベクトル」を入力する「入力ステップ」を備えるものと認められる。

加えて、引用発明において、入力する前記「高次元ベクトル」は「データ」といい得るものであるところ、引用発明の「各モード（音響，色画像，深度画像）の特徴ベクトル」は、音響、色画像、深度画像といった複数のモード（種別）の「データ」を連結したものであるから、「各モード（音響，色画像，深度画像）の特徴ベクトルを連結した高次元ベクトル」は、「複数種別のデータ」といい得るものである。

よって、引用発明において「マルチモーダル音声認識方法」において「ディープオートエンコーダ」実装される「マシン」が「各モード（音響，色画像，深度画像）の特徴ベクトルを連結した高次元ベクトル」を入力する「入力ステップ」と、本願発明の「ＭＩＢデータ、フローデータ、ｓｙｓｌｏｇ、及びＣＰＵ情報のうちの１つ又は複数が含まれる複数種別の正常データを入力する入力ステップ」とは、「複数種別のデータを入力する入力ステップ」である点において共通する。

５ 引用発明において「３モード分をまとめ，それらを共有する中間層を挿入してディープオートエンコーダを構成し，中間部分を取り出して３モードの特徴ベクトルを連結した高次元ベクトルを利用して事前学習を行い，中間部分の重みパラメータＷｉ（２）（第２層目からの出力に対する重みパラメータ）とＷｉ（３）（第３層目からの出力に対する重みパラメータ）の推定を進め」ることにより、各モードの特徴ベクトルの特徴が中間層である第３層に集約され、次元が削減されているといえ（実際、上記第４の１（７）（特に（ｃ））から、中間層である第３層の次元数が、入力側の第２層の次元数より小さくなっている。）、また、引用発明の「マルチモーダル音声認識手法」において「ディープオートエンコーダ」を実装する「マシン」が、そのための「学習ステップ」を備えているものと認められる。

よって、引用発明の「マルチモーダル音声認識手法」において「ディープオートエンコーダ」を実装する「マシン」の「学習ステップ」と、本願発明の「前記中間層において、正常データの次元数よりも小さい次元数のデータを用いて、データ種別間に跨る特徴を学習することにより、前記入力層の正常データを前記出力層で再現するようにパラメータを学習する学習ステップ」とは、「前記中間層において、データの次元数よりも小さい次元数のデータを用いて、データ種別間に跨る特徴を学習することにより、前記入力層のデータを前記出力層で再現するようにパラメータを学習する学習ステップ」である点において共通する。

６ 上記２で検討したとおり、引用発明の「ディープオートエンコーダ」は、「事前学習」と「損失関数」を利用した処理により、各層からの出力に対する「重みパラメータ」を学習するものといえる。また、引用発明の「マルチモーダル音声認識手法」は、「ディープオートエンコーダ」が学習した「重みパラメータ」を「中間層の出力を新たな一つの特徴量として認識に利用する」という構成から、認識の対象となるマルチモーダルの「データ」が「ディープオートエンコーダ」に入力され、認識の「結果」が「重みパラメータ」として「ディープオートエンコーダ」から出力されてこれを「認識に利用」するものと認められる。そして、引用発明の「マルチモーダル音声認識手法」において「ディープオートエンコーダ」を実装する「マシン」が、そのための「ステップ」を備えているものと認められる。

また、引用発明において、出力される「重みパラメータ」に基づいて入力されたマルチモーダルの「データ」について「認識」することと、本願発明において、「当該テストデータの異常度を算出する」こととは、「当該データに関する所定の処理を行う」ことである点において共通する。

よって、引用発明において、学習した「重みパラメータ」を「中間層の出力を新たな一つの特徴量として認識に利用する」ための「ステップ」と、本願発明の「前記学習ステップにより学習されたパラメータを用いた前記オートエンコーダにテストデータを入力し、当該オートエンコーダの出力データと、前記テストデータとに基づいて、当該テストデータの異常度を算出する異常度算出ステップ」とは、「前記学習ステップにより学習されたパラメータを用いたオートエンコーダにデータを入力し、当該データに関する所定の処理を行うステップ」である点において共通する。

７ 引用発明において「それぞれのモードに対して個別に３層のオートエンコーダを構成して事前学習を行」うことは、本願発明の「データ種別毎の学習を個別に実行」することに相当する。

また、引用発明において「事前学習を行い，得られたオートエンコーダの上下の重みパラメータを分割し，目的とする５層のディープオートエンコーダのＷｉ（１）（第１層目からの出力に対する重みパラメータ）とＷｉ（４）（第４層目からの出力に対する重みパラメータ）の初期パラメータとして利用する」ことは、本願発明の「得られたパラメータを初期値として使用する」ことに相当する。

そして、上記３で検討したしたとおり、引用発明の「マルチモーダル音声認識手法」では、「マシン」が「ディープオートエンコーダ」の学習を実行するものであるから、引用発明において「それぞれのモードに対して個別に３層のオートエンコーダを構成して事前学習を行い，得られたオートエンコーダの上下の重みパラメータを分割し，目的とする５層のディープオートエンコーダのＷｉ（１）（第１層目からの出力に対する重みパラメータ）とＷｉ（４）（第４層目からの出力に対する重みパラメータ）の初期パラメータとして利用する」ことと、本願発明の「前記学習ステップにおいて、前記異常検知装置は、データ種別毎の学習を個別に実行することにより得られたパラメータを初期値として使用することにより、オートエンコーダにおけるパラメータを学習する」こととは、「前記学習ステップにおいて、前記装置は、データ種別毎の学習を個別に実行することにより得られたパラメータを初期値として使用することにより、オートエンコーダにおけるパラメータを学習する」ことである点において共通する。

第６ 一致点、相違点

上記から、本願発明と引用発明とは、以下の点において一致ないし相違する。

１ 一致点

「 入力層、中間層、及び出力層を有し、前記入力層のデータを前記出力層で再現するようにパラメータを学習するオートエンコーダの機能を備える装置が実行する方法であって、

複数種別のデータを入力する入力ステップと、

前記中間層において、データの次元数よりも小さい次元数のデータを用いて、データ種別間に跨る特徴を学習することにより、前記入力層のデータを前記出力層で再現するようにパラメータを学習する学習ステップと、

前記学習ステップにより学習されたパラメータを用いたオートエンコーダにデータを入力し、当該データに関する所定の処理を行うステップとを備え、

前記学習ステップにおいて、装置は、データ種別毎の学習を個別に実行することにより得られたパラメータを初期値として使用することにより、前記オートエンコーダにおけるパラメータを学習する

ことを特徴とする方法。」

２ 相違点

本願発明は、「オートエンコーダの機能を備える異常検知装置が行う異常検知方法」であって、「ＭＩＢデータ、フローデータ、ｓｙｓｌｏｇ、及びＣＰＵ情報のうちの１つ又は複数が含まれる複数種別の正常データ」を入力し、当該「正常データ」を学習に使用し、「学習されたパラメータを用いた前記オートエンコーダにテストデータを入力し、当該オートエンコーダの出力データと、前記テストデータとに基づいて、当該テストデータの異常度を算出する異常度算出ステップ」を備えるものであるが、引用発明は、「マルチモーダル音声認識手法」であって、「異常度検知装置」が「正常データ」を入力してパラメータを学習するとともに、学習されたパラメータを用いるオートエンコーダに入力されたテストデータと出力データとに基づいて「異常度を算出する」処理を行うものではない点。

第７ 判断

１ 相違点について

上記相違点について、判断する。

上記第４の７に示すとおり、正常なデータを用いて、入力層のデータを出力層で再現するようにパラメータを学習したオートエンコーダに対して、入力したテストデータと出力されたデータとの距離を当該テストデータの異常度として定義することによりオートエンコーダを観測データの異常検知に用いることは、本願優先日前における周知技術である。引用発明及び周知技術は、入力層から入力された複数の入力データを中間層で次元削減（圧縮）するとともに、複数の入力データを復元するように出力層から出力するように学習を行うオートエンコーダに関するものである点で、共通の技術分野に属するものである。

そして、引用文献２記載事項に、「データに内在する複雑な構造の学習を可能とするディープラーニングの一種である，オートエンコーダを用いた異常検知技術に注目が集まっている」（上記第４の３（１））とあるように、本願優先日前において当業者がオートエンコーダを用いた異常検知技術に注目していたという事実は、他の目的で使用されていたオートエンコーダを異常検知に用いる強い動機付けを示唆するものである。

よって、これら周知技術及び示唆を参酌すれば、当業者が引用発明の「ディープオートエンコーダ」を「マルチモーダル音声認識手法」に替えて観測データの異常検知に用いようとすることは当然に試み得たことである。

また、データを用いた異常検知を行う際に、異常検知の対象等に応じて、データの種別を適宜選択することは、本願優先日前における技術常識であるところ、引用文献２記載事項には「オートエンコーダをネットワークの異常検知に用いる場合，観測データとしてはフローデータやMIBデータ，syslogといった多種のデータが考えられる」（上記第４の３（３））とあるように、オートエンコーダを異常検知に用いる場合に「観測データ」として、すなわち、異常検知を特徴付けるデータの種別として、「フローデータやMIBデータ，syslogといった多種のデータ」を用いることも示唆されている。

したがって、引用文献２の示唆及び周知技術を参酌することにより、引用発明の「ディープオートエンコーダ」を「マルチモーダル音声認識手法」に替えて、観測データの異常検知に用いるとともに、正常なデータを用いてパラメータを学習し、入力したテストデータと出力されたデータとの距離からテストデータの異常度を算出する構成とすること、そして、その際に、正常なデータとして「MIBデータ、フローデータ、syslogの１つ又は複数を含む」複数種別のデータを用いることは、当業者であれば容易に想到し得たことである。

２ 作用効果について

上記相違点を総合的に勘案しても、本願発明の奏する作用効果は、引用発明及び引用文献２、引用文献３、周知文献１及び周知文献２に記載された周知技術の奏する作用効果から予測される範囲内のものにすぎず、格別顕著なものということはできない。

３ 請求人の主張について

請求人は、令和５年７月１０日に提出した意見書において、以下の主張をしている。

「 引用文献１に記載された発明と請求項１に係る発明（本発明）とを対比すると、引用文献１には、少なくとも、請求項１における、「MIBデータ、フローデータ、syslog、及びCPU情報のうちの１つ又は複数が含まれる複数種別の正常データ」を入力して、「前記中間層において、正常データの次元数よりも小さい次元数のデータを用いて、データ種別間に跨る特徴を学習することにより、前記入力層の正常データを前記出力層で再現するようにパラメータを学習する」学習手段が記載も示唆もされていません。この点で、引用文献１に記載された発明と請求項１に係る発明との間には大きな相違点があります。当該相違点に係る事項は引用文献２～４にも記載・示唆されていません。

引用文献２には、観測データとして、フローデータ、MIBデータ、及びsyslogを使用することが記載されており、拒絶理由通知において、正常なデータとして、「ＭＩＢデータ、フローデータ、ｓｙｓｌｏｇの１つ又は複数を含む」複数種別の正常データを用いることは、当業者であれば適宜選択し得る程度の事項である、と判断されています。

しかしながら、引用文献１～４のいずれにも、"データ種別間に跨る特徴を学習する"ことを、「MIBデータ、フローデータ、syslog、及びCPU情報のうちの１つ又は複数が含まれる複数種別の正常データ」を対象に行うことを示唆する記載はなく、このことが周知技術であった理由もありません。

従って、「MIBデータ、フローデータ、syslog、及びCPU情報のうちの１つ又は複数が含まれる複数種別の正常データ」を対象として、「前記中間層において、正常データの次元数よりも小さい次元数のデータを用いて、データ種別間に跨る特徴を学習することにより、前記入力層の正常データを前記出力層で再現するようにパラメータを学習する」ことは、当業者が適宜選択し得る程度の事項であったはずはありません。

「MIBデータ、フローデータ、syslog、及びCPU情報のうちの１つ又は複数が含まれるデータ」に対して、「データ種別間に跨る特徴」を学習する構成は、引用文献１～４に記載・示唆がなく、本発明が進歩性を有することは明らかであると考えます。同様の構成を有する請求項６、及び従属請求項２～５、７についても同様です。よって、拒絶理由は存在しないので、拒絶理由通知で指摘された拒絶理由は解消されたものと考えます。」

以下、上記主張について検討すると、請求人が主張するように、当審にて引用する引用文献及び周知文献のいずれにも、「MIBデータ、フローデータ、syslog、及びCPU情報のうちの１つ又は複数が含まれる複数種別の正常データ」を入力して、「前記中間層において、正常データの次元数よりも小さい次元数のデータを用いて、データ種別間に跨る特徴を学習することにより、前記入力層の正常データを前記出力層で再現するようにパラメータを学習する」学習手段が、データの入力から学習まで一体として記載されているとはいえない。

しかしながら、上記第６の１に示すとおり、引用発明は、「複数種別のデータを入力する入力ステップ」と、「前記中間層において、データの次元数よりも小さい次元数のデータを用いて、データ種別間に跨る特徴を学習することにより、前記入力層のデータを前記出力層で再現するようにパラメータを学習する学習ステップ」とを備える点、すなわち、データ種別ごとの事前学習を行った後で、データ種別間に跨がる学習をするという学習手法を用いたオートエンコーダである点において、本願発明と一致し、一方、本願発明は、異常検知を目的として、「MIBデータ、フローデータ、syslog、及びCPU情報のうちの１つ又は複数が含まれる複数種別」といった種別のデータを用いるのに対し、引用発明は、音声認識を目的として音響、色画像、深度画像といった種別のデータを用いる点において相違しているにすぎない。

そして、上記１で検討したとおり、正常なデータを用いて、入力層のデータを出力層で再現するようにパラメータを学習したオートエンコーダに対して、入力したテストデータと出力されたデータとの距離を当該テストデータの異常度として定義することによりオートエンコーダを観測データの異常検知に用いることが、本願優先日前における周知技術であること、加えて、引用文献２において、オートエンコーダを異常検知に用いる強い動機付けが示唆されていることを参酌すると、引用発明の「ディープオートエンコーダ」を「マルチモーダル音声認識手法」に替えて、観測データの異常検知に用いるとともに、正常なデータを用いてパラメータを学習し、入力したテストデータと出力されたデータとの距離からテストデータの異常度を算出する構成とすることは、当業者が容易に想到し得たことである。その際、異常検知の対象等に応じて、データの種別を適宜選択することは、本願優先日前における技術常識であり、引用文献２において、オートエンコーダを用いた異常検知において「フローデータやMIBデータ，syslogといった多種のデータ」が「観測データ」となり得ることが示唆されていることを踏まえると、「MIBデータ、フローデータ、syslogの１つ又は複数を含む」複数種別のデータを正常データとして入力することも、当業者であれば適宜選択し得る程度の事項である。

また、上記第４の２（８）に示す、引用発明の「ディープオートエンコーダ」における学習に関する構成は、その内容から、入力データに依存し、音声認識以外を目的とした学習に適用することができないとはいえず、むしろ、複数のデータ種別に跨がる学習を要するものであればどのような分野においても適用可能といえるから、引用発明の「ディープオードエンコーダ」を、マルチモーダル音声認識手法とは入力データが異なる、観測データの異常検知に用いることについて、その適用が阻害される事情も存在しない。

よって、請求人の上記主張は採用できない。

第８ むすび

以上のとおり、請求項６に係る発明は、当業者が、引用文献１に記載された発明に基づいて、引用文献２、引用文献３、周知文献１及び周知文献２に記載された事項を参酌することにより容易に発明をすることができたものであるから、特許法第２９条第２項の規定により特許を受けることができない。

したがって、他の請求項に係る発明について検討するまでもなく、本願は拒絶すべきものである。

よって、結論のとおり審決する。