2022-014582

特願２０１９－５５５２７３「異常通信検知装置、異常通信検知方法、プログラム」拒絶査定不服審判事件〔令和 １年 ５月３１日国際公開、ＷＯ２０１９／１０２９１１、請求項の数（８）〕について、次のとおり審決する。

結 論 原査定を取り消す。 本願の発明は、特許すべきものとする。

理 由 第１ 手続の経緯 本願は、平成３０年１１月１４日（優先権主張 平成２９年１１月２７日）を国際出願日とする出願であって、その手続の経緯は以下のとおりである。 令和３年 ４月２７日 ：手続補正書の提出 令和３年 ５月３１日付け：拒絶理由通知 令和３年 ７月２６日 ：意見書、手続補正書の提出 令和３年１２月２３日付け：拒絶理由通知 令和４年 ２月１５日 ：意見書、手続補正書の提出 令和４年 ６月２９日付け：拒絶査定（原査定） 令和４年 ９月１５日 ：審判請求書、手続補正書の提出 第２ 原査定の概要 原査定（令和４年６月２９日付け拒絶査定）の概要は次のとおりである。 この出願の請求項１－８に係る発明は、以下の引用文献１に記載された発明に基づいて、その発明の属する技術の分野における通常の知識を有する者（以下、「当業者」という。）が容易に発明をすることができたものであるから、特許法第２９条第２項の規定により特許を受けることができない。 引用文献１：米国特許出願公開第２０１６／０３５０６５７号明細書 第３ 本願発明 本願請求項１－８に係る発明（以下それぞれ「本願発明１」－「本願発明８」という。）は、令和４年９月１５日に提出された手続補正書により補正された特許請求の範囲の請求項１－８に記載された事項により特定される、次のとおりの発明である。 「【請求項１】 通信ネットワークにおける各電子制御装置の通信から異常通信を検知する異常通信検知装置であって、 識別子を含む学習用通信データと、前記識別子を含む検知用通信データを受信する受信部と、 前記学習用通信データの時間的特性、ペイロードの特性のうちの少なくとも何れか一方の特性を学習し、その学習結果である知識情報を取得する知識情報取得部と、 前記知識情報に基づいて、複数の検知器のうちの何れの前記検知器に何れの前記識別子の通信データを振り分けるかを規定するルールである振分ルールを生成する振分ルール生成部と、 前記振分ルールに基づいて、前記検知器の何れかに前記通信データを振り分ける振分部と、 前記学習用通信データが振り分けられた場合に、当該検知器に振り分けられる前記通信データの正常、異常の別を検知するモデルを学習し、前記検知用通信データが振り分けられた場合に、学習した前記モデルに基づいて前記検知用通信データの正常、異常の別を検知する複数の前記検知器を含む 異常通信検知装置。 【請求項２】 請求項１に記載の異常通信検知装置であって、 前記通信データが複数の機械状態を持つ前記電子制御装置から送信された前記通信データである場合に、 前記知識情報取得部は、 前記機械状態毎に前記知識情報を取得し、 前記振分ルール生成部は、 前記機械状態毎に前記振分ルールを生成し、 前記検知器は、 前記機械状態毎に前記モデルを学習する 異常通信検知装置。 【請求項３】 請求項１または２に記載の異常通信検知装置であって、 性能が同一な検知器群である特定検知器群を含み、 前記振分ルール生成部は、 前記特定検知器群に属する前記検知器のそれぞれに振り分けられる前記通信データの単位時間当たりの通信量の合計が均一になるように、前記振分ルールを生成する 異常通信検知装置。 【請求項４】 請求項１から３の何れかに記載の異常通信検知装置であって、 前記振分ルール生成部は、 前記通信データが複数の前記検知器に同時に振り分けられるように前記振分ルールを生成し、 前記通信データに対する複数の前記検知器による検知結果を集計して、集計された前記検知結果に基づいて、前記通信データの最終検知結果を出力する検知結果集計部を含む 異常通信検知装置。 【請求項５】 通信ネットワークにおける各電子制御装置の通信から異常通信を検知する異常通信検知方法であって、 識別子を含む学習用通信データと、前記識別子を含む検知用通信データを受信する受信ステップと、 前記学習用通信データの時間的特性、ペイロードの特性のうちの少なくとも何れか一方の特性を学習し、その学習結果である知識情報を取得する知識情報取得ステップと、 前記知識情報に基づいて、複数の検知器のうちの何れの前記検知器に何れの前記識別子の通信データを振り分けるかを規定するルールである振分ルールを生成する振分ルール生成ステップと、 前記振分ルールに基づいて、前記検知器の何れかに前記通信データを振り分ける振分ステップと、 前記学習用通信データが振り分けられた場合に、当該検知器に振り分けられる前記通信データの正常、異常の別を検知するモデルを学習する学習ステップと、 前記検知用通信データが振り分けられた場合に、学習した前記モデルに基づいて前記検知用通信データの正常、異常の別を検知する検知ステップを含む 異常通信検知方法。 【請求項６】 請求項５に記載の異常通信検知方法であって、 前記通信データが複数の機械状態を持つ前記電子制御装置から送信された前記通信データである場合に、 前記知識情報取得ステップは、 前記機械状態毎に前記知識情報を取得し、 前記振分ルール生成ステップは、 前記機械状態毎に前記振分ルールを生成し、 前記学習ステップは、 前記機械状態毎に前記モデルを学習する 異常通信検知方法。 【請求項７】 請求項５または６に記載の異常通信検知方法であって、 前記振分ルール生成ステップは、 性能が同一な検知器群である特定検知器群に属する前記検知器のそれぞれに振り分けられる前記通信データの単位時間当たりの通信量の合計が均一になるように、前記振分ルールを生成する 異常通信検知方法。 【請求項８】 コンピュータを請求項１から４の何れかに記載の異常通信検知装置として機能させるプログラム。」 第４ 引用文献、引用発明 １ 引用文献１について 原査定の拒絶の理由に引用された引用文献１には、図面とともに次の事項が記載されている（下線は、当審で付した。訳は当審訳。）。 「[0001] The proliferation of portable electronics, computing devices, and communication devices has radically altered the environment in which people live, work, and play. Portable devices now offer a wide array of features and services that provide their users with unprecedented levels of access to information, resources, and communications. Commonly used tools, such as vehicles and appliances, increasingly include embedded or integrated electronic systems. Further, electronic devices are increasingly relied on to perform important tasks, such as monitoring the physical security of locations, the condition of patients, the safety of children, and the physical condition of machinery, to store and process sensitive information (e.g., credit card information, contacts, etc.), and to accomplish tasks for which security is important (e.g., to purchase goods, send and receive sensitive communications, pay bills, manage bank accounts, and conduct other sensitive transactions). [0002] Electronic devices and appliances have thus evolved into complex electronic systems, and now commonly include several powerful processors, large memories, and other resources that allow for executing complex software applications. These complex electronic systems may include multiple modules or components, each provided with one or more processing modules to perform various tasks both alone and in combination with other system components. Due to the increasing importance of such electronic systems, maintaining system integrity against malfunctions and malicious attacks is of increasing importance. [0003] Systems, methods, and devices of various embodiments enable one or more computing devices to perform cross-module behavioral validation. Various aspects may include observing, by a plurality of observer modules of a system, a behavior (i.e., one or more behaviors) of an observed module of the system, generating, by each of the observer modules, a behavior representation based on the behavior of the observed module, applying, by each of the observer modules, the behavior representation to a behavior classifier model for the observed module, aggregating, by each of the observer modules, classifications of behaviors of the observed module determined by each of the observer modules to generate an aggregated classification, and determining, based on the aggregated classification, whether the observed module is behaving anomalously. ［当審訳］ [0001] 携帯電子機器、計算デバイス、および通信デバイスの急増は、人々が住む環境、仕事、遊びが変化している。携帯デバイスは、情報、リソース、および通信アクセスの前例のないレベルをユーザに提供することを特徴と多様なサービスを提供する。自動車および電化製品のような、一般的に使用されるツールは、埋め込みまたは集積電子システムを含む。また、上記電子装置は、ますます、ロケーションの物理的セキュリティの監視、患者の状態、子供の安全性、及び機械の物理的な状態等の重要なタスクを実行すること、機密情報(例えば、クレジットカード情報、連絡先など)を記憶および処理するために、セキュリティが重要である(例えば、商品を購入することができ、機密性のある通信を送信および受信し、請求書の支払い、銀行口座の管理、及び他の敏感な取引を行うために)タスクを実行するために利用されている。 [0002] 電子デバイス及び装置は、複雑な電子システムへと進化しており、現在一般的に複雑なソフトウェアアプリケーションを実行することを可能にするいくつかの強力なプロセッサ、大規模なメモリ、および他のリソースを含む。これらの複雑な電子システムは、複数のモジュールまたは構成要素は、単独および組合せの両方で他のシステム構成要素と種々のタスクを実行する1つ以上の処理モジュールが設けられていてよい。このような電子システムの高まる重要性のために、誤作動や悪意のある攻撃に対してシステムの完全性を維持する重要性が増している。 [0003] システム、方法、および様々な実施形態の装置は、1つまたは複数のコンピューティング・デバイスは、交差モジュールの動作確認を行うことを可能にする。様々な態様は、システムの複数のモジュールにより、システムの被観測モジュールの挙動(すなわち、1つまたは複数のビヘイビア)を観測すると、観測モジュールの各々によって、被観測モジュールの挙動に基づいて挙動表現を生成し、被観測モジュールの挙動表現を分類モデルに適用し、被観測モジュールの挙動の分類を集約し、集約された分類に基づいて、被観測モジュールが異常に振舞うかどうかを決定することを含む。」 「[0046] FIG. 2 illustrates example logical components and information flows in an aspect module 200 that includes a module behavior characterization system 220 configured to use behavioral analysis techniques to characterize behavior of an observed module in accordance with the various aspects. In the example illustrated in FIG. 2, the module includes a device processor (e.g., the processor 102a, 104a, 106a, 108a of FIG. 1A, or a processor of modules 130-142 of FIG. 1B, or a processor of modules 150-168 of FIG. 1C) configured with executable instruction modules that include a behavior observer module 202, a feature extractor module 204, an analyzer module 206, an actuator module 208, and a behavior characterization module 210. [0047] In various aspects, all or portions of the behavior characterization module 210 may be implemented as part of the behavior observer module 202, the feature extractor module 204, the analyzer module 206, or the actuator module 208. Each of the modules 202-210 may be a thread, process, daemon, module, sub-system, or component that is implemented in software, hardware, or a combination thereof. In various aspects, the modules 202-210 may be implemented within parts of the operating system (e.g., within the kernel, in the kernel space, in the user space, etc.), within separate programs or applications, in specialized hardware buffers or processors, or any combination thereof. In an aspect, one or more of the modules 202-210 may be implemented as software instructions executing on one or more processors of the module 200. [0048] The behavior characterization module 210 may be configured to characterize the behavior of an observed module, generate at least one behavior model based on the observed module's behavior, compare the observed behavior with a behavior model, aggregate the comparisons made by other observer modules of the behavior of the observed module and respective behavior models, and to determine, based on the aggregated comparisons, whether the observed module is behaving anomalously. The behavior characterization module 210 may use the information collected by the behavior observer module 202 to determine behaviors of the observed module, and to use any or all such information to characterize the behavior of the observed module. [0049] The behavior observer module 202 may be configured to observe behaviors of the observed module based on messages, instructions, memory accesses, requests, data transformations, activities, conditions, operations, events, and other module behavior observed over a communication link between the observer module and the observed module. [0050] To reduce the number of behavioral elements monitored to a manageable level, in an aspect, the behavior observer module 202 may be configured to perform coarse observations by monitoring or observing an initial set of behaviors or factors that are a small subset of all observable behaviors of the observed module. In some aspects, the behavior observer module 202 may receive the initial set of behaviors and/or factors from a server and/or a component in a cloud service or network. In some aspects, the initial set of behaviors/factors may be specified in machine learning classifier models. [0051] The behavior observer module 202 may communicate (e.g., via a memory write operation, function call, etc.) the collected observed behavior data to the feature extractor module 204. The feature extractor module 204 may be configured to receive or retrieve the observed behavior data and use this information to generate one or more behavior representations. Each behavior representation may succinctly describe the observed behavior data in a value or vector data-structure. In some aspects in which the behavior representation is a behavior vector, the vector data-structure may include a series of numbers, each of which signifies a partial or complete representation of the real-time data collected by the behavior observer module 202. [0052] In some aspects, the feature extractor module 204 may be configured to generate the behavior representations so that they function as an identifier that enables the behavioral analysis system (e.g., the analyzer module 206) to quickly recognize, identify, or analyze real-time sensor data of the device. In an aspect in which the behavior representation is a behavior vector, the feature extractor module 204 may be configured to generate behavior vectors of size n, each of which maps the real-time data of a sensor or hardware or software behavior into an n-dimensional space. In an aspect, the feature extractor module 204 may be configured to generate the behavior representations to include information that may be input to a feature/decision node in the behavior characterization module to generate an answer to a query regarding one or more features of the behavior data to characterize the behavior of the observed module. [0053] The feature extractor module 204 may communicate (e.g., via a memory write operation, function call, etc.) the generated behavior representations to the analyzer module 206. The analyzer module 206 may be configured to apply the behavior representations to classifier modules to characterize the observed behaviors of the observed module, e.g., as within normal operating parameters, or as anomalous. In addition, the behavior analyzer module 206 may be configured to apply the behavior representations to classifier modules to characterize the behaviors of the observed module. [0054] Each classifier model may be a behavior model that includes data and/or information structures (e.g., feature representations, behavior vectors, component lists, etc.) that may be used by an observing module (e.g., by a processor in an observing module) to evaluate a specific feature or aspect of the observed behavior data. Each classifier model may also includedecision criteria for monitoring a number of features, factors, data points, entries, messages, instructions, memory calls, states, conditions, behaviors, processes, operations, components, etc. (herein collectively features) in the observed module. The classifier models may be preinstalled on the observer module, downloaded or received from a network server, generated in the observer module, or any combination thereof. The classifier models may be generated by using behavior modeling techniques, machine learning algorithms, or other methods of generating classifier models. [当審訳］ [0046] 図2は、さまざまな態様にしたがって、被観測モジュールの挙動を特徴づけるために、挙動分析技術を使用するように構成されたモジュールの挙動評価システム220を含むモジュール200の例示的な論理コンポーネントおよび情報フローを示す図である。図2に示す例では、モジュールは、挙動観測モジュール202、特徴抽出モジュール204、解析モジュール206、駆動モジュール208、および挙動評価モジュール210を含む実行可能命令のモジュールで構成されたデバイスプロセッサ(例えば、図1のプロセッサ102a、104a、106a、108a、1bのモジュール130-142のプロセッサ、または図1Cのモジュール150-168のプロセッサ)を含む。 [0047] 種々の態様では、挙動評価モジュール210は、挙動観測モジュール202、特徴抽出モジュール204、解析モジュール206、またはアクチュエータモジュール208の一部として実装されてもよい。モジュール202-210の各々は、ソフトウェア、ハードウェア、またはその組合せで実現されるスレッド、プロセス、デーモン、モジュール、サブシステム、又は構成要素であってもよい。様々な態様において、モジュール202-210は、別々のプログラムまたはアプリケーション内で、オペレーティング・システム(例えば、カーネル、カーネル空間と、ユーザ空間内などで)の一部内で実施される特殊化されたハードウェアバッファ又はプロセッサ、又はこれらの任意の組合せで実施することができる。一態様では、1つまたは複数のモジュール202-210は、モジュール200の1つまたは複数のプロセッサ上で実行されるソフトウェア命令として実装されてもよい。 [0048] 挙動評価モジュール210は、被観測モジュールの挙動を特徴付けるために、被観測モジュールの挙動に基づいて少なくとも1つの挙動モデルを生成し、前記観測された挙動を挙動モデルと比較し、他の挙動観測モジュールによって行われた、被観測モジュールの挙動とそれぞれの挙動モデルとの比較を集約し、集約された比較に基づいて、被観測モジュールが異常に挙動しているかどうかを決定するように構成され得る。挙動評価モジュール210は、挙動観測モジュール202によって収集された情報を使用して、被観測モジュールの挙動を決定するために、任意のまたはすべてのそのような情報を使用して、被観測モジュールの挙動を特徴づけることができる。 [0049] 挙動観測モジュール202は、メッセージ、命令、メモリアクセス、要求、データ変換アクティビティ、条件、動作、イベント、および観測モジュールと被観測モジュールとの間の通信リンク上で観測される他のモジュール挙動に基づいて被観測モジュールの挙動を観測するように構成することができる。 [0050] 管理可能なレベルに監視される挙動要素の数を低減するために、一態様では、挙動観測モジュール202は被観測モジュールの全ての観測可能な挙動の小さなサブセットである挙動の初期セット又は因子をモニタまたは監視して、観測を行うように構成することができる。いくつかの態様では、挙動観測モジュール202は、サーバから挙動の初期セット/因子をクラウドサービスまたはネットワーク内の構成要素を受信することができる。いくつかの態様では、挙動の初期セット/因子の中には、機械学習分類モデルにおいて特定されてもよい。 [0051] 挙動観測モジュール202は、観測された挙動データを特徴抽出モジュール204に通信する(例えば、メモリ書き込み動作、関数呼び出しなどを介して)ことができる。特徴抽出モジュール204は、観測された挙動データを受け取り、または取得し、この情報を使用して、1つ以上の挙動表現を生成するように構成することができる。各挙動表現は、値またはベクトルデータ構造で観測された挙動データを簡潔に記述し得る。挙動を表す挙動ベクトルであるいくつかの態様では、ベクタデータ構成は、挙動観測モジュール202によって収集されたリアルタイムデータの部分的または完全な表現を意味する。 [0052] いくつかの態様では、特徴抽出器モジュール204は、それらを迅速に認識する、識別する、または装置のリアルタイムのセンサデータを分析するために、挙動分析システム(例えば、アナライザモジュール206)を可能にする識別子として機能するようになる挙動表現を生成するように構成することができる。挙動を表す挙動ベクトルである態様では、特徴抽出器モジュール204は、センサまたはハードウェアまたはソフトウェアの挙動のリアルタイムデータをn次元の空間への割り当てたサイズnの挙動ベクトルを生成するように構成されてもよい。一態様では、特徴抽出モジュール204は、被観測モジュールの挙動を特徴付けるために、挙動データの1つ以上の特徴に関する問い合わせに対する回答を生成するために挙動評価モジュールの機能/決定ノードに入力することができる情報を含むようにして挙動表現を生成するように構成することができる。 [0053] 特徴抽出器モジュール204は、作成された挙動表現を分析モジュール206に通信する(例えば、メモリ書き込み動作、関数呼び出しなどを介して)ことができる。分析モジュール206は、例えば、被観測モジュールの挙動を特徴づけるために、挙動表現を、正常動作であるか又は異常動作であるかのパラメータに適用することができる。また、挙動分析モジュール206は、被観測モジュールの挙動を特徴付けるために分類器モジュールに挙動表現を適用するように構成することができる。 [0054] 各分類モデルは、観測モジュール(例えば、モジュール内のプロセッサ)によって使用されて、観測された挙動のデータの特定の特徴又は態様を評価することができるデータおよび/または情報構造(例えば、特徴の表現、挙動ベクトル、リスト、等)を有する挙動モデルであってもよい。各分類モデルは、被観測モジュールの幾つかの機能、要素、項目、エントリ、メッセージ、命令、メモリ呼出し、状況、状態、動作、プロセス、動作、コンポーネントなど(本明細書ではまとめて特徴)を監視するための判定基準を含むことができる。分類モデルは、観測モジュールで生成された観測モジュールは、ネットワークサーバからダウンロードされるか、またはそれらの任意の組合せ上にインストールされてもよい。分類モデルは、挙動モデリング技法、機械学習アルゴリズム、または分類モデルを生成するその他の方法を利用して生成することができる。」 「[0064] FIG. 3 illustrates a method 300 for cross-module behavioral validation in accordance with the various aspects. The method 300 may be performed by a processing core or device processor of a module, such as a processor on a system-on-chip (e.g., processors 101, 104, 106, and 108 on the SOC 100 illustrated in FIG. 1A) or any similar processor (e.g., a processor of modules 130-142 of FIG. 1B, or a processor of modules 150-168 of FIG. 1C), and may employ a behavioral analysis system to observe and characterize behaviors of an observed module (e.g., the module behavior characterization system 220 in FIG. 2). [0065] In block 302, each observer module may observe the behavior or behaviors of an observed module. Each observer module may observe behavior(s) of a plurality of observed modules. Each observer module may have a different perspective on the behavior of the observed module, as each observer module may have different quantities and/or qualities of interactions with the observed module. Thus, different observer modules may observe different behaviors from the observed module. The behaviors observed by each of the observer modules may also overlap at least in part. The observed module's behavior may include or be based on one or more of messages, instructions, memory accesses, requests, data transformations, activities, conditions, operations, events, and other module behavior observed over a communication link between the observer module and the observed module. [0066] In block 304, each observer module may generate a behavior representation characterizing the behavior or behaviors of the observed module that are observed by each observer module. Each observer module may generate behavior representations characterizing each of a plurality of observed modules. In some aspects the behavior representation may be a behavior vector. A behavior vector may be a sequence of values characterizing each of a number of behavior features. [0067] In block 306, each observer module may apply the behavior representation (e.g., the behavior vector) characterizing behaviors of the observed module to the respective behavior classifier model of the observed module. By applying the behavior representation to the respective behavior classifier model of the observed module, each observer module may generate one or more behavior classifications of the behavior(s) of the observed module. In an aspect in which the behavior classifier model is an array of boosted decision stubs, this operation may involve using each value in the behavior representation to a respective decision stub to determine an outcome, and applying the weight associated with the outcome of each decision stub, and summing or otherwise arriving at an overall conclusion based upon all of the decision stubs to arrive at a classification of the behavior, such benign or non-benign. [当審訳] [0064] 図3は、さまざまな態様にしたがって、クロスモジュール動作の検証のための方法300を示している。方法300は、モジュールの処理コア、又は、デバイスのプロセッサ、システム・オン・チップ(例えば、図1Aに示されたSOC100上のプロセッサ101、104、106、および108)上のプロセッサまたは任意の類似のプロセッサ(例えば、図1Bのモジュール130-142のプロセッサ、または図1Cのモジュール150-168のプロセッサ)によって実行されてもよく、挙動分析システムを使用して観測されたモジュール(例えば、図2のモジュールの挙動評価システム220)の挙動を観測して特徴づけることができる。 [0065] ブロック302では、観測モジュールは、被観測モジュールの挙動を観測することができる。各観測モジュールは該被観測モジュールの挙動(単数または複数)を観測することができる。各観測モジュールは、被観測モジュールの挙動に異なる視点を有することができ、各観測モジュールは、被観測モジュールとの相互作用の異なる量および/または品質を有することができる。このように、異なる観測モジュールは、被観測モジュールからの異なる挙動を観測することができる。観測モジュールのそれぞれによって観測された挙動はまた、少なくとも部分的に重なっていてもよい。被観測モジュールの挙動は、メッセージ、命令、メモリアクセス、要求、データ変換アクティビティ、条件、動作、イベント、および観測モジュールと被観測モジュールとの間の通信リンク上で観測される他のモジュール挙動の1つ又はそれ以上に基づくことができる。 [0066] ブロック304において、各観測モジュールは、各観測モジュールによって観測される被観測モジュールの挙動又は挙動を特徴づける挙動表現を生成することができる。各観測モジュールは該複数の被観測モジュールのそれぞれを特徴付ける挙動表現を生成することができる。いくつかの態様では、挙動表現は、挙動ベクトルであってもよい。挙動ベクトルは、多数の挙動特徴の各々を特徴付ける値の配列であってもよい。 [0067] ブロック306において、それぞれの観測モジュールは、被観測モジュールの挙動を特徴付ける挙動表現(例えば、ベクトル)を被観測モジュールのそれぞれの挙動分類モデルに適用することができる。被観測モジュールのそれぞれの挙動分類モデルに挙動表現を適用することにより、各観測モジュールは、被観測モジュールの挙動(複数可)の1つ又は複数の挙動分類を生成することができる。挙動分類モデルは、促進決定スタブのアレイである局面において、この操作は、それぞれの判定スタブに挙動表現内の各値を用いて結果を求め、各判定の結果に関連した重みを適用し、加算するか、そうでなければ全ての決定のスタブに基づいて全体的な結論に到達する挙動分類に到達するため、このような良性または非良性であることができる。」 「[0069] In block 307, each of the modules may transmit their behavior classifications (i.e., behavior classification results) of all observed modules to all or most other modules in the system, and may receive behavior classification results of observed modules from all or most other modules in the system. [0070] In block 308, the observer modules may aggregate the classifications of the behavior(s) of each module received from other modules and its own classification. In some aspects, the observer modules may aggregate their respective classifications at one or more of the observer modules. In some aspects, each observer module may receive the behavior classifications of each of the other observer modules. For example, an observed module (e.g., the GPU) may be observed by the other modules in the system or device (e.g., the AP, the modem processor, and the DSP). The AP, the modem processor, and the DSP may each provide their behavior classifications of the GPU's behavior(s) to each other, and to each of the AP, the modem processor, and the DSP may combine the analyses of the other observer modules. For example, the AP may receive the classifications performed by the modem processor and the DSP, and the modem processor may receive the classifications performed by the AP and the DSP, and the DSP may receive the classifications performed by the AP and the modem processor. Each observer module may combine the independent analyses. In some embodiments, the observer modules may aggregate the classifications of the behavior(s) of each module received from other modules and its own classification, and the respective behavior models of each module and its own. For example, each observer module may adjust and/or update its behavior model for an observed module based on the behavior model received from of one or more other observer modules. [0071] In determination block 310, one or more of the modules may determine, based on the aggregated classifications, whether an observed module is behaving anomalously. In some aspects, each observer module may share with the other observer modules a determination that an observed module is behaving anomalously. Thus, each of the observer modules working together may act as an ensemble classifier of each of the observed modules. The determination that the observed module is behaving anomalously may be made based on a weighted average of the classifications of each of the observer modules. The weighted average may be compared to a threshold to determine whether the combined observations rise to the level of anomalous behavior. As an example, the weight assigned to each module's conclusions may depend upon the degree of interaction between the observer module and the observed module. The degree of interaction may include a quantity of interactions and/or a type of interactions. Thus, for example, a modem processor's observations of a GPU may be weighted lower because the modem processor and the GPU interact infrequently (e.g., in a particular system, or as instructed by particular application), but the modem's observations of the DSP (i.e., in the same system and/or application) may be weighted higher if the modem processor and DSP interact regularly. Alternatively, the determination that the observed module is behaving anomalously may be made based on votes of each of the observer modules, and the aggregate votes of each of the observer modules may yield an ensemble classification. [当審訳] [0069] ブロック307では、各モジュールは、それらの挙動分類(即ち、挙動識別結果)について観測されたすべてのモジュールをシステム中のすべて又は大部分の他のモジュールに送信することができ、システム中のすべて又は大部分の他のモジュールからのモジュールの挙動分類結果を受け取ることができる。 [0070] ブロック308では、オブザーバモジュールは、他のモジュールおよびそれ自身の分類から受信した各モジュールの挙動(単数または複数)の分類を集約することができる。いくつかの態様では、オブザーバモジュールは、1つまたは複数のオブザーバモジュールのこれらの個々の分類を集約することができる。いくつかの態様において、各々の観測者は他の観測者の各々のモジュールの挙動分類を受け取ることができる。例えば、観測されたモジュール(例えば、GPU)は、システムまたは装置(たとえば、AP、モデムプロセッサ、DSP)内の他のモジュールによって観測することができる。アクセスポイント(AP)、モデムプロセッサ及びDSPは、それぞれ、それらの挙動分類のGPUの挙動(複数可)を提供することができ、APの各々に、モデムプロセッサ、およびDSPは、他の観測モジュールの分析を組み合わせることができる。例えば、APは、モデムプロセッサおよびDSPによって実行される分類を受け取ることができ、モデムプロセッサは、DSPによって実行される分類を受信し、DSPがAPおよびモデムプロセッサによって実行される分類を受け取ることができる。各モジュールは、独立した分析を組み合わせることができる。いくつかの実施形態では、オブザーバモジュールは、他のモジュールおよびそれ自身の分類から受信した各モジュールの挙動(s)、および、各モジュールがそれ自身のそれぞれの挙動モデルの分類を集約することができる。例えば、各観測モジュールは、1つまたは複数の観測モジュールから受信した挙動モデルに基づいて、被観測モジュールの挙動モデルを調整および/または更新することができる。 [0071] 判定ブロック310では、1つ又はそれ以上のモジュールは、集約された分類に基づいて、被観測モジュールが異常に振舞うかどうかを決定することができる。いくつかの態様では、各観測モジュールは、被観測モジュールが異常に振舞うという決定を他の観測モジュールと共有することができる。従って、観測モジュールの各々は、被観測モジュールの各々のアンサンブル識別器として機能することができる。被観測モジュールが異常に振舞うことの判定は、観測モジュールのそれぞれの分類の重み付き平均に基づいて行うことができる。加重平均は、組み合わされた観測は、異常な挙動のレベルまで上昇するかどうかを決定するために閾値と比較されてもよい。一例として、各モジュールの結果に割り当てられた重みは、観測モジュール、および被観測モジュールとの間の相互作用の程度に依存し得る。相互作用の程度は相互作用のタイプの相互作用を含むことができる。このように、例えば、モデムプロセッサおよびGPUは、頻繁に相互作用する(例えば、特定のシステム、又は特定のアプリケーションにより指示されたように)ので、GPUのモデムプロセッサの観測は、加重下であってもよいが、モデムプロセッサ及びDSPは、規則的に相互作用する場合、DSP(すなわち、同じシステムおよび/またはアプリケーション)のモデムの観測は、より高い重みを付けることができる。あるいは、被観測モジュールが異常に振舞うという決定は、観測モジュールについての投票に基づいて行われてもよいし、各々の観測モジュールの総計の票は、アンサンブル分類をもたらすことができる。」 「図２ ［図：0001398109000001.jpg］ 図３ ［図：0001398109000002.jpg］ 」 ２ 以上から、引用文献１には、次の発明（以下、「引用発明」という。）が記載されているものと認められる。 「誤作動や悪意のある攻撃に対してシステムの完全性を維持するための挙動評価システム220であって、 挙動観測モジュール202、および挙動評価モジュール210を含み、 挙動評価モジュール210は、被観測モジュールの挙動を特徴付けるために、被観測モジュールの挙動に基づいて少なくとも1つの挙動モデルを生成し、前記観測された挙動を挙動モデルと比較し、他の挙動観測モジュールによって行われた、被観測モジュールの挙動とそれぞれの挙動モデルとの比較を集約し、集約された比較に基づいて、被観測モジュールが異常に振舞うかどうかを決定するように構成され、 挙動観測モジュール202は、観測モジュールと被観測モジュールとの間の通信リンク上で観測されるモジュール挙動に基づいて被観測モジュールの挙動を観測することができ、 各分類モデルは、観測モジュールによって使用され、被観測モジュールを監視するための判定基準を含み、機械学習アルゴリズムを利用して生成することができ、 それぞれの観測モジュールは、被観測モジュールの挙動を特徴付ける挙動表現を被観測モジュールのそれぞれの挙動分類モデルに適用することができる、 挙動評価システム220。」 第５ 対比・判断 １ 本願発明１について （１） 本願発明１と引用発明を比較すると、以下のことがいえる。 ア 引用発明の「挙動評価システム220」は、「挙動観測モジュール202」で「観測モジュールと被観測モジュールとの間の通信リンク上で観測されるモジュール挙動に基づいて被観測モジュールの挙動を観測」し、「挙動評価モジュール210」で「被観測モジュールの挙動とそれぞれの挙動モデルとの比較を集約し、集約された比較に基づいて、被観測モジュールが異常に振舞うかどうかを決定」しているから、引用発明の「挙動評価システム220」は、本願発明１の「通信ネットワークにおける各電子制御装置の通信から異常通信を検知する異常通信検知装置」と、「通信ネットワークにおける通信から異常通信を検知する異常通信検知装置」である点で共通する。 イ 引用発明の「挙動観測モジュール202」は、「通信リンク上で」「モジュール挙動」を観測しているから、本願発明１の「識別子を含む学習用通信データと、前記識別子を含む検知用通信データを受信する受信部」と、「検知用通信データを受信する受信部」である点で共通する構成を備えるといえる。 ウ 引用発明の「各分類モデル」は、「観測モジュールによって使用され、被観測モジュールを監視するための判定基準を含」むから、上記ア、イを踏まえると、引用発明の「各分類モデル」は、本願発明１の「前記検知器に振り分けられる前記通信データの正常、異常の別を検知するモデル」と、「前記通信データの正常、異常の別を検知するモデル」である点で共通する。 エ 引用発明の「挙動評価モジュール210」は、「被観測モジュールの挙動を特徴付けるために、被観測モジュールの挙動に基づいて少なくとも1つの挙動モデルを生成し、前記観測された挙動を挙動モデルと比較し、他の挙動観測モジュールによって行われた、被観測モジュールの挙動とそれぞれの挙動モデルとの比較を集約し、集約された比較に基づいて、被観測モジュールが異常に振舞うかどうかを決定するように構成され」、「各分類モデルは」「被観測モジュールを監視するための判定基準を含み、機械学習アルゴリズムを利用して生成することができ」るから、上記イ、ウを踏まえると、引用発明の「挙動観測モジュール202」と、本願発明１の「前記学習用通信データが振り分けられた場合に、当該検知器に振り分けられる前記通信データの正常、異常の別を検知するモデルを学習し、前記検知用通信データが振り分けられた場合に、学習した前記モデルに基づいて前記検知用通信データの正常、異常の別を検知する複数の前記検知器」とは、「前記通信データの正常、異常の別を検知するモデルを学習し」、「学習した前記モデルに基づいて前記検知用通信データの正常、異常の別を検知する検知器」である点で共通する。 したがって、本願発明１と引用発明との間には、次の一致点、相違点があるといえる。 ［一致点］ 「通信ネットワークにおける通信から異常通信を検知する異常通信検知装置であって、 検知用通信データを受信する受信部と、 前記通信データの正常、異常の別を検知するモデルを学習し、学習した前記モデルに基づいて前記検知用通信データの正常、異常の別を検知する検知器を含む、 異常通信検知装置。」 ［相違点１］ 本願発明１は「通信ネットワークにおける各電子制御装置の通信から異常通信を検知する」のに対し、引用発明では単に「通信ネットワークにおける通信から異常通信を検知する」ものである点。 ［相違点２］ 本願発明１の「受信部」は「識別子を含む学習用通信データと、前記識別子を含む検知用通信データを受信する」のに対し、引用発明では単に「検知用通信データを受信する」点。 ［相違点３］ 本願発明１では「前記学習用通信データの時間的特性、ペイロードの特性のうちの少なくとも何れか一方の特性を学習し、その学習結果である知識情報を取得する知識情報取得部と、 前記知識情報に基づいて、複数の検知器のうちの何れの前記検知器に何れの前記識別子の通信データを振り分けるかを規定するルールである振分ルールを生成する振分ルール生成部と、 前記振分ルールに基づいて、前記検知器の何れかに前記通信データを振り分ける振分部」を備えるのに対し、引用発明ではこのような構成について特定されていない点。 ［相違点４］ 本願発明１では「前記学習用通信データが振り分けられた場合に、当該検知器に振り分けられる前記通信データの正常、異常の別を検知するモデルを学習し、前記検知用通信データが振り分けられた場合に、学習した前記モデルに基づいて前記検知用通信データの正常、異常の別を検知する」するのに対し、引用発明は「前記通信データの正常、異常の別を検知するモデルを学習し、学習した前記モデルに基づいて前記検知用通信データの正常、異常の別を検知する」ものである点。 ［相違点５］ 本願発明１において「検知器」は「複数」であるのに対し、引用発明においては「複数」であるか明らかでない点。 （２）相違点についての判断 事案に鑑み、まず相違点３について検討する。 引用文献１には、上記相違点３に係る本願発明１の「前記学習用通信データの時間的特性、ペイロードの特性のうちの少なくとも何れか一方の特性を学習し、その学習結果である知識情報を取得する知識情報取得部と、前記知識情報に基づいて、複数の検知器のうちの何れの前記検知器に何れの前記識別子の通信データを振り分けるかを規定するルールである振分ルールを生成する振分ルール生成部と、前記振分ルールに基づいて、前記検知器の何れかに前記通信データを振り分ける振分部」という構成を想起させるに足りる記載はなく、上記構成を備えることが本願の優先日前に周知技術であったともいえない。 したがって、他の相違点について判断するまでもなく、本願発明１は、当業者であっても引用発明に基づいて容易に発明できたものであるとはいえない。 ２ 本願発明２－４、８について 本願発明２－４、８は、本願発明１を減縮した発明であり、本願発明１の上記相違点３に係る構成を備えるものであるから、本願発明１と同じ理由により、当業者であっても引用発明に基づいて容易に発明できたものとはいえない。 ３ 本願発明５－７について 本願発明５－７は、本願発明１－３に対応する方法の発明であり、本願発明１の上記相違点３に係る構成と実質的に同一の構成を備えるものであるから、本願発明１と同じ理由により、当業者であっても引用発明に基づいて容易に発明できたものとはいえない。 第６ むすび 以上のとおり、本願発明１－８は、当業者が引用発明に基づいて容易に発明をすることができたものではない。 したがって、原査定の理由によっては、本願を拒絶することはできない。 また、他に本願を拒絶すべき理由を発見しない。 よって、結論のとおり審決する。