2022-700834

特許第７０７６１６７号発明「機械学習装置、機械学習システム、機械学習方法、および機械学習プログラム」の特許異議申立事件について、次のとおり決定する。

結 論 特許第７０７６１６７号の請求項１ないし６、１０ないし１２に係る特許を維持する。

理 由 １ 手続の経緯 特許第７０７６１６７号の請求項１ないし６及び１０ないし１２に係る特許についての出願は、令和３年１２月１日に出願され、令和４年５月１９日にその特許権の設定登録がされ、令和４年５月２７日に特許掲載公報が発行された。その後、その特許に対し、令和４年８月２５日に特許異議申立人 青木幾雄は、特許異議の申立てを行った。 ２ 本件特許発明 特許第７０７６１６７号の請求項１ないし６及び１０ないし１２の特許に係る発明（以下、「本件特許発明１」、…「本件特許発明１２」などという。）は、それぞれ、その特許請求の範囲の請求項１ないし６及び１０ないし１２に記載された事項により特定される次のとおりのものである。なお、分説及びその記号は、異議申立書（第１～１１ページ）に記載のものを援用する。（分説に対応する構成を構成要件Ａ、構成要件Ｂ…などという。） （１）本件特許発明１ Ａ 画像データを取得するデータ取得部と、 Ｂ 前記画像データに基づいて、畳み込みニューラルネットワークを用いた計算処理を行う機械学習計算部と、を備え、 Ｃ 前記畳み込みニューラルネットワークは複数の層から構成され、 Ｄ 前記機械学習計算部は、 Ｄ１ 準同型暗号による暗号実行領域において演算する暗号処理部と、 Ｄ２ 平文実行領域において演算する平文処理部と、 Ｄ３ 前記畳み込みニューラルネットワークの入力層から出力層に向けての途中の層である第Ｎ層を指定する層指定情報を受け付ける受付部と、を有し、 Ｄ１－１ 前記暗号処理部は、前記入力層から前記第Ｎ層までの演算を実行し、 Ｄ２－１ 前記平文処理部は、第（Ｎ＋１）層から前記出力層までの演算を実行する、 Ｅ 機械学習装置。 （２）本件特許発明２ Ｆ 前記データ取得部は、前記画像データ及び当該画像データに対するラベルを関連付けた教師データを取得し、 Ｇ 前記機械学習計算部は、前記教師データに基づいて、前記画像データに対する前記ラベルを出力するよう畳み込みニューラルネットワークの学習モデルのパラメータを生成する Ｈ 請求項１に記載の機械学習装置。 （３）本件特許発明３ I 入力される画像データについての前記入力層から前記出力層までの演算を、前記平文処理部が実行した場合の当該演算に関する平文途中演算情報を提供する提供部をさらに備える J 請求項１又は請求項２に記載の機械学習装置。 （４）本件特許発明４ Ｋ 前記提供部は、前記平文途中演算情報として、前記入力層に入力される画像データと、前記入力層から前記出力層までの各層に入力されるデータとの情報の差を、ユーザが比較できる態様で提供する、 Ｌ 請求項３に記載の機械学習装置。 （５）本件特許発明５ Ｍ１ 前記提供部は、前記平文途中演算情報として、各層に入力される画像データを提供する、 Ｎ 請求項３または請求項４に記載の機械学習装置。 （６）本件特許発明６ Ｍ２ 前記提供部は、前記入力層から所定の層までを前記暗号処理部が演算し、当該所定の層の次の層から前記出力層までを前記平文処理部が実行した場合の計算コストを、ユーザが比較できる態様で提供する、 Ｏ 請求項３から請求項５のいずれか一項に記載の機械学習装置。 （７）本件特許発明１０ Ａ 画像データを取得するデータ取得部と、 Ｂ 前記画像データに基づいて、畳み込みニューラルネットワークを用いた計算処理を行う機械学習計算部と、を備え、 Ｃ 前記畳み込みニューラルネットワークは複数の層から構成され、 Ｄ 前記機械学習計算部は、 Ｄ１ 準同型暗号による暗号実行領域において演算する暗号処理部と、 Ｄ２ 平文実行領域において演算する平文処理部と、 Ｄ３ 前記畳み込みニューラルネットワークの入力層から出力層に向けての途中の層である第Ｎ層を指定する層指定情報を受け付ける受付部と、を有し、 Ｄ１－１ 前記暗号処理部は、前記入力層から前記第Ｎ層までの演算を実行し、 Ｄ２－１ 前記平文処理部は、第（Ｎ＋１）層から前記出力層までの演算を実行する、 Ｐ 機械学習システム。 （８）本件特許発明１１ Ａ’ 画像データを取得するステップと、 Ｂ’ 前記画像データに基づいて、畳み込みニューラルネットワークを用いた計算処理を行うステップと、を備え、 Ｃ’ 前記畳み込みニューラルネットワークは複数の層から構成され、 Ｄ’ 前記畳み込みニューラルネットワークを用いた計算処理を行うステップは、 Ｄ１’ 準同型暗号による暗号実行領域において演算するステップと、 Ｄ２’ 平文実行領域において演算するステップと、 Ｄ３’ 前記畳み込みニューラルネットワークの入力層から出力層に向けての途中の層である第Ｎ層を指定する層指定情報を受け付けるステップと、を有し、 Ｄ１－１’ 前記暗号実行領域では、前記入力層から前記第Ｎ層までの演算が実行され、 Ｄ２－１’ 前記平文実行領域では、第（Ｎ＋１）層から前記出力層までの演算が実行される、機械学習方法。 （９）本件特許発明１２ Ｑ 制御部と、記憶部と、を備えるコンピュータに実行させる機械学習プログラムであって、 Ａ” 前記制御部が、画像データを取得するステップと、 Ａ１ 前記記憶部が、前記画像データを記憶するステップと、 Ｂ” 前記制御部が、前記記憶部が記憶した前記画像データに基づいて、畳み込みニューラルネットワークを用いた計算処理を行うステップと、を備え、 Ｃ’ 前記畳み込みニューラルネットワークは複数の層から構成され、 Ｄ’ 前記畳み込みニューラルネットワークを用いた計算処理を行うステップは、 Ｄ１’ 準同型暗号による暗号実行領域において演算するステップと、 Ｄ２’ 平文実行領域において演算するステップと、 Ｄ３’ 前記畳み込みニューラルネットワークの入力層から出力層に向けての途中の層である第Ｎ層を指定する層指定情報を受け付けるステップと、を有し、 Ｄ１－１’ 前記暗号実行領域では、前記入力層から前記第Ｎ層までの演算が実行され、 Ｄ２－１’ 前記平文実行領域では、第（Ｎ＋１）層から前記出力層までの演算が実行される、機械学習プログラム。 ３ 申立理由の概要 特許異議申立人 青木幾雄は、以下の甲第１号証ないし甲第８号証を提出し、本件特許発明１及び１０ないし１２は、甲第１号証記載の発明から容易になすことができたものであるか、あるいは甲第１号証記載の発明と甲第３号証記載事項又は甲第４号記載事項とに基づき当業者が容易になすことができた発明であり、また、本件特許発明２ないし６は、甲第１号証記載の発明から容易になすことができたものであるか、あるいは甲第１号証記載の発明と甲第２号証記載事項、甲第３号証記載事項又は甲第４号記載事項とに基づき当業者が容易になすことができた発明であり、請求項１ないし６及び１０ないし１２に係る特許は特許法第２９条第２項の規定に違反してされたものであるから、特許法第１１３号第２号の規定により取り消すべきものである旨主張する。 甲第１号証：特開２０２０－１７７２２３号公報 甲第２号証：特開２０１９－１５６５４号公報 甲第３号証：福井宏、外５名、“プライバシーに配慮したＤｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋによるクラウド型顔照合システム”、第２回画像センシングシンポジウムＳＩＩ２０１６、画像センシング技術研究会、２０１６年６月８日、ｐｐ．１－６ 甲第４号証：岡谷貴之、“ディープラーニングと画像認識－基礎と最近の動向－”、オペレーションズ・リサーチ、公益法人日本オペレーションズ・リサーチ学会、２０１５年４月号、平成２７年４月、ｐ．１９８－ｐ．２０４ 甲第５号証：第２２回画像センシングシンポジウムの予稿としてのＵＳＢメモリのデータを格納したＤＶＤ－Ｒ 甲第６号証：特願２０１７－１５９２０７に対して発行された、平成３０年２月１６日起案の拒絶理由通知書 甲第７号証：公益社団法人日本オペレーションズ・リサーチ学会のウェブサイトの写し 甲第８号証：国立国会図書館サーチの検索結果画面の写し なお、令和４年１０月２８日に提出された上申書によれば、甲第５号証及び甲第６号証は、甲第３号証の公知日を、また、甲第７号証及び甲第８号証は、甲第４号証の公知日を、それぞれ証明するために提出されたものである。 ４ 各甲号証の記載事項 （１）甲第１号証 ア 甲第１号証の記載事項 甲第１号証（以下、単に「甲１」という場合がある。）には、図面とともに次の記載がある。（なお、下線は、強調のため当審が付与した。以降も同様である。） （ア）「【００２３】 計算機システム１は、クライアント装置１０と、演算システム２とを備える。演算システム２は、サーバ２０と、演算装置３０とを備える。クライアント装置１０と、サーバ２０とは、ネットワーク４０を介して接続されている。ネットワーク４０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｏｗｏｒｋ）や、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等である。サーバ２０と、演算装置３０とは、バス５０を介して接続されている。サーバ２０は、情報処理装置の一例である。 【００２４】 クライアント装置１０は、処理対象のデータを暗号化して演算システム２に送信し、演算システム２から暗号化された処理結果（例えば、推論結果）を受信し、暗号化された処理結果を復号し、処理結果を利用する。演算システム２は、暗号化されたデータを受信し、暗号化されたデータに対して所定の処理（例えば、推論処理）を実行し、暗号化された処理結果をクライアント装置１０に送信する。」 （イ）「【００３７】 図３は、一実施形態に係るサーバの機能構成図である。 【００３８】 サーバ２０は、中継部２１と、推論処理制御部２２と、受信部２３と、記憶部２４と、送信部２５とを備える。推論処理制御部２２は、演算制御部の一例である。 【００３９】 中継部２１は、クライアント装置１０の鍵共有部１５と、演算装置３０の後述する鍵共有部３３、４０との間の鍵交換処理における通信を中継する。 【００４０】 推論処理制御部２２は、記憶部２４に格納されているモデル情報２４２に従って、暗号化された対象データ２４１を暗号化した状態で用いてニューラルネットワークモデルによる推論処理を実行する。そして、推論処理制御部２２は、暗号化された状態の推論処理の処理結果１４２を送信部２５に渡す。例えば、推論処理制御部２２は、ニューラルネットワークモデルの中の自身が担当する処理レイヤーについては、この処理レイヤーの処理を実行する。そして、推論処理制御部２２は、ニューラルネットワークモデル中の演算装置３０が担当する処理レイヤーについては、この処理レイヤーを演算処理３０に実行させるように制御する。ここで、ニューラルネットワークモデルに含まれる自身が担当する処理レイヤーは、暗号化されたデータのままで実行可能な処理レイヤーである。なお、ニューラルネットワークモデルの構成及び処理レイヤーの例については後述する。 【００４１】 記憶部２４は、暗号化された対象データ２４１と、推論処理制御部２２により実行される推論処理で用いられるニューラルネットワークモデルの各処理レイヤーの構成及び各処理レイヤーで使用する設定値の情報を含むモデル情報２４２と、を記憶する。対象データ２４１は、推論処理を実行させる対象のデータである。モデル情報２４２に含まれる設定値としては、例えば、畳込処理レイヤーで使用されるフィルタの係数や、アフィンレイヤーで用いられる重み等がある。なお、各処理レイヤーで使用する設定値等は、ニューラルネットワークモデルを用いた学習により得られた値を含む。 【００４２】 受信部２３は、クライアント装置１０から送信される暗号化された対象データ１４１を受信して記憶部２４に格納する。送信部２５は、推論処理制御部２２によって得られた暗号化されている処理結果１４２をクライアント装置１０に送信する。対象データ２４１は、暗号化された対象データ１４１、演算装置３０から取得する暗号化された演算結果、及び情報処理装置２０において暗号化されたまま処理された暗号化されたデータの少なくとも一つを含むデータである。」 （ウ）「【００４３】 図４は、一実施形態に係る演算装置の機能構成図である 【００４４】 演算装置３０は、例えば、専用ＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）や、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）や、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）により構成されている。本実施形態では、演算装置３０は、サーバ２０の内部バスに接続されている。演算装置３０は、復号部３１と、演算実行部３２と、鍵共有部３３と、暗号化部３４と、取得部３５と、出力部３６とを備える。演算装置３０は、例えば、外部の装置（サーバ２０等）に対しては暗号化されたデータのみしか出力しないように構成されている。演算装置３０は、例えば、全体又は大部分が、処理を実行するハードウェア回路で構成されており、不正にデータを出力するなどの不正動作を起こさせるようにすることが困難（不可能又はほぼ不可能）となっている。したがって、サーバ２０によって、演算装置３０から処理途中の暗号化されていない状態のデータを取り出すことは、不可能又はほぼ不可能である。なお、演算装置３０は、外部の装置に対して少なくとも一部が暗号化されたデータを出力してもよい。」 （エ）「【００４７】 取得部３５は、サーバ２０から渡される暗号化されているデータを取得する。そして、復号部３１は、サーバ２０から渡される暗号化されているデータを、設定されている秘密鍵１４３により復号する。なお、サーバ２０から渡される暗号化されているデータは、クライアント装置１０から送信された暗号化された対象データに基づく、暗号化されているデータである。すなわち、サーバ２０から渡される暗号化されているデータは、クライアント装置１０から送信された暗号化された対象データそのままの場合や、暗号化された対象データに対して何らかの処理が行われた後の暗号化されているデータである。復号部３１は、復号したデータを演算実行部３２に渡す。なお、取得部３５は、暗号化されているデータとともに、処理で使用する設定値をサーバ２０から受け取るようにし、受け取った設定値を演算実行部３２に設定又は通知するようにしてもよい。なお、秘密鍵１４３及び公開鍵１４４に代えて、通信用共通鍵を用いる場合には、復号部３１は、サーバ２０から渡される暗号化されているデータを、設定されている通信用共通鍵により復号する。 【００４８】 演算実行部３２は、復号部３１から渡された復号されたデータに対して所定の処理を実行する。ここでの所定の処理は、ニューラルネットワークモデルにおける暗号化されたデータのままでは実行不可能な処理レイヤーを含む処理である。演算実行部３２は、演算結果を暗号化部３４に渡す。」 （オ）「【００５２】 ニューラルネットワークモデル３は、推論処理制御部２２による推論処理の構成を示すニューラルネットワークモデルであり、例えば、処理対象とする画像データが何を表しているか、例えば、人、犬、猫等の何を表しているかを推論する推論処理を実行して処理結果を出力するための畳込みニューラルネットワーク（ＣＮＮ）のモデルである。 【００５３】 ニューラルネットワークモデル３は、複数の処理レイヤー４により構成されている。具体的には、ニューラルネットワークモデル３は、畳込レイヤー４－１、活性化レイヤー４－２、プーリングレイヤー４－３、活性化レイヤー４－ｎ－２、アフィンレイヤー４－ｎ－１、及びＳｏｆｔＭａｘレイヤー４－ｎ等を含む。畳込レイヤー４－１は、画像データについて畳込処理を実行する。活性化レイヤー４－２は、前レイヤーからの入力データに対して活性化処理を実行する。プーリングレイヤー４－３は、前レイヤーから入力されたデータについてダウンサンプリング処理を実行する。活性化レイヤー４－ｎ－２は、前レイヤーからの入力データに対して活性化処理を実行する。アフィンレイヤー４－ｎ－１は、前レイヤーからの入力データに対してアフィン変換処理を実行する。ＳｏｆｔＭａｘレイヤー４－ｎは、前レイヤーからの入力データに対してソフトマックス（ＳｏｆｔＭａｘ）関数による処理を実行する。活性化処理を行う活性化レイヤーとしては、例えば、ＲｅＬＵ関数（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ Ｒｅｃｔｉｆｉｅｒ：正規化線形関数）による活性化処理を行う活性化レイヤーがある。 【００５４】 本実施形態では、畳込みレイヤー４－１の演算処理については、加法準同型暗号による暗号化データをそのまま用いて処理を行うことができるものとなっている。また、その他のレイヤー４については、暗号化されたデータをそのまま用いて処理することができないものとなっている。 【００５５】 このようなニューラルネットワークモデル３について、推論処理制御部２２は、暗号化されたデータのままで演算できる処理レイヤーは、予め決められた設定に従って、サーバ２０と演算装置３０とのいずれかに実行させる。また、推論処理制御部２２は、暗号化されたデータのままで演算できない処理レイヤーは、演算装置３０に実行させる。したがって、暗号化されたデータのままで演算できる処理レイヤーは、設定によって、全てをサーバ２０側で実行するようにすることも、一部をサーバ２０側で実行するようにすることも、すべてを演算装置３０側で実行させるようにすることもできる。なお、演算装置３０で処理レイヤーを実行させるためには、例えば、演算装置３０の演算実行部３２に、演算装置３０側で実行させる全ての処理レイヤー４を実行するための回路を構成しておけばよい。この場合、処理レイヤー４で使用する変数等の設定値については、予め固定的に設定してもよく、処理に際して、推論処理制御部２２から演算装置３０に渡して設定するようにしてもよい。」 （カ）「【０１２２】 また、上記実施形態又は変形例において、推論処理制御部２２は、暗号化されたデータのままで演算できる処理レイヤーについて、サーバ２０と演算装置３０（３０Ａ）とのいずれに実行させるかを設定に従って決めるようにしていた。本発明はこれに限られず、例えば、サーバ２０の処理負荷や、演算装置３０（３０Ａ）の処理負荷の少なくとも一方を検出し、この処理負荷に基づいて、サーバ２０と演算装置３０（３０Ａ）とのいずれに処理レイヤーを実行させるかを決定するようにしてもよい。例えば、推論処理制御部２２は、サーバ２０の処理負荷が所定以上の場合に、暗号化されたデータのままで演算できる処理レイヤーについて、演算装置３０（３０Ａ）に実行させてもよい。また、推論処理制御部２２は、演算装置３０（３０Ａ）の処理負荷が所定以上である場合に、暗号化されたデータのままで演算できる処理レイヤーについて、サーバ２０で実行させてもよい。これにより、サーバ２０や、演算装置３０（３０Ａ）の処理負荷を抑制することができる。」 （キ）「【図１】 ［図：0001394021000001.jpg］ 」 （ク）「【図３】 ［図：0001394021000002.jpg］ 」 （ケ）「【図４】 ［図：0001394021000003.jpg］ 」 （コ）「【図５】 ［図：0001394021000004.jpg］ 」 イ 甲１発明 上記ア（ア）の【００２３】の「計算機システム１は、クライアント装置１０と、演算システム２とを備える」との記載からすると、甲１には、「クライアント装置１０と、演算システム２とを備える」「計算機システム１」における「演算システム２」の発明が記載されているといえる。 よって、上記アの特に下線部に着目すると、甲１には、次の発明（以下、「甲１発明」という。）が記載されていると認められる。 「 クライアント装置１０と、演算システム２とを備える計算機システム１における演算システム２であって、 演算システム２は、サーバ２０と、演算装置３０とを備え、 クライアント装置１０と、サーバ２０とは、ネットワーク４０を介して接続され、 サーバ２０と、演算装置３０とは、バス５０を介して接続され、 クライアント装置１０は、処理対象のデータを暗号化して演算システム２に送信し、演算システム２から暗号化された処理結果（例えば、推論結果）を受信し、暗号化された処理結果を復号し、処理結果を利用し、演算システム２は、暗号化されたデータを受信し、暗号化されたデータに対して所定の処理（例えば、推論処理）を実行し、暗号化された処理結果をクライアント装置１０に送信し、 サーバ２０は、中継部２１と、推論処理制御部２２と、受信部２３と、記憶部２４と、送信部２５とを備え、 推論処理制御部２２は、記憶部２４に格納されているモデル情報２４２に従って、暗号化された対象データ２４１を暗号化した状態で用いてニューラルネットワークモデルによる推論処理を実行し、暗号化された状態の推論処理の処理結果１４２を送信部２５に渡し、 推論処理制御部２２は、ニューラルネットワークモデルの中の自身が担当する処理レイヤーについては、この処理レイヤーの処理を実行し、ニューラルネットワークモデル中の演算装置３０が担当する処理レイヤーについては、この処理レイヤーを演算処理３０に実行させるように制御し、ここで、ニューラルネットワークモデルに含まれる自身が担当する処理レイヤーは、暗号化されたデータのままで実行可能な処理レイヤーであり、 各処理レイヤーで使用する設定値等は、ニューラルネットワークモデルを用いた学習により得られた値を含み、 受信部２３は、クライアント装置１０から送信される暗号化された対象データ１４１を受信して記憶部２４に格納し、 演算装置３０は、復号部３１と、演算実行部３２と、鍵共有部３３と、暗号化部３４と、取得部３５と、出力部３６とを備え、全体又は大部分が、処理を実行するハードウェア回路で構成されており、不正にデータを出力するなどの不正動作を起こさせるようにすることが困難（不可能又はほぼ不可能）となっており、 復号部３１は、サーバ２０から渡される暗号化されているデータを、設定されている秘密鍵１４３により復号し、 演算実行部３２は、復号部３１から渡された復号されたデータに対して所定の処理を実行し、ここでの所定の処理は、ニューラルネットワークモデルにおける暗号化されたデータのままでは実行不可能な処理レイヤーを含む処理であり、 ニューラルネットワークモデル３は、処理対象とする画像データが何を表しているか、例えば、人、犬、猫等の何を表しているかを推論する推論処理を実行して処理結果を出力するための畳込みニューラルネットワーク（ＣＮＮ）のモデルであり、 ニューラルネットワークモデル３は、複数の処理レイヤー４により構成され、具体的には、畳込レイヤー４－１、活性化レイヤー４－２、プーリングレイヤー４－３、活性化レイヤー４－ｎ－２、アフィンレイヤー４－ｎ－１、及びＳｏｆｔＭａｘレイヤー４－ｎ等を含み、 畳込みレイヤー４－１の演算処理については、加法準同型暗号による暗号化データをそのまま用いて処理を行うことができるものとなっており、その他のレイヤー４については、暗号化されたデータをそのまま用いて処理することができないものとなっており、 ニューラルネットワークモデル３について、推論処理制御部２２は、暗号化されたデータのままで演算できる処理レイヤーは、予め決められた設定に従って、サーバ２０と演算装置３０とのいずれかに実行させ、また、推論処理制御部２２は、暗号化されたデータのままで演算できない処理レイヤーは、演算装置３０に実行させ、 サーバ２０の処理負荷や、演算装置３０（３０Ａ）の処理負荷の少なくとも一方を検出し、この処理負荷に基づいて、サーバ２０と演算装置３０（３０Ａ）とのいずれに処理レイヤーを実行させるかを決定するようにしてもよい、 演算システム２。」 （２）甲第２号証 甲第２号証（以下、単に「甲２」という場合がある。）には、図面とともに次の記載がある。 「【０００１】 本発明は、機械学習装置及び機械学習方法に関する。特に、機械学習のための学習データを効率的に生成することができる機械学習装置及び機械学習方法に関する。また、この機械学習装置及び機械学習方法を利用した検査装置に関する。 【背景技術】 【０００２】 …（中略）… 【０００３】 この機械学習を行うためには、検査対象物の画像と、その画像に写っている検査対象物がＯＫなのかＮＧなのかを指定するラベルと、からなる学習データが必要となる。このように、検査対象物の画像と、「ＯＫ」又は「ＮＧ」の値を有するラベルと、の学習データの組を数多く準備すれば、それら学習データの組を用いて機械学習を行うことができる。その後、機械学習した内容に基づき、検査対象物の新たな入力画像に対して、（機械学習を行った）機械学習装置がＯＫ、ＮＧを判別できるようになる。」 （３）甲第３号証 甲第３号証（以下、単に「甲３」という場合がある。）には、図面とともに次の記載がある。 （Ａｂｓｔｒａｃｔ） 「 障がい者や高齢者を支援するサービスを実現するために、クラウド上の端末で情報処理を担うクラウドロボティクスの考えが普及している．クラウドロボティクスにおいて顔画像を扱う場合は、プライバシーに配慮する必要がある．本稿では、クラウドロボティクスのフレームワークにおいて、プライバシーに配慮したＤｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＤＣＮＮ） に基づく顔照合システムを提案する．ＤＣＮＮは、高性能な顔照合が可能であるが、計算コストが高いため、ロボットの負担が大きくなる．提案するクラウド型顔照合システムは、ＤＣＮＮの下位層をロボットで処理し、ＤＣＮＮの上位層をクラウドサーバで処理する．これにより、ロボット側の計算コストを大幅に削減できる．」 （第１ページ右段） 「 クラウドロボティクスは、ロボットとクラウド上の認識エンジンや情報処理技術を連携させ、大規模な計算やデータベースを要求するような情報処理クラウドで担うという考え方である…（中略） …ＤＣＮＮの特徴マップは、ＤＣＮＮの構造や重みフィルタなどのパラメータの係数がでな既知でない場合に復元が不可能である．そのため、暗号化されたデータを送受信していることと等価なため、プライバシーに配慮したシステムとなる．」 （第３ページ左段） 「 顔画像を学習したＤＣＮＮに対して、畳み込み層をロボットとクラウドサーバで処理する２つのネットワークに分割する．ロボット側は、指定した畳み込み層の特徴マップをクラウドサーバに送信する．クラウドサーバでは、受信した特徴マップを再度ＤＣＮＮへ入力し、畳み込みとプーリングの続きを行う．ＤＣＮＮの構造を分割することで、ロボットの計算コストを大幅に削減できる．」 （第３ページ右段） 「 本システムでは、ロボット側のＤＣＮＮで算出した特徴マップのみを送信し、クラウド側に顔画像を保存しないため、プライバシを配慮したシステムとなる．」 （第４ページ左段～右段） 「 図５に、ロボットで処理する畳み込み数を変化させた際のロボット側の処理時間とデータ通信量を示す．ロボットはクラウドサーバと比べて計算能力が低いため、ロボットで処理する層が多い場合に総処理時間が長くなる．しかし、ロボットで処理する層数を浅くした場合、データ通信量が膨大になるため、通信時間が長くなる．図５より、２層目の畳み込み層（Ｃｏｎｖ２＋Ｐｏｏｌ１）で分割した際に、ロボットの処理時間が短く、かつデータ送信量が少ないことがわかる．」 （第４ページ右段～第５ページ左段） 「４．３ プライバシーの評価 顔画像は個人を特定できる情報であるため、インターネットを介した通信には注意が必要である．図７に、各畳み込み層の特徴マップを可視化した結果を示す．図７より、ＤＣＮＮの畳み込み層が上位層になるにつれて、目視による個人の特定が困難になることが確認できる． …（中略）… 図８より、分割する畳み込み層が上位層になるにつれてプライバシー率が向上し、被験者の顔照合精度が低下していることが確認できる．特に、切り離す畳み込み層が４層目のときに、プライバシー率が大幅に向上し、顔照合精度が大幅に低下していることがわかる．」 （図１） 「 ［図：0001394021000005.jpg］ 」 （図５） 「 ［図：0001394021000006.jpg］ 」 （４）甲第４号証 甲第４号証（以下、単に「甲４」という場合がある。）には、図面とともに次の記載がある。 （第２００ページ右段～第２０１ページ左段） 「２．５ 畳込み層とプーリング層の役割 畳込み層は上述のとおりフィルタが表す特徴を入力から抽出する働きがあり、プーリング層は抽出された特徴の位置感度を低下させる働きがある．これを概観するため、図５に手書き数字の認識を目的とする畳込みネットの各層の出力例を示す２．この畳込みネットは、入力層から順に畳込み層(conv1)、プーリング層(pool1)、畳込み層(conv2)、プーリング層(pool2)、最後に数字１０種に対応する１０個のユニットからなる全結合層を持つ．入力層ではグレースケールの画像１枚を受け取り、これに１６個の１チャネルのフィルタを畳込んで１６チャネルのマップを得、プーリング層を経た後、１６個の１６チャネルのフィルタを畳込んで１６チャネルのマップを得、再度プーリング層を経て、最後に全結合層から１０種のクラス尤度を出力する． この図より、畳込み層の各マップ(conv1、conv2)では数字の文字形状に対応すると思われる何らかの特徴が抽出されていることが現に見て取れる．その後に続くプーリング層(pool1、pool2)では、各マップの解像度が一律に低下しており、畳込み層で抽出された特徴の位置感度が低下するだろうことも確かめられる．」 （図５） 「 ［図：0001394021000007.jpg］ 」 ５ 当審の判断 （１）本件特許発明１について ア 対比 本件特許発明１と甲１発明とを対比する。 （ア）構成要件Ａについて 甲１発明において、「演算システム２」は、「暗号化されたデータを受信し、暗号化されたデータに対して所定の処理（例えば、推論処理）を実行し、暗号化された処理結果をクライアント装置１０に送信」するものであり、「サーバ２０」の「受信部２３」は、「クライアント装置１０から送信される暗号化された対象データ１４１を受信して記憶部２４に格納」するものである。 また、甲１発明において、「演算システム２」を構成する「サーバ２０」及び「演算装置３０」は、「ニューラルネットワークモデル３」を構成する複数の「処理レイヤー」を処理するものであり、「ニューラルネットワークモデル３」は、「処理対象とする画像データが何を表しているか、例えば、人、犬、猫等の何を表しているかを推論する推論処理を実行して処理結果を出力するための畳込みニューラルネットワーク（ＣＮＮ）のモデル」である。 また、甲１発明において、「サーバ２０」の「推論処理制御部２２」は、「ニューラルネットワークモデルの中の自身が担当する処理レイヤーについては、この処理レイヤーの処理を実行し、ニューラルネットワークモデル中の演算装置３０が担当する処理レイヤーについては、この処理レイヤーを演算処理３０に実行させるように制御」するものである。 以上から、甲１発明において、「サーバ２０」の「受信部２３」は、「処理対象とする画像データ」を暗号化した「暗号化されたデータ」を受信し、「暗号化されたデータ」に基づいて、「サーバ２０」の「推論処理制御部２２」と「演算装置３０」が、「畳込みニューラルネットワーク（ＣＮＮ）のモデル」を用いて「推論処理」を行うものといえる。 ここで、甲１発明の「暗号化された対象データ１４１」は、「処理対象とする画像データ」を暗号化したものであるから、本件特許発明１の「画像データ」に相当する。 そして、甲１発明の「サーバ２０」の「受信部２３」は、「暗号化された対象データ１４１」を受信することにより“取得”しているといえる。 したがって、甲１発明の「サーバ２０」の「受信部２３」は、本件特許発明１の「画像データを取得するデータ取得部」に相当する。 （イ）構成要件Ｂについて 前記（ア）を参酌すれば、甲１発明の「ニューラルネットワークモデル３」は、「畳込みニューラルネットワーク（ＣＮＮ）のモデル」と同一視できるから、本件特許発明１の「畳み込みニューラルネットワーク」に相当する。 また、甲１発明において、「各処理レイヤーで使用する設定値等は、ニューラルネットワークモデルを用いた学習により得られた値を含」むから、「処理レイヤー」を処理する「サーバ２０」の「推論処理制御部２２」と「演算装置３０」は、“機械学習計算部”といい得るものである。 よって、前記（ア）を参酌すれば、甲１発明の「サーバ２０」の「推論処理制御部２２」と「演算装置３０」は、本件特許発明１の「前記画像データに基づいて、畳み込みニューラルネットワークを用いた計算処理を行う機械学習計算部」に相当する。 （ウ）構成要件Ｃについて 甲１発明における「処理レイヤー」は、本件特許発明１の「層」に相当する。 よって、甲１発明において、「ニューラルネットワークモデル３」が複数の「処理レイヤー」により構成されることは、本件特許発明１の「前記畳み込みニューラルネットワークは複数の層から構成され」ることに相当する。 （エ）構成要件Ｄ、Ｄ１、Ｄ２及びＤ３について 甲１発明は、 「推論処理制御部２２は、ニューラルネットワークモデルの中の自身が担当する処理レイヤーについては、この処理レイヤーの処理を実行し、ニューラルネットワークモデル中の演算装置３０が担当する処理レイヤーについては、この処理レイヤーを演算処理３０に実行させるように制御し、ここで、ニューラルネットワークモデルに含まれる自身が担当する処理レイヤーは、暗号化されたデータのままで実行可能な処理レイヤーであり、」及び 「 ニューラルネットワークモデル３は、複数の処理レイヤー４により構成され、具体的には、畳込レイヤー４－１、活性化レイヤー４－２、プーリングレイヤー４－３、活性化レイヤー４－ｎ－２、アフィンレイヤー４－ｎ－１、及びＳｏｆｔＭａｘレイヤー４－ｎ等を含み、 畳込みレイヤー４－１の演算処理については、加法準同型暗号による暗号化データをそのまま用いて処理を行うことができるものとなっており、その他のレイヤー４については、暗号化されたデータをそのまま用いて処理することができないものとなっており、 ニューラルネットワークモデル３について、推論処理制御部２２は、暗号化されたデータのままで演算できる処理レイヤーは、予め決められた設定に従って、サーバ２０と演算装置３０とのいずれかに実行させ、また、推論処理制御部２２は、暗号化されたデータのままで演算できない処理レイヤーは、演算装置３０に実行させ、」 との構成を備えていることからすると、「暗号化されたデータのままで演算できる処理レイヤー」の処理は、「加法準同型暗号」により暗号化されたデータを処理する“暗号実行領域”における演算といえ、逆に、「暗号化されたデータのままで演算できない処理レイヤー」の処理は、「加法準同型暗号」により暗号化されていない平文のデータを処理する“平文実行領域”における演算といえる。 そして、甲１発明において、「サーバ２０」の「推論処理制御部２２」及び／又は「演算装置３０」は、「暗号化されたデータのままで演算できる処理レイヤー」を処理するものであるから、本件特許発明１の「準同型暗号による暗号実行領域において演算する暗号処理部」に相当し、また、「演算装置３０」は、「暗号化されたデータのままで演算できない処理レイヤー」を処理するものであるから、本件特許発明１の「平文実行領域において演算する平文処理部」に相当する。 したがって、甲１発明の「サーバ２０」の「推論処理制御部２２」と「演算装置３０」と、本件特許発明１の 「 前記機械学習計算部は、 準同型暗号による暗号実行領域において演算する暗号処理部と、 平文実行領域において演算する平文処理部と、 前記畳み込みニューラルネットワークの入力層から出力層に向けての途中の層である第Ｎ層を指定する層指定情報を受け付ける受付部と、を有」することとは、 「 前記機械学習計算部は、 準同型暗号による暗号実行領域において演算する暗号処理部と、 平文実行領域において演算する平文処理部と、を有」する点において共通する。 （オ）構成要件Ｄ１－１及びＤ２－１について 甲１発明は、構成要件Ｄ３に相当する構成を備えない以上、構成要件Ｄ１－１及びＤ２－１に相当する構成も備えていない。 （カ）構成要件Ｅ 甲１発明の「演算システム２」は、「サーバ２０」（「受信部２３」と「推論処理制御部２２」を含む。）と「演算装置３０」を備えるものであるから、後述する相違点を除いて、本件特許発明１の「機械学習装置」に相当する。 イ 一致点、相違点 前記アより、本件特許発明１と甲１発明とは、以下の点において一致ないし相違する。 ○一致点 「 画像データを取得するデータ取得部と、 前記画像データに基づいて、畳み込みニューラルネットワークを用いた計算処理を行う機械学習計算部と、を備え、 前記畳み込みニューラルネットワークは複数の層から構成され、 前記機械学習計算部は、 準同型暗号による暗号実行領域において演算する暗号処理部と、 平文実行領域において演算する平文処理部と、を有する、 機械学習装置。」 ○相違点 本件特許発明１において、「機械学習計算部」は「前記畳み込みニューラルネットワークの入力層から出力層に向けての途中の層である第Ｎ層を指定する層指定情報を受け付ける受付部」（構成要件Ｄ３）を有し、「前記暗号処理部は、前記入力層から前記第Ｎ層までの演算を実行し」（構成要件Ｄ１－１）、「前記平文処理部は、第（Ｎ＋１）層から前記出力層までの演算を実行する」（構成要件Ｄ２－１）のに対し、甲１発明は、本件特許発明１の構成要件Ｄ３、Ｄ１－１及びＤ２－１に相当する構成を備えることを具体的に特定していない点。 ウ 相違点についての判断 （ア）甲１発明のみに基づく進歩性の判断 本件特許発明１の構成要件Ｄ３、Ｄ１－１及びＤ２－１は、入力層から第Ｎ層までを暗号処理部（暗号実行領域）により演算し、第（Ｎ＋１）層から出力層までを平文処理部（平文実行領域）により演算することを前提として、途中の層である第Ｎ層を任意に指定する層指定情報を受け付けるものである。 一方、甲１発明は、「暗号化されたデータのままで演算できる処理レイヤー」が、入力層から第Ｎ層までであり、かつ、「暗号化されたデータのままで演算できない処理レイヤー」が、第（Ｎ＋１）層から出力層までであることを前提とするものでなく、また、「暗号化されたデータのままで演算できる処理レイヤー」及び／又は「暗号化されたデータのままで演算できない処理レイヤー」は、暗号化されたデータのままで演算できるか否かに基づいて決定されるべきものであることから、複数の「処理レイヤー」の中から任意に指定できるようなものでもない。 また、本件特許発明１の構成要件Ｄ３、Ｄ１－１及びＤ２－１の構成が、本件特許の出願時における技術常識であったとも認められない。 したがって、本件特許発明１は、当業者が甲１発明に基づいて容易に発明をすることができたものではない。 （イ）甲１発明と甲３記載事項又は甲４記載事項に基づく進歩性の判断 ａ 甲１発明と甲３記載事項に基づく進歩性の判断 甲３には、ロボット側のＤＣＮＮで算出した特徴マップのみを送信し、クラウド側に顔画像を保存しない、プライバシを配慮したシステムにおいて、顔画像を学習したＤＣＮＮに対して、畳み込み層をロボットとクラウドサーバで処理する２つのネットワークに分割すること、ロボットで処理する畳み込み数を変化させた際のロボット側の処理時間とデータ通信量は、ロボットはクラウドサーバと比べて計算能力が低いため、ロボットで処理する層が多い場合に総処理時間が長くなるが、ロボットで処理する層数を浅くした場合、データ通信量が膨大になるため、通信時間が長くなること、画像は個人を特定できる情報であるため、インターネットを介した通信には注意が必要であること、ＤＣＮＮの畳み込み層が上位層になるにつれて、目視による個人の特定が困難になること、及び、分割する畳み込み層が上位層になるにつれてプライバシー率が向上し、被験者の顔照合精度が低下していることが記載されている。（以下、これを「甲３記載事項」という。） 甲３記載事項は、ロボットとクラウドサーバとがインターネットで接続されていることを前提に、データ通信量、通信時間、及び／又はプライバシの観点に基づいて、畳み込みネットワーク（ＤＣＮＮ）をロボットとクラウドサーバとの間で分割するものである。 一方、甲１発明において、「クライアント装置１０」と「サーバ２０」とは「ネットワーク４０」を介して接続されているものの、「暗号化されたデータのままで演算できる処理レイヤー」を処理することが可能な「推論処理制御部２２」を備える「サーバ２０」と、「暗号化されたデータのままで演算できない処理レイヤー」を処理する「演算装置３０」とは、「バス５０」を介して接続され、また、「演算装置３０」の「復号部３１」は、「サーバ２０から渡される暗号化されているデータを、設定されている秘密鍵１４３により復号」し、「演算装置３０」の「演算実行部３２」は、「復号部３１から渡された復号されたデータに対して所定の処理を実行」するよう構成されているから、「サーバ２０」から「演算装置３０」に送信されるデータは暗号化されているため、甲３記載事項のように、インターネットを介した通信におけるプライバシの問題は発生しない。加えて、甲１発明において、「演算装置３０」は、「全体又は大部分が、処理を実行するハードウェア回路で構成されており、不正にデータを出力するなどの不正動作を起こさせるようにすることが困難（不可能又はほぼ不可能）」であるように構成されているから、「暗号化されたデータのままで演算できない処理レイヤー」を処理するにあたり、暗号化されていないデータが外部に漏洩することがないように配慮がなされている。 したがって、当業者といえども、甲１発明に甲３記載事項に係る技術を適用する動機付けは存在しない。 仮に、甲１発明に甲３記載事項を適用し得るとしても、甲１発明に、「クライアント装置１０」と「サーバ２０」との間で処理を分割する構成が付加されることになり、上記相違点に係る本件特許発明１の構成には至らない。 したがって、本件特許発明１は、当業者が甲１発明と甲３記載事項に基づいて容易に発明をすることができたものではない。 ｂ 甲１発明と甲４記載事項に基づく進歩性の判断 甲４には、手書き数字の認識を目的とする畳込みネットの各層の出力を見ることができること、畳込み層の各マップ(conv1、conv2)では数字の文字形状に対応すると思われる何らかの特徴が抽出され、その後に続くプーリング層(pool1、pool2)では、各マップの解像度が一律に低下しており、畳込み層で抽出された特徴の位置感度が低下することが記載されている。（以下、これを「甲４記載事項」という。） 甲４記載事項は、上記相違点に係る本件特許発明１の構成を開示するものではない。 よって、本件特許発明１は、当業者が甲１発明と甲４記載事項に基づいて容易に発明をすることができたものではない。 ｃ まとめ 以上のとおりであるから、本件特許発明は、当業者が甲１発明と、甲３記載事項又は甲４記載事項に基づいて容易に発明をすることができたものではない。 （２）本件特許発明１０ないし１２について 本件特許発明１０は、本件特許発明１を「機械学習システム」の発明として特定したものであり、本件特許発明１１は、本件特許発明１を「機械学習方法」の発明として特定したものであり、また、本件特許発明１２は、本件特許発明１を「機械学習プログラム」として特定したものであり、本件特許発明１０ないし１２は、上記相違点に係る本件特許発明１の構成に対応する技術事項を備えたものである よって、本件特許発明１０ないし１２は、本件特許発明１と同様の理由により、当業者が甲１発明と、甲３記載事項又は甲４記載事項に基づいて容易に発明をすることができたものではない。 （３）本件特許発明２ないし６について 本件特許発明２ないし６は、本件特許発明１の構成をすべて含むものである。 また、甲２は、上記相違点に係る本件特許発明１の構成を開示するものではない。 よって、本件特許発明２ないし６は、本件特許発明１と同様の理由により、当業者が甲１発明と、甲２記載事項、甲３記載事項又は甲４記載事項に基づいて容易に発明をすることができたものではない。 ６ むすび したがって、特許異議の申立ての理由及び証拠によっては、請求項１ないし６及び１０ないし１２に係る特許を取り消すことはできない。 また、他に請求項１ないし６及び１０ないし１２に係る特許を取り消すべき理由を発見しない。 よって、結論のとおり決定する。