2020-700120

特許第６５６７２０５号発明「機械学習装置、補正パラメータ調整装置および機械学習方法」の特許異議申立事件について、次のとおり決定する。

結 論 特許第６５６７２０５号の明細書、特許請求の範囲を訂正請求書に添付された訂正明細書、特許請求の範囲のとおり、訂正後の請求項〔１～１０〕、１１について訂正することを認める。 特許第６５６７２０５号の請求項１～１１に係る特許を維持する。

理 由 第１ 手続の経緯 特許第６５６７２０５号の請求項１～１１に係る特許についての出願は、２０１８年（平成３０年）６月１４日を国際出願日として出願されたものであり、令和１年８月９日にその特許権の設定登録がされ、令和１年８月２８日に特許掲載公報が発行された。本件特許異議の申立ての主な経緯は、次のとおりである。 令和 ２年 ２月２７日 ： 特許異議申立人藤江桂子（以下「特許異 議申立人」という。）による請求項１～１ １に係る特許に対する特許異議の申立て 令和 ２年 ５月１１日付け： 取消理由通知 令和 ２年 ６月２４日 ： 特許権者と審判合議体との面接 令和 ２年 ７月１３日 ： 特許権者による意見書及び訂正請求書の 提出 令和 ２年 ８月１８日 ： 特許異議申立人による意見書の提出 令和 ３年 ２月 ４日付け： 訂正拒絶理由通知 令和 ３年 ２月２５日付け： 特許権者と審判合議体との電子メール 及び電話での応対の記録 令和 ３年 ３月１０日 ： 特許権者による意見書及び手続補正書の 提出 令和 ３年 ５月２６日付け： 取消理由通知（決定の予告） 令和 ３年 ７月 ８日付け： 特許権者と審判合議体との電子メール 及び電話での応対の記録 令和 ３年 ７月２９日 ： 特許権者による意見書及び訂正請求書の 提出 令和 ３年 ９月 ３日 ： 特許異議申立人による意見書の提出 令和 ４年 ３月 ９日付け： 取消理由通知（決定の予告） 令和 ４年 ４月２８日付け： 特許権者と審判合議体との電子メール 及び電話での応対の記録 令和 ４年 ５月１２日 ： 特許権者による意見書及び訂正請求書の 提出 令和 ４年 ６月２１日 ： 特許異議申立人による意見書の提出 第２ 訂正の適否 １ 訂正請求書による訂正の内容 令和４年５月１２日提出の訂正請求書により、特許権者は、特許請求の範囲の訂正を求めているところ、訂正事項は以下のとおりである。（下線部は、訂正により変更又は追加された箇所を示す。） なお、令和２年７月１３日に提出され、令和３年３月１０日に補正された訂正請求書による訂正の請求及び令和３年７月２９日に提出された訂正請求書による訂正の請求は、取り下げられたものとみなす。 （１）訂正事項１ 特許請求の範囲の請求項１における「前記モータ駆動装置の駆動データおよび前記補正機能の種類に基づいて計算された特徴量と、」との記載を、「前記補正機能の種類に基づいて、前記モータ駆動装置の駆動データから計算により切り取られ抽出された特徴量と、」に訂正する。（請求項１の記載を引用する請求項２～１０も同様に訂正する。） （２）訂正事項２ 特許請求の範囲の請求項１における「前記状態変数に基づいて作成される訓練データセットに従って、前記補正パラメータを前記補正機能毎に学習する学習部と、」との記載を、「前記状態変数に基づいて前記補正機能毎に作成される訓練データセットに従って、前記訓練データセットに含まれる前記状態変数を用いて前記補正パラメータを前記補正機能毎に学習する学習部と、」に訂正する。（請求項１の記載を引用する請求項２～１０も同様に訂正する。） （３）訂正事項３ 願書に添付した明細書の段落【０００７】に記載された「複数の種類の補正機能を有するモータ駆動装置においてモータを制御するための指令値の補正に用いられる補正パラメータを学習する機械学習装置であって、モータ駆動装置の駆動データおよび補正機能の種類に基づいて計算された特徴量と、補正パラメータとを状態変数として観測する状態観測部と、状態変数に基づいて作成される訓練データセットに従って、補正パラメータを補正機能毎に学習する学習部と、を備えることを特徴とする。」を「複数の種類の補正機能を有するモータ駆動装置においてモータを制御するための指令値の補正に用いられる補正パラメータを学習する機械学習装置であって、補正機能の種類に基づいて、モータ駆動装置の駆動データから計算により切り取られ抽出された特徴量と、補正パラメータとを状態変数として観測する状態観測部と、状態変数に基づいて補正機能毎に作成される訓練データセットに従って、訓練データセットに含まれる状態変数を用いて補正パラメータを補正機能毎に学習する学習部と、を備えることを特徴とする。」に訂正する。 （４）訂正事項４ 特許請求の範囲の請求項１１における「前記モータ駆動装置の駆動データおよび前記補正機能の種類に基づいて計算された特徴量と、」との記載を、訂正事項１と同様に、「前記補正機能の種類に基づいて、前記モータ駆動装置の駆動データから計算により切り取られ抽出された特徴量と、」に訂正する。 （５）訂正事項５ 特許請求の範囲の請求項１１における「前記状態変数に基づいて作成される訓練データセットに従って、前記補正パラメータを前記補正機能毎に学習するステップと、」との記載を、訂正事項２と同様に、「前記状態変数に基づいて前記補正機能毎に作成される訓練データセットに従って、前記訓練データセットに含まれる前記状態変数を用いて前記補正パラメータを前記補正機能毎に学習するステップと、」に訂正する。 ２ 訂正の対象となる請求項（一群の請求項） 本件訂正のうち、訂正事項１及び２に係る訂正は、請求項１についての訂正であり、訂正事項３に係る訂正は、明細書の記載について、訂正後の請求項１の記載に整合させる訂正であるところ、請求項２～１０は請求項１を引用する請求項であるから、訂正事項１～３に係る訂正は、一群の請求項〔１～１０〕に対して請求されたものである。 また、本件訂正のうち、訂正事項４及び５に係る訂正は、請求項１１に対して請求されたものである。 ３ 本件訂正の目的の適否、新規事項の有無、特許請求の範囲の拡張・変更の存否 （１）訂正事項１、２について ア 訂正の目的 訂正事項１は、特許請求の範囲の請求項１について、訂正前の「特徴量」が、「前記モータ駆動装置の駆動データおよび前記補正機能の種類に基づいて計算された」ものとされていたのを、「補正機能の種類に基づいて」、「モータ駆動装置の駆動データから」、「計算により切り取られ抽出」されるものであること、すなわち、特徴量を特定するために必要な計算の内容を限定することで特許請求の範囲を減縮しようとするものであるから、この訂正の目的は、特許法第１２０条の５第２項ただし書第１号の特許請求の範囲の減縮を目的とするものに該当する。 訂正事項２は、特許請求の範囲の請求項１について、訂正前の「学習部」が、「前記状態変数に基づいて作成される訓練データセットに従って、前記補正パラメータを前記補正機能毎に学習する」ものとされていたのを、前記状態変数に基づいて「前記補正機能毎に」作成される訓練データセットに従って、「前記訓練データセットに含まれる前記状態変数を用いて」前記補正パラメータを前記補正機能毎に学習するもの、すなわち、学習に用いる訓練データセットが補正機能毎に作成されるものであること、学習が訓練データセットに含まれる状態変数を用いて行われること（訓練データセットには状態変数が含まれ、当該状態変数を用いて学習すること）を限定することで特許請求の範囲を減縮しようとするものであるから、この訂正の目的は、特許法第１２０条の５第２項ただし書第１号の特許請求の範囲の減縮を目的とするものに該当する。 イ 新規事項、特許請求の範囲の拡張・変更の存否 訂正事項１、２に関し、願書に添付した明細書（以下「本件特許明細書」という。）の段落【００１７】には、「アルゴリズム選択部６１は、補正機能情報から調整対象となる補正機能を示す情報を取得し、補正機能ごとに学習用駆動データＤｅから特徴量を抽出するために使用するアルゴリズムを選択する。・・・アルゴリズム記憶部６２には、ローパスフィルタ、ハイパスフィルタ、バンドパスフィルタ、バンドエリミネイトフィルタなどの各種フィルタ、運動方向反転位置検出、速度ゼロ近傍検出、コーナ部検出などの運動特徴波形抽出、データ切り取り処理などを実行するための計算アルゴリズムを示す関数群が格納されている。データの切り取りは、データを切り取って切り取った部分を抽出することを指す。特徴量計算部６３は、アルゴリズム選択部６１から入力される計算アルゴリズム選択指令に基づいて、使用する計算アルゴリズムをアルゴリズム記憶部６２から取出して、取出した計算アルゴリズムを用いて、学習用駆動データＤｅから補正機能ごとに特徴量を計算する。」との記載があり、段落【００１８】には、「摩擦補正機能については、アルゴリズム選択部６１は、運動方向反転位置検出、運動方向反転時近傍のデータ切り取りを選択する。学習用駆動データＤｅに、位置指令、位置フィードバック、モータ電流、理想的な位置に対する実際の位置のデータが含まれている場合、特徴量計算部６３は、それぞれのデータに関して、選択された計算アルゴリズムを適用して特徴量を算出する。また、振動補正機能については、アルゴリズム選択部６１は、運動停止直後のデータの切り取り、バンドパスフィルタを選択する。」との記載があるところ、データ切り取り処理は計算アルゴリズムによりなされるもの、すなわち、データ切り取りは計算によるものであり、したがって、上記段落【００１７】、【００１８】の記載から、特徴量が、補正機能の種類に基づいて、前記モータ駆動装置の駆動データから計算により切り取られ抽出されるものであることが理解できる。 また、本件特許明細書の段落【００１９】には、「機械学習装置１００は、補正機能選択部１２から入力される補正機能情報および補正パラメータ情報と、特徴量抽出部１４から入力される特徴量Ｆｖとに基づいて、補正パラメータを特徴量Ｆｖごとに学習する。」、段落【００２０】には、「状態観測部１０１は、補正パラメータ情報および特徴量を用いて、補正パラメータと、補正機能に基づいて抽出された特徴量とを状態変数として観測する。状態観測部１０１は、状態変数に基づいて、補正機能毎に訓練データセットを作成して出力する。学習部１０２は、状態観測部１０１が状態変数に基づいて作成した訓練データセットを用いて、特徴量毎に、つまり、補正機能毎に補正パラメータの学習を行い、学習結果Ｆｒを出力する。」と記載されるところ、この記載から、訓練データセットは補正機能毎に作成されるものであり、当該訓練データセットは状態変数に基づいて作成されるものであるから状態変数が含まれること、状態変数が含まれる訓練データセットを用いて学習が行われること（状態変数を用いて学習がなされること）が理解できる。 そうすると、「前記状態変数に基づいて前記補正機能毎に作成される訓練データセットに従って、前記訓練データセットに含まれる前記状態変数を用いて前記補正パラメータを前記補正機能毎に学習する」ことは本件特許明細書に記載された事項又は当該記載された事項から当業者にとって自明な事項である。 よって、訂正事項１、２に係る訂正は、本件特許明細書に記載された事項の範囲内で行われるものであるから新規事項に該当しない。 また、訂正事項１、２に係る訂正は、特許請求の範囲の減縮をするものであり、実質上特許請求の範囲を拡張し、又は変更するものに該当しないことは明らかであるから、特許法第１２０条の５第９項において準用する同法第１２６条第５項、第６項の規定に適合する。 （２）訂正事項３について ア 訂正の目的 訂正事項３に係る訂正は、上記訂正事項１、２により請求項１が訂正されることに伴い、本件特許明細書の段落【０００７】の記載を請求項１の記載と整合させるために行われるものであるから、許法第１２０条の５第２項ただし書第３号の明瞭でない記載の釈明を目的とする。 イ 新規事項、特許請求の範囲の拡張・変更の存否 訂正事項３に係る訂正が新規事項及び特許請求の範囲の拡張又は変更に当たらないことは上記（１）イについて記載したと同様であるから、特許法第１２０条の５第９項において準用する同法第１２６条第５項、第６項の規定に適合する。 （３）訂正事項４、５について ア 訂正の目的 訂正事項４は、特許請求の範囲の請求項１１について、訂正前の「特徴量」が、「前記モータ駆動装置の駆動データおよび前記補正機能の種類に基づいて計算された」ものとされていたのを、「補正機能の種類に基づいて」、「モータ駆動装置の駆動データから」、「計算により切り取られ抽出」されるものであること、すなわち、訂正事項１と同様に、特徴量を特定するために必要な計算の内容を限定することで特許請求の範囲を減縮しようとするものであるから、この訂正の目的は、特許法第１２０条の５第２項ただし書第１号の特許請求の範囲の減縮を目的とするものに該当する。 訂正事項５は、特許請求の範囲の請求項１１について、訂正前の「学習部」が、「前記状態変数に基づいて作成される訓練データセットに従って、前記補正パラメータを前記補正機能毎に学習する」ものとされていたのを、前記状態変数に基づいて「前記補正機能毎に」作成される訓練データセットに従って、「前記訓練データセットに含まれる前記状態変数を用いて」前記補正パラメータを前記補正機能毎に学習するもの、すなわち、訂正事項２と同様に、学習に用いる訓練データセットが補正機能毎に作成されるものであること、学習が訓練データセットに含まれる状態変数を用いて行われること（訓練データセットには状態変数が含まれ、当該状態変数を用いて学習すること）を限定することで特許請求の範囲を減縮しようとするものであるから、この訂正の目的は、特許法第１２０条の５第２項ただし書第１号の特許請求の範囲の減縮を目的とするものに該当する。 イ 新規事項、特許請求の範囲の拡張・変更の存否 訂正事項４、５に係る訂正が新規事項及び特許請求の範囲の拡張又は変更に当たらないことは上記（１）イについて記載したと同様であるから、特許法第１２０条の５第９項において準用する同法第１２６条第５項、第６項の規定に適合する。 ４ むすび 訂正事項１～５に係る訂正は、特許法第１２０条の５第２項ただし書第１号又は第３号に掲げる事項を目的とするものであり、かつ、同条第９項で準用する同法第１２６条第５項及び第６項の規定に適合する。 したがって、明細書及び特許請求の範囲を、訂正請求書に添付された訂正明細書及び訂正特許請求の範囲のとおり、訂正後の請求項〔１～１０〕、１１について訂正することを認める。 第３ 本件発明 上記第２のとおり、本件訂正は認められるから、本件の請求項１～１１に係る発明（以下「本件発明１」等という。また、訂正後の明細書を「本件明細書」という。）は、次の事項により特定されるものである。 「【請求項１】 複数の種類の補正機能を有するモータ駆動装置においてモータを制御するための指令値の補正に用いられる補正パラメータを学習する機械学習装置であって、 前記補正機能の種類に基づいて、前記モータ駆動装置の駆動データから計算により切り取られ抽出された特徴量と、前記補正パラメータとを状態変数として観測する状態観測部と、 前記状態変数に基づいて前記補正機能毎に作成される訓練データセットに従って、前記訓練データセットに含まれる前記状態変数を用いて前記補正パラメータを前記補正機能毎に学習する学習部と、 を備えることを特徴とする機械学習装置。 【請求項２】 前記駆動データは、前記モータ駆動装置を駆動するモータからのフィードバックデータ、および、前記モータの制御対象である機械装置の駆動データのうち少なくとも１つを含むことを特徴とする請求項１に記載の機械学習装置。 【請求項３】 前記特徴量は、複数次元のベクトル量であり、前記補正機能毎の前記駆動データの特性を示すデータであることを特徴とする請求項１または２に記載の機械学習装置。 【請求項４】 前記学習部は、 前記状態変数に基づいて報酬を計算する報酬計算部と、 前記報酬に基づいて、前記補正パラメータを決定するための関数を更新する関数更新部と、 を有することを特徴とする請求項１から３のいずれか１項に記載の機械学習装置。 【請求項５】 前記関数更新部は、前記補正機能毎に前記関数を更新することを特徴とする請求項４に記載の機械学習装置。 【請求項６】 請求項１から５のいずれか１項に記載の機械学習装置と、 前記複数の種類の補正機能のうちの１つを選択する補正機能選択部と、 前記駆動データを取得する駆動データ取得部と、 選択された前記補正機能と、取得された前記駆動データとに基づき、前記特徴量を抽出する特徴量抽出部と、 前記補正パラメータの調整要件を入力する調整要件入力部と、 前記学習部の学習結果に基づいて、前記調整要件を満たす前記補正パラメータを決定する補正パラメータ決定部と、 を備えることを特徴とする補正パラメータ調整装置。 【請求項７】 前記駆動データは、前記モータ駆動装置を駆動するモータからのフィードバックデータ、および、前記モータの制御対象である機械装置の駆動データのうち少なくとも１つを含むことを特徴とする請求項６に記載の補正パラメータ調整装置。 【請求項８】 前記機械装置の駆動データは、前記機械装置に設置したセンサから取得した検出データであることを特徴とする請求項７に記載の補正パラメータ調整装置。 【請求項９】 前記補正パラメータ決定部は、 前記学習結果に基づいて補正パラメータを計算し、計算した前記補正パラメータを前記モータ駆動装置に送信する補正パラメータ計算部と、 計算した前記補正パラメータによる駆動結果が前記調整要件を満たすか否かを評価する補正パラメータ評価部と、 前記補正パラメータ評価部の評価結果に基づいて、前記補正パラメータの調整を終了するか否かを判定する終了判定部と、 を備えることを特徴とする請求項６から８のいずれか１項に記載の補正パラメータ調整装置。 【請求項１０】 前記補正パラメータ評価部は、実際に前記モータ駆動装置を駆動したときに取得される駆動データ、および、前記モータ駆動装置の動きをシミュレーションしたときに取得される駆動データの少なくとも１つを用いて評価を行うことを特徴とする請求項９に記載の補正パラメータ調整装置。 【請求項１１】 複数の種類の補正機能を有するモータ駆動装置においてモータを制御するための指令値の補正に用いられる補正パラメータを学習する機械学習方法であって、 機械学習装置が、前記補正機能の種類に基づいて、前記モータ駆動装置の駆動データから計算により切り取られ抽出された特徴量と、前記補正パラメータとを状態変数として観測するステップと、 前記機械学習装置が、前記状態変数に基づいて前記補正機能毎に作成される訓練データセットに従って、前記訓練データセットに含まれる前記状態変数を用いて前記補正パラメータを前記補正機能毎に学習するステップと、 を含むことを特徴とする機械学習方法。」 第４ 当審が令和４年３月９日付け取消理由通知（決定の予告）で通知した取消理由について １ 取消理由の概要 令和４年３月９日付けで、当審において令和３年７月２９日付け訂正請求書により訂正された請求項１～１１に対し通知した取消理由通知（決定の予告）の理由（以下「取消理由」という。）の概要は以下のとおりである。 請求項１～１１に係る発明は、本件特許出願の日前の特許出願であって、本件特許出願後に出願公開がされた甲第７号証の特許出願の願書に最初に添付した明細書、特許請求の範囲又は図面に記載された発明と同一であり、しかも、本件特許出願の発明者が甲第７号証の特許出願に係る上記の発明をした者と同一ではなく、また本件特許出願の時において、その出願人が甲第７号証の特許出願の出願人と同一でもないから、請求項１～１１に係る特許は、特許法第２９条の２（拡大先願）の規定に違反してされたものである。 ・証拠 甲第７号証：特願２０１８－７７６８６号（特開２０１９－１８５５３９号） ２ 取消理由の判断 上記第２のとおり、本件訂正は認められるところ、訂正後の請求項に係る発明を基に取消理由（上記１）について検討する。 （１）甲第７号証の記載事項等 甲第７号証（以下「甲７」という。）の特許出願は、本件特許の出願日（国際出願日）よりも前の平成３０年４月１３日に出願され、本件特許の出願日よりも後の令和１年１０月２４日に出願公開がされたものであり、本件特許とは発明者及び出願人が異なるところ、甲７の特許出願の願書に最初に添付した明細書には、以下の事項が記載されている（下線は当審で付与した。）。 ア 「【０００１】 本発明は、少なくとも２軸以上を駆動するモータを制御する制御装置と制御装置に対して機械学習を行う機械学習装置とを制御する調整装置及びその調整方法に関する。」 イ 「【０００５】 本発明は・・・予め設定される特徴的な加工要素に対応する学習要素毎に学習する機械学習部を備える機械学習装置に対して、複数の特徴的な加工要素を含むワークを加工するための１つの評価用プログラムを動作させて学習する場合に、学習動作の間に、学習要素に応じて対応する機械学習部に基づいて学習することができるように、機械学習部を切り替えて学習するように制御する調整装置及びその調整方法を提供することを目的とする。」 ウ 「【００２４】 以下、本発明の実施形態について図面を用いて詳細に説明する。 （第１の実施形態） 図１は本発明の第１の実施形態の調整システムを示すブロック図である。調整システム１０は、図１に示すように、ＣＮＣ（Computerized Numerical Control)装置１００、機械学習装置２００、及び調整装置３００を備える。ここで、ＣＮＣ装置１００と機械学習装置２００とは１対１の組とされて、調整装置３００を介して通信可能に接続されている。より具体的には、調整装置３００とＣＮＣ装置１００、及び調整装置３００と機械学習装置２００とは、それぞれ接続インターフェースを介して直接に接続、又はそれぞれネットワークを介して接続されており、相互に通信を行うことが可能である。・・・」 エ 「【００２６】 図３に示すように、位置Ｐ１で、テーブルをＸ軸方向に移動するサーボモータは、停止から回転動作に移り、テーブルはＹ軸方向の直線動作から円弧動作に移る。位置Ｐ２で、テーブルをＹ軸方向に移動するサーボモータは、回転から停止に移り、テーブルは円弧動作からＸ軸方向の直線動作に移る。 【００２７】 また、図３に示すように、位置Ｑ１で、テーブルをＸ軸方向に移動するサーボモータは回転方向が反転し、テーブルはＸ軸方向に直線反転するように移動する。 【００２８】 すなわち、図３に示す加工ワークは、Ｐ１～Ｐ２を含む加工要素（以下、「線形的に回転速度が変更される加工要素」、「第１の加工要素」ともいう）と、Ｑ１を含む加工要素（以下、「非線形的に回転速度が変更される加工要素」、「第２の加工要素」ともいう）との、種類の異なる２つの加工要素を含む。 【００２９】 本実施形態においては、位置Ｐ１及び位置Ｐ２を含む加工要素（第１の加工要素）により、線形的に回転速度が変更されたときの速度指令の最適な補正を行うための第１の学習を行うと共に、位置Ｑ１を含む加工要素（第２の加工要素）により、回転方向が反転する場合に惰走（いわゆる「象限突起」）が発生するときの（象限突起を抑制するための）速度指令の最適な補正を行うための第２の学習を行うものとする。 このため、本実施形態においては、機械学習装置が、各々の加工要素に対応する機械学習部を備え、ＣＮＣ装置が、各々の加工要素に対する補正部を備えると共に、各補正部が、自身に対応する機械学習部の学習により生成された制御パラメータを用いて速度指令に対する補正を行う。これら学習の詳細については、後述する。 ・・・ 【００３１】 ＜ＣＮＣ装置１００＞ 図２はＣＮＣ装置の一構成例を示すブロック図である。説明の便宜上、図２において、調整装置３００及び機械学習装置２００も示している。ここで、ＣＮＣ装置１００は、サーボ制御部を含むものを例示しているが、これに限られない。サーボ制御部を別装置としてもよい。 【００３２】 図２に示すように、ＣＮＣ装置１００は、制御対象５００のサーボモータ６００を制御する。サーボモータ６００は、制御される軸が少なくとも２軸以上ある場合は軸の数分設けられる。本実施形態では評価用プログラムが少なくとも２軸動作させるので、サーボモータの数は少なくとも２つ設けられる。ここではモータとしてサーボモータを示しているが、スピンドルモータ等の他のモータを用いてもよい。制御対象５００は例えばサーボモータ、サーボモータを含む工作機械，ロボット，産業機械等である。ＣＮＣ装置１００は工作機械、ロボット、又は産業機械等の一部として設けられてもよい。以下、制御対象５００がサーボモータを含む工作機械である場合を例にとって説明する。 【００３３】 図２に示すように、ＣＮＣ装置１００は、数値制御情報処理部１０１１、記憶部１０１２、減算器１０１３、位置制御部１０１４、加算器１０１５、減算器１０１６、速度制御部１０１７、加算器１０１８、積分器１０１９、第１補正部１０３１＿１及び第２補正部１０３１＿２を備えている。数値制御情報処理部１０１１と記憶部１０１２を除くＣＮＣ装置１００の各構成部はサーボモータ毎に設けられる。第１補正部１０３１＿１は、線形的に回転速度が変更される加工要素（第１の加工要素）に対応し、第２補正部１０３１＿２は、非線形的に回転速度が変更される加工要素（第２の加工要素）に対応する。 ・・・ 【００３５】 数値制御情報処理部１０１１は、後述の調整装置３００からの実行指示に基づいて、記憶部１０１２から評価用プログラムを読み出して、評価用プログラムを実行する。そうすることで、数値制御情報処理部１０１１は、当該評価用プログラム中に含まれるコードに基づいて位置指令値を作成し、減算器１０１３に出力する。数値制御情報処理部１０１１は、評価用プログラムにより指定される加工形状となるように、送り速度を設定して位置指令値を作成する。 【００３６】 減算器１０１３は数値制御情報処理部１０１１から位置指令値を受け、位置指令値と位置フィードバックされた検出位置との差を求め、位置偏差として位置制御部１０１４に出力すると共に後述の調整装置３００に対して送信する。」 オ 「【００３８】 第１補正部１０３１＿１は、例えば数式１（以下に数１として示す）で示す伝達関数Ｇｆ（ｓ）で示される補正量計算処理を行い、算出した補正量（以下「第１の補正量」ともいう）を加算器１０１５に出力する。第１補正部１０３１＿１は、第１の加工要素に対応する補正部である。したがって、第１補正部１０３１＿１は、第１の加工要素に係る加工時に補正量を算出する。 【数１】 ［図：0001393041000001.jpg］ 第１の実施形態では、伝達関数Ｇｆ（ｓ）の次元を予め設定された値とした場合に、各係数ａ１ｉ、ｂ１ｊ（０≦ｉ，ｊ≦ｎ）を最適なものとするように機械学習する。以下、係数ａ１ｉ、ｂ１ｊをＣＮＣ装置１００の制御パラメータともいう。 なお、第１補正部１０３１＿１は、通常のＣＮＣ装置における位置フィードフォワード計算部に対応する。 【００３９】 第２補正部１０３１＿２は、例えば数式２（以下に数２として示す）で示す、係数のみ異なる同一の伝達関数Ｇｆ（ｓ）で示される補正量計算処理を行い、算出した補正量（以下「第２の補正量」ともいう）を加算器２０１７に出力する。第２補正部１０３１＿２は、第２の加工要素に対応する補正部である。したがって、第２補正部１０３１＿２は、第２の加工要素に係る加工時に補正量を算出する。 【数２】 ［図：0001393041000002.jpg］ 【００４０】 第１補正部１０３１＿１で用いる伝達関数Ｇｆ（ｓ）の係数と同様に、伝達関数Ｇｆ（ｓ）の次元を予め設定された値とした場合に、各係数ａ２ｉ、ｂ２ｊ（０≦ｉ，ｊ≦ｎ）を最適なものとするように機械学習する。以下、係数ａ２ｉ、ｂ２ｊもＣＮＣ装置１００の制御パラメータともいう。 なお、第２補正部１０３１＿２は、通常のＣＮＣ装置におけるバックラッシ補正部に対応する。 【００４１】 加算器１０１５は、速度指令値と第１補正部１０３１＿１又は第２補正部１０３１＿２の出力値とを加算して、補正された速度指令値として減算器１０１６に出力する。減算器１０１６は加算器１０１５の出力と速度フィードバックされた速度検出値との差を求め、その差を速度偏差として速度制御部１０１７に出力する。 【００４２】 速度制御部１０１７は、速度偏差に積分ゲインＫ１ｖを乗じて積分した値と、速度偏差に比例ゲインＫ２ｖを乗じた値とを加算して、トルク指令値としてサーボモータ６００に出力する。 【００４３】 制御対象５００のサーボモータ６００の回転角度位置は、サーボモータ６００に関連付けられた、位置検出部となるロータリーエンコーダによって検出され、検出された信号は速度フィードバックされる速度検出値として利用される。速度検出値は積分器１０１９で積分され、位置フィードバックされる位置検出値として利用される。 以上のように、ＣＮＣ装置１００は構成される。 【００４４】 ＜機械学習装置２００＞ 次に、第１実施形態における機械学習装置２００について説明する。前述したとおり、機械学習装置２００は、２つの機械学習部２１０＿１及び２１０＿２を備え、機械学習部２１０＿１は、［数１］で示す第１補正部１０３１＿１における伝達関数に係る制御パラメータａ１ｉ、ｂ１ｉ（０≦ｉ≦ｎ）を強化学習する。また、機械学習部２１０＿２は、［数２］で示す第２補正部１０３１＿２における伝達関数に係る制御パラメータａ２ｊ、ｂ２ｊ（０≦ｊ≦ｎ）を強化学習する。すなわち、機械学習部２１０＿１は、ＣＮＣ装置１００が備える第１補正部１０３１＿１に対応し、機械学習部２１０＿２は、第２補正部１０３１＿２に対応する。 【００４５】 機械学習部２１０＿１は、［数１］で示す第１補正部１０３１＿１における伝達関数に係る制御パラメータａ１ｉ、ｂ１ｉの値、並びに評価用プログラムを実行することで取得されるＣＮＣ装置１００の位置偏差情報を含む、指令及びフィードバック等のサーボ状態を状態Ｓとして、当該状態Ｓに係る制御パラメータａ１ｉ、ｂ１ｉの調整を行動Ａとする、Ｑ学習（Ｑ－ｌｅａｒｎｉｎｇ）を行う。同様に、機械学習部２１０＿２は、［数２］で示す第２補正部１０３１＿２における伝達関数に係る制御パラメータａ２ｊ、ｂ２ｊの値、並びに評価用プログラムを実行することで取得されるＣＮＣ装置１００の位置偏差情報を含む、指令及びフィードバック等のサーボ状態を状態Ｓとして、当該状態Ｓに係る制御パラメータａ２ｊ、ｂ２ｊの調整を行動Ａとする、Ｑ学習（Ｑ－ｌｅａｒｎｉｎｇ）を行う。当業者にとって周知のように、Ｑ学習では、或る状態Ｓのとき、取り得る行動Ａのなかから、価値Ｑ（Ｓ，Ａ）の最も高い行動Ａを最適な行動として選択することを目的とする。 【００４６】 具体的には、エージェント（機械学習装置）は、或る状態Ｓの下で様々な行動Ａを選択し、その時の行動Ａに対して、与えられる報酬に基づいて、より良い行動の選択をすることにより、正しい価値Ｑ（Ｓ，Ａ）を学習していく。」 カ 「【００５０】 機械学習部２１０＿１は、［数１］で示す第１補正部１０３１＿１における伝達関数に係る制御パラメータａ１ｉ、ｂ１ｊに基づいて、予め設定された評価用プログラムを実行することで得られるＣＮＣ装置１００の位置偏差情報を含む、指令及びフィードバック等のサーボ状態を含む状態情報Ｓを観測して、行動Ａを決定する。状態情報はフィードバック情報に対応する。機械学習部２１０＿１は、行動Ａをするたびに報酬ｒが返ってくる。 ここで、報酬ｒを次のように設定する。 行動情報Ａにより状態情報Ｓが状態情報Ｓ´に修正された場合、状態情報Ｓ´に係る修正後の制御パラメータａ１ｉ、ｂ１ｊに基づいて動作したＣＮＣ装置１００の位置偏差の集合から所定の評価関数に基づいて算出される値が、行動情報Ａにより修正される前の状態情報Ｓに係る修正前の制御パラメータａ１ｉ、ｂ１ｊに基づいて動作したＣＮＣ装置１００の位置偏差の集合から所定の評価関数に基づいて算出される値よりも大きくなった場合に、報酬の値を負の値とする。 【００５１】 他方、行動情報Ａにより修正された状態情報Ｓ´に係る修正後の制御パラメータａ１ｉ、ｂ１ｊに基づいて動作したＣＮＣ装置１００の位置偏差の集合から所定の評価関数に基づいて算出される値が、行動情報Ａにより修正される前の状態情報Ｓに係る修正前の制御パラメータａ１ｉ、ｂ１ｊに基づいて動作したＣＮＣ装置１００の位置偏差の集合から所定の評価関数に基づいて算出される値よりも小さくなった場合に、報酬の値を正の値とする。 ここで、位置偏差の値の集合とは、前述した加工形状の位置Ｐ１と位置Ｐ２を含む所定の範囲内で計測される位置偏差の集合を意味する。また、評価関数としては、例えば、位置偏差の絶対値の積算値を算出する関数、位置偏差の絶対値に時間の重み付けをして積算値を算出する関数、位置偏差の絶対値の２ｎ（ｎは自然数）乗の積算値を算出する関数、位置偏差の絶対値の最大値を算出する関数等が例示されるが、これに限られるものではない。 Ｑ学習では、機械学習部２１０＿１は、例えば、将来にわたっての報酬ｒの合計が最大になる最適な行動Ａを試行錯誤的に探索する。そうすることで、機械学習部２１０＿１は、第１補正部１０３１＿１における伝達関数に係る制御パラメータａ１ｉ、ｂ１ｊに基づいて、予め設定された評価用プログラムを実行することで取得されるＣＮＣ装置１００の位置偏差情報を含む指令、フィードバック等のサーボ状態を含む状態Ｓに対して、最適な行動Ａ（すなわち、最適な制御パラメータａ１ｉ、ｂ１ｊ）を選択することが可能となる。 なお、機械学習部２１０＿２については、位置偏差の値の集合を、前述した加工形状の位置Ｑ１を含む所定の範囲内で計測される位置偏差の集合として、読み替えることで説明されるので、詳細な説明は省略する。 【００５２】 図４は本発明の第１の実施形態の機械学習部２１０＿１又は機械学習部２１０＿２に共通の機能ブロックを示すブロック図である。機械学習部２１０＿１及び機械学習部２１０＿２は、それぞれ状態情報取得部２１１＿１、状態情報取得部２１１＿２、学習部２１２＿１、学習部２１２＿２、行動情報出力部２１３＿１、行動情報出力部２１３＿２、価値関数記憶部２１４＿１、価値関数記憶部２１４＿２、及び最適化行動情報出力部２１５＿１、最適化行動情報出力部２１５＿２、を備える。また、学習部２１２＿１、又は学習部２１２＿２は、それぞれ報酬出力部２１２１＿１、報酬出力部２１２１＿２、価値関数更新部２１２２＿１、価値関数更新部２１２２＿２及び行動情報生成部２１２３＿１、行動情報生成部２１２３＿２を備える。 なお、説明の便宜上、機械学習部２１０＿１又は機械学習部２１０＿２を機械学習部２１０として説明する。同様に、状態情報取得部２１１＿１、２１１＿２、学習部２１２＿１、２１２＿２、行動情報出力部２１３＿１、２１３＿２、価値関数記憶部２１４＿１、２１４＿２、及び最適化行動情報出力部２１５＿１、２１５＿２、報酬出力部２１２１＿１、２１２１＿２、価値関数更新部２１２２＿１、２１２２＿２及び行動情報生成部２１２３＿１、２１２３＿２をそれぞれ、状態情報取得部２１１、学習部２１２、行動情報出力部２１３、価値関数記憶部２１４、最適化行動情報出力部２１５、報酬出力部２１２１、価値関数更新部２１２２、及び行動情報生成部２１２３と略する。 上述した強化学習を行うために、図４に示すように、機械学習部２１０は、状態情報取得部２１１、学習部２１２、行動情報出力部２１３、価値関数記憶部２１４、及び最適化行動情報出力部２１５を備える。学習部２１２は報酬出力部２１２１、価値関数更新部２１２２、及び行動情報生成部２１２３を備える。 【００５３】 状態情報取得部２１１は、前述したように、ＣＮＣ装置１００における第１補正部１０３１＿１における伝達関数に係る制御パラメータａ１ｉ、ｂ１ｊ又は第２補正部１０３１＿２における伝達関数に係る制御パラメータａ２ｉ、ｂ２ｊに基づいて、予め設定された評価用プログラムを実行することで取得されるＣＮＣ装置１００の位置偏差情報を含む指令、フィードバック等のサーボ状態を含む、フィードバック情報となる状態情報Ｓを、後述の調整装置３００を介してＣＮＣ装置１００から取得する。この状態情報Ｓは、Ｑ学習における、環境状態Ｓに相当する。 状態情報取得部２１１は、取得した状態情報Ｓを学習部２１２に対して出力する。 なお、最初にＱ学習を開始する時点での第１補正部１０３１＿１における伝達関数に係る制御パラメータａ１ｉ、ｂ１ｊ又は第２補正部１０３１＿２における伝達関数に係る制御パラメータａ２ｉ、ｂ２ｊは、予めユーザの指定により後述の調整装置３００が生成する。本実施形態では、後述の調整装置３００が作成した第１補正部１０３１＿１における伝達関数に係る制御パラメータａ１ｉ、ｂ１ｊ又は第２補正部１０３１＿２における伝達関数に係る制御パラメータａ２ｉ、ｂ２ｊの初期設定値を、強化学習により最適なものに調整する。制御パラメータａ１ｉ、ｂ１ｊ又は制御パラメータａ２ｉ、ｂ２ｊは例えば、初期設定値として、ａ１，０＝ａ２，０＝１、ａ１，１＝ａ２，１＝０、ｂ１，０＝ｂ２，０＝０、ｂ１，１＝ｂ２，１＝制御対象のイナーシャ値としてもよい。また、係数ａ１ｉ、ｂ１ｊ又はａ２ｉ、ｂ２ｊの次元ｍ、ｎを予め設定してもよい。 例えば、ａ１ｉ及びａ２ｉについては０≦ｉ≦ｍ ｂ１ｊ及びｂ２ｊについては０≦ｊ≦ｎとする。 【００５４】 学習部２１２は、或る環境状態Ｓの下で、ある行動Ａを選択する場合の価値Ｑ（Ｓ，Ａ）を学習する部分である。具体的には、学習部２１２は、報酬出力部２１２１、価値関数更新部２１２２及び行動情報生成部２１２３を備える。 【００５５】 報酬出力部２１２１は、或る状態Ｓの下で、行動Ａを選択した場合の報酬ｒを前述したとおり、算出する。 【００５６】 価値関数更新部２１２２は、状態Ｓと、行動Ａと、行動Ａを状態Ｓに適用した場合の状態Ｓ´と、上記のようにして算出された報酬の値ｒと、に基づいてＱ学習を行うことにより、価値関数記憶部２１４が記憶する価値関数Ｑを更新する。 なお、価値関数Ｑの更新は、オンライン学習で行ってもよく、バッチ学習で行ってもよく、ミニバッチ学習で行ってもよい。オンライン学習、バッチ学習、ミニバッチ学習のいずれかの選択は調整装置３００が行うことができる。 オンライン学習とは、或る行動Ａを現在の状態Ｓに適用することにより、状態Ｓが新たな状態Ｓ´に遷移する都度、即座に価値関数Ｑの更新を行うという学習方法である。また、バッチ学習とは、或る行動Ａを現在の状態Ｓに適用することにより、状態Ｓが新たな状態Ｓ´に遷移することを繰り返すことにより、学習用のデータを収集し、収集した全ての学習用データを用いて、価値関数Ｑの更新を行うという学習方法である。更に、ミニバッチ学習とは、オンライン学習と、バッチ学習の中間的な、ある程度学習用データが溜まるたびに価値関数Ｑの更新を行うという学習方法である。」 キ 「【００６３】 ＜調整装置３００＞ 次に、第１の実施形態における調整装置３００について説明する。 図５Ａ及び図５Ｂは調整装置３００の一構成例を示すブロック図である。調整装置３００は、フィードバック情報送信部３０１、パラメータ設定情報取得部３０２、パラメータ修正情報取得部３０３、起動指示出力部３０４、評価用プログラム記憶部３０５、評価用プログラム出力部３０６、評価用プログラム実行指示出力部３０７、フィードバック情報取得部３０８、パラメータ設定情報送信部３０９、パラメータ修正情報送信部３１０、パラメータ初期設定送信部３１１、及び制御部３１２を備えている。更に、制御部３１２は、学習制御部３１２１と判定部３１２２とを備える。」 ク 「【００７３】 調整装置３００からの実行指示を受けた後、ＣＮＣ装置１００の数値制御情報処理部１０１１は、ステップＳ６３において、記憶部１０１２から評価用プログラムを読み出し、評価用プログラムに基づき位置指令値を作成する。ＣＮＣ装置１００はサーボモータ６００を制御し、ステップＳ６４において、第１補正部１０３１＿１の伝達関数の各係数ａ１ｉ、ｂ１ｊの値、第２補正部１０３１＿２の伝達関数の各係数ａ２ｉ、ｂ２ｊの値、並びに評価用プログラムを実行することで取得されるＣＮＣ装置１００の位置偏差情報を含むフィードバック情報を、該フィードバック情報が由来する評価用加工プログラムの動作中の加工位置情報又は評価用プログラムのブロック番号と共に、調整装置３００に送信する。このフィードバック情報は状態情報Ｓとなる。 【００７４】 調整装置３００の制御部３１２は、ステップＳ４５で、フィードバック情報をブロック番号と共にフィードバック情報取得部３０８を介して取得し、フィードバック情報送信部３０１を介して、評価用加工プログラムの動作中の加工位置情報又は評価用プログラムのブロック番号に対応する機械学習部２１０＿１又は２１０＿２に送信する。機械学習部２１０＿１又は２１０＿２はステップＳ３２でフィードバック情報を受信する。 ・・・ 【００７６】 調整装置３００の制御部３１２は、評価用プログラムによる一連の加工の終了通知を受けると、評価用プログラムの終了通知を受けた回数を記録、更新する。そして、調整装置３００の制御部３１２は、ステップＳ４６において、その回数が所定の回数を超えたか、或いは所定の学習期間を過ぎたかを判断し、機械学習を終了させるか否かの判断を行う。機械学習を終了させない場合には（ステップＳ４６のＮＯ）、ステップＳ４７に移行する。機械学習を終了させる場合には（ステップＳ４６のＹＥＳ）、ステップＳ４９に移行する。 調整装置３００は、ステップＳ４７において、機械学習装置２００の機械学習部２１０＿１又は２１０＿２に対して、報酬計算、価値関数更新を指示する。 【００７７】 機械学習装置２００の機械学習部２１０＿１又は２１０＿２は、ステップＳ３３で報酬計算、価値関数更新の指示を受信すると、ステップＳ３４において、ＣＮＣ装置１００から受信した制御パラメータ、すなわち、自身に対応する第１補正部１０３１＿１の伝達関数の各係数ａ１ｉ、ｂ１ｊの値（制御パラメータの値）又は第２補正部１０３１＿２の伝達関数の各係数ａ２ｉ、ｂ２ｊの値（制御パラメータの値）が初期設定値であるか否かを判断する。言い換えると、制御パラメータが初期設定値（状態情報）Ｓ０の集合であるか、制御パラメータが初期設定値（状態情報）Ｓ０以降の状態情報Ｓの集合であるかを判断する。・・・」 ケ 「【００８４】 機械学習装置２００の機械学習部２１０＿１又は２１０＿２（最適化行動情報出力部２１５）は、ステップＳ３８において、価値関数記憶部２０４に記憶している価値関数Ｑを取得し、取得した価値関数Ｑに基づいて、例えば、初期状態Ｓ０に対して最適化行動情報となる制御パラメータ設定情報を生成し、生成した制御パラメータ設定情報を調整装置３００に対して出力する。 【００８５】 調整装置３００は、ステップＳ５０において、制御パラメータ設定情報を、送信元が機械学習部２１０＿１又は２１０＿２のいずれであるかを示す情報と共に取得すると、ＣＮＣ装置１００の、制御パラメータ設定情報の送信元に対応する第１補正部１０３１＿１又は第２補正部１０３１＿２に対して出力する。 【００８６】 ＣＮＣ装置１００は、ステップＳ６７において、調整装置３００から受信した制御パラメータ設定情報に基づいて、制御パラメータ設定情報の送信元に対応する第１補正部１０３１＿１における伝達関数に係る係数ａ１ｉ、ｂ１ｊ、及び第２補正部１０３１＿２における伝達関数に係る係数ａ２ｉ、ｂ２ｊを最適な値に設定する。」 上記記載事項から以下の事項が理解できる。 コ 上記ア～エ、ケより、モータを制御する制御装置（ＣＮＣ装置）に対して機械学習を行うものであり、線形的に回転速度が変更される位置Ｐ１及びＰ２を含む加工要素である第１加工要素と、非線形的に回転速度が変更される位置Ｑ１を含む加工要素である第２加工要素との種類の異なる２つの加工要素について、線形的に回転速度が変更されたときの速度指令の最適な補正を行うための第１の学習、回転方向が反転する場合に惰走が発生するときの速度指令の最適な補正を行うための第２の学習をそれぞれ行うものであること。 サ 上記オ～カから、第１の学習、第２の学習は、状態Ｓの下で得られる報酬に基づくＱ学習により、伝達関数の制御パラメータ（係数）が最適なものとなるよう、２つの機械学習部でなされるものであり、補正量は第１補正部、第２補正部で算出されること。また、状態情報は、状態情報取得部２１１で取得されるものであること。また、評価関数には位置偏差の値の集合が入力されるものであること（段落【００５１】）。 シ 上記エ、クから、「調整装置３００の制御部３１２は、・・・フィードバック情報をブロック番号と共にフィードバック情報取得部３０８を介して取得し、・・・評価用加工プログラムの動作中の加工位置情報又は評価用プログラムのブロック番号に対応する機械学習部２１０＿１又は２１０＿２に送信する」もの（段落【００７４】）であるから、位置偏差情報を含むフィードバック情報（状態情報）を、第１の学習、第２の学習のために、それぞれ加工位置情報又は評価用プログラムのブロック番号に対応付けて抽出していること。また、調整装置に送信される位置偏差は、位置指令値と位置フィードバックされた検出位置との差として減算器１０１３により求められること（段落【００３６】）。 ス 上記カ、クから、「フィードバック情報」は、ＣＮＣ装置１００の位置偏差情報を含む指令、フィードバック、制御パラメータ等のサーボ状態を含むものであり、「状態情報」と等価の意味で用いられていること（段落【００５３】、【００７３】、【００７７】）。 セ 上記キ～クから、調整装置３００の制御部３１２は、機械学習の回数が所定の回数を超えたか、或いは所定の学習期間を過ぎたかを判断し、機械学習を終了させるか否かの判断を行うこと（段落【００７６】）。 （２）甲７発明 上記（１）から、甲７には以下の発明（以下「甲７発明」という。）が開示されていると認められる。 線形的に回転速度が変更される位置Ｐ１及びＰ２を含む加工要素である第１加工要素と、非線形的に回転速度が変更される位置Ｑ１を含む加工要素である第２加工要素との種類の異なる２つの加工要素について、線形的に回転速度が変更されたときの速度指令の最適な補正、回転方向が反転する場合に惰走が発生するときの速度指令の最適な補正をそれぞれ行う、モータを制御する制御装置において、各加工要素についての速度指令の最適な補正を行うための制御パラメータの第１の学習、第２の学習を、第１の学習部、第２の学習部で行う機械学習装置であって、 状態情報取得部で得た位置偏差情報を含む指令、フィードバック、制御パラメータ等のサーボ状態を含むフィードバック情報の状態情報を、第１の学習、第２の学習のためにそれぞれ加工位置情報又は評価用プログラムのブロック番号に対応付けて抽出する調整装置の制御部を有し、位置偏差情報は位置指令値と位置フィードバックされた検出位置との差として求められるものであり、 前記状態情報に基づいて前記第１の学習、第２の学習のためにそれぞれ作成される位置偏差の値の集合を評価関数に入力することで、第１加工要素、第２加工要素のそれぞれの速度指令に対する補正をする制御パラメータを学習する２つの機械学習部と、 を備える機械学習装置。 （３）本件発明１について 本件発明１と甲７発明との対比、検討をする。 甲７発明における、種類の異なる２つの加工要素について、それぞれ最適な補正を行うことは、本件発明１において、複数の種類の補正機能を有することに相当するといえ、甲７発明の「モータを制御する制御装置」は、本件発明１の「モータ駆動装置」に相当する。 よって、甲７発明の「線形的に回転速度が変更される位置Ｐ１及びＰ２を含む加工要素である第１加工要素と、非線形的に回転速度が変更される位置Ｑ１を含む加工要素である第２加工要素との種類の異なる２つの加工要素について、線形的に回転速度が変更されたときの速度指令の最適な補正、回転方向が反転する場合に惰走が発生するときの速度指令の最適な補正をそれぞれ行う、モータを制御する制御装置」は、本件発明１の「複数の種類の補正機能を有するモータ駆動装置」に相当する。 甲７発明における「各加工要素についての速度指令の最適な補正を行うための制御パラメータの第１の学習、第２の学習を、第１の学習部、第２の学習部で行う」ことは、本件発明１の「モータを制御するための指令値の補正に用いられる補正パラメータを学習する」ことに相当し、甲７発明の「機械学習装置」は、本件発明１の「機械学習装置」に相当する。 甲７発明の「状態情報取得部で得た位置偏差情報を含む指令、フィードバック、制御パラメータ等のサーボ状態を含むフィードバック情報の状態情報を、第１の学習、第２の学習のためにそれぞれ加工位置情報又は評価用プログラムのブロック番号に対応付けて抽出する調整装置の制御部」に関し、位置偏差（情報）を求める際に、位置指令値と位置フィードバックされた検出位置との差を求める減算（計算）の処理を含むものであり、第１学習、第２学習それぞれに用いる情報のみを抽出するものであるから、「抽出」により得られた「状態情報」は、本件発明１の「特徴量」に相当するといえる。また、甲７発明の「制御パラメータ」が本件発明１の「補正パラメータ」に相当することは明らかであるところ、甲７発明の「状態情報」は、特徴量に相当する情報と、補正パラメータに相当する制御パラメータを含むから、本件発明１の「状態変数」に相当する。 よって、甲７発明の「状態情報取得部で得た位置偏差情報を含む指令、フィードバック、制御パラメータ等のサーボ状態を含むフィードバック情報の状態情報を、第１の学習、第２の学習のためにそれぞれ加工位置情報又は評価用プログラムのブロック番号に対応付けて抽出する調整装置の制御部」は、本件発明１の「前記補正機能の種類に基づいて、前記モータ駆動装置の駆動データから計算により切り取られ抽出された特徴量と、前記補正パラメータとを状態変数として観測する状態観測部」と、「前記補正機能の種類に基づいて、前記モータ駆動装置の駆動データから計算により抽出された特徴量と、前記補正パラメータとを状態変数として観測する状態観測部」という限りにおいて相当する。 甲７発明の「前記状態情報に基づいて前記第１の学習、第２の学習のためにそれぞれ作成される位置偏差の値の集合を評価関数に入力することで、第１加工要素、第２加工要素のそれぞれの速度指令に対する補正をする制御パラメータを学習する２つの機械学習部」に関し、学習のための評価関数に入力される「位置偏差の値の集合」は、位置偏差が状態情報に基づくものであることは明らかであるから、当該「位置偏差の値の集合」は、本件発明１の「前記状態変数に基づいて」「作成される訓練データセット」に相当し、甲７発明の「機械学習部」は、本件発明１の「学習部」に相当する。 よって、甲７発明の「前記状態情報に基づいて前記第１の学習、第２の学習のためにそれぞれ作成される位置偏差の値の集合を評価関数に入力することで、第１加工要素、第２加工要素のそれぞれの速度指令に対する補正をする制御パラメータを学習する２つの機械学習部」は、本件発明１の「前記状態変数に基づいて前記補正機能毎に作成される訓練データセットに従って、前記訓練データセットに含まれる前記状態変数を用いて前記補正パラメータを前記補正機能毎に学習する学習部」に相当する。 そうすると、本件発明１と甲７発明とは以下の一致点で一致し、相違点において相違する。 一致点：複数の種類の補正機能を有するモータ駆動装置においてモータを制御するための指令値の補正に用いられる補正パラメータを学習する機械学習装置であって、 前記補正機能の種類に基づいて、前記モータ駆動装置の駆動データから計算により抽出された特徴量と、前記補正パラメータとを状態変数として観測する状態観測部と、 前記状態変数に基づいて前記補正機能毎に作成される訓練データセットに従って、前記訓練データセットに含まれる前記状態変数を用いて前記補正パラメータを前記補正機能毎に学習する学習部と、 を備える機械学習装置。 相違点：本件発明１の特徴量は、モータ駆動装置のデータから計算により切り取られ抽出されたものであるのに対し、甲７発明の状態情報（特徴量）は、それに含まれる位置偏差情報を、位置指令値と位置フィードバックされた検出位置との差として求めるものであって、計算により切り取られ抽出されたものではない点。 上記相違点について検討する。 甲７発明では、状態情報（特徴量）は、それに含まれる位置偏差情報を、位置指令値と位置フィードバックされた検出位置との差として求めるもの（甲７の【００３６】）であるから、減算という計算の処理を含むものといえるが、状態情報（特徴量）を計算により切り取り抽出することについては、甲７の全体を見渡しても記載も示唆もない。 また、甲７発明において、状態情報（特徴量）を計算により切り取り抽出を行うことが自明のことともいえない。 そうすると、上記相違点は実質的な相違点であるから、本件発明１と甲７発明とは同一の発明ではなく、本件発明１に係る特許が、特許法第２９条の２の規定に違反してなされたものとはいえない。 （４）本件発明２～１０について 上記（３）のとおり、本件発明１に係る特許が、特許法第２９条の２の規定に違反してなされたものということはできないものであるところ、本件発明２～１０は、本件発明１の発明特定事項の全てを含むものであるから、上記本件発明１と甲７発明との相違点と同じ相違点を有するものである。 よって、本件発明２～１０に係る特許が、特許法第２９条の２の規定に違反してなされたものとはいえない。 （５）本件発明１１について 本件発明１１は、機械学習方法の発明であるところ、甲７には甲７発明に対応する方法の発明も開示されているといえるが、本件発明１１と当該甲７発明に対応する方法の発明を対比すると、上記本件発明１と甲７発明との相違点と同様の相違点を有するものと認められる。 そして、当該相違点が実質的な相違点であることは、上記（３）に示したとおりである。 よって、本件発明１１に係る特許が、特許法第２９条の２の規定に違反してなされたものとはいえない。 （６）小括 以上のとおり、本件発明１～１１に係る特許は、当審が令和４年３月９日付け取消理由通知（決定の予告）で通知した取消理由である特許法第２９条の２（拡大先願）の規定に違反してなされたものとはいえない。 第５ その他の特許異議申立理由について １ 特許異議申立理由の概要 本件特許異議の申立てにおいて、特許異議申立人が主張した特許異議申立理由であり、令和４年３月９日付け取消理由通知（決定の予告）に採用しなかった理由の要旨は、次のとおりである。 （１）進歩性欠如 本件発明１～１１は、本件特許出願前に頒布された刊行物である甲第１号証に記載された発明及び周知技術１（甲第２号証）、周知技術２（甲第３号証～甲第５号証）、周知技術３（甲第６号証）に基づいて、当業者が容易に発明することができたものであるから、本件発明１～１１に係る特許は、特許法第２９条第２項の規定に違反してされたものである。 ・証拠 甲第１号証：野田他、機械学習の枠組みに基づく能動型探索アルゴリズムのサーボパラメータ調整問題への適用性の検討、計測自動制御学会論文集、平成２９（２０１７）年３月、第５３巻、第３号、ｐ．２１７～２２８ 甲第２号証：三菱電機株式会社、ＭＩＴＳＵＢＩＳＩ ＣＮＣ ＭＤＳ－Ｄ２／ＤＨ２シリーズ取扱説明書、２０１４年６月発行、ｐ．５－１～５－７０（５章 サーボ調整） 甲第３号証：特開２０１７－１０２６２４号公報 甲第４号証：特開２０１７－６８５６３号公報 甲第５号証：特開２００９－２４４９３３号公報 甲第６号証：特開２００５－７８４７７号公報 （２）記載要件違反 本件発明１～１１は明確でないから、本件発明１～１１に係る特許は、特許法第３６条第６項第２号の規定に違反してされたものである。 また、本件明細書の発明の詳細な説明の記載は、当業者がその実施をすることができる程度に明確かつ十分に記載したものでないから、本件発明１、２、４、６～１１に係る特許は、特許法第３６条第４項第１号に違反してされたものである。 ２ 特許異議申立理由の判断 （１） 進歩性欠如 ア 甲第１号証の記載事項等 甲第１号証（以下「甲１」という。）には、以下の事項が記載されている（下線は当審で付与した。）。 （ア）「１．はじめに 産業現場で用いられる制御システムには調整すべきパラメータが存在する。制御パラメータの調整コストを下げるためさまざまなオートチューニング手法が実用化されてきたが、モデル化が困難な制御対象に対して制御性能が厳しく要求される場合には、いわゆる熟練作業者が制御対象の応答を見ながら現物あわせで調整しているのが現状である。 このような調整作業はやってみるまで結果がわからない。作業者の熟練度などにより作業の結果と時間にムラが発生し、迅速かつ低コストなシステムインテグレーションを阻害する典型的な難題の１つと捉えられている。その困難さの本質は、未知の目的関数の最適化問題として定式化できるのである。 著者らは機械学習とりわけ能動学習のスキームに基づいて、未知の目的関数を最適化する独自の能動型探索アルゴリズムの開発を進めている。同アルゴリズムの提案、パーソナルコンピュータ程度のハードウェア上でソフトウェアとして実装可能であること、ある金属加工機の加工制御パラメータ開発期間を短縮する効果があることを既報した。問題の困難さの本質の解法であるからには同種の困難さを持つ問題への水平展開が可能と考えらえる。よって今後、さまざまな現場の要求を含めた事例への適用性を調べることが課題となる。 たとえば、産業メカトロニクス分野で用いられる位置決めサーボシステムのゲイン調整、すなわち制御パラメータの調整に関して、まさに冒頭で述べた課題が発生している。そこで本稿では本アルゴリズムがこの問題にも適用可能かを検討、同時に多目的最適化、誤差因子に対するロバスト化、計算時間の短縮化といった現場の要求を考慮しうるかを報告する。 第２章で能動型探索アルゴリズムを説明し、第３章でサーボパラメータのオートチューニング問題の背景について述べ、第４章で同アルゴリズムの適用性を検討する。」（２１７頁左欄１行～右欄１４行） （イ）「３．サーボパラメータの自動調整について サーボパラメータの自動調整は古くから取り組まれてきた課題であり、１９８０年代後半から定点観測的に動向調査が報告されている。それらの基本原理はさまざまであり、たとえば制御対象のモデルを同定して解析的にパラメータを決定する方法から、特定の特徴量に注目したもの、ヒューリスティックによるものまで、数多くの手法がある。市場に投入される商用の制御システム製品や制御システム設計のソフトウェアツール類についても自動調整機能は必須といえる状況であり、整定時間の短さが厳しく要求されるのに制御対象のメカの剛性が低くて移動速度で稼げないなどの特殊な場面でない限り、自動調整機能は便利に利用されている。 その一方で、前述の特殊な場面に遭遇した場合には、人手による調整が実施されており、その自動化が求められている。そこでは、現場ニーズを満たすため、制御対象にダメージを与える発振現象を避けながらの安全な調整、より高ゲインの追求、自動調整に要する時間の短縮、自動調整の適用可能範囲の拡大、などを目標として、企業間の競争領域として研究開発、製品化開発が続けられている。能動型探索アルゴリズムをサーボパラメータの自動調整問題に適用することは、上に述べたような人手で調整しないといけない特殊な場面を想定していることになる。 本研究ではそのような場面を、パラメータの変化に対する制御性能の変化を制約条件付きの目的関数をノンパラメットリックモデルで逐次構築しながら同時にパラメータの最適値を探索するという、未知の目的関数の最適化問題として捉えることにした。 なお、解法が確立した場面から外れているからこそ特殊となる場面であるから、その類例と適切な解法との対比はにわかには困難である。適用事例を積み重ねながらまずは傾向を分析していくことが必要で、その過程の中で提案するアルゴリズムが適用可能あるいは適用不適切な場面や条件を明確化していくことが重要であると考えている。もちろん同アルゴリズムがすべての場面でサーボパラメータの自動調整に適していないという結論が導かれることは厭わない。」（２２０頁左欄３２行～右欄１８行） （ウ）「４．調整に対する要求仕様を満たす実装の検討 前章で述べた能動型探索アルゴリズムが、位置決めサーボシステムの制御パラメータ調整に効を奏するかを確認するにあたり、市場で使用されている位置決めシステムの主要構成のみに抽象化した実験を行なうことにした。すなわち位置決めシステムの最小構成要素であるサーボコントローラ、モータ、ボールねじ、軸受け、リニアガイドほかの機構を組み合わせた実験装置を構築し、制御パラメータを与え、位置決め動作を実行し、動作状態を計測する系を組んだ。定性的な話になるが、実験装置のメカニカル要素の各部材は高剛性素材を使用せず、組み立て作業、据え付け作業についても微調整などに格別の注意を払わずにおいたため、ガタや動きの渋さが部分によって異なるなど、いくばくかの非線形性をはらんでいると考える。このような系に対し、制御パラメータと位置決めストロークを設定し、それらの全組み合わせで位置決め動作させ、パラメータ空間内の全探索データを取得した。なお同じ制御パラメータに対する動作の再現性は今回の実験では問題なく担保されている。」（２２０頁右欄１９行～３６行） （エ）「まず、今回の実験装置の概略構成をFig. 3に示す。これは制御パラメータの調整について、同一コントローラ、同一メカのまま、熟練作業者が行なっている作業を能動型探索アルゴリズムに切り替えて実験する構成である。 つぎに位置決めサーボの制御ブロック線図をFig.4に示す。こちらはいわゆる２自由度制御系である。フィードフォワード部について、位置のＰ制御、速度のＰ制御、および機械モデル１／Ｊ・ｓで構成し、フィードバック部について、位置のＰ制御、速度のＰＩ制御で構成してある。 フィードフォワード部について、位置応答ゲインをωｐｃ１、速度ゲインをωｓｃ１とし、ωｓｃ１についてはωｓｃ１＝４・Ｊ・ωｐｃ１としωｐｃ１に従属して自動的に定まることとした。 またフィードバック部について、位置応答ゲインをωｐｃ２、速度ゲインをωｓｃ２、速度積分時間をＴｉとする。 上述の実験装置において、適当な制御パラメータを設定し、適当な移動ストロークを経て位置決めする動作を実行するとFig.5のような波形データが観測され、与えた制御パラメータおよび移動ストロークの組み合わせに対する評価指標値を計測することができる。評価指標としては『許容整定範囲割れ』『整定時間』『オーバーシュート量』があり、これら評価指標は未知の制約条件付きの未知の目的関数を描く。評価値のそれぞれを説明する。 ・許容整定範囲割れ：０または１いずれかの数値。 指令位置に対する偏差が別途与えられる許容範囲内に収まっていない状態のこと。以下の基準に照らすとFig. 5の観測波形は「許容整定範囲割れ」１と判定される。 ０：位置決め指令入力以降、位置偏差が最初に許容範囲内に入ってから、次回指令入力まで許容範囲外になることがない場合（良い）。 １：位置決め指令入力以降、位置偏差が最初に許容範囲内に入ってから、次回指令入力まで許容範囲外になることがある場合（悪い）。 ・整定時間［ｍｓｅｃ］：位置決め指令入力以降、位置偏差が最後に許容範囲内に入るまでの時間（小さいほど良い）。 ・オーバーシュート量［ｐｕｌｓｅ］：指令入力以降、最初に許容範囲内に入ってからの位置偏差の行き過ぎ最大値（小さいほど良い）。 『許容整定範囲割れ』『オーバーシュート量』についてはモータ軸に取り付けられた１回転あたり１３万パルス（２１７＝１３１，０７２ｐｕｌｓｅ）の分解能をもつエンコーダで計測する。今回の実験装置では、ボールねじのリードは１０ｍｍであり、その１回転でナット側は１０ｍｍ移動するので、エンコーダの１ｐｕｌｓｅはナット側が０．０７６２９μｍ移動することに相当する。このとき、許容される整定幅を５０ｐｕｌｓｅと与えれば、目標位置に対し３．８１５μｍ以内のズレ量で整定したとき『許容整定範囲割れ』は発生していないことになる。またオーバーシュート量を５０ｐｕｌｓｅと計測すれば、実際には４μｍほどオーバーシュートしていたことになる。ただし、これらの数値はモータ軸に取り付けたエンコーダの回転角度を計測しているので、モータ軸からボールねじ、ボールねじと嵌合しているナット、ナットから先の部材といった伝逹機構を経た機械端がこれらの値どおりに動くものではないが今回は問題とはならないレベルである。機械端の動きをリニアエンコーダなどで計測しフィードバックループを組んで機械端の位置決め精度を高めることはもちろん可能であるが、ここでの議論とは直交する話題である。 以下、本論文では、上述の位置決め実験装置に対して、操作可能な制御パラメータのうち、フィードバック系の応答と安定にかかるゲインωｐｃ２とωｓｃ２は事前に参考文献３０）に示した方法で適正に調整されているという前提で、『オーバーシュート量』と『整定時間』の特性を決めるゲインωｐｃ１とＴｉを、提案アルゴリズムにより探索的に自動調整し、指定された目標仕様を満たす最適化について考察することにする。」（２２０頁右欄３７行～２２２頁左欄１５行） （オ）「４．１ 調整に対する要求仕様について 現場の制御パラメータ調整では上述の評価値に対する位置決め目標仕様が指定 される。これを位置決め前の移動ストローク、位置決め場所（５章にて後述）などの誤差因子に対してロバスト化する必要がある。」（２２２頁左欄１６行～２０行） （カ）「４．２ 今回の実験方法について 本稿では前述のとおり、位置決め実験装置を用いて制御パラメータの定義域内と位置決めストローク組み合わせ空間の全探索を実施しデータを取得した。」（２２２頁左欄３３行～３６行） （キ）「４．３ 多目的最適化の実装について 能動型探索アルゴリズムを今回の問題における多目的最適化に適用するための実装の考え方について述べる。具体的には、最適化目標が「許容整定範囲割れ」、「整定時間」、「オーバーシュート量」の３つあり、動作ストロークも４種類あるため、アルゴリズムを計算するなかで、これらの事項をどのように取り扱うかである。 制御パラメータは自分で操作できる制御因子であるが、移動ストローク１ｍｍ、５ｍｍ、２０ｍｍ、５０ｍｍは受け入れるしかない（自分で操作できない）誤差因子と考えることにする。移動ストロークは４つあるので、各制御パラメータ組み合わせごとに４つの実測値が得られるが、それらの最悪値を採用することで移動ストロークの変動に対してロバストな評価値とする。 一方、各評価値に対する実行不能判定は、優先順位をもって実施する。具体的には「許容整定範囲割れ」＞「整定時間」＞「オーバーシュート量」とする。そして最も厳しく判定したい「許容整定範囲割れ」の０，１を用いて、未知の制約条件の識別境界の推定モデルｆ（Ｓｎ，ｘ）＝０を更新し、最良の試行結果を選ぶ際の優劣の判定に上述の優先順位を用いる。たとえば『整定時間』が改良されれば『オーバーシュート量』が悪くなっていても良い解が見つかったと判断することになる。」（２２２頁右欄５行～２６行） （ク）「４．４ 適用結果 まず、前節の手順に従い、実測値から求めた２つのデータセットをFig.6に示す。これが全探索のデータとなる。」（２２２頁右欄４２～４４行） （ケ）「７．おわりに 産業メカトロニクス分野で用いられる位置決めサーボシステムの制御パラメータ調整、すなわち制御パラメータの調整において発生している未知の目的関数の最適化問題に対して、著者らの開発した機械学習の枠組みに基づく能動型探索アルゴリズムの適用可能性を検討した。」（２２６頁右欄２０～２５行） 上記記載事項（ア）～（ケ）から、以下の事項が理解できる。 （コ）上記（ア）、（エ）、（キ）から、甲１には、位置決めサーボシステムの許容整定範囲割れ、整定時間、オーバーシュート量の評価指標について、多目的最適化をすることが開示されていると理解できる。 （サ）上記（ア）、（ウ）～（ケ）から、甲１には、制御パラメータ（サーボパラメータ）を機械学習、特に能動型探索アルゴリズムにより自動調整する装置が開示されているといえる。 イ 甲１発明 上記アから、甲１には以下の発明（以下「甲１発明」という。）が開示されていると認められる。 位置決めサーボシステムの許容整定範囲割れ、整定時間、オーバーシュート量の評価指標について、多目的最適化をするため、操作可能な制御パラメータのうち、オーバーシュート量と整定時間の特性を決める位置応答ゲインωｐｃ１と速度積分時間Ｔｉを、機械学習、特に能動型探索アルゴリズムにより探索的に自動調整するものであって、「許容整定範囲割れ」＞「整定時間」＞「オーバーシュート量」の優先順位で最良の試行結果を選ぶ、制御パラメータ（サーボパラメータ）を機械学習により自動調整する装置。 ウ 本件発明１について 本件発明１と甲１発明とを対比すると、甲１発明の「位置決めサーボシステム」は、本件発明１の「モータ駆動装置」に相当し、同様に「制御パラメータ（サーボパラメータ）を機械学習により自動調整する装置」は、「機械学習装置」に相当する。 また、甲１発明の「位置決めサーボシステムの・・・操作可能な制御パラメータ」は、本件発明１の「モータ駆動装置においてモータを制御するための指令値」と、「モータ駆動装置においてモータを制御するための制御パラメータ」である点で一致し、甲１発明の「制御パラメータのうち、オーバーシュート量と整定時間の特性を決める位置応答ゲインωｐｃ１と速度積分時間Ｔｉ」は、本件発明1の「指令値の補正に用いられる補正パラメータ」と、「制御パラメータの補正に用いられる補正パラメータ」という点で一致する。そうすると、甲１発明の「オーバーシュート量と整定時間の特性を決める位置応答ゲインωｐｃ１と速度積分時間Ｔｉを、機械学習、特に能動型探索アルゴリズムにより探索的に自動調整するもの」は、本件発明１の「補正パラメータを学習する機械学習装置」に相当する。 そして、甲１発明において「「許容整定範囲割れ」＞「整定時間」＞「オーバーシュート量」の優先順位で最良の試行結果を選ぶ」ことは、能動型探索アルゴリズムにより、探索的な自動調整によってなされるものであるから、本件発明１において「前記補正パラメータを前記補正機能毎に学習する」ことと、「前記補正パラメータを学習する」点で一致する。 そうすると、本件発明１と甲１発明とは以下の一致点、相違点を有する。 一致点：モータ駆動装置においてモータを制御するための制御パラメータの補正に用いられる補正パラメータを学習する機械学習装置であって、前記補正パラメータを学習する機械学習装置。 相違点：本件発明１は、「複数の種類の補正機能を有するモータ駆動装置においてモータを制御するための指令値の補正に用いられる補正パラメータを学習する機械学習装置であって、前記補正機能の種類に基づいて、前記モータ駆動装置の駆動データから計算により切り取られ抽出された特徴量と、前記補正パラメータとを状態変数として観測する状態観測部と、前記状態変数に基づいて前記補正機能毎に作成される訓練データセットに従って、前記訓練データセットに含まれる前記状態変数を用いて前記補正パラメータを前記補正機能毎に学習する学習部と、を備える」もの、すなわち、モータ駆動装置が複数の種類の補正機能を有するものであり、特徴量は、補正機能の種類に基づいて、前記モータ駆動装置の駆動データから計算により切り取られ抽出されるものであり、学習部は、補正機能毎に作成される訓練データセットに従って、訓練データセットに含まれる状態変数を用いて補正パラメータを補正機能毎に学習するものであるのに対し、甲１発明は、許容整定範囲割れ、整定時間、オーバーシュート量の評価指標について多目的最適化するものの、複数の種類の補正機能を有するものではなく、したがって、特徴量の抽出及び学習部についても補正機能毎になされるものではない点。 上記相違点について検討すると、甲１には補正機能毎に機械学習を行うことについては開示もないし示唆もない。 すなわち、本件発明１は、補正機能毎に補正パラメータの学習が行われるから、補正機能の間には優先順位などはなく、補正機能の数に応じた分だけ、最適な補正パラメータが選定されるように学習する。 これに対して、甲１における多目的最適化は、「許容整定範囲割れ」＞「整定時間」＞「オーバーシュート量」という優先順位を前提に、最良の試行結果、すなわち「位置応答ゲインωｐｃ１」と「速度積分時間Ｔｉ」の値を１つに選定することであるから、その結果として、「整定時間」が改良されれば、「オーバーシュート量」が悪くなっていても良い解が見つかったと判断されることになる（上記ア（キ））が、このような判断は、補正機能毎に最適な補正パラメータを選定しようとする本件発明１の技術的思想とは異なるものであって、甲１には補正機能毎に機械学習を行うことについては開示も示唆もないというほかない。 また、甲第２号証～甲第６号証を見ても、甲１発明のような機械学習装置について、補正機能毎に機械学習を行うこと、そのために、特徴量をモータ駆動装置の駆動データから計算により切り取られ抽出されたものとすること、このような特徴量と補正パラメータとを状態変数として観測する状態観測部や、状態変数に基づいて補正機能毎に作成される訓練データセットに従って、訓練データセットに含まれる状態変数を用いて補正パラメータを補正機能毎に学習する学習部を備えることを開示するものはない。 そうすると、当業者であっても、甲１発明に、相違点に係る本件発明１の構成を採用することは容易に想到し得たものではない。 エ 本件発明２～１１について 上記ウのとおり、本件発明１が、甲１発明及び甲第２号証～甲第６号証に記載の技術的事項から容易に想到し得たものではないところ、本件発明２～１０は、本件発明１の発明特定事項の全てを含むものであるから、上記本件発明１と甲１発明との相違点と同じ相違点を有するものであり、甲１発明及び甲第２号証～甲第６号証に記載の技術的事項から容易に想到し得たものではない。 また、本件発明１１は、機械学習方法の発明であるところ、甲１には甲１発明に対応する方法の発明も開示されているといえるが、本件発明１１と、当該甲１発明に対応する方法の発明を対比すると、上記本件発明１と甲１発明との相違点と同様の相違点を有するものと認められ、本件発明１１は甲１発明に対応する方法の発明及び甲第２号証～甲第６号証に記載の技術的事項から容易に想到し得たものではない。 オ 小括 以上のとおり、本件発明１～１１に係る特許は、特許法第２９条第２項の規定に違反してなされたものとはいえない。 （２）記載要件違反 ア 具体的な特許異議申立理由 本件訂正前の特許請求の範囲及び明細書の発明の詳細な説明の記載に対する記載要件違反について、特許異議申立の具体的理由は以下のとおりである。 （ア）請求項１、２について ａ 請求項１の「補正機能の種類に基づいて計算された特徴量」について、複数の補正機能の種類毎の「特徴量」が、それぞれ如何なる量であるのか不明確であるとともに、「特徴量」を計算するための入力データが何かが不明確であり、「モータ駆動装置の駆動データ」との関係の有無も不明確である。上記請求項１を引用する訂正前の請求項２についても同様である（以下のｂ～ｃについても同じ。）。 ｂ 同じく「状態変数に基づいて作成される訓練データセットに従って、前記補正パラメータを前記補正機能毎に学習する学習部」について、「訓練データセット」がどのようなデータを含むデータセットを意味するものか不明確である。また、「補正機能毎に学習する」ことを可能にする「訓練データセット」とはどのようなものか不明確である。 ｃ 上記ｂの「学習部」について、「訓練データセットに従って」どのようにして、「補正パラメータを補正機能毎に学習する」ものか、その学習内容が不明確である。 ｄ 本件明細書は、「訓練データセット」について、段落【００２０】の記載があるのみであるから、その作成を当業者が実施できる程度に明確かつ十分な記載となっていない。同じく、「学習部」について、段落【００２０】の記載があるのみで、「訓練データセットに従って」どのようにして、「補正パラメータを補正機能毎に学習する」のか記載がないから、当業者が実施できる程度に明確かつ十分な記載となっていない。また、「学習部」については、段落【００５８】に、ニューラルネットワーク等を用いても良い旨の記載があるところ、このような方法による場合には、どのように学習すれば良いのか、当業者が実施できる程度に明確かつ十分な記載となっていない。 （イ）請求項３について 上記（ア）ａ～ｃと同じ点で不明確である。 （ウ）請求項４について ａ 請求項４の「状態変数に基づいて報酬を計算する報酬計算部」、「前記報酬に基づいて、前記補正パラメータを決定するための関数を更新する関数更新部」が、上記請求項４が引用する上記請求項１の「状態変数に基づいて作成される訓練データセットに従って、前記補正パラメータを前記補正機能毎に学習する」こととどのような関係にあるのか不明確である。 ｂ 本件明細書には、「前記報酬に基づいて、前記補正パラメータを決定するための関数を更新する関数更新部」について、段落【００５３】の記載があるのみであり、報酬は閾値との関係で定まるに過ぎず、補正パラメータ間の優劣を決めるものではないところ、補正パラメータをどのように決定するかが不明であるから、当業者が実施できる程度に明確かつ十分な記載となっていない。 （エ）請求項５について ａ 訂正前の請求項５には、「関数更新部は、前記補正機能毎に前記関数を更新する」ことが記載されているが、これを考慮しても、上記請求項５が間接的に引用する上記請求項１の「状態変数に基づいて作成される訓練データセットに従って、前記補正パラメータを前記補正機能毎に学習する」こととどのような関係にあるのか不明確である。 （オ）請求項６～１０について ａ 請求項６は、上記請求項１ないし５を選択的に引用し、訂正前の請求項７－１０は上記請求項６を引用するものであるところ、上記（ア）ａ～ｃ、（ウ）ａ、（エ）と同じ点で不明確である。請求項６を引用する請求項７～１０についても同様に不明確である。 ｂ 請求項６は、「前記複数の種類の補正機能のうちの１つを選択する補正機能選択部」により選択された補正機能についての補正パラメータを決定するものであるところ、本願明細書の段落【０００５】、【０００６】の解決しようとする課題（従来技術では、単一の補正機能の補正パラメータしか調整することができなかったこと）及び目的（複数の補正パラメータに対応できるようにすること）の記載に鑑みて、発明が解決しようとする課題を解決できないものであるから、本件明細書は、当業者が実施できる程度に明確かつ十分な記載となっていない。請求項６を引用する請求項７～１０についても同様である。 （カ）請求項９について ａ 請求項９には、「補正パラメータ計算部」が、「学習結果に基づいて補正パラメータを計算」することが記載されているが、その計算内容が不明確である。 ｂ 本件明細書は、「補正パラメータ計算部」について、段落【００２２】の記載があるのみであるから、その計算を当業者が実施できる程度に明確かつ十分な記載となっていない。 （キ）請求項１１について 請求項１１は、上記請求項１が機械学習装置についての発明であるのに対し、機械学習方法の発明である点でカテゴリーが相違する他は、上記請求項１と同様の特定がされているものであるところ、上記（ア）ａ～ｃの上記請求項１、２についての理由と同様に、上記請求項１１の記載は不明確である。 イ 記載要件の判断 （ア）請求項１、２について ａ 請求項１の「補正機能の種類に基づいて計算された特徴量」について、本件訂正により、「前記補正機能の種類に基づいて、前記モータ駆動装置の駆動データから計算により切り取られ抽出された特徴量」となった結果、「特徴量」が、モータ駆動装置の駆動データから計算により切り取られ抽出されたものであることが明確となった。 また、本件明細書の段落【００１７】、【００１８】には、「特徴量抽出部１４は、アルゴリズム選択部６１と、アルゴリズム記憶部６２と、特徴量計算部６３とを有する。・・・特徴量計算部６３は、アルゴリズム選択部６１から入力される計算アルゴリズム選択指令に基づいて、使用する計算アルゴリズムをアルゴリズム記憶部６２から取出して、取出した計算アルゴリズムを用いて、学習用駆動データＤｅから補正機能ごとに特徴量を計算する。・・・ 摩擦補正機能については、アルゴリズム選択部６１は、運動方向反転位置検出、運動方向反転時近傍のデータ切り取りを選択する。学習用駆動データＤｅに、位置指令、位置フィードバック、モータ電流、理想的な位置に対する実際の位置のデータが含まれている場合、特徴量計算部６３は、それぞれのデータに関して、選択された計算アルゴリズムを適用して特徴量を算出する。」との記載があるところ、「特徴量」が、補正機能に応じて、学習用駆動データＤｅに含まれる位置指令、位置フィードバック等のデータから計算アルゴリズムを適用して計算（例えば、摩擦補正機能であれば、運動方向反転時の近傍のデータを切り取るような計算）される量であることは、当該記載からも明らかである。 ｂ 請求項１の「訓練データセット」に関し、本件訂正により、「前記状態変数に基づいて前記補正機能毎に作成される訓練データセットに従って、前記訓練データセットに含まれる前記状態変数を用いて前記補正パラメータを前記補正機能毎に学習する学習部と、」との特定事項を有するものとなった結果、「訓練データセット」が状態変数（特徴量及び補正パラメータ）を含むものであること、状態変数に基づいて前記補正機能毎に作成されるものであることが明確となった。 ｃ 請求項１の「学習部」について、上記ｂのとおりの発明特定事項を備えるものとなった結果、その学習内容が明確となった。 よって、上記ア（ア）ａ～ｃについて、本件発明１、２は明確である。 ｄ 本件訂正により、本件発明１の訓練データが補正機能毎に作成されるものであることが明確になり、学習部についても、上記ｃのとおり明確となった。 また、実施可能要件について、本件明細書の段落【００２０】には、「状態観測部１０１は、補正パラメータ情報および特徴量を用いて、補正パラメータと、補正機能に基づいて抽出された特徴量とを状態変数として観測する。状態観測部１０１は、状態変数に基づいて、補正機能毎に訓練データセットを作成して出力する。学習部１０２は、状態観測部１０１が状態変数に基づいて作成した訓練データセットを用いて、特徴量毎に、つまり、補正機能毎に補正パラメータの学習を行い、学習結果Ｆｒを出力する。学習部１０２が用いる学習アルゴリズムは、ニューラルネットワークのような教師あり学習、教師なし学習、強化学習などである。」と記載されており、本件発明１の発明特定事項とも整合するところ、上記発明の詳細な説明の記載及び機械学習についての技術常識を踏まえれば、当業者が過度の試行錯誤を要することなく本件発明１を実施し得る程度ものといえる。 よって、上記ア（ア）ｄについて、本件明細書の発明の詳細な説明の記載は、実施可能要件を充足する。 （イ）請求項３について 上記（ア）のとおりである。 また、請求項３は、特徴量について特定をするものであって、請求項１を引用するものであるところ、特徴量が「補正機能毎の前記駆動データの特性を示すデータ」であることに関し、請求項１には、「前記モータ駆動装置の駆動データから計算により切り取られ抽出された特徴量」との発明特定事項があるから、駆動データの特性を示すデータが駆動データから計算により切り取られ抽出されるものであることが理解できるし、本件明細書の段落【００１６】～【００１８】の特徴量の抽出に関する記載からも理解できる。 よって、上記ア（イ）について、本件発明３は明確である。 （ウ）請求項４について ａ 請求項４の「状態変数に基づいて報酬を計算する報酬計算部」、「前記報酬に基づいて、前記補正パラメータを決定するための関数を更新する関数更新部」について、本件訂正により、請求項４が引用する請求項１が「前記状態変数に基づいて前記補正機能毎に作成される訓練データセットに従って、前記訓練データセットに含まれる前記状態変数を用いて前記補正パラメータを前記補正機能毎に学習する」と特定するものとなったことから、訓練データセットに状態変数が含まれることが明確となり、「報酬計算部」が訓練データセットに含まれる状態変数に基づいて報酬を計算するものであること、「関数更新部」が当該報酬に基づいて関数を更新するものであることが明確となった。 よって、上記ア（ウ）ａについて、本件発明４は明確である。 ｂ 請求項４は本件発明１を引用する請求項であるところ、本件訂正により、本件発明１の訓練データセットに状態変数が含まれることが明確となった結果、本件発明４における「前記状態変数に基づいて報酬を計算する報酬計算部」と、「前記報酬に基づいて、前記補正パラメータを決定するための関数を更新する関数更新部」が、訓練データセットに含まれる状態変数に基づいて報酬を計算し、当該計算された報酬に基づいて補正パラメータを決定するための関数を更新する処理を行うことが明確となった。 これを踏まえ、本件明細書の段落【００５３】の「報酬計算部１０２ａは、状態観測部１０１により観測された状態変数に基づいて報酬を計算する。報酬計算部１０２ａは、補正機能ごとに、報酬を計算する。」、段落【００５４】の「関数更新部１０２ｂは、報酬計算部１０２ａによって計算される報酬に従って、補正パラメータを決定するための関数を更新する。」との記載及び機械学習についての技術常識を踏まえれば、当業者が過度の試行錯誤を要することなく本件発明４を実施し得る程度のものといえる。 よって、上記ア（ウ）ｂについて、本件明細書の発明の詳細な説明の記載は、実施可能要件を充足する。 （エ）請求項５について ａ 上記（ウ）ａのとおり、関数更新部と請求項１の特定事項との関係が明確になったことから、請求項５の「関数更新部は、前記補正機能毎に前記関数を更新する」ことと請求項１の発明特定事項との関係についても明確となった。 よって、上記ア（エ）ａについて、本件発明５は明確である。 （オ）請求項６～１０について ａ 上記（ア）～（エ）のとおりであるから、上記ア（オ）ａについて、本件発明６～１０は明確である。 ｂ 請求項６は、本件発明１を引用する請求項であるところ、本件発明１は、「複数の種類の補正機能を有するモータ駆動装置においてモータを制御するための指令値の補正に用いられる補正パラメータを学習する機械学習装置」との発明特定事項を有するから、本件発明６は、複数の種類の補正機能を有することを前提とするものである。 一方、本件明細書の段落【０００５】、【０００６】には、「しかしながら、上記特許文献１に記載の技術では、単一の補正機能の補正パラメータしか調整するアルゴリズムしかないため、単一の補正機能の補正パラメータしか調整することができない。・・・本発明は、上記に鑑みてなされたものであって、複数の種類の補正機能を有するモータ駆動装置であっても、モータ駆動装置の指令値の補正条件を決定するための補正パラメータを容易に調整することが可能な機械学習装置および補正パラメータ調整装置を得ることを目的とする。」と記載されるとおり、従来は単一の補正機能のみを有するものであったところ、本件発明は、複数の種類の補正機能を有するモータ駆動装置に対応できるようにしたものである。 そうすると、上記ア（オ）ｂについて、本件発明６及び本件発明６を引用する本件発明７～１０は、発明が解決しようとする課題を解決できないものではないし、本件明細書の発明の詳細な説明の記載は、実施可能要件を充足する。 （カ）請求項９について ａ 請求項９には、「補正パラメータ計算部」が、「学習結果に基づいて補正パラメータを計算」することを特定しており、その記載自体は明確であるから、上記ア（カ）ａについて、本件発明９は明確である。 ｂ 本件明細書の段落【００２２】の「補正パラメータ計算部５１は、機械学習装置１００から入力される学習結果Ｆｒと、補正パラメータ情報とに基づいて、補正機能毎に、学習結果Ｆｒに基づいて補正パラメータを算出する。・・・終了判定部５３は、補正パラメータ評価部５２の評価結果と、調整要件入力部１１から入力される調整要件とに基づいて、調整処理を終了するか否かを判断すると共に、補正パラメータ計算部５１が計算した補正パラメータをモータ駆動装置９９に設定する。」との記載、【００４７】～【００４８】の「機械学習装置１００は、発生する誤差を抑制することが可能な補正パラメータを学習する・・・エージェントは、行動を選択することで環境から報酬を得て、一連の行動を通じて報酬が最も多く得られるような方策を学習する。」との記載から、「補正パラメータ計算部」が、「学習結果に基づいて補正パラメータを計算」することは、例えば、学習結果Ｆｒから、報酬が最も多く得られるような補正パラメータを計算することでなされることが理解できる。 よって、上記ア（カ）ｂについて、本件明細書の発明の詳細な説明の記載は、実施可能要件を充足する。 （キ）請求項１１について 上記（ア）ａ～ｃの請求項１、２についてと同様に、上記ア（キ）について、本件発明１１は明確である。 ウ 小括 以上のとおり、本件特許請求の範囲及び本件明細書の発明の詳細な説明の記載は、特許法第３６条第４項第１号、同条第６項第２号の規定に違反していないから、本件発明１～１１に係る特許は、当該規定に違反してなされたものとはいえない。 第７ まとめ 以上のとおり、本件発明１～１１に係る特許は、令和４年３月９日付け取消理由通知（決定予告）に記載した取消理由、特許異議申立書に記載された特許異議申立理由によっては、取り消すことはできない。さらに、他に本件発明１～１１に係る特許を取り消すべき理由を発見しない。 よって、結論のとおり決定する。