2019-007222

特願２０１７－６８５２０「ワイヤ放電加工機の制御装置及び機械学習装置」拒絶査定不服審判事件〔平成３０年１１月１日出願公開、特開２０１８－１６９９３４、請求項の数（８）〕について、次のとおり審決する。

【結　論】 原査定を取り消す。 本願の発明は、特許すべきものとする。

【理　由】 第１　主な手続の経緯 本願は、平成２９年３月３０日の出願であって、平成３０年１０月３日付けで拒絶理由通知がされ、平成３０年１２月７日に手続補正書及び意見書が提出され、平成３１年３月１日付けで拒絶査定（以下、「原査定」という。）がされ、これに対し、令和元年６月３日に拒絶査定不服審判の請求がされると同時に手続補正がされ、令和元年１０月４日に審判請求人から上申書が提出されたものである。 第２　原査定の概要 原査定の概要は次のとおりである。 １．本願請求項１－２、４－８に係る発明は、以下の引用文献１に記載された発明であるから、特許法第２９条第１項第３号に該当し、特許を受けることができない。 ２．本願の請求項１－８に係る発明は、以下の引用文献１に基づいて、その発明の属する技術の分野における通常の知識を有する者（以下、「当業者」という。）が容易に発明できたものであるから、特許法第２９条第２項の規定により特許を受けることができない。 引用文献等一覧 １．特開２０１７－４２８８２号公報 第３　本願発明 本願請求項１－８に係る発明（以下、それぞれ「本願発明１」－「本願発明８」という。）は、令和元年６月３日付けの手続補正で補正された特許請求の範囲の請求項１－８に記載された事項により特定される発明であり、以下のとおりの発明である。 「　【請求項１】 ワイヤ放電加工を行う際の補正パラメータを最適化する制御装置であって、 前記ワイヤ放電加工を行う際の補正パラメータを学習する機械学習装置を備え、 前記機械学習装置は、 少なくとも加工プログラムで定義された加工形状を含む前記ワイヤ放電加工を行う際の条件を示す条件データを状態変数として観測する状態観測部と、 前記ワイヤ放電加工において加工精度が良好であった場合の前記補正パラメータを示す判定データを取得する判定データ取得部と、 前記状態変数と前記判定データとを用いて、前記補正パラメータを前記ワイヤ放電加工を行う際の条件と関連付ける教師あり学習をする学習部と、を備えることを特徴とする 制御装置。 【請求項２】 前記学習部は、前記状態変数及び前記判定データから前記ワイヤ放電加工を行う際の補正パラメータを導く相関性モデルと予め用意された教師データから識別される相関性特徴との誤差を計算する誤差計算部と、 前記誤差を縮小するように前記相関性モデルを更新するモデル更新部とを備えることを特徴とする 請求項１記載の制御装置。 【請求項３】 前記学習部は、前記状態変数と前記判定データとを多層構造で演算することを特徴とする 請求項１記載の制御装置。 【請求項４】 前記学習部による学習結果に基づいて、前記ワイヤ放電加工を行う際の補正パラメータを表示又は出力する意思決定部を更に備えることを特徴とする 請求項１記載の制御装置。 【請求項５】 前記学習部は、複数のワイヤ放電加工機のそれぞれについて得られた前記状態変数及び前記判定データを用いて、該複数のワイヤ放電加工機のそれぞれにおける前記ワイヤ放電加工を行う際の補正パラメータを学習することを特徴とする 請求項１記載の制御装置。 【請求項６】 ワイヤ放電加工を行う際の補正パラメータを最適化する制御装置において、 少なくとも加工プログラムで定義された加工形状を含む前記ワイヤ放電加工を行う際の条件を示す条件データを状態変数として観測する状態観測部と、 前記ワイヤ放電加工において加工精度が良好であった場合の前記補正パラメータを示す判定データを取得する判定データ取得部と、 前記状態変数と前記判定データとを用いて、前記補正パラメータを前記ワイヤ放電加工を行う際の条件と関連付ける教師あり学習をする学習部と、を備えることを特徴とする 機械学習装置。 【請求項７】 少なくとも加工プログラムで定義された加工形状を含むワイヤ放電加工機がワイヤ放電加工を行う際の条件を示す条件データを状態変数として観測する状態観測部と、 前記ワイヤ放電加工において加工精度が良好であった場合の補正パラメータを示す判定データを取得する判定データ取得部と、 前記状態変数と前記判定データとを用いて、前記補正パラメータを前記ワイヤ放電加工を行う際の条件と関連付ける教師あり学習により学習済みモデルを生成する学習部と、を備えることを特徴とする 機械学習装置。 【請求項８】 請求項７記載の機械学習装置が生成した前記学習済みモデルを有し、 前記学習済みモデルに基づいて、前記ワイヤ放電加工を行う際の補正パラメータを表示又は出力する意思決定部を更に備えることを特徴とする 制御装置。」 第４　引用文献、引用発明等 １．引用文献１について 原査定の拒絶の理由に引用された引用文献１には、図面とともに次の事項が記載されている。なお、下線は理解の便のため、当審で付与した。 ア．「【請求項１】 加工条件設定部に設定された加工条件に応じて加工電源、加工液の制御を行い、上下ノズル間で張架したワイヤ状電極と被加工物の間に電圧を印加して放電を発生させると共に、前記ワイヤ状電極と被加工物を相対移動させて前記被加工物の加工を行うワイヤ放電加工機において、 前記加工に係る環境を示す情報である環境情報を記憶する環境情報記憶部と、 前記加工条件の調整対象パラメータと該調整対象パラメータの調整量を機械学習する加工条件調整装置と、 を備え、 前記加工条件調整装置は、 前記加工における加工状態を示す情報である状態データを取得する状態観測部と、 報酬条件を記憶する報酬条件記憶部と、 前記状態データと前記報酬条件に基づいて報酬を計算する報酬計算部と、 加工条件調整を機械学習する加工条件調整学習部と、 前記加工条件調整学習部による前記加工条件調整の機械学習結果と、前記状態データおよび前記環境情報に基づいて、加工条件調整の対象パラメータとその調整量を調整行動として決定し、該調整行動に基づいて前記加工条件設定部に設定された加工条件を調整し、調整後の加工条件を出力する加工条件調整部と、 を有し、 前記加工条件調整学習部は、前記調整行動と、出力された前記調整後の加工条件に基づく加工動作後の前記状態観測部により取得された前記状態データと、前記報酬計算部が計算した前記報酬と、に基づいて前記加工条件調整を機械学習する、 を備えたことを特徴とするワイヤ放電加工機。」 イ．「【００２０】 ＜１．機械学習＞ 一般に、機械学習には教師あり学習や教師なし学習など、その目的や条件によって様々なアルゴリズムに分類されている。本発明では被加工物を加工するワイヤ放電加工機における加工条件の調整の学習を目的としており、ワイヤ放電加工機から出力される電圧値、電流値、加工速度、各軸の座標値、被加工物情報などの加工状態に対してどのような行動（加工条件の調整）をすることが正しいのかを明示的に示すことが困難であることを考慮して、報酬を与えるだけで機械学習器が目標到達のための行動を自動的に学習する強化学習のアルゴリズムを採用する。 【００２１】 図３は、強化学習アルゴリズムの基本的な概念を説明する図である。強化学習においては、学習する主体となるエージェント（機械学習器）と、制御対象となる環境（制御対象システム）とのやりとりにより、エージェント学習と行動が進められる。より具体的には、（１）エージェントはある時点における環境の状態ｓtを観測し、（２）観測結果と過去の学習に基づいて自分が取れる行動ａtを選択して行動ａtを実行し、（３）行動ａtが実行されることで環境の状態ｓtが次の状態ｓt＋１へと変化し、（４）行動ａtの結果としての状態の変化に基づいてエージェントが報酬ｒt+1を受け取り、（５）エージェントが状態ｓt、行動ａt、報酬ｒt＋１および過去の学習の結果に基づいて学習を進める、といったやりとりがエージェントと環境の間で行われる。」 ウ．「【００２５】 また、行動価値関数は、ある状態ｓtにおいて行動ａtがどのくらい良い行動であるのかを示す価値関数である。行動価値関数は、状態と行動を引数とする関数として表現され、行動を繰り返す中での学習において、ある状態における行動に対して得られた報酬や、該行動により移行する未来の状態における行動の価値などに基づいて更新される。行動価値関数の更新式は強化学習のアルゴリズムに応じて定義されており、例えば、代表的な強化学習アルゴリズムの１つであるＱ学習においては、行動価値関数は以下の数２式で定義される。なお、数２式においてαは学習係数、γは割引率と呼ばれ、０＜α≦１、０＜γ≦１の範囲で定義される。」 エ．「【００２７】 なお、学習結果としての価値関数（評価関数）を記憶する方法としては、近似関数を用いる方法や、配列を用いる方法以外にも、例えば状態ｓが多くの状態を取るような場合には状態ｓt、行動ａtを入力として価値（評価）を出力する多値出力のＳＶＭやニューラルネットワーク等の教師あり学習器を用いる方法などがある。」 オ．「【００３３】 本実施形態において、機械学習器２０が環境（＜１．機械学習＞で説明した状態ｓt）を特定するための情報として、加工対象となる被加工物の板厚、被加工物の材質、加工に用いるワイヤのワイヤ径、ワイヤを張架する上下ノズルと被加工物との距離を示すノズル隙間などの環境情報、ワイヤ放電加工機の各軸の座標値である位置情報、および、被加工物加工時に測定される実電圧値、実電流値、加工速度、放電回数、加工液の液圧、および短絡／断線の発生などの加工情報を機械学習器２０に対して入力している。これら各値は、ワイヤ放電加工機１の各部から取得されたデータ、および制御部１０、加工電源２から取得されたデータである。 【００３４】 本実施形態では、機械学習器２０が環境に対して出力するもの（＜１．機械学習＞で説明した行動ａt）として、ワイヤ放電加工機での加工時における極間電圧の電圧値や印加時間、休止時間、加工液の供給量などの加工条件の調整を出力データとしている。 【００３５】 また本実施形態では、機械学習器２０に対して与えられる報酬（＜１．機械学習＞で説明した報酬ｒt）として、電圧値、電流値、加工速度値の基準値データとの接近または乖離（プラス報酬、マイナス報酬）、短絡／断線の発生（マイナス報酬）などを採用する。電圧値、電流値、加工速度値の基準値データについては、加工を開始する前に設定されている加工条件に基づいてあらかじめ理論的な電圧値、電流値、加工速度値の基準値データを決定しておく。なお、いずれのデータに基づいて報酬を決定するのかについては、オペレータが適宜設定するようにしてもよい。」 カ．「【００３８】 制御部１０は、図示しないメモリから読み出されたプログラムを解析し、解析結果として得られた制御データに基づいてワイヤ放電加工機１の軸を制御して被加工物の加工を行う。通常のワイヤ放電加工機では、作業者などにより設定されて環境情報記憶部１１に記憶されたワイヤ径、被加工物板厚、材質、ノズル隙間などの環境情報の設定値、加工条件記憶部１２に記憶された極間電圧の電圧値や印加時間、休止時間、加工液の供給量などの加工条件の設定値などに基づいて制御部１０が加工電源２を制御するが、本発明においては、加工条件については機械学習器２０が加工条件記憶部１２に記憶された加工条件の設定値に基づいて学習結果に基づく加工条件の調整を行い、該調整結果に基づいて制御部１０が加工電源２を制御する。」 キ．「【００４１】 状態観測部２１は、制御部１０を介してワイヤ放電加工機１における加工状態に係るデータを観測して機械学習器２０内に取得する機能手段である。加工状態に係るデータとしては、上記したワイヤ径、被加工物板厚、材質、ノズル隙間などの環境情報、ワイヤ放電加工機の各軸の座標値である位置情報、および、被加工物加工時に測定される実電圧値、実電流値、加工速度値、放電回数、加工液の液圧、および短絡／断線の発生などの加工情報などがある。」 ク．「【００４４】 以下に、本実施形態における報酬条件記憶部２３で設定する報酬条件の例を示す。 ●［報酬１：電圧値、電流値、加工速度値と基準値データとの接近または乖離（プラス報酬、マイナス報酬）］ 被加工物の加工時に測定された極間の実電圧値や実電流値、加工速度（ワイヤと被加工物の相対的な移動速度）の各値が、前回の加工条件の調整（時刻ｔ－１における加工条件の調整）により基準値データとして設定されている実電圧値、実電流値、加工速度値に近づいた場合に、その度合いに応じてプラスの報酬を与える。 一方で、前回の加工条件の調整により基準値データとして設定されている実電圧値、実電流値、加工速度から乖離した場合に、その度合いに応じてマイナスの報酬を与える。 報酬を算出する際には、実電圧値や実電流値、加工速度のそれぞれの接近量および乖離量に対して各値に重みづけするようにしてもよい。また、基準値データの数値との差に応じて重みの付け方を変えるようにしてもよい。 【００４５】 ●［報酬２：短絡／断線の発生（マイナス報酬）］ ワイヤ放電加工機１での被加工物の加工において、短絡または断線が発生した場合にマイナスの報酬を与える。 【００４６】 加工条件調整学習部２５は、入力データなどを含む加工状態に係るデータと、自身が行ったワイヤ放電加工機１の加工条件の調整結果、および報酬計算部２４で計算された報酬とに基づいて機械学習（強化学習）を行う。 【００４７】 ここで、加工条件調整学習部２５が行う機械学習においては、ある時刻ｔにおける加工状態に係るデータの組み合わせにより状態ｓtが定義され、定義された状態ｓtに応じて加工条件の調整量を決定することが行動ａtとなり、後述する加工条件調整部２７により加工条件記憶部１２から取得された加工条件の調整を行い該調整結果が出力され、そして、調整された加工条件に基づいてワイヤ放電加工機１の加工電源２が制御されて被加工物の加工が行われ、その結果として得られたデータに基づいて前記報酬計算部２４で計算された値が報酬ｒt+1となる。学習に用いられる価値関数については、適用する学習アルゴリズムに応じて決定する。例えば、Ｑ学習を用いる場合には、上記した数２式に従って行動価値関数Ｑ（ｓt，ａt）を更新することにより学習を進めるようにすれば良い。」 ケ．「【００５１】 図５に戻って、学習結果記憶部２６は、加工条件調整学習部２５が学習した結果を記憶する。また、加工条件調整学習部２５が学習結果を再使用する際には、記憶している学習結果を加工条件調整学習部２５に出力する。学習結果の記憶には、上述したように、利用する機械学習アルゴリズムに応じた価値関数を、近似関数や、配列、又は多値出力のＳＶＭやニューラルネットワーク等の教師あり学習器などにより記憶するようにすれば良い。 なお、学習結果記憶部２６に、他のワイヤ放電加工機１や集中管理システム３０が記憶している学習結果を入力して記憶させたり、学習結果記憶部２６が記憶している学習結果を他のワイヤ放電加工機１や集中管理システム３０に対して出力したりすることも可能である。 【００５２】 加工条件調整部２７は、加工条件調整学習部２５が学習した結果と現在の加工状態に係るデータとに基づいて加工条件の調整量を決定する。ここでいう加工条件の調整量の決定が、機械学習に用いられる行動ａに相当する。加工条件の調整は、例えば、加工条件を構成する各パラメータの変更量を組み合わせたものを選択可能な行動（行動１：電圧値＝－５％，行動２：印加時間＝＋１％，…）として用意しておき、過去の学習結果に基づいて将来に得られる報酬が最も大きくなる行動を選択するようにしてもよく、また、複数の加工条件の項目を同時に調整する行動を用意するようにしてもよい。更に、上記したεグリーディ法を採用し、所定の確率でランダムな行動を選択することで加工条件調整学習部２５の学習の進展を図るようにしてもよい。 その後、加工条件調整部２７は、決定された加工条件の調整量に基づいて加工条件記憶部１２から取得された加工条件を調整し、調整結果となる加工条件を加工電源２に対して設定する。そして、加工条件調整部２７が調整した加工条件に基づいて制御部１０により加工電源２の制御が行われる。」 コ．上記ク．の「加工条件調整学習部２５が行う機械学習においては、ある時刻ｔにおける加工状態に係るデータの組み合わせにより状態ｓtが定義され、定義された状態ｓtに応じて加工条件の調整量を決定することが行動ａtとなり、後述する加工条件調整部２７により加工条件記憶部１２から取得された加工条件の調整を行い該調整結果が出力され、そして、調整された加工条件に基づいてワイヤ放電加工機１の加工電源２が制御されて被加工物の加工が行われ、その結果として得られたデータに基づいて前記報酬計算部２４で計算された値が報酬ｒt+1となる。学習に用いられる価値関数については、適用する学習アルゴリズムに応じて決定する。例えば、Ｑ学習を用いる場合には、上記した数２式に従って行動価値関数Ｑ（ｓt，ａt）を更新することにより学習を進めるようにすれば良い。」という記載から、加工条件調整学習部２５は、状態Ｓtと行動ａtとを用いて、行動価値関数Ｑを更新することにより強化学習しているということがわかる。 サ．したがって、上記引用文献１には次の発明（以下、「引用発明」という。）が記載されていると認められる。 「ワイヤ放電加工を行う際の加工条件の調整をするワイヤ放電加工機１であって、 前記ワイヤ放電加工を行う際の加工条件の調整を機械学習する機械学習器２０を備え、 機械学習器２０は、 前記ワイヤ放電を行う際の加工情報を状態Ｓtとして観測する状態観測部２１と、 前記ワイヤ放電加工において報酬が最大となる加工条件の調整を行動ａtとして選択する加工条件調整部２７と、 前記状態Ｓtと前記行動ａtとを用いて、行動価値関数Ｑを更新することにより強化学習をする加工条件調整学習部２５と、を備えるワイヤ放電加工機１」 第５　対比・判断 １．本願発明１について （１）対比 本願発明１と引用発明とを対比すると、次のことがいえる。 引用発明において「ワイヤ放電加工を行う際の加工条件の調整をするワイヤ放電加工機１」と本願発明１の「ワイヤ放電加工を行う際の補正パラメータを最適化する制御装置」とを対比すると、「ワイヤ放電加工機１」はワイヤ放電を制御する装置であり、「加工条件の調整」は、電圧値＝－５％，印加時間＝＋１％等のパラメータの調整を行うことで最適な制御をするものであるから、両者は「ワイヤ放電加工を行う際のパラメータを最適化する制御装置」を限度として一致する。 引用発明の「前記ワイヤ放電加工を行う際の加工条件の調整を機械学習する機械学習器２０」と本願発明１の「前記ワイヤ放電加工を行う際の補正パラメータを学習する機械学習装置」とを対比すると、加工条件の調整は、電圧値＝－５％，印加時間＝＋１％等のパラメータの調整を行うことであるから、両者は、「前記ワイヤ放電加工を行う際のパラメータを学習する機械学習装置」を限度として一致する。 引用発明の「前記ワイヤ放電を行う際の加工情報を状態Ｓtとして観測する状態観測部２１」と本願発明１の「少なくとも加工プログラムで定義された加工形状を含む前記ワイヤ放電加工を行う際の条件を示す条件データを状態変数として観測する状態観測部」とを対比すると、引用発明の加工情報はワイヤ放電加工を行う際の条件を示す条件データであるから、両者は「ワイヤ放電加工を行う際の条件を示す条件データを状態変数として観測する状態観測部」を限度として一致する。 引用発明の「前記状態Ｓtと前記行動ａtとを用いて、前記行動価値関数Ｑを更新することにより強化学習をする加工条件調整学習部２５」と本願発明１の「前記状態変数と前記判定データとを用いて、前記補正パラメータを前記ワイヤ放電加工を行う際の条件と関連付ける教師あり学習をする学習部」とを対比すると、行動価値関数Ｑはパラメータの一種であり、行動価値関数Ｑは加工条件の調整である行動ａtと関連しているから、両者は「前記状態変数を用いて、パラメータを前記ワイヤ放電加工を行う際の条件と関連付ける学習をする学習部」 を限度として一致する。 そうすると、両発明は以下の点で一致し、また相違する。 （一致点） 「ワイヤ放電加工を行う際のパラメータを最適化する制御装置であって、 前記ワイヤ放電加工を行う際のパラメータを学習する機械学習装置を備え、 前記機械学習装置は、 前記ワイヤ放電加工を行う際の条件を示す条件データを状態変数として観測する状態観測部と、 前記状態変数を用いて、前記パラメータを前記ワイヤ放電加工を行う際の条件と関連付ける学習をする学習部と、を備える 制御装置。」 （相違点１） 状態変数に関し、本願発明１は「少なくとも加工プログラムで定義された加工形状を含む」のに対し、引用発明は、状態変数が加工プログラムで定義された加工形状を含むのか否か不明な点。 （相違点２） 機械学習装置に関し、本願発明１は、「補正パラメータ」を学習し、「前記ワイヤ放電加工において加工精度が良好であった場合の前記補正パラメータを示す判定データを取得する判定データ取得部と、前記状態変数と前記判定データとを用いて、前記補正パラメータを前記ワイヤ放電加工を行う際の条件と関連付ける教師あり学習をする学習部」を備えるのに対し、引用発明は、「加工条件の調整」を学習しており、「前記ワイヤ放電加工において報酬が最大となる加工条件の調整を行動ａtとして選択する加工条件調整部２７と、前記状態Ｓtと前記行動ａtとを用いて、前記行動価値関数Ｑを更新することにより強化学習をする加工条件調整学習部２５」を備えるものの、本願発明１のような判定データ取得部を備えておらず、それに伴い、判定データを用いて補正パラメータを学習していない点。 （２）相違点についての判断 事案に鑑み、上記相違点２から検討する。 引用発明には、行動価値関数Ｑを更新することにより強化学習するという思想はあるものの、補正パラメータを学習するという思想はない。それに伴い、ワイヤ放電加工において加工精度が良好であった場合の補正パラメータを示す判定データを取得する判定データ取得部を備えていない。また、判定データ取得部を備えていないことにより、判定データを教師データとして用いて、補正パラメータを教師あり学習をするという思想もない。 そして、そのような判定データ取得部を備え、判定データを教師データとして用いて補正パラメータを教師あり学習するという技術的事項は技術常識でもないから、引用発明から、上記相違点２の構成を導き出すことは当業者であっても容易ではない。 （３）本願発明１のむすび したがって、上記相違点１について検討するまでもなく、本願発明１は、引用発明に基づいて、当業者が容易に発明できたものではない。 ２．本願発明２ないし５について 本願発明２ないし５は本願発明１を引用するものであり、本願発明２ないし５も、本願発明１と同じ相違点１及び２を有するから、本願発明１と同じ理由により、当業者であっても、引用発明に基づいて容易に発明できたものとはいえない。 ３．本願発明６について 本願発明６は、本願発明１の制御装置が備える「機械学習装置」の発明であり、上記相違点１及び２に対応する構成を備えるものであるから、本願発明１と同様の理由により、当業者であっても、引用発明に基づいて容易に発明できたものとはいえない。 ４．本願発明７及び８について 本願発明７及び８は、本願発明１及び４に対応する「機械学習装置」の発明であり、上記相違点１及び２に対応する構成を備えるものであるから、本願発明１と同様の理由により、当業者であっても、引用発明に基づいて容易に発明できたものとはいえない。 第６　むすび 以上のとおり、本願発明１－８は、当業者が引用発明に基づいて容易に発明をすることができたものではない。したがって、原査定の理由によっては、本願を拒絶することはできない。 また、他に本願を拒絶すべき理由を発見しない。 よって、結論のとおり審決する。