2022-012600

特願２０２０－１２０３５２「ロボットシステム、ロボットの制御方法、機械学習装置およびモデル生成方法」拒絶査定不服審判事件〔令和 ２年１０月１５日出願公開、特開２０２０－１６８７１９〕について、次のとおり審決する。

結 論 本件審判の請求は、成り立たない。

理 由 第１ 出願手続の経緯 本件審判に係る出願は、平成２７年１１月３０日（優先権主張 平成２７年７月３１日）に出願した特願２０１５－２３３８５７号の一部を、平成２９年１月２４日に新たな特許出願とした特願２０１７－１０５０６号の一部を、さらに令和２年７月１４日に新たな特許出願としたものであって、その手続の経緯は、概略、以下のとおりである。 令和２年 ８月 ６日 ：手続補正書の提出 同年 ９月 ７日 ：上申書・手続補正書の提出 令和３年 ８月 ３日 ：手続補正書の提出 同年 ９月２８日付け：拒絶理由の通知 同年１２月 ６日 ：意見書・手続補正書の提出 令和４年 ４月２８日付け：拒絶査定 同年 ８月１０日 ：拒絶査定不服審判の請求 令和５年 ５月１６日付け：当審による拒絶理由の通知 同年 ７月 ７日 ：意見書・手続補正書の提出 第２ 本件発明 本件の請求項１～３９に係る発明は、令和５年７月７日に提出の手続補正書により補正された特許請求の範囲の請求項１～３９に記載された事項により特定されるとおりのもの（以下、当該補正を「本件補正」という。）であって、本件補正後の請求項１に係る発明（以下「本件発明」という。）は、以下に記載のとおりである。 「 【請求項１】 ハンド部を備えるロボットと、 計測器で取得された複数の物体の第１の画像情報、および、前記第１の画像情報を処理することで得られた前記複数の物体の第２の画像情報の少なくともいずれかを含むデータを取得する観測部と、 前記複数の物体に関する前記データを機械学習されたニューラルネットワークに入力することにより、前記ハンド部により前記複数の物体のうちのいずれかの物体を把持するための情報を決定する決定部と、 前記決定部で決定された情報に基づいて、前記物体を把持するように前記ロボットを制御する制御装置と、を備える、 ロボットシステム。」（下線は、本件補正の際に請求人が付したものである。） 第３ 当審拒絶理由 当審が、令和５年５月１６日付けで通知した拒絶の理由（以下「当審拒絶理由」という。）のうち、本件補正前の請求項１に係る発明（以下「補正前発明」という。）に対する理由２（進歩性）の概要は、以下のとおりである。 補正前発明は、以下の引用文献１に記載された発明に基づいて、その出願前にその発明の属する技術の分野における通常の知識を有する者（以下「当業者」という。）が容易に発明をすることができたものであるから、特許法第２９条第２項の規定により特許を受けることができない。 引用文献１：特開２０１３－５２４９０号公報 第４ 引用文献１に記載された発明の認定 １ 引用文献１には、以下の事項が記載されている（下線は当審にて付した。以下同じ。）。 （１）特許請求の範囲 「【請求項１】 少なくともワークの計測特徴と取り出し成否を蓄えるＤＢと、 バラ積みされたワークを計測するセンサと、 バラ積みされたワークを把持するハンドと、 ハンドを把持位置姿勢に移動するロボットと、 計測データから把持位置姿勢と、開閉量・把持力・動作速度のうち少なくとも１つの動作制御情報を計算する情報処理部と、 前記情報処理部の動作制御情報に従って前記ロボットへ把持動作を指令し、ハンドへ開閉動作を指令する制御部と、 を備え、 前記情報処理部が、 計測データから把持位置姿勢を計算するための計測特徴を抽出する計測特徴抽出部と、 前記ＤＢの情報から前記計測特徴を識別する計測特徴識別部と、 前記計測特徴と前記ＤＢの情報からワークを把持するハンドの把持位置姿勢を計算する把持動作演算部と、 前記計測特徴、把持位置姿勢、前記ＤＢの情報からハンドの開閉に関するパラメータを計算する開閉動作演算部と、 を含み、 前記計測特徴識別部では、前記ＤＢに蓄えられた過去の計測特徴と取り出し成否の情報をもとに、前記計測特徴識別部で抽出した計測特徴の取り出し成功率を推定し、 前記開閉動作演算部では、推定した取り出し成功率に応じて、ハンドの開閉量・把持力・動作速度のうち少なくとも１つを調整する、 ことを特徴とするワーク取り出し装置。」 （２）発明の詳細な説明 「【技術分野】 【０００１】 この発明は、バラ積みされた多数のワークの中からのワークの取り出し技術に関する。 【背景技術】 【０００２】 多数のワークの中からの取り出しの失敗を減らすために、計測失敗や取り出し失敗を判定し、ＮＧワーク登録をおこない、ＮＧワーク登録された粗位置にあるワークを取り出さないようにするというワーク取出し装置がある（例えば下記特許文献１参照）。 ・・・ 【発明を実施するための形態】 【０００９】 この発明によるワーク取り出し装置では、過去の取り出し成否の情報をもとに、計測特徴（ワークの見え方や形状から得られる特徴情報）の掴みやすさを推定し、掴みにくそうなものは優先して掴まないが、他に掴みやすそうな計測特徴がない場合、ハンドの開閉量・把持力・動作速度の少なくとも１つを自動で調整し、より丁寧な動作に変更することで、掴みにくそうなワークを取り出すものである。 ・・・ 【００１１】 実施の形態１． 図１は、この発明の実施の形態１によるワーク取り出し装置を示す構成図である。ワーク取り出し装置は、ＤＢ（データベース）１と、センサ２と、ハンド３と、ロボット４と、情報処理部５と、制御部６とを少なくとも備える。情報処理部５は、計測特徴抽出部５１、計測特徴識別部５２、把持動作演算部５３、開閉動作演算部５４を少なくとも含んでいる。そして例えば、供給箱８にワーク７がバラ積みにされている。 【００１２】 図１の構成による動作の流れを説明する。センサ２が供給箱８にバラ積みされたワーク７を計測し、情報処理部５に計測データを伝える。情報処理部５内では、まず計測特徴抽出部５１が、ワークの見え方や形状の特徴（計測特徴と呼ぶ）を計測データより抽出する。計測特徴識別部５２では、ＤＢ１に蓄えられた過去の計測特徴と取り出し成否（成功か否か）の関係より、計測特徴抽出部５１で抽出した計測特徴の掴みやすさを推定する。 【００１３】 把持動作演算部５３では、推定された計測特徴の掴みやすさに応じた方法で把持位置姿勢を計算する。また、開閉動作演算部５４でも、推定された計測特徴の掴みやすさに応じた方法で開閉パラメータ（開閉量・開閉（把持）力・開閉（把持）動作速度の１つ以上を含むハンド３の開閉（把持）に関する調整パラメータを意味する）を調節する。 【００１４】 情報処理部５で計算した把持位置姿勢、開閉パラメータ情報は制御部６に送られる。 把持位置姿勢情報は、制御部６でハンド３が把持位置姿勢をとるためのロボット４の動作制御情報になり、ロボット４へ把持動作として伝わる。開閉パラメータは、制御部６でハンド３がワーク７を把持するための動作制御情報になり、ハンド３に開閉動作として伝わる。制御部６からの情報に応じてロボット４、ハンド３がワークを把持する。 【００１５】 次に、構成要素ごとの説明を補足する。ＤＢ１は、過去に計測したセンサ２からのワークの形状情報（計測データ）から抽出した計測特徴と、ハンド３からのその計測特徴の取り出し成否のデータの少なくとも２つを蓄積格納する。ＣＡＤデータ、エッジ、点群、円、楕円、面、曲面やそのパラメータの集合、幾何関係などで表されるワーク形状情報やハンド形状情報を蓄えていてもよい。 【００１６】 センサ２は供給箱８にバラ積みされたワーク７を計測するもので、ロボット４の上に設置しても、それ以外の固定ジグや可動スライダなどに設置してもよい。ワークのバラ積み状態の２次元画像や、３次元データを計測するもので、２次元の場合はカメラ、３次元の場合は例えば、二眼・多眼のステレオ方式、マルチベースラインステレオ、レーザやプロジェクタなどの投光部とカメラとを備えた空間コード化法などのアクティブ方式、照射光の返り時間から距離を測定するタイムオブフライト法、単眼でロボット動作を利用した因子分解法、Structure from Motion（あるシーンをカメラの視点を変えながら撮影した複数枚の画像からそのシーンの３次元形状とカメラの位置を同時に復元する手法、以下ＳＦＭ、またはStructure and Motion（以下ＳＡＭとも呼ばれる））、モーションステレオ、視体積交差法や、合焦方式のShape from Focus（Shape from Focus法は合焦情報（フォーカスが合っているかいないかを表す情報）から物体の表面形状を求める手法）、Shape from Defocus（Shape From Focus／Defocus法：焦点を変化させて撮影した多焦点画像群からブロック単位に合焦評価値を算出し、これより距離推定を行う手法）、ライン光による光切断法等による機器を利用してもよい。 【００１７】 センサ２が計測する３次元情報の形式は、点群データとしてＸ，Ｙ，Ｚ、合計３次元の位置情報を用いても、距離画像として各画素に計測対象の高さ情報を持つ画像形式を用いてもよい。計測した時点での座標系はカメラ座標系、ロボット座標系、ワーク座標系を用いてもよい。位置や距離はメートル単位、ピクセル単位で表されたものでもよい。 【００１８】 ハンド３はバラ積みされたワーク７を把持して取り出す。ハンド形状としては、例えば物体を挟み把持する挟持型、面に吸い付く吸着型、物体の穴に指し込み拡げて持ち上げる拡持型などを用いてもよい。またワーク７に接触するハンド３の指（爪）や吸着部分の本数は何本でもよい。 【００１９】 ロボット４はハンド３を、ワーク７を把持する位置姿勢に移動させたり、取り出し後の移動をさせる。ロボット４はスカラー型、垂直多関節型、パラレルリンク型など、なにを使ってもよい。またロボット４の自由度も、ワークを把持する動作ができれば、何自由度でもよい。ワークを取り出す動作とは、バラ積みされたワーク７をハンド３で掴み、供給箱８から取り出すまでの動作を指す。取り出し動作の後の動作は、ベルトコンベア（図示省略）等へのワーク７の移載、パレタイジング、組み付けなどをおこなってもよい。 【００２０】 情報処理部５は、計測特徴抽出部５１と、計測特徴識別部５２と、把持動作演算部５３と、開閉動作演算部５４とを備えている。これはＰＣ（Personal Computer）や、ＦＰＧＡ（Field-Programmable Gate Array）ボードで実現してもよい。 【００２１】 計測特徴抽出部５１は、センサ２で計測した計測データからワーク７の見え方や形状の特徴を抽出する。ここでは、これを計測特徴と呼ぶ。 計測特徴は、例えば、２次元センサであればワークの表面のテクスチャの空間的配置、テクスチャの複雑さ、エッジ量、エッジで囲まれた領域の面積や主軸方向、局所的なエッジの方向などを用いてもよい。 ３次元センサであれば、それに加えて面の主法線方向、面の法線方向の分布、それをヒストグラム化したもの、平面度などを用いてもよい。また、周辺の複雑度をテクスチャ状態や高さ分布のバラつきなどをもとに定量化し、計測特徴としてもよい。 これら計測特徴から少なくとも１つ以上を多次元特徴ベクトルとしてＤＢ１に蓄える。計測特徴はベクトル量子化してもよい。 【００２２】 図２は計測データとして距離画像を用いたときの計測特徴抽出部５１での動作を説明するための図であり、（ａ）はフローチャート、（ｂ）は（ａ）の各ステップの対応する説明図である。距離画像からエッジ検出をすると物体の形状エッジが抽出される（ステップＳＴ１）。このエッジで区切られる領域を分割（セグメンテーション）すると（ステップＳＴ２）、ワーク７の一部の面領域を抽出することができる。ここから候補選択をおこなう（ステップＳＴ３）。候補選択は、高さ、周辺に面があるか、などの情報をもとに計算できる。図２では最も高い位置にある面を候補として抽出している。抽出した候補（セグメントＳ１）から、上述した領域の面積、主軸方向、面の主法線方向や面積などの情報を抽出し多次元の特徴ベクトルとし（ステップＳＴ４）、これを計測特徴としている。この方法であれば、ワーク形状情報を持たずとも面などの計測特徴が抽出できる。 【００２３】 計測特徴識別部５２は、過去の計測特徴とその取り出し成否（成功か否か）をもとに、抽出した計測特徴が掴みやすいかどうかを推定する。これは、新たに抽出した計測特徴が取り出し成否の２クラスのどちらに分類されるかを、多次元特徴ベクトル空間の過去の計測特徴群を使って判断するパタン識別問題として解くことができる。このとき識別器としてニューラルネットワーク、ＳＶＭ（サポートベクターマシーン）、ｋ近傍識別器、ベイズ分類を使って解いてもよい。掴みやすいかどうかを、取り出し成否のどちらに分類されたかという情報より掴みやすい、掴みにくい、の２値として表してもよい。識別器から得られる、クラス１（取り出し成）に近い度合いＳｐと、クラス２（取り出し否）に近い度合いＳｎから計算してもよい。 【００２４】 ＳｐとＳｎは、例えば、多次元特徴ベクトル空間における最近傍探索により、クラス１に分類される過去の計測特徴と抽出した計測特徴のユークリッド距離をＳｐとし、クラス２に分類される過去の計測特徴と抽出した計測特徴のユークリッド距離をＳｎとすることで計算できる。これは想定される最大のユークリッド距離の差で正規化してもよい。 取り出しが成功した計測特徴サンプル（Positive sample）と、取り出しが失敗した計測特徴サンプル（Negative sample）のどちらに近いかという意味で、次のような値を定義する。 【００２５】 Ｐ／Ｎ＝Ｓｐ／Ｓｎ （１） 【００２６】 ここでＰ／ＮはPositive Negative ratio（成功／否比）を意味する。計測特徴の掴みやすさをＰ／Ｎで定量化することができる。Ｐ／Ｎが高いワークは高速な処理を重視して把持動作、開閉動作を演算し、Ｐ／Ｎが低いワークは丁寧な動作を重視して把持動作、開閉動作を演算する。Ｐ／Ｎは、計測特徴をもとにすれば他の求め方をしてもよい。 【００２７】 図３はＰ／Ｎ計算の一つの方法のイメージ図である。このとき、ＤＢ１には過去の計測特徴と、その取り出し成否をもとに、取り出し成功と取り出し失敗をそれぞれ代表する多次元特徴ベクトルを蓄えている。これは過去の計測特徴の多次元ベクトルを、取り出し成否で２クラスに分類した後、各クラスの各特徴ベクトルの平均値や中央値で代表する多次元特徴ベクトルを作ることができる。このとき、全ての特徴ベクトルを使ってもよいし、クラス内の特徴のうち、バラつきが少ない特徴に絞って、他の特徴を使わないことで計算量を削減してもよい。これらの代表する多次元特徴ベクトルの演算処理は、ＤＢ１に接続されたＤＢ１内の情報の管理処理を行うＤＢ管理処理部（図示省略）で行ってよいし、あるいは情報処理部５のいずれかの部で行うようにしてもよい。 ・・・ 【００３５】 把持動作演算部５３は、抽出した計測特徴から把持位置姿勢を計算する。これは、計測特徴とＤＢ１内のワーク形状情報とのマッチング（検索）によりワークの位置姿勢を認識し、ワークに対応した把持位置姿勢を計算する方法でもよいし、さらにＤＢ１内のハンド形状により周辺干渉を考慮してもよい。マッチングは２次元画像であればエッジ特徴のチャンファーマッチング、３次元点群であればＩＣＰ（Iterative Closest Point）法などにより実現する。 【００３６】 ワーク形状情報と計測データのマッチング方法は、多数のワークの取り出しに関する技術として多くの方法が提案されている。例えば、上述の特許文献２、特許文献３に処理の例がある。本構成で実現する形態であれば方法は問わない。 ・・・ 【００４１】 把持位置姿勢の演算は上記のように、ワーク形状情報と計測データのマッチングや、ハンド形状情報と計測データのマッチングにより実現する。しかし、例えばワーク形状のマッチングをベースにすると処理時間がかかり、部品ごとに事前調整が必要である。また、ハンド形状のマッチングをベースにすると把持失敗の可能性がある、といった課題がある。 【００４２】 そこで普段は速度を重視し、計測特徴とＤＢ１内のハンド形状情報のマッチングだけで計算するが、Ｐ／Ｎが低い場合は把持が安定しない可能性があることから、ワーク形状情報を用いて把持位置姿勢を探索する。これにより、把持位置姿勢をより高い精度で探索することが可能になったり、ワーク形状に基づいた掴みやすい位置を掴むことができるようになる。 【００４３】 また、ワーク形状を使わなくとも、普段は省略しているが、Ｐ／Ｎが低い場合はハンドモデルの回転とワークの形状エッジの直交度が高い（例えば所定の閾値以上）ところを優先して把持する処理を加えることができる。これにより、把持動作でワークを掴みそこねてしまうケースを減らすことができる。また、抽出したセグメント（例えば図２のＳ１などを意味する）の重心に近い部分を把持することで、把持後に安定せずにワークが落下する可能性を減らすことができる。このように計測特徴識別部５２での掴みやすさの推定結果をもとに、処理数を増やすことで把持を成功しやすい動作をすることができる。 【００４４】 開閉動作演算部５４ではハンド３の開閉量・力（把持力）・速度（動作速度）などの把持パラメータを調整する。狭持形状のハンドにおいて、把持する直前の開き幅をどうするかは、周辺干渉を考慮するときに重要である。異なる開閉量でハンドが開いている状態のハンド形状情報をＤＢ１に蓄えておき、計測特徴とその周辺の計測データと、異なるハンド開閉量のハンド形状データとをマッチングし、最も評価値が高い開閉量を選択する。ハンド形状データのマッチング方法は上述の「ハンドのマッチング方法の別の方法」として示した方法で実現する。動作速度や把持力は、タクトタイムを上げるためには基本は最大に設定しておく。しかし、取り出し成功率が低いと推定されるときは、動作速度、把持力を下げる。これにより動作が丁寧になり、ハンド３の開閉動作中にワークを弾き飛ばして取り出し失敗してしまうようなことを防止できる。 【００４５】 情報処理部５内の処理の説明を続けてきたが、ここであらためて処理の全容をまとめる。図４は計測データとして距離画像を使ったときの情報処理部５の動作フローチャートである。 【００４６】 計測特徴抽出部５１では、距離画像からエッジ検出をすると物体の形状エッジが抽出され（ステップＳＴ１）、このエッジで区切られる領域を分割（セグメンテーション）すると（ステップＳＴ２）、ワーク７の一部の面領域を抽出することができる。ここから、高さ（距離）、周辺に面があるか否か、等の情報に基づく計算により、候補選択をおこなう（ステップＳＴ３）。例えば最も高い（センサ２から距離が短い）位置にある面を候補として選択する。抽出した候補から、上述した領域の面積、主軸方向、面の主法線方向や面積などの情報を抽出し多次元の特徴ベクトルを計算し（ステップＳＴ４）、これを計測特徴とする。 【００４７】 計測特徴識別部５２では、計測特徴である多次元特徴ベクトルの上述の式（１）のＰ／Ｎによる特徴ベクトル特性評価を行う（ステップＳＴ５）。Ｐ／Ｎが低い場合（予め定められた閾値未満の場合）には掴み難いと判断し、高い場合（予め定められた閾値以上の場合）は掴み易いと判断する（ステップＳＴ６）。 把持動作演算部５３では、Ｐ／Ｎが低く掴み難いと判断された場合には、把持位置姿勢探索の処理を追加する。把持位置姿勢探索は通常は、上述の「ハンドのマッチング方法の別の方法」として示した方法のハンドモデルのマッチングで実現する（ステップＳＴ８）。また追加の評価処理として、ハンドモデルの回転とワークの形状エッジの直交率（度）が高いところを優先して把持する。また抽出したセグメントの重心に近い部分を把持することで、把持後の落下の可能性を減らす。また、ワークに依存した調整が許容されるシステムであれば、ワーク形状情報を使って、より高精度な把持位置姿勢探索をおこなってもよい（ステップＳＴ９）。 【００４８】 このようにＰ／Ｎが低い場合、開閉動作演算部５４では、ハンド３の開閉量を下げ（ステップＳＴ１２）、また開閉（把持）動作速度や把持力を下げて最適化を図る（ステップＳＴ１３）。これにより、把持アプローチ中にワークを弾き飛ばしたり、把持位置姿勢が不安定で把持後にワークが落下したりする取り出し失敗の発生を減らす。 【００４９】 また計測特徴識別部５２において、ステップＳＴ６でＰ／Ｎが高い場合は、速度を重視した処理をおこなう。そこで最初に、類似の高Ｐ／Ｎ計測特徴があるか否かを判断する（ステップＳＴ７）。ない場合には過去に取り出し成功した類似の計測特徴がないと判断する。この場合、把持動作演算部５３では、速度を重視した処理をおこない、把持位置姿勢探索を行い（ステップＳＴ１０）、追加の評価処理は行わない。そして開閉動作演算部５４では、ハンド開閉に関しても、開閉量計算（ステップＳＴ１４）のみで、開閉（把持）速度や把持力は最大に設定する（ステップＳＴ１５）。 【００５０】 また計測特徴識別部５２のステップＳＴ７で、類似の高Ｐ／Ｎ計測特徴がある場合には、過去に取り出し成功した類似の計測特徴があると判断する。この場合、把持動作演算部５３では、過去の類似計測特徴の把持位置姿勢を流用し（ステップＳＴ１１）、さらに開閉動作演算部５４では、過去の類似計測特徴の開閉量計算・開閉（把持）動作速度・把持力を流用することで（ステップＳＴ１６）、処理を省略し、高速化する。 【００５１】 以上の情報処理部５の処理により、掴みにいくワークの見え方に応じた把持位置姿勢、開閉パラメータを制御部６へ出力し、制御部６ではこれらをロボット、ハンドの動作制御情報に変換してロボット４、ハンド３の動作制御が行われ、ワーク取り出し動作を実現する。」 （３）図面 「【図１】 ［図：0001404254000001.jpg］ 【図２】 ［図：0001404254000002.jpg］ 【図３】 ［図：0001404254000003.jpg］ 【図４】 ［図：0001404254000004.jpg］ 」 ２ 上記１の記載事項から、以下のことが理解できる。 （１）上記１（１）の記載、同（２）の段落【００１１】～【００１４】、【００１８】～【００１９】の記載、及び、同（３）の図１～２から、引用文献１には、ハンド３を備えるロボット４によりバラ積みされたワーク７を把持するワーク取り出し装置に関する発明が記載されていることが理解できる。 （２）上記１（２）の段落【００１２】、【００１６】～【００１７】の記載、及び、同（３）の図２（ｂ）の最上図から、引用文献１に記載のワーク取り出し装置におけるセンサ２は、バラ積みされた複数のワーク７を計測するものであって、２次元画像、又は、３次元の位置情報及び距離画像といった３次元情報（以下総じて「画像情報Ａ」という。）を計測するものであることがわかる。 （３）上記１（２）の段落【００２１】～【００２２】の記載、及び、同（３）図２から、引用文献１に記載のワーク取り出し装置における計測特徴抽出部５１は、センサ２にて計測された画像情報Ａから、複数のワーク７の形状エッジを抽出し（ステップＳＴ１）、エッジで区切られる領域をセグメンテーションし（ステップＳＴ２）、例えば、最も高い位置にある面領域Ｓ１を候補として抽出し（ステップＳＴ３）、及び、多次元の特徴ベクトルとして計測特徴を抽出（ステップＳＴ４）していることがわかる。 （４）上記１（２）の段落【００２３】～【００２６】、【００４７】の記載から、引用文献１に記載のワーク取り出し装置における計測特徴識別部５２は、過去の計測特徴とその取り出し成否（成功か否か）をもとにした識別器としてのニューラルネットワークを使って、抽出した計測特徴を入力として、候補として抽出した面領域Ｓ１が掴みやすいかどうかをＰ／Ｎとして推定するものであることがわかる。また、同（２）の段落【００３５】、【００４１】～【００４３】、【００４７】の記載から、引用文献１に記載のワーク取り出し装置における把持動作演算部５３は、計測特徴識別部５２により推定したＰ／Ｎに応じて、面領域Ｓ１に対応するワーク７の把持位置姿勢の演算を実行するものであることがわかる。さらに、同（２）の段落【００４４】、【００４８】の記載から、引用文献１に記載のワーク取り出し装置における開閉動作演算部５４は、計測特徴識別部５２により推定したＰ／Ｎに応じて、面領域Ｓ１に対応するワーク７を把持するためのハンド３の開閉量・把持力・動作速度などの把持パラメータを調整するものであることがわかる。 （５）上記１（２）の段落【００５１】の記載から、引用文献１に記載のワーク取り出し装置における制御部６は、上記（４）のハンド３の開閉量・把持力・動作速度などの把持パラメータに基づいて、ワーク７を把持するようにロボット４を制御するものであることがわかる。 ３ 上記１～２より、引用文献１に記載された事項を本件発明に合わせて整理すると、引用文献１には、以下の発明（以下「引用発明」という。）が記載されている、といえる。 「ハンド３を備えるロボット４と、 センサ２で計測されたバラ積みされた複数のワーク７の画像情報Ａを処理することで候補として抽出された面領域Ｓ１の計測特徴を抽出する計測特徴抽出部５１と、 候補として抽出された面領域Ｓ１の計測特徴を、過去の計測特徴とその取り出し成否（成功か否か）をもとにした識別器としてのニューラルネットワークに入力することにより、ハンド３によりバラ積みされた複数のワーク７のうちの候補として抽出された面領域Ｓ１に対応するワーク７を把持するための把持位置姿勢及び把持パラメータを決定する計測特徴識別部５２、把持動作演算部５３及び開閉動作演算部５４と、 計測特徴識別部５２、把持動作演算部５３及び開閉動作演算部５４で決定された把持位置姿勢及び把持パラメータに基づいて、ワーク７を把持するようにロボット４を制御する制御部６と、を備える、 ワーク取り出し装置。」 第５ 本件発明と引用発明との対比 １ 本件発明と引用発明とを対比すると、以下の相当関係がある。 （１）引用発明における「ハンド３」及び「ロボット４」は、バラ積みされたワーク７を把持するものであるから、その機能・構造からみて、本件発明における「ハンド部」及び「ロボット」にそれぞれ相当する。 （２）引用発明における「センサ２」は、その作用・機能からみて、本件発明における「計測器」に相当し、以下同様に、「計測された」は「取得された」に、「バラ積みされた複数のワーク７」は「複数の物体」に、「画像情報Ａ」は「第１の画像情報」に、「画像情報Ａを処理することで候補として抽出された」は「第１の画像情報を処理することで得られた」に、それぞれ相当する。 また、引用発明における「面領域Ｓ１の計測特徴」は、画像情報Ａを処理することで複数のワーク７の形状エッジで区切られる領域から候補として抽出された面領域Ｓ１の、多次元の特徴ベクトルとしての計測特徴であるから、第１の画像情報を処理することで得られた「物体の第２の画像情報を含むデータ」である限りにおいて、本件発明における「第１の画像情報、および、第１の画像情報を処理することで得られた複数の物体の第２の画像情報の少なくともいずれかを含むデータ」に相当する。 したがって、引用発明における「計測特徴抽出部５１」は、画像情報Ａを処理することで候補として抽出された面領域Ｓ１の計測特徴を抽出するものであるから、「第１の画像情報を処理することで得られた物体の第２の画像情報を含むデータを取得する観測部」である限りにおいて、本件発明における「観測部」に相当する。 （３）引用発明における「候補として抽出された面領域Ｓ１の計測特徴を、過去の計測特徴とその取り出し成否（成功か否か）をもとにした識別器としてのニューラルネットワークに入力すること」は、その作用・機能からみて、「物体に関するデータを機械学習されたニューラルネットワークに入力すること」である限りにおいて、本件発明における「複数の物体に関するデータを機械学習されたニューラルネットワークに入力すること」に相当する。 また、引用発明における「候補として抽出された面領域Ｓ１に対応するワーク７」並びに「把持位置姿勢及び把持パラメータ」は、本件発明における「複数の物体のうちのいずれかの物体」及び「（把持するための）情報」にそれぞれ相当する。 したがって、引用発明における「計測特徴識別部５２、把持動作演算部５３及び開閉動作演算部５４」は、「物体に関するデータを機械学習されたニューラルネットワークに入力することにより、ハンド部により複数の物体のうちのいずれかの物体を把持するための情報を決定する決定部」である限りにおいて、本件発明における「決定部」に相当する。 （４）引用発明における「制御部６」は、計測特徴識別部５２、把持動作演算部５３及び開閉動作演算部５４で決定された把持パラメータに基づいて、ワーク７を把持するようにロボット４を制御するものであるから、その作用・機能からみて、本件発明における「制御装置」に相当する。 また、引用発明における「ワーク取り出し装置」は、その機能・構造からみて、本件発明における「ロボットシステム」に相当する。 ２ 上記１から、本件発明と引用発明とは、以下の一致点で一致する。 ＜一致点＞ 「ハンド部を備えるロボットと、 計測器で取得された複数の物体の第１の画像情報を処理することで得られた前記物体の第２の画像情報を含むデータを取得する観測部と、 前記物体に関する前記データを機械学習されたニューラルネットワークに入力することにより、前記ハンド部により前記複数の物体のうちのいずれかの物体を把持するための情報を決定する決定部と、 前記決定部で決定された情報に基づいて、前記物体を把持するように前記ロボットを制御する制御装置と、を備える、 ロボットシステム。」 ３ 他方、本件発明と引用発明とは、以下の相違点で相違する。 ＜相違点＞ ニューラルネットワークに入力する「物体に関するデータ」に関して、 本件発明における「データ」は、計測器で取得された「複数の物体の第１の画像情報」、および、第１の画像情報を処理することで得られた「複数の物体の第２の画像情報」の少なくともいずれかを含む「複数の物体に関する」「データ」であるのに対し、 引用発明における「計測特徴」は、センサ２（計測器）で計測された（取得された）「バラ積みされた複数のワーク７（複数の物体）の画像情報Ａ（第１の画像情報）」そのものを含むものでなく、また、画像情報Ａを処理することで候補として抽出した１つの面領域Ｓ１の「計測特徴」であって、バラ積みされた複数のワーク７に対応する複数の面領域の「計測特徴」ではない点。 第６ 上記相違点に対する当審の判断 １ 引用発明は、センサ２（計測器）で計測された（取得された）バラ積みされた複数のワーク７（複数の物体）の画像情報Ａ（第１の画像情報）から、１つの物体を把持するための情報（把持位置姿勢、把持パラメータ）を出力情報とする限りにおいて、本件発明と一致するところ、一般的に、どの程度の前処理を実行したうえでニューラルネットワークにいくつの情報を入力し、ニューラルネットワークからどのような情報を得たうえで最終的な出力情報を得るか（例えば、前処理の段階で把持する１つの物体の情報のみを抽出してその１つの物体に対してニューラルネットワークを適用するか、複数の物体の情報をまとめてニューラルネットワークを適用して、その結果から把持する１つの物体を決定するか、など。）は、その情報処理部の演算処理能力や求める出力情報、学習の精度等に応じて決定される、設計事項といえる。 ２ すなわち、情報処理部の演算処理能力が高い等、情報処理部の負荷を考慮せずともよいのであれば、計測器で取得された複数の物体の情報を前処理することなくそのままニューラルネットワークに入力情報を増やして入力することを試み、情報処理部の演算処理能力が低いのであれば、処理すべき情報を減らして計算負荷が小さくなるよう、把持する１つの物体を決定する前処理を行ったうえでニューラルネットワークに入力するよう試みることは、当業者にとって適宜選択すべき設計的事項である。 ３ また、引用文献１の段落【０００９】には、「この発明によるワーク取り出し装置では、過去の取り出し成否の情報をもとに、計測特徴（ワークの見え方や形状から得られる特徴情報）の掴みやすさを推定し、掴みにくそうなものは優先して掴まないが、他に掴みやすそうな計測特徴がない場合、ハンドの開閉量・把持力・動作速度の少なくとも１つを自動で調整し、より丁寧な動作に変更することで、掴みにくそうなワークを取り出すものである。」と記載されることからみて、引用文献１には、 （１）実施の形態から認定した、画像情報Ａを処理することで候補として抽出した面領域Ｓ１の「計測特徴」を得る引用発明のみならず、 （２）複数の面領域Ｓ２～Ｓ５の「計測特徴」も得たうえで、最も掴みやすそうなワーク７を優先的に掴むようにすること も示唆されているといえる。 ４ してみると、引用発明における「計測特徴抽出部５１、計測特徴識別部５２、把持動作演算部５３及び開閉動作演算部５４」を備える情報処理部５（段落【００２０】）の演算処理能力や上記３（２）の引用文献１中の示唆等を踏まえ、引用発明において、センサ２で計測されたバラ積みされた複数のワーク７の３次元情報から、候補（例えば、最も高い位置にある面領域）の多次元特徴ベクトルを抽出する前処理を行ったうえで、ニューラルネットワークに入力することに代えて、本件発明のようにセンサ２で計測されたバラ積みされた複数のワーク７の３次元情報である画像情報Ａから複数のワークのエッジ抽出等の処理をした後に、「複数の面領域Ｓ１～Ｓ５」の「計測特徴」をニューラルネットワークに入力することや、前処理することなく画像情報Ａそのものをニューラルネットワークに入力することを想到することは、当業者であれば容易になし得たことである。 ５ そして、本件発明が奏する効果を検討しても、引用文献１に基づき、当業者が容易に予測し得たものにすぎない。 第７ 請求人による主張の検討 １ 意見書での主張 請求人は、令和５年７月７日に提出の意見書において、概略、以下の主張をする。 （１）本件発明は、画像情報から物体を把持するための情報を決定するために用いる特徴を抽出する処理をニューラルネットワークの枠組みの中で最適化しており、学習を通じた特徴抽出処理の最適化を行わない引用発明とは、その構成が根本的に異なる。 特に、複数の物体の画像情報には様々な情報が含まれているため、特徴抽出処理をニューラルネットワークの枠組みの中で最適化する本件発明は、例えば、特徴抽出処理を人手のみで設計する引用発明と比較して、画像情報から物体把持に適した特徴を抽出することが可能になる。 当審拒絶理由の第４ページの「（４）判断」の項目の第２３行－第２９行における指摘（当審注：上記第６の２）は、失当である（第２～３ページ、（４）i）、ii) ）。 （２）引用文献１の段落【００２７】の記載から、例えば、情報処理部の負荷に制限がなかった場合には、引用発明では、識別部において比較対象となる特徴ベクトルを増やすことになり、本件発明を想到し得ない（第３ページ、（４） iii） ）。 ２ 意見書に対する見解 上記主張について検討する。 （１）上記１（１）についてみると、引用発明も、計測特徴を入力とする、過去の計測特徴とその取り出し成否（成功か否か）をもとにした識別器としてのニューラルネットワークを用いるものである（引用文献１の段落【００２３】）ところ、引用発明において、センサ２で計測されたバラ積みされた複数のワーク７の３次元情報である画像情報Ａから複数のワークのエッジ抽出等の処理をした後に、「複数の面領域Ｓ１～Ｓ５」の「計測特徴」をニューラルネットワークに入力することや、前処理することなく画像情報Ａそのものをニューラルネットワークに入力することを想到することが当業者であれば容易になし得たことは、上記第６の１で説示したとおりである。 また、モデル等を人手のみで設計することに代えて、機械学習されたニューラルネットワークを広く採用しようとすることは、例示するまでもなく、本件出願の優先日前においてよく知られた技術的事項であり、また、周知の画像を入力とする深層学習を適用しようと試みることも、当業者であれば当然に着想し得た事項である。 してみると、上記第６の２の見解が失当であるとの主張には、首肯することができない。 （２）上記１（２）についてみると、情報処理部の負荷に制限がなかった場合に、計算量を削減することなく、全ての特徴量ベクトルを演算することは、当然に行い得るところ、引用文献１の段落【００２７】の記載のみをもって、その点のみに演算能力が注力されるとの主張は、当を得てない。上記第６の３～４にて説示したように、例えば段落【０００９】の記載に基づいて、学習制御されたニューラルネットワークの入力を「複数の面領域Ｓ１～Ｓ５」に変更することや、さらにはセンサ２で計測した画像情報Ａそのものを機械学習されたニューラルネットワークの入力とすることを着想することに、何ら困難性は認められない。 したがって、上記１（２）の主張にも、首肯することができない。 第８ まとめ 以上のとおり、本件発明は、引用発明に基づいて当業者が容易に発明をすることができたものであり、特許法第２９条第２項の規定により特許を受けることができないから、他の請求項に係る発明について検討するまでもなく、本願は拒絶されるべきものである。 よって、結論のとおり審決する。