2024-019689

特願２０２１－５５２０９０「対象検出装置、飛行体、対象検出方法及びコンピュータプログラム」拒絶査定不服審判事件〔令和 ３年 ４月２２日国際公開、ＷＯ２０２１／０７５０７２〕について、次のとおり審決する。

結 論 本件審判の請求は、成り立たない。

理 由 第１ 手続の経緯 本願は、２０２０年（令和２年）３月１７日（優先権主張 令和元年１０月１６日）を国際出願日とする出願であって、その手続等の経緯の概要は、以下のとおりである。 令和５年１０月２３日付け：拒絶理由通知（最初） 令和６年 ２月１４日提出：意見書 令和６年 ４月 ８日付け：拒絶理由通知（最初） 令和６年 ８月 ５日提出：意見書、手続補正書 令和６年 ９月 ５日付け：拒絶査定 令和６年１２月 ６日提出：審判請求書、手続補正書 令和７年 ３月１９日提出：上申書 第２ 令和６年１２月 ６日にされた手続補正についての補正の却下の決定 ［補正の却下の決定の結論］ 令和６年１２月 ６日にされた手続補正（以下「本件補正」という。）を却下する。 ［理由］ １ 本件補正について（補正の内容） 本件補正は、特許請求の範囲を補正するものであり、当該補正は請求項１３を以下のように補正することを含むものである（下線部は補正箇所を示す。）。 （１）本件補正前 「飛行体に設置されて前記飛行体の飛行方位と異なる方位を撮影方位とする撮影機が撮影した水上の水上画像データを取得し、 取得した水上画像データを、水上画像データが入力された場合に、画像における捜索対象の対象領域、及び、捜索対象の種類を出力する学習モデルに入力し、 前記学習モデルの出力結果を表示し、 さらに、前記学習モデルに入力された水上画像データの画像上に、前記捜索対象の対象領域、及び前記捜索対象の種類が示された付加画像を表示し、 前記捜索対象の位置の認識に用いる、 処理をコンピュータが実行する対象検出方法。」 （２）本件補正後 「飛行体に設置されて前記飛行体の飛行方位と異なる方位を撮影方位とする可視光及び赤外線による撮影機が撮影した水上の水上画像データを取得し、 取得した可視光用又は赤外線用の水上画像データを、それぞれの水上画像データが入力された場合に、画像における捜索対象の対象領域、及び、捜索対象の種類を出力するそれぞれの学習モデルに入力し、 前記それぞれの学習モデルの出力に応じた結果を表示し、 さらに、前記学習モデルに入力された水上画像データの画像上に、前記捜索対象の対象領域、及び前記捜索対象の種類が示された付加画像を表示し、 前記捜索対象の位置の認識に用いる、 処理をコンピュータが実行する対象検出方法。」 ２ 補正の適否 本件補正は、本件補正前の請求項１３に記載された発明を特定するために必要な事項である「撮影機」について、「可視光及び赤外線による」ものであることを限定し、さらに、当該発明を特定するために必要な事項である「取得した水上画像データ」について、「可視光用又は赤外線用の」ものであることを限定し、当該発明を特定するために必要な事項である「学習モデル」への入力が、「それぞれの水上画像データが入力された場合に、「それぞれの」学習モデルに入力するものであることを限定し、さらに、当該発明を特定するために必要な事項である表示する「学習モデルの出力結果」が、「それぞれの」学習モデルのものであることを限定するものであって、補正前の請求項１３に記載された発明と補正後の請求項１３に記載される発明の産業上の利用分野及び解決しようとする課題が同一であるから、特許法第１７条第の２第５項第２号の特許請求の範囲の減縮を目的とするものに該当する。なお、請求人の上申書における補正案としての主張を踏まえると、「それぞれの」は「可視光用又は赤外線用の」意味であると解される。 そこで、本件補正後の請求項１３に記載される発明（以下「本件補正発明」という。）が同条第６項において準用する同法第１２６条第７項の規定に適合するか（特許出願の際独立して特許を受けることができるものであるか）について、以下、検討する。 （１）本件補正発明 本件補正発明は、上記１（２）に記載したとおりのものである。 （２）引用文献の記載事項 ア 引用文献１ （ア）原査定の拒絶の理由で引用された本願の優先日前に頒布された刊行物である「Christopher Dahlin Rodin et al., “Object Classification in Thermal Images using Convolutional Neural Networks for Search and Rescue Missions with Unmanned Aerial Systems”, 2018 International Joint Conference on Neural Networks (IJCNN)，2018年07月08日，DOI: 10.1109/IJCNN.2018.8489465」（以下「引用文献１」という。）には、次の事項が記載されている（下線は当審において付加した。）。 ａ 「I. INTRODUCTION Maritime Search and Rescue (SAR) operations are usually based on the drifting trajectory, which is influenced by the water streams and winds. In such operations, it is common to estimate the drift by deploying buoys with GPS sensors to transmit their positions [1]. Since changes in the environment at the search region are common, the search parameters might change many times during the mission, leading to the necessity of the reconfiguration of the mission itself. The search is usually performed using manned aircraft and vessels and is limited by the costs, the availability of human resources, and the mental and perception limitations of the human operators. All these limitations impose that a method for automatic classification of objects would be beneficial to the SAR mission as an additional assistance to the operators, due to its ability to process multiple inputs at higher speeds and with an invariable reliability rate, as it is not subject to exhaustion. The use of Unmanned Aerial Systems (UAS) has grown rapidly, especially because of its high endurance, reduced cost, rapid deployment and flexibility. It also offers reduced risk for humans and impact on the environment compared to manned aircraft. Therefore, intelligent autonomous UAS equipped with image recognition capabilities to classify vessels, wrecks, people and objects pose as well suited tools to assist maritime SAR operations.」（１頁左欄１５～２５行） （当審訳：I． はじめに 海上捜索救助（SAR）活動は通常、水流や風の影響を受ける漂流経路に基づいて行われる。このような活動では、GPSセンサーを搭載したブイを設置して位置情報を送信することで漂流経路を推定するのが一般的である[1]。捜索海域では環境が頻繁に変化するため、捜索パラメータは任務中に何度も変更される可能性があり、その結果、任務の再構成が必要になる。捜索は通常、有人航空機や船舶を用いて行われるが、コスト、人的資源の可用性、そして人間のオペレーターの精神的および知覚的限界によって制限される。これらすべての制限により、オブジェクトの自動分類方法は、疲弊することがなく、複数の入力をより高速かつ安定した信頼性で処理できるため、オペレーターの追加支援としてSAR 任務に有益となることが予想される。無人航空システム（UAS）の利用は急速に拡大しており、特に高い持続性、低コスト、迅速な展開、柔軟性といった利点による。また、有人航空機と比較して、人間へのリスクや環境への影響が少ないという利点もある。したがって、船舶、残骸、人、オブジェクトを識別する画像認識機能を備えた知能型自律UASは、海上捜索救助（SAR）活動を支援するための極めて有用なツールとなり得る。） ｂ 「In this paper, a CNN is trained to classify boats, buoys, people and pallets in images captured by a thermal camera mounted on a fixed-wing UAS. The foreground objects were detected by modeling the background as a mixture of Gaussian distributions and subtracting the foreground [10]. This method is computationally cheaper than other object proposal methods such as sliding windows [11] or selective search [12] because it is particularly suitable for thermal images at the sea, as there are two modes present in the distribution: the radiance reflected from the sky, and the heat emitted from the sea [13]. Subsequently a window was fitted around the objects and padded to ensure that the full objects were included in the window. One other novelty brought by this study is the use of the estimated observed area as an extra feature in the fully connected layer of the CNN.」（２頁左欄１３～２７行） （当審訳：本論文では、固定翼型UASに搭載されたサーマルカメラで撮影された画像において、ボート、ブイ、人間、パレットを分類するためにCNN（畳み込みニューラルネットワーク）を学習させた。前景オブジェクトの検出には、背景をガウス分布の混合モデルとして構築し、前景を差分抽出する手法が用いられた[10]。この手法は、スライディングウィンドウ[11]やセレクティブサーチ[12]といった他のオブジェクト提案手法に比べて計算コストが低く、特に海上の熱画像に適している。これは、分布内に空からの反射輻射と海面からの放射熱という２つのモードが存在するためである[13]。その後、オブジェクトの周囲にウィンドウを設定し、オブジェクト全体がウィンドウ内に収まるようにパディング（余白追加）を行った。本研究におけるもう一つの新規性は、CNNの全結合層において、推定された観測面積を追加特徴量として利用した点である。） ｃ 「II. DATASET The dataset consists of images captured by a thermal camera mounted on a fixed-wing UAS. The thermal camera used is a FLIR Tau2, which provides analogue video data at a 640 × 512 pixels resolution. The lens has a focal length of 19 mm, which produces a 32° × 26° angle of view. The analogue video data is converted to digital using a 16 bit analogue-todigital converter. In order to create 8 bit images, the 16 bit images are normalized between 0 and 255 for the smallest and largest intensity in the full dataset. The UAS was also equipped with an Inertial Measurement Unit (IMU) and Global Navigation Satellite System (GNSS) unit, in order to find the surface area of the objects in the images (see section II-C). Four different objects were placed in the ocean: a 26 feet boat, an euro pallet, a human wearing an immersion suit, and a buoy with a 60 cm diameter. The objects are chosen as common objects present in maritime SAR missions, where e.g. pallets are a common object to search for when trying to locate fish aggregating devices. The objects can be seen in higher resolution visual light camera images in figure 1. The human varied between different actions during the experiment: floating horizontally on the surface (creating a large, long surface), swimming (creating a medium sized surface varying in shape), and standing vertically (creating a small surface, down to 20 cm across).」（２頁左欄２８～５２行） （当審訳：II.データセット データセットは、固定翼UASに搭載されたサーマルカメラによって撮影された画像で構成されている。使用されたサーマルカメラは FLIR Tau2で、640×512 ピクセルの解像度でアナログビデオデータを提供する。レンズの焦点距離は 19 mm で、画角は 32° × 26°である。アナログビデオデータは、16ビットのアナログ／デジタルコンバーターを用いてデジタル化される。8ビット画像を作成するために、16ビット画像はデータセット全体の最小および最大強度に基づいて、0～255の範囲で正規化される。UASには、画像内のオブジェクトの表面積を算出するために、慣性計測装置（IMU）および全地球航法衛星システム（GNSS）ユニットも搭載されていた（セクション II-C を参照）。 海上には4種類の異なるオブジェクトが配置された。26フィートのボート、ユーロパレット、イマージョンスーツを着用した人間、そして直径60cmのブイである。これらのオブジェクトは、海上SAR任務で一般的に見られるものとして選定された。例えば、パレットは集魚装置の位置を特定する際によく探索対象となる。図1には、これらのオブジェクトの高解像度可視光カメラ画像が示されている。実験中、人間はさまざまな動作を行った。水面に水平に浮かぶ（大きく長い表面を形成）、泳ぐ（形状が変化する中程度の表面を形成）、垂直に立つ（幅20cm程度の小さな表面を形成）といった動作である。） ｄ 図１及びその注釈「 ［図：0001431871000001.jpg］ Fig. 1. The different objects present in the scene, as captured by a higher resolution, visual light camera. Top: boat and pallet, bottom left: human, bottom right: buoy. The images were captured at different altitudes. 」（２頁右欄１～３行） （当審訳：図1. 高解像度の可視光カメラで撮影された、シーン内に存在する様々なオブジェクト。上：ボート とパレット、左下：人間、右下：ブイ。画像は異なる高度で撮影された。 ） ｅ 「In order to find the objects in the images and label them, their boundaries were first found (section II-A). The objects were then automatically labeled based on the physical area of the boundary (see section II-A for definition of the physical area) and finally manually corrected (section II-B). The number of labeled objects in the dataset used in the CNN is summarized in table I.」（２頁右欄２３～末行） （当審訳：画像内のオブジェクトを検出し、ラベル付けするために、まず境界を特定した （セクションII-A）。次に、境界の物理的領域に基づいてオブジェクトを自動的にラベル付けし（物理的領域の定義についてはセクションII-Aを参照）、最後に手動で修正した（セクションII-B）。CNNで使用したデータセット内のラベル付けされたオブジェクトの数は、表１にまとめられている。） ｆ 表１「 ［図：0001431871000002.jpg］ 」 （当審訳：表１ データセット内のラベル付きオブジェクトの数 ボート ６２０ パレット ７３９ 人間 ３１３ ブイ ２７６） ｇ 「A. Bounding Boxes In order to discriminate the foreground objects from the background in the images, the background pixels were modeled using an adaptive background Gaussian Mixture Model (GMM) [10]. The GMM provides robust foreground segmentation and is suitable for thermal images at the sea since there are two modes present in the distribution: the radiance reflected from the sky, and the heat emitted from the sea. It can also model the sensor varying sensor noise, but might fail when the thermal camera is performing sudden noise corrections. The algorithm was implemented using the Background Subtraction Library [14]. A study by Borghgraef et al. [13] showed that more advanced algorithms, such as ViBe and the behaviour subtraction algorithm, outperformed the GMM for detecting objects at the sea surface in thermal images. However, this was for a static camera at a highly slant angle, which means that the study is not completely applicable to the scenario of this paper. For this project, the GMM is chosen as a good balance between robustness and simplicity. The bounding box was then defined as the smallest box that encloses the boundary of the object. The bounding boxes of all objects were then padded to the size of the largest bounding box found in the dataset. See figure 4 for a sample boundary and bounding box.」（３頁左欄５～２７行） （当審訳：A. 境界ボックス 画像内の前景オブジェクトを背景から区別するために、背景ピクセルは適応型背景ガウス混合モデル（GMM）[10]を使用してモデル化された。 GMMは堅牢な前景セグメンテーションを提供し、分布に２つのモード（空からの反射放射と海から放射される熱）が存在する海上の熱画像に適している。また、変動するセンサーノイズをモデル化することもできるが、熱カメラが突然のノイズ補正を実行している場合は失敗する可能性がある。このアルゴリズムは、背景減算ライブラリ[14]を使用して実装された。Borghgraefらによる研究[13]では、ViBeや行動減算アルゴリズムなどのより高度なアルゴリズムが、熱画像内の海面上のオブジェクトを検出する際にGMMよりも優れた性能を示すことが示された。ただし、これは非常に傾斜した角度の静止カメラの場合であり、この研究は本稿のシナリオに完全には適用できないことを意味する。このプロジェクトでは、堅牢性とシンプルさのバランスが取れているとしてGMMが選択された。境界ボックスは、オブジェクトの境界を囲む最小のボックスとして定義された。その後、すべてのオブジェクトの境界ボックスは、データセット内で見つかった最大の境界ボックスのサイズに合わせてパディングされた。境界と境界ボックスのサンプルについては、図４を参照されたい。） ｈ 「B. Labeling In order to use the extracted foreground objects in the supervised learning algorithm, each object needs to be properly labeled. The objects were first assigned one of three labels based on their observed area in square meters (see section II-C) - boat, pallet, or human/buoy. Each label was then manually verified and adjusted if deemed incorrect.」（３頁左欄２８～３４行） （当審訳：B. ラベル付け 抽出された前景オブジェクトを教師あり学習アルゴリズムで使用するには、 各オブジェクトに適切なラベルを付ける必要がある。まず、オブジェクトには、観測面積（平方メートル）に基づいて、ボート、パレット、人またはブイの３つのラベルのいずれかが割り当てられる（セクションII-C参照）。その後、各ラベルは手動で検証され、誤りと判断された場合は修正される。） ｉ 図４及びその注釈「 ［図：0001431871000003.jpg］ Fig. 4. The border around the extracted foreground object (red), and the bounding box (green).」（３頁右欄１～２行） （当審訳：図４．抽出された前景オブジェクトの周囲の境界 (赤) と境界ボックス (緑)。） ｊ 図５及びその注釈「 ［図：0001431871000004.jpg］ Fig. 5. The different objects which were labeled. Top left: boat, top right: pallet, bottom left: human, bottom right: buoy. The images are scaled to show more detail.」（３頁右欄１０～１２行） （当審訳：図５．ラベル付けされた各種のオブジェクト。左上：ボート、右上：パレット、左下：人、右下：ブイ。画像は詳細が分かりやすいように拡大表示されている。） ｋ 「III. CONVOLUTIONAL NEURAL NETWORK Traditionally, supervised learning based image analysis combines feature extraction with classical machine learning methods [16]. Convolutional Neural Network (CNN) is an al ternative and recent trend for image classification that has been proven to produce high accuracy in image classification tasks [17] without requiring any task-specific feature engineering [18]. It is considered the most successful machine learning model in recent years [19] and the most eminent method in computer vision [20], in part because it consists of a powerful image features extractor [21]. A CNN is based on neuroscience researches about the processes that mammalian visual cortex uses to recognize images [22]. Several basic stages typically compose a CNN. Each stage consists of concatenation of convolution, normalization, activation (nonlinear), and pooling layers [23]. In this work, two distinct architectures were used. The difference between them was the employment of the observed object area as an input of the fully connected layer. A. Architecture Regarding the architecture (see Figure 10), the proposed network starts with an input layer containing the image window. This layer is followed by the convolution layer which produces 30 feature maps from filters of size 5×5. The convolutional layer has a set of learnable filters called kernels. By the convolution between one kernel and a chunk of values from the layer, a feature map is generated, which consists of a presence representation of a specific feature in the image. The next layer is a max pooling with a filter of a size of 2×2, whose purpose consists of extracting the hierarchical features of the input image [24]. It works by mapping the bigger value from a 2×2 chunk in only one value in the next layer. Pooling helps to make the representation approximately invariant to small translations of the input [22]. This function is also responsible for reducing the width and the height of the feature map. Reducing this dimension, the computational demand is reduced due to the reduction of the number of parameters, which helps to avoid over-fitting. Then, it comes another convolution layer with 15 feature maps of size 3×3, and finally one more max pooling layer composed by 2×2 filters. The next layer is a flatten layer used to adjust the tensor dimensions to the fully connected layers. At this point, the two architectures become different. One network has the estimated object size as an input and the other one does not. Then, it follows 2 fully connected layers composed respectively by 128 and 50 neurons using the rectifier activation function. The last fully connected layer is used to provide the predicted classification, using the softmax activation function. This is the most common solution for the regulation of the output values within the range from 0 to 1 [25], which assigns a multinomial probability distribution to the output vector [26]. It enhances the discriminative modeling power of the CNN, providing the probability of the input to belong to each possible class, namely: boat, buoys, human or pallet.」（４頁右欄７行～５頁右欄２行） （当審訳：III. 畳み込みニューラルネットワーク 従来、教師あり学習に基づく画像解析は、特徴抽出と古典的な機械学習手法を組み合わせて行われてきた[16]。畳み込みニューラルネットワーク（CNN）は、画像分類における代替的かつ最近のトレンドであり、タスク固有の特徴エンジニアリングを必要とせずに画像分類タスクにおいて高い精度が得られることが実証されている[17]。CNNは近年最も成功した機械学習モデル[19]であり、強力な画像特徴抽出器[21]を備えていることから、コンピュータビジョンにおける最も著名な手法[20]と考えられている。 CNNは、哺乳類の視覚野が画像を認識するプロセスに関する神経科学研究に基づいている[22]。CNNは通常、いくつかの基本的な段階で構成されている。各段階は、畳み込み、正規化、活性化層（非線形）、プーリング層[23]である。この研究では、２つの異なるアーキテクチャが使用された。それらの違いは、観測されたオブジェクト領域を全結合層の入力として用いる点にある。 A. アーキテクチャ アーキテクチャに関しては（図１０を参照）、提案されたネットワークは画像ウィンドウを含む入力レイヤーから始まる。この層の次には畳み込み層が続き、５×５サイズのフィルターから３０個の特徴マップを生成する。畳み込み層には、カーネルと呼ばれる学習可能なフィルターセットがある。１つのカーネルと畳み込み層から取得した値のチャンクを畳み込むことで、画像内の特定の特徴の存在を表す特徴マップが生成する。次の層は、２×２サイズのフィルターを持つ最大プーリング層であり、入力画像の階層的特徴を抽出することを目的としている[24]。この層は、２×２のチャンクから最大値を抽出し、次の層に１つの値としてマッピングすることで機能する。プーリングにより、入力の小さな変位に対して表現がほぼ不変となる[22]。また、特徴マップの幅と高さを縮小することで、パラメータ数が減少し、計算負荷の軽減と過学習の防止に寄与する。続いて、３×３サイズのフィルターによる１５個の特徴マップを生成する畳み込み層があり、さらに２×２フィルターによるもう１つの最大プーリング層が続く。 次の層は、テンソルの次元を全結合層に適合させるための平坦化層である。この時点で、２つのアーキテクチャは分岐する。一方のネットワークはオブジェクトサイズを入力とし、もう一方はそれを用いない。その後、ReLU活性化関数を用いた１２８個および５０個のニューロンからなる２つの全結合層が続く。最後の全結合層では、ソフトマックス活性化関数を用いて分類予測を行う。これは、出力値を0から1の範囲に正規化する最も一般的な方法であり[25]、出力ベクトルに多項分布を割り当てる[26]。これにより、CNNの識別能力が向上し、入力が各クラス（ボート、ブイ、人間、パレット）のいずれかに属する確率を提供する。） ｌ 図１０及びその注釈「 ［図：0001431871000005.jpg］ Fig. 10. CNN architecture. If the Estimated Object Area is used, one more element is added in the flatten layer, resulting in an output of 3.376 elements.」（５頁１行） （当審訳：図１０. CNNアーキテクチャ。推定オブジェクト領域を使用する場合、平坦化層にさらに１つの要素が追加され、出力は３．３７６要素になる。） ｍ 「C. Cross-validation In order to evaluate the generalization capacity of the classifiers, it is preferable that the set used in the evaluation process is different from the one used during the training process. Typically, the formation of the training and test set is based on non-repetitive sampling techniques, such as the k- fold cross validation method [29]. Cross-validation is a robust statistical technique for estimating the true risk function [30] (or the generalization error), the most important operational performance of a trained network [31]. In this paper, the database is divided into five sets of equal size. During each execution of the algorithm, one set is chosen to be out of the training phase, which will be the corresponding test set. This process is repeated five times, and the performance metric is inferred for each of the sets that were left out of the training process. The value of the overall performance will be defined by the average of the values obtained for each of the five executions.」（５頁右欄１４～３０行） （当審訳：C. 交差検証 分類器の汎化能力を評価するためには、学習に用いたデータとは異なるデータセットで性能を検証することが望ましい。一般的に、学習セットとテストセットの分割には、k分割交差検証法（k-fold cross-validation）などの非反復サンプリング手法が用いられる［29］。交差検証は、学習済みネットワークの真のリスク関数（汎化誤差）を推定するための堅牢な統計的手法であり［30］、これは学習済みネットワークの最も重要な運用性能指標である［31］。 本研究では、データベースを５つの等サイズのサブセットに分割し、各実行において１つのサブセットをテストセットとして除外し、残りの４つを学習に使用した。このプロセスを５回繰り返し、各テストセットに対する性能指標を算出した。最終的な性能値は、５回の実行結果の平均値として定義される。） ｎ 「IV. RESULTS After testing the convergence for different parameters, the very first CNN was chosen and trained for 5-folds of images in 8 bit format, without taking into consideration the estimated size of the objects. The maximum number of epochs was 500 and the early stopping was set to stop the training after 50 validation evaluations without improvements. The validation split was 0.18 and dropout was 0.50. After doing 10 executions to get an indicative statistical performance, the average accuracy was 92.0% with 0.50% of standard deviation. This result shows that the configuration of the training algorithm was well set, so that the performances of all executions for all folds were similar. When using the estimated objects size as an extra input of the fully connected layer, the resulted accuracy is higher as shown in figure 11 for 8 bit and 16 bit images, achieving 92.5% and 92.1% of accuracy, respectively. Regarding the classification, it is possible to notice that classifying between buoys and humans is a challenge as seen in the Confusion Matrix (table II). However, the use of the estimated object size helps the CNN to get better results (table III). When looking to the Confusion Matrix for buoys, there are fewer cases when the buoy is classified as a human. There is even a case of a boat being classified as a pallet when the estimated object size was not used (table II). The ability of the CNN to classify humans vs. buoys is further investigated in figures 12 and 13, where the probability of each human and buoy test sample being either a human or a buoy are shown. In the humans samples, it is possible to notice that it is easier for the CNN to differentiate them from buoys. However, when analyzing the classification probabilities of the buoys samples, it shows that it is very challenging to the CNN to decide if it is a buoy or a human.（６頁左欄８行～同頁右欄２行） （当審訳：IV. 結果 様々なパラメータで収束性をテストした後、最初のCNNを選択し、8ビット形式の5分割画像に対してトレーニングを行った。この際、オブジェクトの推定サイズは考慮しなかった。最大エポック数は500で、早期終了は50回の検証評価で改善が見られない場合にトレーニングを停止するように設定した。検証分割は0.18、ドロップアウトは0.50であった。統計的なパフォーマンス指標を得るために10回実行した結果、平均精度は92.0%、標準偏差は0.50%であった。この結果は、トレーニングアルゴリズムの設定が適切に行われ、すべての分割画像におけるすべての実行のパフォーマンスが同等であったことを示している。 推定されたオブジェクトサイズを全結合層の追加入力として使用すると、図１１に示すように、8ビットおよび16ビット画像で結果の精度が高くなり、それぞれ92.5%と92.1%の精度を達成した。分類に関しては、混同行列 (表２)に見られるように、ブイと人間の分類が難しいことがわかる。ただし、推定されたオブジェクトサイズを使用すると、CNNはより良い結果を得ることができる(表３)。ブイの混同行列を見ると、ブイが人間として分類されるケースは少なくなっている。推定されたオブジェクトサイズを使用しなかった場合、ボートがパレットとして分類されるケースさえある (表２)。 CNNによる人間とブイの識別能力は、図１２と図１３でさらに詳しく検証される。図１２と図１３では、人間とブイのそれぞれのテストサンプルが人間またはブイである確率を示している。人間のサンプルでは、CNNがブイと人間を区別しやすいことがわかる。しかし、分類確率を分析すると、ブイのサンプルを見ると、それがブイなのか人間なのかを判断するのはCNNにとって非常に難しいことがわかる。） ｏ 表２及びその注釈「 ［図：0001431871000006.jpg］ 」（７頁左欄１－２行） （当審訳： 表２ オブジェクトサイズを使用しない8ビット画像の混同行列。 予測 ボート 人間 ブイ パレット ボート １２８ ０ ０ １ 事 人間 ０ ３６ １８ ０ 実 ブイ ０ １５ ４５ ０ パレット ０ ０ １ １４５） ｐ 図１２、図１３及びこれらの注釈「 ［図：0001431871000007.jpg］ 」（６頁右欄１～２行） （当審訳：図１２ 人間が人間 (青) であるかブイ (赤) であるかの確率。 図１３ ブイが人間 (青) であるかブイ (赤) であるかの確率。） ｑ 「V. DISCUSSION To obtain the images of the objects, the bounding boxes were defined as the smallest box that encloses the boundary of the object. Then, the bounding boxes of all objects were padded to the size of the largest bounding box found for the set of objects of the same class. However, in the SAR mission, it is not possible to know the class of the object a priori, therefore, another strategy need to be used to define the bounding boxes. One solution is to define a specific amount of pixels to be added to the boundaries of the detected object, to ensure that the whole object will be inside the bounding box, occupying as much of it as possible. This amount of pixels should be defined by the altitude of the UAS when the image is being captured and also the estimated size of the object. Thus, effects by the distance to the scene would also be mitigated. The observed area, as well as its appearance in the thermal images, are greatly affected by motion blur. For larger objects this does not pose a major problem, but for objects just a few pixels in size, the difference can be of major concern. An actively stabilized gimbal and carefully chosen shutter times based on the UAS dynamics could prevent this. Another mitigating solution would be to collect a larger dataset in order to be able to properly classify objects even with motion blur. The major difficulty of the CNN is to properly distinguish between humans and buoys, which is likely due to the low resolution of the thermal image sensor and relative high altitude, resulting in the objects being represented by very few pixels in the images. In real world maritime SAR missions, however, a buoy being classified as a human would not be a major issue, as the operator would still be notified, and could dismiss the notification from the CNN. Incorrectly classifying a human as a buoy could potentially cause a missed person, but could be solved by lowering the human probability threshold for notifying the operator.」（７頁左欄８行～同頁右欄６行） （当審訳：V. 考察 オブジェクトの画像を取得するために、境界ボックスはオブジェクトの境界を囲む最小の矩形として定義された。その後、同一クラスのオブジェクト群において、すべての境界ボックスは、最大の境界ボックスのサイズに合わせてパディング（余白追加）した。しかし、SAR（捜索救助）任務では、オブジェクトのクラスを事前に知ることができないため、境界ボックスを定義するには別の戦略が必要となる。一つの解決策としては、検出されたオブジェクトの境界に特定のピクセル数を追加することで、オブジェクト全体が境界ボックス内に収まり、可能な限りその領域を占めるようにする方法がある。このピクセル数は、画像が撮影される際のUAS（無人航空機）の高度およびオブジェクトの推定サイズによって定義されるべきである。これにより、シーンまでの距離による影響も軽減される。 観測領域およびその熱画像における見え方は、モーションブラー（動きによるぼやけ）の影響を大きく受ける。大きなオブジェクトに対してはそれほど問題にはならないが、数ピクセル程度の小さなオブジェクトに対しては、影響が深刻な問題となる可能性がある。この問題を防ぐためには、UAS（無人航空機）の動態に基づいて慎重に選定されたシャッター時間と、アクティブに安定化されたジンバルの使用が有効である。もう一つの緩和策としては、モーションブラーがあってもオブジェクトを正しく分類できるよう、より大規模なデータセットを収集することが挙げられる。 CNN（畳み込みニューラルネットワーク）における主な困難は、人間とブイの識別であり、これは熱画像センサーの解像度が低く、相対的に高度が高いため、画像内でオブジェクトが非常に少ないピクセルで表現されてしまうことが原因と考えられる。しかし、実際の海上SAR任務では、ブイが人間として分類されることは大きな問題ではなく、オペレーターに通知され、CNNによる通知を却下することが可能である。一方で、人間をブイと誤分類することは、要救助者の見逃しにつながる可能性があるが、通知の際に用いる人間の確率閾値を下げることで解決できる可能性がある。） ｒ 「VI. FUTURE WORK In the mission carried out to gather the data used for this work, an Electro-Optical (EO) camera was also equipped in the UAS to capture RGB images. However, the thermal and the RGB images were not obtained during the same flight, so it is not possible to use the two images together as inputs of the same CNN. Therefore, one of the next steps is to develop a CNN to classify the objects in the RGB images, as the work done by [6]. Then, investigating a method to use both datasets together, for example, trying to use the results of each independent CNN multiplying the probability of each sample to be of each one of the classes.」（７頁右欄１６～２８行） （当審訳：VI. 今後の課題 本研究のためにデータを収集した任務では、UASにEO（Electro-Optical）カメラも搭載され、RGB画像が撮影された。しかし、熱画像とRGB画像は同じ飛行中に取得されたものではないため、両方の画像を同一のCNNの入力として同時に使用することはできない。 したがって、次のステップの一つは、RGB画像中のオブジェクトを分類するCNNを開発することであり、これは[6]の研究と同様のアプローチである。その後、両方のデータセットを統合して使用する方法を検討する。たとえば、それぞれの独立したCNNの結果を用いて、各サンプルが各クラスに属する確率を乗算する手法などが考えられる。） ｓ 「VII. CONCLUSION In this paper, the algorithm for detecting and classifying objects at the sea surface in thermal camera images taken by Unmanned Aerial Systems (UAS) has been discussed. The algorithm uses a Gaussian Mixture Model (GMM) in order to discriminate foreground objects from the background in the images. Then, bounding boxes around the objects are defined and used to train and test a Convolutional Neural Network (CNN). The observed area of the objects was also estimated and used as an input. The CNN was evaluated using the k-fold method with 5 folds and achieved an average of 92.5% of accuracy. Images of vessels from an external dataset were also evaluated and all of them achieved 100% of probability of being a boat when using the CNN where the observed area was not used. The results and the robustness of the CNN algorithm prove it to be a useful tool to assist maritime SAR operations, and be a central part in a future fully autonomous UAS operation in SAR missions.」（７頁右欄４３行～８頁左欄６行） （当審訳：VII. 結論 本論文では、無人航空機（UAS）によって取得された熱画像において、海面上の物体を検出・分類するアルゴリズムについて論じた。このアルゴリズムでは、画像中の前景と背景を識別するためにガウス混合モデル（GMM）を用いている。次に、オブジェクトの周囲に境界ボックスを定義し、それを用いて畳み込みニューラルネットワーク（CNN）の学習と評価を行った。さらに、物体の観測面積も推定され、CNNへの入力として使用された。CNNは5分割のk-fold法で評価され、平均92.5%の精度を達成した。外部データセットの船舶画像も評価対象とされ、観測面積を使用しないCNNでは、すべての画像が100%の確率で船舶と判定された。これらの結果とCNNアルゴリズムの堅牢性は、海上の捜索救助（SAR）活動を支援する有用なツールであることを示しており、将来的には完全自律型UASによるSAR任務の中核技術となる可能性がある。） （イ）引用発明 上記（ア）から、引用文献１には、次の発明（以下「引用発明」という。）が記載されているものと認められる。なお、参考のため、認定の根拠となった主な箇所を括弧内に示す。 「海上に配置された、海上SAR（捜索救助）任務で一般的に見られる４種類の異なるオブジェクトであるボート、ユーロパレット、イマージョンスーツを着用した人間、そしてブイを、固定翼UASに搭載されたサーマルカメラによって撮影した画像によりデータセットを構成し（（ア）ｃ、ｄ）、 背景ピクセルを、適応型背景ガウス混合モデル（GMM）を使用してモデル化して、画像内のオブジェクトを背景から区別して、オブジェクトの境界を囲む最小のボックスと定義される境界ボックスによりオブジェクトを囲み（（ア）ｇ、ｉ）、 教師あり学習アルゴリズムで使用するには、適切なラベルを付ける必要があることから、抽出されたオブジェクトに、ボート、パレット、人またはブイの３つのラベルのいずれかを割り当て、各ラベルを手動で検証し、誤りと判断された場合は修正して（（ア）ｈ）、 CNN（畳み込みニューラルネットワーク）のアーキテクチャは、画像ウィンドウを含む入力レイヤーから始まり、畳み込み層、最大プーリング層、畳み込み層、もう１つの最大プーリング層、平坦化層、２つの全結合層が続き、最後の全結合層では、分類予測を行い、入力が各クラス（ボート、ブイ、人間、パレット）のいずれかに属する確率を提供するものであって（（ア）ｋ、ｌ）、 オブジェクトの周囲を境界ボックスで囲んだ画像のデータベースを５つの等サイズのサブセットに分割し、１つのサブセットをテストセットとして除外し、残りの４つを学習に使用するプロセスを５回繰り返し、各テストセットに対する性能指標を算出して、５回の実行結果の平均値を最終的な性能値として分類器の汎化能力を評価する交差検証を行い（（ア）ｍ、ｓ）、 CNN（畳み込みニューラルネットワーク）における主な困難は、人間とブイの識別であるが（（ア）ｎ、ｏ、ｐ）、実際の海上SAR（捜索救助）任務では、ブイが人間として分類されることは大きな問題ではなく、オペレーターに通知され、CNNによる通知を却下することが可能である一方で、人間をブイと誤分類することは、要救助者の見逃しにつながる可能性があるものの、通知の際に用いる人間の確率閾値を下げることで解決できる可能性がある（（ア）ｑ）、 CNN（畳み込みニューラルネットワーク）を用いた熱画像におけるオブジェクトの分類方法（（ア）ｓ）。」 （ウ）引用文献１に記載の技術的事項 上記（ア）ｒから、引用文献１には、次の技術的事項（以下「引用文献１に記載の技術的事項」という。）が記載されていると認められる。 「データ収集に用いたUASには、サーマルカメラに加えて、EO（Electro-Optical）カメラも搭載されており、RGB画像が撮影されたものの、熱画像とRGB画像は同じ飛行中に取得されたものではないため、両方の画像を同一のCNNの入力として同時に使用することはできないことから、次のステップとして、RGB画像中のオブジェクトを分類するCNNを開発すること。」 イ 引用文献２ 原査定の拒絶の理由で引用された本願の優先日前に頒布された刊行物である特表２００７－５０３００４号公報（以下「引用文献２」という。）には、次の事項が記載されている（下線は当審において付加した。）。 ａ 「本発明は、現在の周辺の安全確保及び探査及び救出のシステムの上述の欠点を克服し、そして価値ある目標に対する潜在的な脅威を示すために、その目標を囲む周辺を監視するための、或いは水に浮いている対象物を検知するために探査船を囲む周辺を監視するためのレーザー障害物認識システムを利用するレーザー周辺認識システム（ＬＰＡＳ）を提供する。」（【０００９】） ｂ 「図１１は、例えば周辺区域３５２の海面を対象物について監視するために少なくも１個の走査ヘッド１０を有する搭載形ＬＰＡＳを有する、例えば、ヘリコプター３５０のような飛行機探査用の乗り物３５０の図である。走査ヘッド１０は、図３及び４に関連して説明された走査ヘッド３００と同様とすることができる。しかし、走査ヘッドのある用途は、方位角を利用するのではなく、周辺区域の水面上で正弦波状の走査パターンを作るような飛行機又は探査用の乗り物の運動に関連する。ヘリコプター３５０上に配置されたときは、走査ヘッド１０からの放射レーザービームの経路は、水面３５６に対して例えば４５゜のような斜めの入射角度で傾けることができる。行方不明者３５４のような浮いている対象物だけが、レーザーエネルギーを走査ヘッド１０の方向に戻し、ＬＰＡＳにより後処理され、前述のような画像シーンを作るであろう。ある用途においては、探査用の乗り物３５０は、図１２の図に示されるように行方不明者を探査している乗り物３５０の下方でこれを囲む周辺水域３５８を３６０゜走査するために、複数の走査ヘッド１０、１２、１４及び１６を備えることができる。」（【００６１】） ｃ 図１２「 ［図：0001431871000008.jpg］ 」 ウ 引用文献３ 原査定の拒絶の理由で引用された本願の優先日前に頒布された刊行物である特開２０１８－１０１８５０号公報（以下「引用文献３」という。）には、次の事項が記載されている（下線は当審において付加した。）。 ａ 「検出対象は、複数の種類の物体を含んでよい。物体の種類は、例えば人、他の移動体、走行路、車線、白線、側溝、歩道、横断歩道、道路標識、交通標識、ガードレール、壁、および信号機等を含んでよい。制御部３３が検出可能な検出対象の種類は、これらに限られない。検出対象の少なくとも一部は、例えば第１映像上の検出対象の一部が他の物体の陰に隠れている場合において、当該検出対象の、当該他の物体の陰に隠れていない部分を含んでよい。例えば、制御部３３は、第１映像上で歩行者の下半身が障害物の陰に隠れている場合に、当該歩行者の上半身を検出可能であってよい。検出対象の少なくとも一部の検出には、任意の物体検出アルゴリズムが採用可能であってよい。例えば、制御部３３は、第１映像の各フレームである撮像画像を用いたパターンマッチングまたは特徴点抽出等のアルゴリズムによって、検出対象の少なくとも一部を検出してよい。」（【００３５】） ｂ 「制御部３３は、撮像装置２０から取得された第１映像上の表示領域に対応する第２映像を、表示装置４０に表示させてよい。具体的には、制御部３３は、通信部３１を介して、第２映像を表示装置４０へ出力してよい。例えば、制御部３３は、移動体情報に基づいて移動体５０の後進を検出すると、第２映像を表示装置４０に表示させてよい。例えば、制御部３３は、変速ギアのシフトポジションに基づいて後進を検出し得る。例えば、制御部３３は、後進の際に移動体から出力されるリバース信号に基づいて後進を検出し得る。第２映像は、例えば第１映像の各フレームである撮像画像上の表示領域を切り出した映像であってよい。第１映像上の表示領域は、第１映像の各フレームである撮像画像上の少なくとも一部の領域であってよい。表示領域は、検出領域よりも小さくてよい。表示領域は、検出領域に包含されてよい。表示領域の位置、形状、および大きさは、任意に定め得る。制御部３３は、表示領域の位置、形状、および大きさを変化させ得る。表示領域の位置、形状、および大きさが変化することによって、例えば表示領域と検出領域とが略一致してもよい。」（【００４０】） ｃ 「制御部３３は、種々のマーカを、第２映像に合成して表示装置４０に表示させてよい。合成には、上書きおよび混合が含まれる。マーカは、例えば１つ以上の画像を含んでよい。制御部３３は、第２映像に重畳するマーカの少なくとも一部の表示態様を、動的に変化させてよい。表示態様は、例えば第２映像上のマーカの少なくとも一部の位置、大きさ、形状、色、および濃淡等を含んでよい。制御部３３は、第１映像上で検出された検出対象に対応するマーカを表示する場合、当該検出対象の種類に応じて、当該マーカの表示態様を決定してよい。種々のマーカを表示装置４０に表示させる画像処理装置３０の動作の詳細については後述する。」（【００４１】） エ 引用文献４ 原査定の拒絶の理由で引用された本願の優先日前に頒布された刊行物である特開２０１７－１６２４３８号公報（以下「引用文献４」という。）には、次の事項が記載されている（下線は当審において付加した。）。 ａ 「また、例えば、前記アノテーションは、前記危険領域と前記危険領域に対応づけられる前記運動物体のカテゴリとを示すとしてもよい。」（【００２５】） ｂ 「図４は、本実施の形態における危険予測器１０の予測結果の別の一例を示す図である。なお、図３と同様の要素には同一の符号を付しており、詳細な説明は省略する。」（【００３７】） ｃ 「危険予測器１０は、入力画像として取得した画像５０に対して、停車しているバス５０１の背後の領域５０７と、人物５０２の領域５０８と、人物５０３の領域５０９とが危険領域であると推定し、画像５０に対して推定した危険領域とそのカテゴリを重畳させた画像５０ｂを出力する。つまり、危険予測器１０は、画像５０に対して領域５０７とそのカテゴリである危険領域（車）、領域５０８とそのカテゴリである危険領域（人）、領域５０９とそのカテゴリである危険領域（人）が重畳させた画像５０ｂを出力する。ここで、画像５０ｂにおいて、危険領域である領域５０７に対応付けられる運動物体の種別が車であることから、危険領域のカテゴリとして、危険領域（車）が重畳されている。同様に、画像５０ｂにおいて、危険領域である領域５０８および領域５０９に対応付けられる運動物体の種別が人物（人）であることから、危険領域のカテゴリとして、危険領域（人）が重畳されている。」（【００３８】） ｄ 図４「 ［図：0001431871000009.jpg］ 」 オ 周知技術 （ア）上記イの記載事項に例示されるように、本願の優先日前に次の周知技術があったものと認められる（以下「周知技術１」という。）。 「周辺を検出するために、複数の検出器を複数の異なる方向に向けて設けた移動体。」 （イ）上記ウ、エの記載事項に例示されるように、本願の優先日前に次の周知技術があったものと認められる（以下「周知技術２」という。）。 「表示画像に、検出対象の種類に応じた表示を重畳して表示すること」 （３）対比 本件補正発明と、引用発明とを対比する。 ア（ア）引用発明における「固定翼UAS」及び「サーマルカメラ」は、それぞれ、本件補正発明における「飛行体」及び「赤外線による撮影機」に相当する。 よって、本件補正発明の「飛行体に設置されて前記飛行体の飛行方位と異なる方位を撮影方位とする可視光及び赤外線による撮影機」と引用発明における「固定翼UASに搭載されたサーマルカメラ」とは、「飛行体に設置され」た「赤外線による撮影機」である点で共通する。 （イ）本件補正発明における「飛行体に設置されて前記飛行体の飛行方位と異なる方位を撮影方位とする可視光及び赤外線による撮影機が撮影した水上の水上画像データ」と、引用発明における「固定翼UASに搭載されたサーマルカメラによって撮影した画像」は、「飛行体に設置され」た「赤外線による撮影機が撮影した水上の水上画像データ」である点で共通する。 （ウ）以上のことから、本件補正発明の「飛行体に設置されて前記飛行体の飛行方位と異なる方位を撮影方位とする可視光及び赤外線による撮影機が撮影した水上の水上画像データを取得」することと、引用発明の「固定翼UASに搭載されたサーマルカメラによって」「水上の水上画像データ」を「撮影」することは、「飛行体に設置されて赤外線による撮影機が撮影した水上の水上画像データを取得」する点で共通する。 イ（ア）引用発明における「ボート、ユーロパレット、イマージョンスーツを着用した人間、そしてブイ」等の「オブジェクト」は、本件補正発明における「捜索対象」に相当する。また、引用発明における「オブジェクトの境界を囲む最小のボックスと定義される境界ボックス」は、本件補正発明における「捜索対象」を示すものといえる。さらに、引用発明における「適応型背景ガウス混合モデル（GMM）」及び「CNN（畳み込みニューラルネットワーク）」は、それぞれ、本件補正発明における「学習モデル」に相当する。 （イ）引用発明における「適応型背景ガウス混合モデル（GMM）」は、「水上の水上画像データ」が入力されると、「背景ピクセルを」「モデル化して、画像内のオブジェクトを背景から区別して、オブジェクトの境界を囲む最小のボックスと定義される境界ボックスによりオブジェクトを囲」むように構成されており、捜索対象を「検出」しているといえる。 （ウ）引用発明における「CNN（畳み込みニューラルネットワーク）」は、「分類器の汎化能力を評価する交差検証」において「オブジェクトの周囲を境界ボックスで囲んだ画像のデータベースを５つの等サイズのサブセットに分割し、１つのサブセットをテストセットとして除外し、残りの４つを学習に使用するプロセスを５回繰り返し、各テストセットに対する性能指標を算出」するものであるから、「分類器」であるといえる。そして、「CNN（畳み込みニューラルネットワーク）」は、「オブジェクトの周囲を境界ボックスで囲んだ画像」を入力すると、「入力が各クラス（ボート、ブイ、人間、パレット）のいずれかに属する確率」を提供し、「クラス」を定めることができるものである。ここで引用発明における「クラス」は、本件補正発明における「学習モデル」より出力する「捜索対象の種類」に相当する。また、引用発明における「CNN（畳み込みニューラルネットワーク）」は、実質的に「捜索対象の種類」を出力するものといえる。 （エ）以上のことから、本件補正発明の「取得した可視光用又は赤外線用の水上画像データを、それぞれの水上画像データが入力された場合に、画像における捜索対象の対象領域、及び、捜索対象の種類を出力するそれぞれの学習モデルに入力」することと、引用発明の「背景ピクセルを、適応型背景ガウス混合モデル（GMM）を使用してモデル化して、画像内のオブジェクトを背景から区別して、オブジェクトの境界を囲む最小のボックスと定義される境界ボックスによりオブジェクトを囲」むこと、及び、「入力が各クラス（ボート、ブイ、人間、パレット）のいずれかに属する確率を提供する」「CNN（畳み込みニューラルネットワーク）」の「交差検証」において、「オブジェクトの周囲を境界ボックスで囲んだ画像のデータベースを５つの等サイズのサブセットに分割し」た「１つのサブセットをテストセットとして」、「分類器」である「CNN（畳み込みニューラルネットワーク）」に入力し、「入力が各クラス（ボート、ブイ、人間、パレット）のいずれかに属する確率」を提供させることとは、「取得した赤外線用の水上画像データを、水上画像データが入力された場合に、画像における捜索対象の対象領域、及び、捜索対象の種類を出力する学習モデルに入力」する点で共通する。 ウ（ア）引用発明は、「CNN（畳み込みニューラルネットワーク）」を、「画像内のオブジェクトを背景から区別して、オブジェクトの境界を囲む最小のボックスと定義される境界ボックスによりオブジェクトを囲み」、「抽出されたオブジェクトに、ボート、パレット、人またはブイの３つのラベルのいずれかを割り当て、各ラベルを手動で検証し、誤りと判断された場合は修正して」いる。そうすると、引用発明の「CNN（畳み込みニューラルネットワーク）」に「固定翼UASに搭載されたサーマルカメラによって撮影された画像」を入力すると、出力される画像は、上記画像に対し、抽出されたオブジェクトに「オブジェクトの境界を囲む最小のボックスと定義される境界ボックスによりオブジェクトを囲」んだ画像を重畳して表示したものであるといえる。そして、当該「境界ボックス」の画像は、オブジェクトが存在する対象領域を示すものであり、かつ、もとの画像に付加される「付加画像」である。 （イ）上記（ア）の引用発明における「オブジェクトの境界を囲む最小のボックスと定義される境界ボックスによりオブジェクトを囲」んだ画像を表示することにより、境界ボックスにより囲まれた「オブジェクト」（捜索対象）の位置が認識されることは、当業者に自明である。 （ウ）以上のとおりであるから、本件補正発明において「前記それぞれの学習モデルの出力に応じた結果を表示し、さらに、前記学習モデルに入力された水上画像データの画像上に、前記捜索対象の対象領域、及び前記捜索対象の種類が示された付加画像を表示し、前記捜索対象の位置の認識に用いる」ことと、引用発明において「オブジェクトの境界を囲む最小のボックスと定義される境界ボックスによりオブジェクトを囲」んだ画像を表示することとは、「前記学習モデルの出力に応じた結果を表示し、さらに、前記学習モデルに入力された水上画像データの画像上に、前記捜索対象の対象領域が示された付加画像を表示し、前記捜索対象の位置の認識に用いる」点で共通する。 エ 引用発明における、上記「ア（ウ）」の「飛行体に設置されて赤外線による撮影機が撮影した水上の水上画像データを取得」する処理、上記「イ（エ）」の「取得した赤外線用の水上画像データを、水上画像データが入力された場合に、画像における捜索対象の対象領域、及び、捜索対象の種類を出力する学習モデルに入力」する処理及び上記「ウ（ウ」の「前記学習モデルの出力に応じた結果を表示し、さらに、前記学習モデルに入力された水上画像データの画像上に、前記捜索対象の対象領域が示された付加画像を表示し、前記捜索対象の位置の認識に用いる」処理が、コンピュータにより実行されることは、技術的にみて自明である。 また、上記イからして、引用発明の「オブジェクトの分類方法」は、「オブジェクト」（捜索対象）を検出することを含む。 よって、引用発明の上記の処理をコンピュータが実行する「オブジェクトの分類方法」は、本件補正発明の「処理をコンピュータが実行する対象検出方法」に相当する。 オ 以上のことから、本件補正発明と引用発明との一致点及び相違点は、次のとおりである。 【一致点】 「飛行体に設置された赤外線による撮影機が撮影した水上の水上画像データを取得し、 取得した赤外線用の水上画像データを、水上画像データが入力された場合に、画像における捜索対象の対象領域、及び、捜索対象の種類を出力する学習モデルに入力し、 前記学習モデルの出力に応じた結果を表示し、 さらに、前記学習モデルに入力された水上画像データの画像上に、前記捜索対象の対象領域が示された付加画像を表示し、 前記捜索対象の位置の認識に用いる、 処理をコンピュータが実行する対象検出方法。」 【相違点１】 「飛行体に設置された撮影機」による「撮影」方位を、本件補正発明においては、「飛行体の飛行方位と異なる方位とする」と特定されているのに対して、引用発明においては特定されていない点。 【相違点２】 「撮影機が撮影した水上画像データ」が、本件補正発明においては、「可視光及び赤外光による」ものであるのに対して、引用発明においては、赤外光によるものであり、取得した水上画像データが、本件補正発明においては、「それぞれの」、すなわち上記上申書の主張を踏まえると「前記可視光用又は赤外線用の」ものであり、入力された場合に画像における捜索対象の対象領域、及び、捜索対象の種類を出力する学習モデルが、本件補正発明においては、「それぞれの」、すなわち「可視光用又は赤外線用の」ものであるのに対して、引用発明においては、赤外線用のみである点。 【相違点３】 「前記学習モデルに入力された水上画像データの画像上に表示される付加画像」が、本件補正発明では、「前記捜索対象の対象領域、及び前記捜索対象の種類」の両方が示されたものであるのに対して、引用発明では、前記捜索対象の対象領域が示されたもののみである点。 （４）判断 以下、各相違点について検討する。 ア 相違点１について 引用発明において、サーマルカメラは、固定翼UASの周辺を検出するためのものである。 ここで、周辺を検出するために、複数の検出器を複数の異なる方向に向けて設けた移動体が本願の優先日前に周知の技術であったことからすると（周知技術１）、複数の異なる方向、より広い範囲を同時に検出するために、引用発明における検出器であるサーマルカメラを複数として、複数の異なる方向に向けて設けることは、当業者であれば容易になし得たことといえる。 ある時点における固定翼UASの飛行方位は１つであり、上記のように構成したものにおいて、少なくとも１つのサーマルカメラが飛行方位と異なる方位を撮影することは明らかであるから、撮影方位を「飛行体の飛行方位と異なる方位とする」ことを満たすことになる。 よって、引用発明において、上記相違点１に係る構成となすことは、当業者が周知技術１に基づいて容易に想到し得たことである。 イ 相違点２について 引用文献１に記載の技術的事項によれば、（引用発明における）固定翼UASには、サーマルカメラに加えて、RGB画像を撮影するEO（Electro-Optical）カメラも搭載されており、熱画像に加えてRGB画像も撮影されていたことが明らかである。 さらに、次のステップとしてRGB画像中のオブジェクトを分類するCNNの開発がなされるところ、RGB画像中のオブジェクトを分類するCNN及び「適応型背景ガウス混合モデル（GMM）」には、当然にRGB画像が入力されて、引用発明のものと同様に「オブジェクトの境界を囲む最小のボックスと定義される境界ボックス」（捜索対象の対象領域）及び「各クラス（ボート、ブイ、人間、パレット）のいずれかに属する確率」（捜索対象の種類）が出力されることとなる。 してみれば、引用発明において、上記相違点２に係る構成となすことは、当業者が引用文献１に記載の技術的事項に基づいて容易に想到し得たことである。 ウ 相違点３について 引用発明は、実際の海上SAR任務において、分類予測を行った結果をオペレーターに通知し、オペレーターの追加支援となることが想定されている（上記（２）ア（ア）ａ、ｑ参照）。 表示画像に、検出対象の種類に応じた表示を重畳して表示することは、本願の優先日前に周知の技術であることからすると（周知技術２）、引用発明において、分類予測を行った結果であるところの、オブジェクトが各クラス（ボート、ブイ、人間、パレット）のいずれに属するかの情報を表示画像に重畳して表示することは、当業者が周知技術２に基づいて容易に想到し得たことである。 エ そして、これらの相違点を総合的に勘案しても、本件補正発明の奏する作用効果は、引用発明及び引用文献２～４に記載された周知技術の奏する作用効果から予測される範囲内のものにすぎず、格別顕著なものということはできない。 オ 審判請求人の主張について （ア）審判請求人は、請求の理由において、請求項１に係る発明が備える 『Ａ．「飛行体に設置されて前記飛行体の飛行方位と異なる方位を撮影方位とする可視光及び赤外線による撮影機が撮影した水上の水上画像データを取得するデータ取得部と」、 Ｂ．「前記データ取得部が取得した可視光用又は赤外線用の水上画像データを、それぞれの水上画像データが入力された場合に、画像における捜索対象の対象領域、及び、捜索対象の種類を出力するそれぞれの学習モデルに入力するデータ入力部と」及び Ｃ．「前記それぞれの学習モデルの出力に応じた結果を表示する表示機とを備え」』 という構成要件について、引用文献１～５には何らの記載も示唆もないと主張している。そして、請求項１３に係る発明については、 「４．請求項１３～１４について 本願の請求項１３～１４に係る発明は、請求項１に係る発明と実質的に同一の発明であるから、特許法第２９条第２項の規定により拒絶されるものではない。」と主張している。 当該主張について検討する。 請求項１と請求項１３とのカテゴリーの違いはあるものの、構成Ａについては、上記ア及びイにて述べたように、また、構成Ｂについては、上記イにて述べたように、構成Ｃについては、上記イにて述べたように、いずれも、引用発明、引用文献１の記載事項、周知技術１及び周知技術２に基づいて当業者が容易に想到することができたものである。 よって、当該主張を採用することはできない。 （イ）さらに、審判請求人は、請求の理由において、「遭難者の捜索は、昼間の明るい環境下だけでなく、夜間の暗い環境下でも行われなければならず、本願発明は、昼夜を問わず、かつ昼夜の温度が異なる環境下でも、捜索対象の正確な検出を実現できる。また、本願発明は、サーマルカメラを用いるものではないから、引用文献１に記載の発明のように、人間とその周囲の海面との温度差が異なる場合にのみ海面上の人を検出できるものに留まらず、人間の低体温化により、人間とその周囲の海面との温度差が極めて小さい場合でも、捜索対象の正確な検出を実現できる。別言すれば、引用文献１に記載の発明には、人間の低体温化により、人間とその周囲の海面との温度差が極めて小さい場合でも、捜索対象の正確な検出を実現できるという本願発明の作用効果は奏しない。」と主張し、また、「本願発明は、飛行体の飛行方位と異なる方位を撮影方位とする可視光及び赤外線による撮影機を備えるものであり、前述の構成要件Ａ～Ｃを備えることにより、人間とその周囲の海面との温度差が異なる場合にのみ海面上の人を検出できるものに留まらず、人間の低体温化により、人間とその周囲の海面との温度差が極めて小さい場合でも、捜索対象の正確な検出を実現できる、という引用文献２の周知技術から把握できる以上の作用効果を奏するものであるから、審査官の判断は妥当ではない。」とも主張している。 当該主張について検討する。 データ収集に用いたUASには、サーマルカメラに加えて、EO（Electro-Optical）カメラも搭載されており、熱画像に加えてRGB画像も撮影されていたことも、次のステップとして、RGB画像中のオブジェクトを分類するCNNを開発することも引用文献１に開示されていたところであり（上記（２）アｒ参照）、引用発明において、CNN（学習モデル）にEO（Electro-Optical）カメラで撮影したRGB画像（可視光による水上画像データ）を入力して学習させて、捜索対象の対象領域、及び、捜索対象の種類を出力するものとなすことは、引用文献１に記載の技術的事項に基づいて当業者が容易に想到し得たことであることは、上記イ及びウにて述べたところである。また、そのように構成した結果、上記主張に係る効果を奏することは、当業者といえども到底予測し得ないような格別ないし異質なものであるとは認められないから、当該主張を採用することはできない。 カ したがって、本件補正発明は、引用発明、引用文献１に記載の技術的事項、周知技術１及び２に基づいて、当業者が容易に発明をすることができたものであり、特許法第２９条第２項の規定により、特許出願の際独立して特許を受けることができないものである。 ３ 本件補正についてのむすび よって、本件補正は、特許法第１７条第の２第６項において準用する同法第１２６条第７項の規定に違反するので、同法第１５９条第１項の規定において読み替えて準用する同法第５３条第１項の規定により却下すべきものである。 よって、上記補正の却下の決定の結論のとおり決定する。 第３ 本願発明について １ 本願発明 令和６年１２月 ６日にされた手続補正（本件補正）は、上記のとおり却下されたので、本願の請求項に係る発明は、令和６年 ８月 ５日にされた手続補正により補正された特許請求の範囲の請求項１ないし１４に記載された事項により特定されるものであるところ、その請求項１３に係る発明（以下「本願発明」という。）は、その請求項１３に記載された事項により特定される、前記第２［理由］１（１）に記載のとおりのものである。 ２ 原査定の拒絶の理由 原査定の拒絶の理由は、この出願の請求項１３に係る発明は、下記のとおり請求項１に係る発明と同様に、本願の優先権主張の日前に頒布された又は電気通信回線を通じて公衆に利用可能となった下記の引用文献１に記載された発明、引用文献２に記載された周知技術、引用文献３、４に記載された技術的事項に基づいて、その出願前にその発明の属する技術の分野における通常の知識を有する者が容易に発明をすることができたものであるから、特許法第２９条第２項の規定により特許を受けることができない、というものを含む。 「請求項１に係る発明は、引用文献１～４に記載された発明に基づいて当業者が容易に発明をすることができたものである。また、請求項１２～１４に係る発明についても同様。」 引用文献１．Christopher Dahlin Rodin et al.，Object Classification in Thermal Images using Convolutional Neural Networks for Search and Rescue Missions with Unmanned Aerial Systems，2018 International Joint Conference on Neural Networks (IJCNN)，2018年07月08日，DOI: 10.1109/IJCNN.2018.8489465 引用文献２．特表２００７－５０３００４号公報(周知技術を示す文献) 引用文献３．特開２０１８－１０１８５０号公報 引用文献４．特開２０１７－１６２４３８号公報 ３ 引用文献 原査定の拒絶の理由で引用された引用文献１ないし４及びその記載事項は、前記第２の［理由］２（２）に記載したとおりである。 ４ 対比・判断 本願発明は、前記第２の［理由］２で検討した本件補正発明から、「撮影機」について、「可視光及び赤外線による」ものであるとする限定事項、「取得した水上画像データ」について、「可視光用又は赤外線用の」ものであるとする限定事項、「水上画像データが入力された場合」の「学習モデル」への入力について、「それぞれの」水上画像データが入力された場合に、「それぞれの」学習モデルに入力するものであるとする限定事項、及び、表示する学習モデルの出力結果が、「それぞれの」学習モデルのものであるとする限定事項を削除したものである。 そうすると、本願発明の発明特定事項を全て含み、さらに他の事項を付加したものに相当する本件補正発明が、前記第２の［理由］２（３）、（４）に記載したとおり、引用発明、引用文献１に記載の技術的事項、周知技術１及び２に基づいて、当業者が容易に発明をすることができたものであるから、本願発明も、引用発明及び周知技術１及び２に基づいて、当業者が容易に発明をすることができたものである。 第４ 上申書及び補正案発明について １ 請求人は、上申書の「２．審判請求人の意見」において、次のように述べ、本件補正後の請求項１３をさらに補正する案を提示している。 『再度の補正の機会をいただけるのであれば、請求項１、１３、１４を以下のとおり補正することを望むものである。 ・・・略・・・ （２）請求項１３ 「取得した可視光用又は赤外線用の水上画像データを、それぞれの水上画像データが入力された場合に、画像における捜索対象の対象領域、及び、捜索対象の種類を出力するそれぞれの学習モデルに入力し、」との記載を、 「取得した可視光用又は赤外線用の水上画像データを、それぞれの水上画像データが入力された場合に、画像における捜索対象の対象領域、及び、捜索対象の種類を出力する可視光用又は赤外線用の学習モデルに入力し、」のとおり補正し、 「前記それぞれの学習モデルの出力に応じた結果を表示し、」との記載を、 「前記可視光用又は赤外線用の学習モデルの出力に応じた結果を表示し、」のとおり補正することを望むものである。』 ２ 上記１の補正案のとおりに本件補正後の請求項１３をさらに補正した発明（以下「補正案発明」という。）について検討する。 前記第２の［理由］２において、『なお、請求人の上申書における補正案としての主張を踏まえると、「それぞれの」は「可視光用又は赤外線用の」意味であると解される。』と述べたように、特許法第１７条第の２第６項において準用する同法第１２６条第７項の規定に適合するか（特許出願の際独立して特許を受けることができるものであるか）を検討した発明は、補正案発明と同一である。 よって、仮に上記１の補正案のとおりに補正したとしても、補正案発明は、前記第２の［理由］２（３）、（４）において述べたとおり、当業者が容易に発明をすることができたものであるから、補正案発明を本願発明として受け入れるべく、新たな拒絶理由を通知する必要のないものである。 以上のとおり、請求人が上申書において提示した補正案により補正した発明は、特許法第２９条第２項の規定により特許を受けることができないものであるから、これを受け入れる余地はない。 第５ むすび 以上のとおり、本願発明は、特許法第２９条第２項の規定により特許を受けることができないから、他の請求項に係る発明について検討するまでもなく、本願は拒絶されるべきものである。 よって、結論のとおり審決する。