2022-700915

特許第７０３７４３８号発明「コロニー検出装置、コロニー検出方法、及びコロニー検出プログラム」の特許異議申立事件について、次のとおり決定する。

結 論 特許第７０３７４３８号の特許請求の範囲を訂正請求書に添付された訂正特許請求の範囲のとおり、訂正後の請求項〔１～８〕、９、１０、１１、１２、１３について訂正することを認める。 特許第７０３７４３８号の請求項１ないし４、６ないし１３に係る特許を維持する。 特許第７０３７４３８号の請求項５に係る特許についての特許異議の申立てを却下する。

理 由 第１ 手続の経緯及び証拠方法 １ 手続の経緯 特許第７０３７４３８号（請求項の数１３。以下、「本件特許」という。）は、平成３０年 ５月３１日に出願（特願２０１８－１０４７５９号）され、令和 ４年 ３月 ８日に特許権の設定登録がされ、令和 ４年 ３月１６日に特許掲載公報が発行された。 その後、令和 ４年 ９月１６日に、本件特許の請求項１～１３に係る特許に対して、特許異議申立人である御代川 友美（以下、「申立人」という。）から特許異議の申立てがなされた。 手続の経緯は以下のとおりである。 令和４年 ９月１６日 特許異議申立書の提出 令和５年 １月１０日付け 取消理由通知書 令和５年 ３月 ３日 訂正請求書、意見書の提出（特許権者） 令和５年 ４月１１日付け 通知書（申立人宛） 令和５年 ５月１２日 意見書の提出（申立人） なお、本件申立てに係る審理は、請求項１～１３、すなわち、全請求項を審理対象とし、審理対象でない請求項は存しない。 ２ 証拠方法 申立人が特許異議申立書（以下、「申立書」という。）に添付した証拠方法は、以下のとおりである。 甲第１号証：特表２００６－５０７８３７号公報 甲第２号証：Bacterial Colony Counting by Convolutional Neural Networks, 2015 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), 2015, p.7458-7461 甲第３号証：特表２０１６－５３１７０９号公報 甲第４号証：2008 IEEE International Conference on Sensor Networks, Ubiquitous, and Trustworthy Computing(sutc 2008), 2008, p.233-240 甲第５号証：特開２０１６－２６５００号公報 甲第６号証：31st Fuzzy System Symposium, 2015, p.379-382 甲第７号証 arXiv e-prints, 2018 Feb, 1802.10548 甲第８号証：Computer Methods in Biomechanics and Biomedical Engineering: Imaging & Visualization, 2016, Vol.6, No.3, p.283-292 甲第９号証 国際公開第２０１５／０８０００１号 第２ 訂正の適否についての判断 １ 訂正の内容 本件訂正請求による訂正の内容は、以下の（１）～（２１）のとおりである。 （１）訂正事項１ 特許請求の範囲の請求項１に「コロニー候補領域を抽出する領域抽出部」と記載されているのを、「コロニー候補領域を複数抽出する領域抽出部」に訂正する。 （２）訂正事項２ 特許請求の範囲の請求項１に「前記コロニー候補領域にコロニーがあるか否かを判別するコロニー判別部」と記載されているのを、「前記コロニー候補領域のそれぞれにコロニーがあるか否かを判別するコロニー判別部」に訂正する。 （３）訂正事項３ 特許請求の範囲の請求項１に「前記モデル記憶部から取得して、コロニーの有無を判別する」と記載されているのを、「前記モデル記憶部から取得して、コロニーの有無を判別し、前記領域抽出部は、取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた複数の領域のそれぞれをコロニー候補領域とする」に訂正する。 （４）訂正事項４ 特許請求の範囲の請求項５を削除する。 （５）訂正事項５ 特許請求の範囲の請求項６に「請求項１から請求項５のいずれか一項に記載のコロニー検出装置」と記載されているのを、「請求項１から請求項４のいずれか一項に記載のコロニー検出装置」に訂正する。 （６）訂正事項６ 特許請求の範囲の請求項７に「請求項１から請求項６のいずれか一項に記載のコロニー検出装置」と記載されているのを、「請求項１から請求項４、６のいずれか一項に記載のコロニー検出装置」に訂正する。 （７）訂正事項７ 特許請求の範囲の請求項９に「コロニー候補領域を抽出する領域抽出部」と記載されているのを、「コロニー候補領域を複数抽出する領域抽出部」に訂正する。 （８）訂正事項８ 特許請求の範囲の請求項９に「前記コロニー候補領域にコロニーがあるか否かを判別するコロニー判別部」と記載されているのを、「前記コロニー候補領域のそれぞれにコロニーがあるか否かを判別するコロニー判別部」に訂正する。 （９）訂正事項９ 特許請求の範囲の請求項９に「分割して得られた領域をコロニー候補領域とする」と記載されているのを、「分割して得られた複数の領域のそれぞれをコロニー候補領域とする」に訂正する。 （１０）訂正事項１０ 特許請求の範囲の請求項１０に「培地画像を取得しと、取得された前記培地画像から前記コロニーの有無を検出対象とする領域であるコロニー候補領域を抽出し」と記載されているのを、「培地画像を取得し、取得された前記培地画像から前記コロニーの有無を検出対象とする領域であるコロニー候補領域を複数抽出し」に訂正する。 （１１）訂正事項１１ 特許請求の範囲の請求項１０に「前記コロニー候補領域にコロニーがあるか否かを判別し」と記載されているのを、「前記コロニー候補領域のそれぞれにコロニーがあるか否かを判別し」に訂正する。 （１２）訂正事項１２ 特許請求の範囲の請求項１０に「モデル記憶部から取得して、コロニーの有無を判別する」と記載されているのを、「モデル記憶部から取得して、コロニーの有無を判別し、取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた複数の領域のそれぞれをコロニー候補領域とする」に訂正する。 （１３）訂正事項１３ 特許請求の範囲の請求項１１に「コロニー候補領域を抽出する領域抽出部」と記載されているのを、「コロニー候補領域を複数抽出する領域抽出部」に訂正する。 （１４）訂正事項１４ 特許請求の範囲の請求項１１に「前記コロニー候補領域にコロニーがあるか否かを判別するコロニー判別部」と記載されているのを、「前記コロニー候補領域のそれぞれにコロニーがあるか否かを判別するコロニー判別部」に訂正する。 （１５）訂正事項１５ 特許請求の範囲の請求項１１に「前記モデル記憶部から取得して、コロニーの有無を判別する」と記載されているのを、「前記モデル記憶部から取得して、コロニーの有無を判別し、前記領域抽出部は、取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた複数の領域のそれぞれをコロニー候補領域とする」に訂正する。 （１６）訂正事項１６ 特許請求の範囲の請求項１２に「コロニー候補領域を抽出し」と記載されているのを、「コロニー候補領域を複数抽出し」に訂正する。 （１７）訂正事項１７ 特許請求の範囲の請求項１２に「前記コロニー候補領域にコロニーがあるか否かを判別し」と記載されているのを、「前記コロニー候補領域のそれぞれにコロニーがあるか否かを判別し」に訂正する。 （１８）訂正事項１８ 特許請求の範囲の請求項１２に「取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた領域をコロニー候補領域とする」と記載されているのを、「取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた複数の領域のそれぞれをコロニー候補領域とする」に訂正する。 （１９）訂正事項１９ 特許請求の範囲の請求項１３に「コロニー候補領域を抽出する領域抽出部」と記載されているのを、「コロニー候補領域を複数抽出する領域抽出部」に訂正する。 （２０）訂正事項２０ 特許請求の範囲の請求項１３に「前記コロニー候補領域にコロニーがあるか否かを判別するコロニー判別部」と記載されているのを、「前記コロニー候補領域のそれぞれにコロニーがあるか否かを判別するコロニー判別部」に訂正する。 （２１）訂正事項２１ 特許請求の範囲の請求項１３に「取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた領域をコロニー候補領域とする」と記載されているのを、「取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた複数の領域のそれぞれをコロニー候補領域とする」に訂正する。 訂正前の請求項２～８は、訂正前の請求項１を直接又は間接的に引用する関係にあり、訂正事項１～３によって、訂正される訂正前の請求項１に連動して、訂正前の請求項２～８も訂正されるから、訂正前の請求項１～８は一群の請求項に該当するものである。 ２ 訂正の目的の適否、新規事項の有無、及び特許請求の範囲の拡張・変更の存否 （１）訂正事項１、７、１３、１６、１９について 請求項１、９、１１、１３に係る「コロニー候補領域を抽出する領域抽出部」は、「コロニー候補領域を複数抽出する領域抽出部」の上位概念であるから、「コロニー候補領域を抽出する領域抽出部」を、「コロニー候補領域を複数抽出する領域抽出部」とする訂正事項１、７、１３、１９は、特許請求の範囲の減縮を目的とするものである。 設定登録時の願書に添付した明細書（以下、「明細書」という。）の発明の詳細な説明【００５３】には、 「次に、画像データ解析部４２は、前景画像に対して、Ｗａｔｅｒｓｈｅｄ法を適用して、隣接しているコロニーのエリアを分離する（Ｓ３０５）。ここで、Ｗａｔｅｒｓｈｅｄ法とは、画像の輝度を用いて、オブジェクトの輪郭を判定するためのアルゴリズムである。なお、後工程（Ｓ２０６）において、コロニー識別用学習済みモデル４８を用いて、コロニーを判別する処理において、１つのコロニー候補領域において、複数個のコロニーが含まれることを想定したクラス分類を行うため、ステップＳ３０５においては、全ての隣接したコロニーの領域を詳細に分離する必要性はない。なお、コロニーのエリアを分割する方法として、Ｗａｔｅｒｓｈｅｄ法を挙げたが、複数のコロニーのエリアを分離することのできる処理方法であれば、他の方法であってもよい。このステップによると、図７（ｄ）に示す前景画像が、図７（ｅ）に示すような画像に変換される。」 【００５４】には、 「次に、画像データ解析部４２は、相対的にその面積が非常に小さい領域はコロニーではないという経験値に基づいて、所定の閾値以上の面積の領域のみをコロニー候補領域とする（Ｓ３０６）。ここで、使用する閾値は、閾値対応テーブル４７の製品種別に対応する閾値Ｙ４７ｃの閾値としてもよい。このように、製品種別に対応する閾値を使用することにより、その培地の画像に適した処理を行うことができ、より適切なコロニー候補領域を抽出することができる。」 図７には、 「 ［図：0001403649000001.jpg］ 」 と記載されている。 このように、明細書には、画像データ解析部４２は、培地画像図７（ａ）から図７（ｅ）のとおり複数の領域をコロニー候補領域として抽出することが記載されている。 したがって、訂正事項１、７、１３、１９は、明細書に記載されており、実質上特許請求の範囲を拡張し、又は変更するものではないと認められる。 特許請求の範囲の請求項１２に「コロニー候補領域を抽出し」と記載されているのを、「コロニー候補領域を複数抽出し」に訂正する訂正事項１６についても、訂正事項１、７、１３、１９と同様に、特許請求の範囲の減縮を目的とするものであり、訂正事項１６は、明細書に記載されており、実質上特許請求の範囲を拡張し、又は変更するものではないと認められる。 （２）訂正事項２、８、１１、１４、１７、２０について 請求項１、９、１１、１３に係る「前記コロニー候補領域にコロニーがあるか否かを判別するコロニー判別部」は、「前記コロニー候補領域のそれぞれにコロニーがあるか否かを判別するコロニー判別部」の上位概念であるから、「前記コロニー候補領域にコロニーがあるか否かを判別するコロニー判別部」を、「前記コロニー候補領域のそれぞれにコロニーがあるか否かを判別するコロニー判別部」に変更する訂正事項２、８、１４、２０は、特許請求の範囲の減縮を目的とするものである。 次に、明細書の発明の詳細な説明には、 「【００４０】 次に、画像データ解析部４２は、ステップＳ２０１で取得した培地画像を対象として、候補領域抽出処理（図６参照）を実行することにより、コロニー候補領域を抽出する（Ｓ２０５）。 【００４１】 次に、画像データ解析部４２は、ステップＳ２０５において抽出したコロニー候補領域のそれぞれを処理対象として、ループＡの処理（Ｓ２０６，Ｓ２０７）を実行する。ここで、図５の説明において、処理対象とするコロニー候補領域を対象コロニー候補領域ということとする。 【００４２】 ループＡにおいては、画像データ解析部４２は、コロニー判別用学習モデル４８を用いて、対象コロニー候補領域に対して付与する識別クラスのラベルを判別する（Ｓ２０６）。ここで、識別クラスとは、対象コロニー候補領域にコロニーがあるか、ないか（例えば背景など）、また、対象コロニー候補領域にコロニーがある場合、対象コロニー候補領域に含まれるコロニーの数はいくつであるかを識別するためのクラスである。」と記載されている。 このように、明細書には、コロニー判別用学習モデル４８を用いて、抽出したコロニー候補領域のそれぞれを処理対象として、対象コロニー候補領域に対してコロニーがあるか、ないかを判別することが記載されている。 したがって、訂正事項２、８、１４、２０は、明細書に記載されており、実質上特許請求の範囲を拡張し、又は変更するものではないと認められる。 特許請求の範囲の請求項１０、１２に「前記コロニー候補領域にコロニーがあるか否かを判別し」と記載されているのを、「前記コロニー候補領域のそれぞれにコロニーがあるか否かを判別し」に訂正する訂正事項１１、１７についても、訂正事項２、８、１４、２０と同様に、特許請求の範囲の減縮を目的とするものであり、訂正事項１１、１７は、明細書に記載されており、実質上特許請求の範囲を拡張し、又は変更するものではないと認められる。 （３）訂正事項３、１２、１５について 訂正事項３、１２、１５の「（前記領域抽出部は、）取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた複数の領域のそれぞれをコロニー候補領域とする」は、請求項１、１１の「領域抽出部」及び請求項１０の「コロニー検出方法」を限定するものであるから、「前記モデル記憶部から取得して、コロニーの有無を判別する」を、「前記モデル記憶部から取得して、コロニーの有無を判別し、（前記領域抽出部は、）取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた複数の領域のそれぞれをコロニー候補領域とする」とする訂正は、特許請求の範囲の減縮を目的とするものである。 次に、明細書の発明の詳細な説明には、 「【００４９】 まず、画像データ解析部４２は、乾式簡易培地８０１の培地画像（培地画像データ）に対して、グレースケール変換を行う（Ｓ３０１)。このステップによると、例えば、図７（ａ）に示すオリジナルの培地画像（オリジナル画像：図示制限により白黒画像となっているが、実際にはカラー画像）が、図７（ｂ）に示すようなグレースケール画像に変換される。 【００５０】 次に、画像データ解析部４２は、グレースケール画像に対して２値化処理（例えば、適応的閾値処理)を行う（Ｓ３０２）。ここで、適応的閾値処理とは、撮像条件により画像領域で異なる光源環境となるような画像に対して有効な２値化処理であり、様々な光源環境で撮像される可能性がある培地画像に対して、有効な手段となる。この処理によると、据置型の装置のような均一な条件で撮像可能な撮像装置によって撮像された培地画像でなくても、精度よくコロニーの判別を行うことができる。なお、２値化処理として、適応的閾値処理を用いた例を示したが、本発明はこれに限られず、画像データに含まれる光源によるムラを緩和できる２値化処理であれば、他の処理であってもよい。ここで、このステップによると、例えば、図７（ｂ）に示すグレースケール画像が、図７（ｃ）に示すような２値化処理が行われた画像（２値化画像という）に変換される。 【００５１】 次に、画像データ解析部４２は、２値化画像に対し、ガウシアンフィルタを一例とする平滑化フィルタを用いて、ノイズ除去処理を適用する（Ｓ３０３）。 【００５２】 次に、画像データ解析部４２は、２値化画像に対して、膨張処理を施すことにより、２値化画像に現れている線分をなめらかにし、さらに、前景・背景分離処理により、膨張させた線分によって形成される領域の中から、特定の領域を抽出する（Ｓ３０４）。この処理は、例えば、膨張させた線分により囲まれる領域について、領域中の重心からの距離が、閾値対応テーブル４７の製品種別に対応する閾値（閾値Ｘ４７ｂの閾値）より小さい領域を削除し、重心からの距離が閾値以上の領域を抽出するものである。この処理により、２値化画像に現れた培地の模様などといった、後景、すなわちコロニーではない可能性の高い領域を効率的に取り除くことができる。このステップによると、図７（ｃ）に示す２値化画像が、図７（ｄ）に示すような画像（前景画像という）となる。前景画像を２値化画像と比較すると、背景(培地の模様や培地の基材)となる構成が画像から取り除かれていることがわかる。 【００５３】 次に、画像データ解析部４２は、前景画像に対して、Ｗａｔｅｒｓｈｅｄ法を適用して、隣接しているコロニーのエリアを分離する（Ｓ３０５）。ここで、Ｗａｔｅｒｓｈｅｄ法とは、画像の輝度を用いて、オブジェクトの輪郭を判定するためのアルゴリズムである。なお、後工程（Ｓ２０６）において、コロニー識別用学習済みモデル４８を用いて、コロニーを判別する処理において、１つのコロニー候補領域において、複数個のコロニーが含まれることを想定したクラス分類を行うため、ステップＳ３０５においては、全ての隣接したコロニーの領域を詳細に分離する必要性はない。なお、コロニーのエリアを分割する方法として、Ｗａｔｅｒｓｈｅｄ法を挙げたが、複数のコロニーのエリアを分離することのできる処理方法であれば、他の方法であってもよい。このステップによると、図７（ｄ）に示す前景画像が、図７（ｅ）に示すような画像に変換される。 【００５４】 次に、画像データ解析部４２は、相対的にその面積が非常に小さい領域はコロニーではないという経験値に基づいて、所定の閾値以上の面積の領域のみをコロニー候補領域とする（Ｓ３０６）。ここで、使用する閾値は、閾値対応テーブル４７の製品種別に対応する閾値Ｙ４７ｃの閾値としてもよい。このように、製品種別に対応する閾値を使用することにより、その培地の画像に適した処理を行うことができ、より適切なコロニー候補領域を抽出することができる。」と記載されている。 このように、明細書の発明の詳細な説明【００４９】～【００５４】には、取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた領域をコロニー候補領域とすることが記載されている。 したがって、訂正事項３は、明細書に記載されており、実質上特許請求の範囲を拡張し、又は変更するものではないと認められる。 特許請求の範囲の請求項１０、１１に「（前記）モデル記憶部から取得して、コロニーの有無を判別する」と記載されているのを、「（前記）モデル記憶部から取得して、コロニーの有無を判別し、（前記領域抽出部は、）取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた複数の領域のそれぞれをコロニー候補領域とする」に訂正する訂正事項１２、１５についても、訂正事項３と同様に、特許請求の範囲の減縮を目的とするものであり、訂正事項１２、１５は、明細書に記載されており、実質上特許請求の範囲を拡張し、又は変更するものではないと認められる。 （４）訂正事項４について 訂正事項４は、特許請求の範囲の請求項５を削除するものであるから、特許請求の範囲の減縮を目的とするものであり、新規事項の追加に該当せず、実質上特許請求の範囲を拡張し、又は変更するものでもない。 （５）訂正事項５、６について 訂正事項５、６は、多数項引用形式請求項の引用請求項を減少させるものであって、特許請求の範囲の減縮を目的とするものであるから、新規事項の追加に該当せず、実質上特許請求の範囲を拡張し、又は変更するものでもない。 （６）訂正事項９、１８、２１について 請求項９に係る「分割して得られた領域をコロニー候補領域とする」は、「分割して得られた複数の領域のそれぞれをコロニー候補領域とする」の上位概念であるから、「分割して得られた領域をコロニー候補領域とする」を、「分割して得られた複数の領域のそれぞれをコロニー候補領域とする」とする訂正事項９は、特許請求の範囲の減縮を目的とするものである。 また、「複数」の領域を「それぞれ」コロニー候補領域とすることは、いずれも（１）、（２）で述べたとおり、明細書に記載されているから、訂正事項９は、新規事項の追加に該当せず、実質上特許請求の範囲を拡張し、又は変更するものでもないと認められる。 特許請求の範囲の請求項１２、１３に「取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた領域をコロニー候補領域とする」と記載されているのを、「取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた複数の領域のそれぞれをコロニー候補領域とする」に訂正する訂正事項１８、２１についても、訂正事項９と同様に、特許請求の範囲の減縮を目的とするものであり、訂正事項１８、２１は、明細書に記載されており、実質上特許請求の範囲を拡張し、又は変更するものではないと認められる。 （７）訂正事項１０について 請求項１０に係る「培地画像を取得しと、」は、「培地画像を取得し、」の誤記であることが明らかであるから、「培地画像を取得しと、」を、「培地画像を取得し、」とする訂正は、誤記の訂正を目的とするものであって、新規事項の追加に該当せず、実質上特許請求の範囲を拡張し、又は変更するものでもない。 また、請求項１０に「コロニー候補領域を抽出し」と記載されているのを、「コロニー候補領域を複数抽出し」に訂正することは、（１）で述べたとおり、訂正事項１６と同様に、特許請求の範囲の減縮を目的とするものであり、訂正事項１０は、明細書に記載されており、実質上特許請求の範囲を拡張し、又は変更するものではないと認められる。 ３ 小括 以上のとおりであるから、本件訂正請求による訂正は、特許法第１２０条の５第２項ただし書第１号（特許請求の範囲の減縮）及び第２号（誤訳及び誤記の訂正）に掲げる事項を目的とするものであり、同条第９項において準用する同法第１２６条第５項及び第６項の規定に適合している。 したがって、特許請求の範囲を、訂正請求書に添付された訂正特許請求の範囲のとおり、訂正後の請求項〔１～８〕、９、１０、１１、１２、１３について訂正することを認める。 第３ 訂正後の本件発明 本件訂正請求により訂正された請求項１～１３に係る発明（以下、訂正された請求項１に係る発明を「本件発明１」という。また、訂正前の請求項１に係る発明を「訂正前本件発明１」という。他の請求項についても同様である。）は、訂正特許請求の範囲の請求項１～１３に記載された次の事項により特定されるとおりのものである。 【請求項１】 微生物の培養後の培地の画像である培地画像から微生物由来のコロニーを検出するコロニー検出装置であって、 コロニーを検出する対象となる培地画像を取得する培地画像取得部と、 取得された前記培地画像から、前記コロニーの有無を検出対象とする領域であるコロニー候補領域を複数抽出する領域抽出部と、 前記コロニー候補領域における前記コロニーの有無を判別するための学習モデルを用いて、前記コロニー候補領域のそれぞれにコロニーがあるか否かを判別するコロニー判別部と、 前記コロニー判別部による判別結果に基づいて、前記培地画像中のコロニーの総数を算出する算出部と、 を備え、 前記コロニーの有無を判別するための複数の学習モデルを記憶するモデル記憶部と、 前記培地画像に対応する培地の培地種別を判別する培地判別部をさらに備え、 前記コロニー判別部は、前記判別された培地種別に適した学習モデルを前記モデル記憶部から取得して、コロニーの有無を判別し、 前記領域抽出部は、取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた複数の領域のそれぞれをコロニー候補領域とする コロニー検出装置。 【請求項２】 前記算出されたコロニーの総数に関する情報を出力する出力部をさらに備える 請求項１に記載のコロニー検出装置。 【請求項３】 前記学習モデルは、前記コロニー候補領域におけるコロニー数を判別可能なモデルであり、前記コロニー判別部は、前記コロニー候補領域におけるコロニーの有無及びコロニーがある場合のコロニー数を判別する 請求項１又は請求項２に記載のコロニー検出装置。 【請求項４】 前記培地画像には、前記培地種別を特定可能な情報を示すラベルの画像が含まれており、 前記培地判別部は、前記培地画像から前記ラベルの情報を識別し、前記培地種別を特定する 請求項１に記載のコロニー検出装置。 【請求項５】 （削除） 【請求項６】 前記培地画像取得部は、ネットワークを介して携帯端末から培地画像を取得する 請求項１から請求項４のいずれか一項に記載のコロニー検出装置。 【請求項７】 前記学習モデルとして、ニューラルネットワークモデルを用いる請求項１から請求項４、６のいずれか一項に記載のコロニー検出装置。 【請求項８】 前記ニューラルネットワークモデルは、畳み込みニューラルネットワークモデルである 請求項７に記載のコロニー検出装置。 【請求項９】 微生物の培養後の培地の画像である培地画像から微生物由来のコロニーを検出するコロニー検出装置であって、 コロニーを検出する対象となる培地画像を取得する培地画像取得部と、 取得された前記培地画像から、前記コロニーの有無を検出対象とする領域であるコロニー候補領域を複数抽出する領域抽出部と、 前記コロニー候補領域における前記コロニーの有無を判別するための学習モデルを用いて、前記コロニー候補領域のそれぞれにコロニーがあるか否かを判別するコロニー判別部と、 前記コロニー判別部による判別結果に基づいて、前記培地画像中のコロニーの総数を算出する算出部と、 を備え、 前記領域抽出部は、取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた複数の領域のそれぞれをコロニー候補領域とする コロニー検出装置。 【請求項１０】 微生物の培養後の培地の画像である培地画像から微生物由来のコロニーを検出するコロニー検出装置によるコロニー検出方法であって、 コロニーを検出する対象となる培地画像を取得し、 取得された前記培地画像から前記コロニーの有無を検出対象とする領域であるコロニー候補領域を複数抽出し、 前記コロニー候補領域における前記コロニーの有無を判別するための学習モデルを用いて、前記コロニー候補領域のそれぞれにコロニーがあるか否かを判別し、 前記判別の結果に基づいて、前記培地画像中のコロニーの総数を算出し、 前記コロニー候補領域にコロニーがあるか否かを判別する際において、前記培地画像に対応する培地の培地種別を判別し、前記判別された培地種別に適した学習モデルを、前記コロニーの有無を判別するための複数の学習モデルを記憶するモデル記憶部から取得して、コロニーの有無を判別し、 取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた複数の領域のそれぞれをコロニー候補領域とする コロニー検出方法。 【請求項１１】 微生物の培養後の培地の画像である培地画像から微生物由来のコロニーを検出するコロニー検出装置を構成するコンピュータに実行させるコロニー検出プログラムであって、 前記コロニー検出プログラムは、 前記コンピュータを コロニーを検出する対象となる培地画像を取得する培地画像取得部と、 取得された前記培地画像から、前記コロニーの有無を検出対象とする領域であるコロニー候補領域を複数抽出する領域抽出部と、 前記コロニー候補領域における前記コロニーの有無を判別するための学習モデルを用いて、前記コロニー候補領域のそれぞれにコロニーがあるか否かを判別するコロニー判別部と、 前記コロニー判別部による判別結果に基づいて、前記培地画像中のコロニーの総数を算出する算出部と、して機能させ、 更に、 前記コロニーの有無を判別するための複数の学習モデルを記憶するモデル記憶部と、 前記培地画像に対応する培地の培地種別を判別する培地判別部として機能させ、 前記コロニー判別部は、前記判別された培地種別に適した学習モデルを前記モデル記憶部から取得して、コロニーの有無を判別し、 前記領域抽出部は、取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた複数の領域のそれぞれをコロニー候補領域とする コロニー検出プログラム。 【請求項１２】 微生物の培養後の培地の画像である培地画像から微生物由来のコロニーを検出するコロニー検出装置によるコロニー検出方法であって、 コロニーを検出する対象となる培地画像を取得しと、 取得された前記培地画像から前記コロニーの有無を検出対象とする領域であるコロニー候補領域を複数抽出し、 前記コロニー候補領域における前記コロニーの有無を判別するための学習モデルを用いて、前記コロニー候補領域のそれぞれにコロニーがあるか否かを判別し、 前記判別の結果に基づいて、前記培地画像中のコロニーの総数を算出し、 前記コロニー候補領域を抽出する際に、取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた複数の領域のそれぞれをコロニー候補領域とする コロニー検出方法。 【請求項１３】 微生物の培養後の培地の画像である培地画像から微生物由来のコロニーを検出するコロニー検出装置を構成するコンピュータに実行させるコロニー検出プログラムであって、 前記コロニー検出プログラムは、 前記コンピュータを コロニーを検出する対象となる培地画像を取得する培地画像取得部と、 取得された前記培地画像から、前記コロニーの有無を検出対象とする領域であるコロニー候補領域を複数抽出する領域抽出部と、 前記コロニー候補領域における前記コロニーの有無を判別するための学習モデルを用いて、前記コロニー候補領域のそれぞれにコロニーがあるか否かを判別するコロニー判別部と、 前記コロニー判別部による判別結果に基づいて、前記培地画像中のコロニーの総数を算出する算出部と、して機能させ、 前記領域抽出部は、取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた複数の領域のそれぞれをコロニー候補領域とする コロニー検出プログラム。 第４ 取消理由通知に記載した取消理由について １ 取消理由の概要 訂正前の請求項１～１３に係る特許に対して、当審が令和 ５年 １月１０日付けで特許権者に通知した取消理由の要旨は、次のとおりである。 請求項１～１３に係る発明は、甲第１号証に記載された発明及び、甲第２号証、甲第４号証、甲第７号証、甲第９号証、当審で新たに引用した文献Ａ、文献Ｂ、文献Ｃに基いて、当業者が容易に発明をすることができたものである。よって、請求項１～１３に係る特許は、特許法第２９条第２項の規定に違反してされたものであり、取り消されるべきものである。 ２ 文献 甲第１号証 特表２００６－５０７８３７号公報（以下、甲１という。その他も同様。） 甲第２号証 2015 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society(EMBC), 2015, p.7458-7461（周知技術を示す文献） 甲第４号証 2008 IEEE International Conference on Sensor Networks, Ubiquitous, and Trustworthy Computing(sutc 2008), 2008, p.233-240（周知技術を示す文献） 甲第５号証 特開２０１６－２６５００号公報 甲第７号証 arXiv e-prints, 2018 Feb, 1802.10548（周知技術を示す文献） 甲第９号証 国際公開第２０１５／０８０００１号（周知技術を示す文献） 文献Ａ 特開２０１４－０１８１８４号公報（周知技術を示す文献；当審で新たに引用した文献） 文献Ｂ 国際公開第２００６／０８０２３９号（周知技術を示す文献；当審で新たに引用した文献） 文献Ｃ 特開２０１６－０６７３２２号公報（周知技術を示す文献；当審で新たに引用した文献） ３ 各文献の記載事項 （１）甲１の記載事項 甲１には以下のとおり記載されている。（下線は当審による。） （甲１（ア）） 「【０００５】 生物スキャナとは生物成長培地上の細菌コロニーまたは特定の生物剤の量を読み取るまたは計数するために用いる装置を指す。例えば食品試料または実験用試料を生物成長培地上に置いて、その後その培地を培養室内に挿入することができる。培養後、生物成長培地を生物スキャナ内に配置して細菌成長を自動検出および測定することができる。換言すれば生物スキャナは生物成長培地上の細菌または他の生物剤の検出および測定を自動化することにより、人為ミスを低減することによって生物試験プロセスを改善する。」 （甲１（イ）） 「【００１８】 発明の詳細な説明 本発明は生物成長プレート用生物スキャナに関する。生物成長プレートを生物スキャナに提示すると、生物スキャナはプレートの画像を生成するとともに画像の分析を行って生物成長を検出することができる。例えばスキャナは細菌コロニーの数など、画像に現れる生物剤の量を計数あるいは定量し得る。このように生物スキャナは生物成長プレートの分析を自動化することにより、このような分析を改善するとともに人為ミスの可能性を低減する。 【００１９】 また本発明による生物スキャナは、異なるタイプの生物成長プレートを走査するとともにプレート画像を分析するために画像処理プロファイルの選択を自動化する。スキャナはスキャナにより走査されるプレートのタイプを自動的に識別した後、識別したプレートタイプに適した画像処理プロファイルの１つを選択する。画像処理プロファイルは異なるタイプの生物成長プレートに対する画像取込条件、画像分析基準またはその両方の組み合わせを指定し得る。例えば画像処理プロファイルは、画像取込用の特定のプレートタイプの照明強度、継続時間および照明用色を指定し得る。また画像取込条件はカメラ利得、解像度、アパーチャ、および露光時間を含み得る。画像分析基準の点では画像処理プロファイルは、取込画像内の異なるタイプの細菌コロニーを計数する際に異なる色、形状、サイズおよび近接基準を指定することにより、分析結果の精度、例えば計数を向上し得る。そのため画像処理プロファイルは画像取込および分析の両方に関連し得る。精度は食品および実験用試料試験環境の両方において重要である。食品安全性の場合は特に、正確な結果によってライン生産、設備および環境試験を始めとする食品処理動作を通して重要管理点での衛生確認が可能になる。」 （甲１（ウ）） 「【００３２】 成長エリア２６内の生物成長プレート２２の表面上に、概して液状の被験材料の試料を配置した後、プレート２２を培養室（図示せず）に挿入することができる。培養室において、図４の生物成長プレート２２に示すように成長プレート２２により成長する細菌コロニーまたは他の生物剤が出現する。図４の生物成長プレート２２上の様々なドット３０で表されるコロニーはプレート２２上に異なる色で出現し、スキャナ１０による細菌コロニーの自動検出および測定を容易にする。 【００３３】 図５Ａ～５Ｄは、画像処理プロファイル選択用に生物成長プレート２２により担持される例示的なプレートタイプ標識２８を図示する図である。またプレートタイプ標識２８は光学的または機械的読取可能性を可能にするパターン、マーク、アパーチャ、表面輪郭等の形状を取り得る。例えば光復号器、バーコードスキャナ、光学式文字識別（ＯＣＲ）プロセッサ等により異なる光学パターンを読み取ることができる。アパーチャまたは輪郭の場合、機械的な針がアパーチャまたは輪郭と相互作用して異なるパターンを検出して電気信号を生成し得る。代替的にはプレートタイプ標識２８は磁気的な符号化ストライプまたはマーカーであり、もしくは無線識別表示を担持して磁気的または無線読取可能性を可能にする。 【００３４】 生物成長プレート２２の表面上、例えば成長エリア２６の外側にインクを印刷または付着させることにより光学的に読取可能なパターンを形成し得る。アパーチャまたは表面輪郭パターンは穿孔、刻印、エンボス、打ち抜き等により、生物成長プレート２２内に形成することができる。磁気ストライプまたは無線識別表示を、例えば接着剤または積層技術により生物成長プレート２２の表面に貼り付け得る。さらに生物成長プレート２２の表面に磁気または無線標識を担持する必要はなく、成長プレートが多層構造を有する場合には成長プレートの層間に介在させ得る。いずれの場合も生物成長プレート２２のタイプを識別するために、工場において様々なプレートタイプ標識２８を形成し得る。」 （甲１（エ）） 「【００４０】 図６は生物スキャナ１０の内部動作を図示するブロック図である。図６に図示するように、生物成長プレート２２は台（図６では図示せず）上の生物スキャナ１０の内部に配置されている。台は生物成長プレート２２を撮像装置３２の所望の焦点面に配置する。撮像装置３２は成長プレート２２の上面および背面照明用の照明ハードウェア、および成長プレート２２の表面の画像を取り込むラインまたはエリアスキャナを含み得る。撮像装置３２が標準画像取込条件を適用するか、またはユーザが画像取込条件を指定し得る。代替的には以下に説明するようにスキャナ１０は、プレートタイプに対応する画像処理プロファイルに基づいて自動的に画像取込条件を制御し得る。 【００４１】 いくつかの実施形態において、例えば撮像装置３２は二次元カメラの形状を取り得るが、ラインスキャナはカメラまたは生物成長プレート２２のいずれかが他に対して並進される構成で使用できる。一般に撮像装置３２は生物成長プレート２２または少なくとも生物成長プレート内の成長領域の画像を取り込む。プロセッサ３４は撮像装置３２の動作を制御する。動作中、プロセッサ３４は撮像装置３２を制御して生物成長プレート２２の画像を取り込む。プロセッサ３４は撮像装置３２から走査画像を表わす画像データを受け取るとともに、画像の一部分を抽出または分離してプレートタイプ標識２８を隔離する。 【００４２】 プロセッサ３４はマシンビジョン技術を利用してプレートタイプ標識２８を分析し、生物成長プレート２２に関連するプレートタイプを識別する。そしてプロセッサ３４は画像処理プロファイルメモリ３６から画像処理プロファイルを検索する。画像処理プロファイルは検出されたプレートタイプに対応している。プロセッサ３４はマイクロプロセッサ、デジタル信号プロセッサ、アプリケーション特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）または本明細書に記載されているような機能性を提供するようにプログラムまたは構成された他の集積または個別論理回路の形状を取り得る。 【００４３】 プロセッサ３４は画像処理プロファイルを利用して適正な画像分析パラメータを読み込むとともに生物成長プレート２２の走査画像を処理するように進行する。このようにプロセッサ３４は生物成長プレート２２から得られた画像データを処理するという意味で画像処理装置をなす。画像分析パラメータは画像処理プロファイルおよび検出されたプレートタイプとともに変化して、走査画像の分析に対してコロニーの色、サイズ、形状および近接基準などの特定のパラメータを指定し得る。 【００４４】 いくつかのプレートタイプの場合、例えば周囲の栄養培地の色は高コロニー数の標識であり得る。また特定の炭水化物およびｐＨ指示薬を含むプレートの場合、色は有機体のタイプの標識になり得る。気泡などの隣接物体も有機体のタイプの標識になり得る。従って様々な画像処理基準および関連するパラメータを様々なプレートタイプに対して指定し得る。基準は被分析プレート２２のタイプにより異なるとともに、生物スキャナ１０により生成されるコロニー数または他の分析結果に大きく影響し得る。 【００４５】 適切な画像処理パラメータを選択すると、プロセッサ３４は走査画像を処理するとともに、ディスプレイ１６を介してユーザに提示されるコロニー数などの分析結果を生成する。またプロセッサ３４は後にスキャナ１０から検策するために、分析結果をカウントデータメモリ３８などのメモリに記憶する。カウントデータメモリ３８に記憶されたデータは例えば通信ポート４０、例えばユニバーサルシリアルバス（ＵＳＢ）ポートを介して生物スキャナ１０と通信しているホストコンピュータによって検索し得る。ホストコンピュータは、分析のために生物スキャナ１０に提示される一連の生物成長プレート２２に対する分析結果をコンパイルし得る。 【００４６】 生物スキャナ１０内の画像処理プロファイルの自動選択は、適当な画像処理プロファイルを選択するための便利で精度の高い技術を提供することができる。画像処理プロファイルの自動選択は細菌コロニー計数および他の分析手順の精度を向上させることができる。特に自動画像処理プロファイル選択により技術者がプレートタイプを目視で識別して手動で入力する必要性をなくすことができる。このようにして人間の介入に関連する場合もあるプレート識別エラーをなくすことができる。その結果、スキャナ１０とプレートタイプ標識２８を担持する生物成長プレート２２とを組み合わせると、効率および実験技術者の作業フローを向上させることができる一方、分析精度、そして最終的には食品安全性および人間の健康を高めることができる。」 （２）甲２の記載事項 甲２には以下のとおり記載されている。（原文は英文であるため当審による翻訳文で示す。下線は当審による。） （甲２（ア）） 「コロニーカウントの自動化により、細菌量の推定を向上させることができる。この目標を達成するためには、特に比較的低菌量（例えば80～100コロニー未満）の場合、シングルコロニーまたは小さなコンフルエントな凝集体を正確かつ正確にカウントできることが保証される必要があり、これによりソフトウェアは細菌量の間隔の観点からプレートを安全にソートし、陰性サンプル（すなわち所定の閾値より低いコロニー数を示す）をスクリーニングすることができる。一方、細菌負荷が高い場合、特に大量のコンフルエント領域が発生する場合、正確なカウントは必要なく、ある程度粗く推定することができる。一般に、コロニーカウント法は、セグメンテーション処理から始まる。その後、セグメントに含まれるコロニー数を列挙し、外れ値を破棄することが通常必要である（図2参照）。本研究では、この特定のステップに着目している。提案する手法の特徴は、コロニー集合体の基数を推定するために畳み込みニューラルネットワーク（CNN）を教えることであり、従来の画像処理手法を凌駕するソリューションを提案することである。各セグメントに含まれるコロニー数が確定し、外れ値が除去されれば、全体のカウントを決定するのは些細なことである。より一般的には、大きな凝集体が存在する中程度の高濃度の細菌負荷に対して、提案するソリューションは、細菌数評価システムの（拡張可能な）コンポーネントとして考えることができる。」（７４５８頁左欄４４行～右欄２３行） （甲２（イ）） 「II.関連研究 細菌のコロニーカウントに関する文献には、様々な方法が報告されている。[3]では、2値化された画像に対して距離変換を行い、ある閾値以上の値を持つ局所最大値をコロニーと見なす方法が提案されている。また、[4]では、特定の照明が特定のコロニーに無数のスポット反射を発生させることを利用する方法が提案されている。また、[5]と[6]では、コロニーを分割した後、塊の分割に分水嶺変換を用いる方法が報告されている。また、[7]では、グレースケールの形態素解析による計数のためのソリューションが紹介されている。これらの方法は、通常、パラメータの手作業による調整に依存しており、ある限られた設定に対してのみ効果的に調整することができる。しかし、臨床の現場で遭遇する多種多様な状況に直面した場合、これらの手法には困難が伴う可能性がある。例えば、高解像度画像上の直径10ピクセル程度のマイクロコロニーと、直径数百、数千ピクセルのマクロコロニーを同時に扱う場合、分水嶺分割のための正しい閾値を設定することは難しく、特に全てのコロニーが規則的に丸い形態を持っているとは限らない臨床現場においては、このような問題に直面することがある。従来の画像処理手法の欠点から、セグメントのカーディナリティを決定するための分類アプローチの設計が提案されている。[8]では、セグメントの形状分類に基づく方法が提示されている。Sangerニューラルネットワークを採用し、2値セグメントの次元削減を行い、1～7コロニー、または外れ値に分類することで、流域ベースの技術で達成可能な結果と類似した結果を得ることができる。[9]では、多段階の分類により、孤立したコロニーを識別する。このコロニーは、2値セグメントのZernikeモーメント表現を入力とする分類器によって検出される。検出された孤立コロニーは、次に異なる細菌種に分類される。 CNNは階層的なモデルであり、多くのオブジェクトの分類や検出のアプリケーションにおいて最先端の性能を達成している。CNNは、画像や音声のような高次元の構造化された入力を扱う際に、完全連結型ディープニューラルネットワークの既知の問題を克服するために最初に導入された[10]。最近では、高速なGPUの出現と、オリジナルの設計に加えられたいくつかのトリックによって、CNNは大規模なオブジェクト分類[11]、[12]や、高解像度画像上のオブジェクト検出タスクに対する最先端のソリューションとなった[13]、[12]。CNNは既に様々な生物医学的な画像問題に適用されている。[14] では、線虫の発生中の胚の細胞や核がセグメンテーションされ、位置が特定された。また、[16]では、乳癌の組織画像における細胞核の有糸分裂検出のためにCNNシステムが設計され、従来の解決策を大幅に上回る性能を示した。」（７４５８頁右欄２３行～７４５９頁左欄４８行） （甲２（ウ）） 「V.結果と考察 得られた結果は図4にまとめられており、これは反復回数に対するテスト精度の学習曲線を表している。多くの拡張されたデータセットがテストされた。マスキング処理により、元の（マスキングされていない）データセットと比較して、1.5ポイントの精度の向上が見られた。色空間をグレースケールに変換しても同等の結果が得られ、コロニーの形態が最も識別性の高い特徴を与えることが示唆された。データセットに人工的な色の歪みを加えても、サイズ変更したデータセットや回転させたデータセットのように、全体的な精度という点では大きな性能向上は見られなかった。水平反転させたデータセットが最も良い性能を示し、92.8%の総合的な精度を達成した。学習中、テスト精度は15000回の反復で横ばいになった。Nvidia Titan Black GPUでは、50000回の繰り返しで約3時間かかった。 図5に、最も性能の良いモデルの混同行列を示す。この混同行列から、3?6個のコロニーからなるクラスターに対応するクラスが誤って分類されることがあっても、誤って選択されたラベルは主対角線付近に留まり、例えば、5個のコロニーからなるクラスターは6個のコロニーからなるクラスターと混同されることがあることが分かる。このため、混同行列の実質的な対称性を考慮しても、最終的な細菌数推定値にはわずかな影響しかない。これらの集合体の識別は、訓練を受けた技術者にとっても困難な場合が多い。この分類器は、標準的な画像や特徴分析技術では識別が難しいことが多い外れ値を効果的に検出することができた。」 （７４６０頁右欄２０行～７４６１頁左欄６行） （３）甲４の記載事項 甲４には以下のとおり記載されている。（原文は英文であるため当審による翻訳文で示す。下線は当審による。） （甲４（ア）） 「要旨 細菌コロニーの計数は、広く用いられている多くのバイオメディカルアッセイに不可欠なツールである。しかし、ペトリプレート上には数百から数千のコロニーが存在するため、コロニー計数はスループットが低く、時間と労力を要するプロセスであり、熟練した技術者が手作業で行っていることが多い。本論文では、完全自動でありながら費用対効果の高いバクテリアコロニーカウンターを紹介する。提案手法は、有彩色と無彩色の画像を認識することができるため、カラーと透明な媒体の両方に対応することができる。また、一般的なデジタルカメラの画像も入力として受け付けることができる。本手法は、ディッシュ/プレート領域の検出、コロニーの識別、凝集したコロニーの分離を行い、最終的に一貫性のある正確な計数結果を報告するものである。提案するカウンタは、精度・再現性の両面で有望な性能を持ち、柔軟で効率的な省力化・時間短縮が可能である。」 （甲４（イ）） 「コロニー計測の自動化においては、コロニーや培地の色が異なるという課題がある。これは、細菌の種類によって必要とする栄養素が異なるためで、これらの成分によって培地の色も様々に変化する。また、異なる種類の培地で増殖したバクテリアは、異なる色で表示されることもある。そのため、色情報が豊富なコロニー画像もあれば、そうでないものもある。例えば、ミュータンス連鎖球菌は青い色のMitis-Salivarius寒天培地では黒いコロニーに見え、大腸菌は透明なLB寒天培地では白いコロニーに見える。既存のコロニーカウント用ソフトウェアを使用した経験から、異なる種類の培地のニーズを満たすことができる単一の最適なアルゴリズムは存在しない。そのため、色情報を持つ画像と持たない画像を別々に処理することがより適切であると考えている。 人間は訓練すれば培地上の細菌のコロニーを容易に認識できるが、コンピュータは予備知識なしにコロニーを「見る」ことは難しい。そこで、人間の認識行動を再現するために、3つのステップからなるアプローチを考案した。人間がバクテリアコロニーの画像を見るとき、画像から徐々にオブジェクトを識別していく。まず、画像中の最も大きな物体であるプレート・プレート領域を認識する。次に、プレートやプレートの領域内で、色や形など何らかの基準でコロニーを探し始める。図1は、この階層構造のイメージ図である。コロニーが密集している場合、オペレータは最良の視覚的判断に基づき、密集しているコロニーを分離しようとする。すべてのコロニーを識別した後、オペレータはコロニーの総数をカウントする。 本論文では、色情報が豊富なコロニー画像と色情報が少ないコロニー画像を区別して処理する枠組みを提案する。まず、画像に色情報があるかどうかを判断する。次に、ディッシュ／プレートの領域を特定する。第3ステップでは、コロニー候補を特定し、さらに統計処理を行い、「真の」コロニーを特定する。クラスター化されたコロニーは、さらにWatershedアルゴリズム[7]によって分離される。最後に、残ったセグメントの数が総コロニー数として報告される。」（２３４頁左欄４３行～右欄３３行） （甲４（ウ）） 「2.提案するバクテリアコロニーカウンター 提案システムの概要を図2に示す。まず、入力画像に対して、その有彩色／無彩色成分を調べ、どのような画像（有彩色／無彩色）であるかに応じて、適切な処理方法を選択する。次に、図1に示すように、画像の階層構造に基づいて、段階的にオブジェクトを抽出していく。・・・ 図2 提案システムの概要 画像上の全てのコロニーを特定したら、各区分のモルフォロジーを確認する。これは、一部のコロニーが集合して大きなクラスターを形成している可能性があるため、必要な作業である。そのため、正確なコロニー数を得るためには、それらのクラスター化したコロニーを分離する必要がある。このため、Watershedアルゴリズム[7]を用いて、コロニーのクラスターを検出し、セグメント化する。ディッシュ/プレート上のすべてのコロニーを識別し、分離した後、検出されたセグメントの数をカウントし、それを細菌コロニーの総数として使用する。」（２３４頁右欄３９行～２３５頁左欄１６行） （甲４（エ）） 「2.2. 画像セグメンテーション 提案するバクテリアコロニーカウンターの核となるのは、画像のセグメンテーションである。セグメンテーションの目的は、前景オブジェクトと背景を区別することである。この目的のために、閾値処理技術とクラスターリング技術の2つの一般的な選択肢がある。閾値処理では、グローバルな閾値を用いて前景と背景を分離し、クラスターリングでは、クラス間およびクラス内の類似性に基づいてオブジェクトを分割する。閾値処理技術は非常に簡単で効率的であるが、2つ以上のクラスを含む画像を扱う場合には安定しない。我々の予備実験によれば、より複雑で時間のかかるマルチクラスクラスターリング手法は、ロバスト性、説明可能性、投影可能性の点で閾値処理手法よりも一般に性能が劣ることがわかった。本論文では、バクテリアコロニー画像セグメンテーションのための新しい閾値処理に基づく手法を提案する。 閾値技術を用いたセグメンテーションを行うためには、対象領域が2つ以上のクラスを含むという問題を解決しなければならない。図1に示すように、コロニー画像中の対象は自然な階層構造になっており、漸進的に分離できる可能性があることがわかる。 第一階層の対象は、画像全体である。前景はプレート・プレート領域、背景はプレート・プレート領域の周囲にある領域である。プレート・プレート領域が分離された後、前景オブジェクトはコロニー、背景はプレート・プレート領域内の媒体やその他のアーティファクトを含む第2レベルに移行する。 このように、有彩色媒体と無彩色媒体が混在する画像に対して、後工程で別々に対応するアプローチを提案する。有彩色画像は無彩色画像に比べ、色情報を多く含むため、セグメンテーションが非常に容易である。以下では、まず有彩色画像に対するセグメンテーションの方法を紹介し、次に無彩色画像に対するアプローチを紹介する。」（２３５頁右欄１９行～２３６頁左欄９行） （甲４（オ）） 「次に、ディッシュ／プレート上のコロニーを分離し、クラスター化したコロニーを識別し、その後のコロニー列挙のために凝集した細菌コロニーを分離する。コロニーと培地の分離には大津の方法[9]を用いるほか、コロニー境界の検出を補助するためにHSV（Hue-Saturation-Value）色空間での色の類似性を採用する[10]。これは、画像中に傷、ほこり、マーカー、気泡、反射、へこみなどのアーティファクトが存在するため、単純なグローバル閾値ではすべてのコロニーを正しく識別できないために必要である。HSV色空間における色の類似度の計算を式1に示す。・・・ ここで、CSij は二つの画素 i と j の色の類似度、H, S, V は HSV 色空間での画素の色相、彩度、値である。 これは、コロニーセグメント、ミディアムセグメントにかかわらず、セグメント内部の画素は隣接する画素との類似度が高く、セグメント境界に沿った画素は隣接する画素との類似度が低いという仮定に基づくものである。ある画素とその近傍8画素との色の類似度を計算し、その類似度の最小値を近傍画素との色の差の最大値として用いる。そのため、同一セグメント内の画素は、類似度の最小値が高くなる。逆に、セグメントの境界にある画素は値が小さくなる。計算後、境界はより明確になり、色の類似度の最小値はグレースケール画像として行列を形成した。このように、プレート・プレート領域検出の段階で用いた大津の方法を採用することで、背景（中域）と前景物体（コロニー候補）の区別をより明確にすることができる。 理想的には、前のステップで孤立した前景オブジェクトは、1つのコロニーに対応する。しかし、このような物体は複数のコロニーに対応する可能性がある。なぜなら、複数のコロニーが集まっている可能性があるからである。そのため、正しいコロニー数を得るためには、コロニーを分割する必要がある。このため、水の洪水が地表に現れるように、分水嶺アルゴリズムを適用して、画像中のクラスター化したコロニーを分割することができる。この概念を説明するために、図4で分水嶺アルゴリズムの適用を示す。 分水嶺アルゴリズムを適用した結果、ほぼすべてのクラスター化したコロニーセグメントを分離・識別することができ、コロニー列挙の準備が整った。」（２３６頁左欄４５行～２３７頁左欄１５行） （４）甲５の記載事項 甲５には以下のとおり記載されている。（下線は当審による。） （甲５（ア）） 「【００１８】 本実施形態の作業情報は、製造工程又は検査工程に係わる各種の情報の他に、検体として製造工程又は検査工程から抽出された食品及び当該検体に含まれる細菌の培養に関する情報を含み、作業毎に、固有の識別情報（以下、「作業ＩＤ」という。）を用いてデータベース４００に登録されるようになっている。 【００１９】 具体的には、各作業情報には、 （１）作業ＩＤと、 （２）検体を抽出すべき作業ライン８０の識別情報（以下、「ラインＩＤ」という。）又は作業ライン８０が複数の工程を有している場合には、ラインＩＤ及び工程の識別情報（以下、「工程ＩＤ」という。）と、 （３）検体としての食品の製品名、ロットの識別情報（以下、「ロットＩＤ」という。）及びロット名と、 （４）一般生菌又は大腸菌群等の、検体から検出する細菌の種別（以下、「検査種別」という。）と、 （５）培地の種類、検体の希釈液の種別、希釈倍率、培養温度、培養湿度及び培養時間等の検体の培養条件と、 （６）検体の培養開始時刻と、 （７）検体の培養開始から所定の時間経過後の時刻（以下、「培養検査時刻」ともいう。）と、 （８）インキュベータ番号及びインキュベータ内の段数等の位置等の検体の培養場所と、 （９）作業開始時刻及び終了時刻を示す作業日時と、 （１０）作業者ＩＤ（社員ＩＤ）及び作業者名と、 が含まれる。そして、作業情報の各情報は、種別毎にかつ作業毎にデータベース４００に登録されている。 【００２０】 携帯用通信端末装置１０は、例えば、通信機能を有するデジタルカメラ、タブレット型情報端末装置、スマートフォン又は携帯用電話機等、静止画像等の撮像機能又は録画機能（以下、単に「カメラ機能」という。）を有し、かつ、作業者によって携帯可能な通信端末装置である。 【００２１】 特に、携帯用通信端末装置１０は、カメラ機能によって、フィルム型培地６０を画像化して画像データ（以下、「培地画像データ」という。）を生成するとともに、作業指示書７０を画像化して指示書画像を生成することが可能な構成を有している。 【００２２】 そして、携帯用通信端末装置１０は、画像化された指示書画像のデータ（以下、「指示書画像データ」という。）及びフィルム型培地６０の培地画像データから作業ＩＤ及び培地の識別情報（以下、「培地ＩＤ」という。）を取得し、当該取得した作業ＩＤ及び培地ＩＤと、培地画像データと、当該培地画像データのメタデータと、を培地情報として、サーバ装置４０のデータベース４００に登録することが可能な構成を有している。 【００２３】 一方、携帯用通信端末装置１０は、培地情報をサーバ装置４０に送信する際には、ＢＬＵＥＴＯＯＴＨ（登録商標）、ワイヤレスＬＡＮ（ＷＬＡＮ：Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はワイヤレスＰＡＮ（ＷＰＡＮ：Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の近距離無線用の通信規格を用いて直接若しくはアクセスポイント５０を介してサーバ装置４０に送信し、又は、図示しない移動基地局を介して公衆電話回線網を用いてサーバ装置４０に送信する構成を有している。 【００２４】 そして、携帯用通信端末装置１０は、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）等のマークアップ言語によって構築されたブラウザ機能を有し、当該ブラウザ機能を用いて作業者の操作入力指示及び操作確認を実行するとともに、当該ブラウザ機能を介して培地情報をサーバ装置４０に送信するようになっている。 【００２５】 管理者端末装置２０は、例えば、タブレット型情報端末装置、スマートフォン、パーソナルコンピュータ又はワークステーション等の情報通信端末装置である。そして、管理者端末装置２０は、管理者の識別情報（以下、「管理者ＩＤ」という。）と管理者のパスワード及び作業者の識別情報（以下、「作業者ＩＤ」という。）を管理し、サーバ装置４０へのアクセス権限の管理、携帯用通信端末装置１０の端末ＩＤの管理、及び、登録された培地情報の修正その他の管理を行うことができる制御装置として機能する。 【００２６】 また、管理者端末装置２０は、携帯用通信端末装置１０と同様に、マークアップ言語によって構築されたブラウザ機能を有し、当該ブラウザ機能を用いてサーバ装置４０とのデータの授受、報告書の閲覧等を実行することができる構成を有している。 【００２７】 なお、管理者端末装置２０は、同一ロット内において、工程を実行する機械の故障その他によって各作業が中断した場合に、又は、作業者における培地情報の登録ミス等が発生した場合に、培地情報その他の情報を修正することができる構成を有している。 【００２８】 ネットワーク３０は、例えば、携帯電話網を含む公衆電話回線網（以下、「長距離通信ネットワーク」という）、近距離無線ネットワーク等のＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワーク、又は、その双方が相互接続されて構成されている。ただし、当該ネットワーク３０の構成は、これに限られない。 【００２９】 サーバ装置４０は、携帯用通信端末装置１０又は管理者端末装置２０と連動し、ロット及び作業ライン８０の衛生管理を行うための各データ処理を実行するために用いられるサーバ装置である。 【００３０】 そして、サーバ装置４０は、携帯用通信端末装置１０と連動し、データベース４００に、培養開始前の各フィルム型培地６０における培地情報の登録（以下、「初期登録」という。）、及び、培養開始後の登録（以下、「培養後登録」という。）を行うとともに、携帯用通信端末装置１０から送信された培地情報を取得し、当該取得した培地情報の培地画像データによって形成される培地の画像（以下、「培地画像」という。）から、検体の培養によって形成されたコロニーを検出する構成を有している。」 （４）甲７の記載事項 甲７には以下のとおり記載されている。（原文は英文であるため当審による翻訳文で示す。下線は当審による。） （甲７（ア）） 「1. はじめに 細胞のセグメンテーションとカウントは手間のかかる作業であり、研究の貴重な時間を奪う可能性がある。一般的に、科学者は画像内のローカルグリッドにある細胞の数を手動で推定する必要がある[1]。これをプレート上の様々な格子点で繰り返し、平均密度を求め、それを細胞の総数の推定に使用する。第一に、人間が手作業で細胞数を数える必要があり、主観的な誤差が生じる可能性があること、第二に、一連の新しい実験の理解、設計、実行にもっと有効に使えるはずの時間を大幅に要すること、最後に、こうした分析からエラーバーを得る方法が完全に明白でないことである。さらに、このような分析からエラーバーをどのように取得するかは完全には明らかではない。このタスクのためのより洗練されたツールは存在するが、コストがかかり、クローズドソースのソフトウェアに依存し、エラーを定量化する問題には対処していない。 ここでは、畳み込みニューラルネットワーク（CNN）を用いて、細胞を数え、不確実性を推定する面倒なプロセスを自動化することを目指す。本手法は、2段階のアプローチをとる。 - 細胞のセグメンテーション 画像中の細胞を識別するためのマスクを生成する。 - 細胞のカウント 前ステップで生成されたマスクから、カウントと信頼区間を推定する。 我々は、ベンチマークデータセットにおいて、我々のアプローチがいかに信頼性の高い細胞計数につながるかを実証する。さらに、モデルの解釈可能性について議論し、我々のモデルがどのようにカウントを学習するのかを評価する。最後に、計数問題に不確実性を取り入れることで、どのようにモデルの信頼性を向上させ、起こりうる故障のケースを特定するのに役立つかを議論する。」（１頁左欄１４行～右欄９行） （甲７（イ）） 「2. これまでの研究成果 2.1. セグメンテーション CNNを用いたセグメンテーションはコンピュータ・ビジョンにおける重要な問題であり、過去数年の間に大きな進展があった[15, 16, 3, 17, 12, 4]。特に注目すべきは、Facebook AI Research (FAIR) が設計した Mask-RCNN アルゴリズムであり、この分野の現在の最先端を表している[4]。また、He, et al.は、画像内の関心領域から滑らかな被写体マスクを生成するための特徴ピラミッドネットワーク（FPN）の使用について述べている[4, 12]。FPN の利点は、入力画像を数回ダウンサンプリングし、異なるスケールの特徴を学習することであり、これによって改善されたセグメンテーションマスクが得られると報告されている[12]。このため、我々はこの手法を細胞のセグメンテーションのタスクに採用した。 我々は、CNNを用いた細胞セグメンテーションが、少なくとも過去に一度、文献で取り上げられたことがあることに注目する。Van Valen らは、セグメンテーションタスクをピクセル単位での分類問題として扱う DeepCell を開発した[20]。 画像中の異なる細胞タイプの分類には成功したが、DeepCellはかなり低解像度のセグメンテーションマスクを生成し、細胞計数の問題を解決することを目的としていない。我々のアプローチは、マスキングと細胞計数にFPNアーキテクチャを活用するため、DeepCellとは根本的に異なるものである。」（１頁右欄１０～２４行） （甲７（ウ）） 「3. 技術的アプローチ 3.1. Feature Pyramid Networkを用いたセルセグメンテーション まず、FPN を用いて前景の細胞をその背景からセグメンテーションする。FPNは、複数の空間スケールで特徴マップを構築するために設計された特徴抽出ネットワークである[12]。FPNは、図1に示すように、ダウンサンプリングした画像とそれに対応するアップサンプリングした画像をネットワーク上でクロスリンクさせる計算効率のよいアルゴリズムである。」（２頁左欄４１行～右欄３行） （甲７（エ）） 「5.2. カウント FPNを学習した後、データセットの全画像9,600枚のうち、7,680枚のFPN生成マスクに対してVGG-11ベースのネットワークを学習させた。学習は、細胞数に対してアレオトロピックな不確実性を持つL2損失関数を用い、学習率1E-4、バッチサイズ5でADAMオプティマイザで最適化を行った。 その結果、1,420個のマスクから別々に生成されたカウントの平均検証MSEは、50エポック後に最終値11.2未満に収束することを見出した。学習後、テストセットにおいて、我々の最良のモデルはR2値0.987、平均L1エラー2.4セルを達成できることがわかった。さらに、モデルの不確実性予測を考慮すると、500画像のテストセットにおいて、80%以上のグランドトゥルースカウントがモデルの予測した95%信頼区間内に収まることがわかりました。また、L1誤差の最大値は6セルを超えることはなく、このタスクに対してかなり正確であると思われる。」（４頁１７～３６行） （甲７（オ）） 「6. 考察 我々は、顕微鏡画像中の細胞を数えるためにCNNアーキテクチャを設計し、訓練し、比較的良い精度を達成することが可能であることを示す。多くの失敗例が生じるが、より良い学習データがこれらの欠点を克服するのに役立つと我々は考えている。」（４頁右欄４１～４６行） （５）甲９の記載事項 甲９には以下のとおり記載されている。（下線は当審による。） （甲９（ア）） 「請求の範囲 ［請求項１］ コロニーが形成された培地が撮像されて画像化された培地画像のデータを培地画像データとして取得する取得手段と、 取得した前記培地画像データの培地画像を構成する複数のピクセルの色特徴量を抽出する抽出手段と、 抽出した複数のピクセルの色特徴量に基づいて統計的基準を算出する算出手段と、 算出した前記統計的基準に基づいて、所定の条件を具備するピクセルをコロニーピクセルとして特定し、特定したコロニーピクセルに基づいて前記コロニーを検出する検出手段と、 検出した前記コロニーに関する情報を前記培地の情報としてデータベースに登録する登録手段と、 を備えることを特徴とする培地情報登録システム。 ・・・ ［請求項７］ 請求項１～６のいずれか１項に記載の培地情報登録システムにおいて、 前記検出手段は、機械学習によって得られた判別手段を用いて前記コロニーピクセルの特定を行う、培地情報登録システム。」 （甲９（イ）） 「［０２３８］ ［７．１０］変形例１０ 本実施形態においては、コロニー検出判定部４２２は、各ピクセルの色特徴量の応答値が設定された閾値以上である場合に、該ピクセルをコロニーピクセルとして特定しているが、経験則的に、当該応答値と他の色特徴量とを組み合わせた複数次元の特徴量に基づいて、所定の条件を具備するピクセルをコロニーピクセルとして特定してもよい。また、コロニーピクセルの特定を、ＡｄａＢｏｏｓｔ、サポートベクターマシン（ＳＶＭ）、人工ニューラルネットワーク（ＡＮＮ）等の機械学習アルゴリズムによって得られる判別手法を構築して行ってもよい。 ［０２３９］ 上述のように、各ピクセルの色特徴量の応答値に他の色特徴量を組み合わせたり、機械学習等による判別手法を構築することにより、コロニー検出判定部４２２は、コロニーピクセルを正確に特定することができるようになり、もってコロニーカウントの精度を向上させることができるようになる。」 （６）文献Ａの記載事項 文献Ａには以下のとおり記載されている。（下線は当審による。） （文献Ａ（ア）） 「実施例２：画像解析のための画像の前処理 本実施例では、コロニー毎の画像を抽出するためのマスキング処理を行った。 【００６８】 まず、マスキング用のマスクを作成するために、実施例１の３×３のＳｏｂｅｌフィルタによる画像処理により得られた画像（図２Ｂ、３Ｂおよび４Ｂ）を元に画像の二値化を行って、フィーダー領域（黒）とコロニー領域（白）とを分離した。その後、コロニー領域に生じることがある空隙（黒）を白で埋めた（図２Ｃ、３Ｃおよび４Ｃ）。 【００６９】 次に、コロニーが隣接してつながって存在する場合に、２つまたはそれ以上のコロニーを分離してコロニー毎のマスクを作成するために、ウォータシェッド細分化（Ｗａｔｅｒｓｈｅｄ）を行い、つながっている２つ以上のコロニーを分離した。具体的には、画像のユークリッド距離地図（ＥＤＭ）を計算し、最終的な浸食点（ＵＥＰ）を見つけ、その縁を可能な限り拡大し、粒子の縁が到達するまで、若しくは他のＵＥＰの領域の縁に到達するまで拡張して、つながっている２つ以上のコロニーを分離した。得られた画像を、バックグラウンドや他のコロニーを排除するためのマスクとした。その後、得られたマスクを用いて実施例１の画像のフィーダー領域や他のコロニー領域をマスキングした（図２Ｄ、３Ｄおよび４Ｄ）。」 （７）文献Ｂの記載事項 文献Ｂには以下のとおり記載されている。（下線は当審による。） （文献Ｂ（ア）） 「［０００４］ 一方、画像内の対象領域を抽出するために利用される領域分割の方法として、分水嶺（Watershed）アルゴリズムがある（非特許文献１参照）。該分水嶺アルゴリズムは、画像のグレースケール情報（例えば、輝度）を高度とみなした地形において水を満たしていく際に、異なるくぼみに溜まる水の間で境界ができるように画像を分割していく方法である。」 （文献Ｂ（イ）） 「［０００９］ このように形状モデルを利用する特許文献１による認識処理は、円形等の形状とは限らない種々の形状を採り得る認識対象画像、例えば細胞画像などの領域認識には不向きである。この点、非特許文献１に示されるような分水嶺アルゴリズム方式は細胞画像などの領域認識には好適といえる。ここで、分水嶺アルゴリズムを細胞画像の認識に適用する場合、蛍光画像のように細胞内部に向かって輝度値が大きくなる画像では、輝度情報を反転させたり、エッジ抽出を行ったりすることで、細胞部分を輝度値のくぼみとしてから適用する方法が考えられる。」 （８）文献Ｃの記載事項 文献Ｃには以下のとおり記載されている。（下線は当審による。） （文献Ｃ（ア）） 「【００４３】 なお、位相差顕微鏡２０で生細胞１３を撮像して得た画像は、例えば、画像処理により培養した生細胞１３の細胞数を取得するために用いることができる。生細胞１３の細胞数は、例えば、Ｏｔｓｕ法をはじめとする閾値分離の方法、Level Set法をはじめとする機械学習を用いた方法などによって画像から細胞を検出し、その個数を計数することによって取得することができる。」 ４ 甲１に記載された発明 甲１には、生物成長プレート２２または少なくとも生物成長プレート内の成長領域の画像を取り込む撮像装置３２と、撮像装置３２から走査画像を表わす画像データを受け取るとともに、画像の一部分を抽出または分離してプレートタイプ標識２８を隔離し、マシンビジョン技術を利用してプレートタイプ標識２８を分析し、生物成長プレート２２に関連するプレートタイプを識別するプロセッサ３４と（甲１（エ））、異なるタイプの生物成長プレートに対する画像取込条件、画像分析基準またはその両方の組み合わせを指定し得る画像処理プロファイル（甲１（イ））、画像処理プロファイルメモリ３６から画像処理プロファイルを検索し、画像処理プロファイルを利用して適正な画像分析パラメータを読み込むとともに生物成長プレート２２の走査画像を処理するプロセッサ３４と、ディスプレイ１６を介してユーザに提示されるコロニー数などの分析結果を生成するプロセッサ３４を備える（甲１（エ））、生物成長培地上の細菌コロニーまたは特定の生物剤の量を読み取るまたは計数するために用いる装置である生物スキャナ１０（甲１（ア））が記載されている。（以下、「引用発明１」という。） ５ 当審の判断 （１）本件発明９と引用発明１との対比 事案に鑑み、本件発明９の検討を優先する。 本件発明９と引用発明１とを対比すると、引用発明１における「生物成長プレート２２」は、特定の細菌または他の生物剤を成長させる他の生物成長培地を含み、液状の被験材料の試料を配置した後、プレート２２を培養室に挿入し、培養室において、成長プレート２２により成長する細菌コロニーまたは他の生物剤が出現したものである（甲１（ウ））から、本件発明９における「微生物の培養後の培地」に相当する。 引用発明１における「生物スキャナ１０」は、細菌コロニーの自動検出および測定をするものであるから、本件発明９における「コロニー検出装置」に相当する。 引用発明１における「撮像装置３２」は、生物成長プレート内の成長領域の画像を取り込むものであるから、本件発明９における「コロニーを検出する対象となる培地画像を取得する培地画像取得部」に相当する。 引用発明１における「プロセッサ３４」は、ディスプレイ１６を介してユーザに提示されるコロニー数などの分析結果を生成するものであるから、本件発明９における「培地画像中のコロニーの総数を算出する算出部」に相当する。 引用発明１における「プロセッサ３４」は、画像処理プロファイルメモリ３６から画像処理プロファイルを検索し、画像処理プロファイルを利用して適正な画像分析パラメータを読み込むとともに生物成長プレート２２の走査画像を処理するものでもあるから、本件発明１における「コロニーがあるか否かを判別するコロニー判別部」に相当する。 したがって、本件発明９と引用発明１は、 「微生物の培養後の培地の画像である培地画像から微生物由来のコロニーを検出するコロニー検出装置であって、 コロニーを検出する対象となる培地画像を取得する培地画像取得部と、 コロニーがあるか否かを判別するコロニー判別部と、 前記コロニー判別部による判別結果に基づいて、前記培地画像中のコロニーの総数を算出する算出部と、 を備えた、 コロニー検出装置。」 である点で一致し、以下の点で相違する。 （相違点１） 本件発明９では、取得された前記培地画像から、前記コロニーの有無を検出対象とする領域であるコロニー候補領域を複数抽出する領域抽出部を備え、前記領域抽出部は、取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた複数の領域のそれぞれをコロニー候補領域とし、コロニー候補領域のそれぞれにコロニーがあるか否かを判別するのに対して、 引用発明１では、領域抽出部を備えていない点 （相違点２） 本件発明９では、コロニーの有無を判別するために学習モデルを用いるのに対して、 引用発明１では、コロニーの有無を判別するために学習モデルを用いることが記載されていない点 （２）本件発明９と引用発明１に対する進歩性の検討 相違点１について検討する。 甲１のコロニー検出装置では、領域抽出部が記載されていないので、領域抽出部において、取得された前記培地画像から、前記コロニーの有無を検出対象とする領域であるコロニー候補領域を複数抽出し、取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた複数の領域のそれぞれをコロニー候補領域とすることも当然記載されていないし、これらの発明特定事項の採用を動機付ける記載や示唆も何ら見あたらない。 甲４には、 「本論文では、色情報が豊富なコロニー画像と色情報が少ないコロニー画像を区別して処理する枠組みを提案する。まず、画像に色情報があるかどうかを判断する。次に、ディッシュ／プレートの領域を特定する。第3ステップでは、コロニー候補を特定し、さらに統計処理を行い、「真の」コロニーを特定する。クラスター化されたコロニーは、さらにWatershedアルゴリズム[7]によって分離される。最後に、残ったセグメントの数が総コロニー数として報告される。」（甲４記載事項（イ）） 「画像上の全てのコロニーを特定したら、各区分のモルフォロジーを確認する。これは、一部のコロニーが集合して大きなクラスターを形成している可能性があるため、必要な作業である。そのため、正確なコロニー数を得るためには、それらのクラスター化したコロニーを分離する必要がある。このため、Watershedアルゴリズム[7]を用いて、コロニーのクラスターを検出し、セグメント化する。ディッシュ/プレート上のすべてのコロニーを識別し、分離した後、検出されたセグメントの数をカウントし、それを細菌コロニーの総数として使用する。」（甲４記載事項（ウ）） 「次に、ディッシュ／プレート上のコロニーを分離し、クラスター化したコロニーを識別し、その後のコロニー列挙のために凝集した細菌コロニーを分離する。コロニーと培地の分離には大津の方法[9]を用いるほか、コロニー境界の検出を補助するためにHSV（Hue-Saturation-Value）色空間での色の類似性を採用する[10]。」（甲４記載事項（オ））と記載されている。 しかし、これらの記載は、コロニーがあることを特定した領域で、コロニーがクラスター化している場合に、それらを分離・計数するためWatershedアルゴリズムを用いて領域を分割することを開示するものであって、分割の対象を、コロニーの有無を検出するためのコロニー候補領域とすることを示唆するものではないし、更に、このコロニー候補領域のそれぞれにコロニーがあるか否かの判別を行うことを示唆するものとも認められない。 したがって、甲４には、相違点１として挙げた、本件発明９の発明特定事項である「取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた複数の領域のそれぞれをコロニー候補領域」とすること、及び、「コロニー候補領域のそれぞれにコロニーがあるか否かを判別する」ことが示唆されているとはいえない。 また、甲２及び、甲５、７、９、文献Ａ～Ｃにも、上記の本件発明９の発明特定事項を示唆する記載はない。 よって、本件発明９は、相違点２について検討するまでもなく、甲１及び、甲２、４、５、７、９、文献Ａ～Ｃの記載を勘案しても、引用発明１に基づき、当業者が容易に想到し得たものとは認められない。 （３）その他の請求項に係る発明と引用発明１に対する進歩性の検討 本件発明１、１０～１３は、いずれも、本件発明９と同様に、「取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた複数の領域のそれぞれをコロニー候補領域」とすること、及び、「コロニー候補領域のそれぞれにコロニーがあるか否かを判別する」ことを発明特定事項とするものであるから、本件発明９と同様の理由により、上記文献に記載された発明に基づいて当業者が容易に発明をすることができたものとはいえない。 また、本件発明２～４、６～８は、本件発明１を直接又は間接的に引用するものであるので、本件発明１と同様の理由により、上記文献に記載された発明に基づいて当業者が容易に発明をすることができたものとはいえない。 したがって、取消理由１は理由がない。 第５ 取消理由通知において採用しなかった特許異議申立理由について １ 申立人の主張 申立人は、特許異議申立書において、以下のように主張する。 （１）申立理由１（甲１を主引用例とする進歩性の欠如） 訂正前本件発明１～１３は、甲１に記載された発明（主引用発明）及び、甲２～８に基いて、当業者が容易に発明をすることができたものであるから、請求項１～１３に係る特許は、特許法第２９条第２項の規定に違反してされたものであり、取り消されるべきものである。 （２）申立理由２（甲２を主引用例とする進歩性の欠如） 訂正前本件発明１～１３は、甲２に記載された発明（主引用発明）及び、甲１、３～８に基いて、当業者が容易に発明をすることができたものであるから、請求項１～１３に係る特許は、特許法第２９条第２項の規定に違反してされたものであり、取り消されるべきものである。 （３）申立理由３（甲４を主引用例とする進歩性の欠如） 訂正前本件発明１～１３は、甲４に記載された発明（主引用発明）及び、甲１～３、５～８に基いて、当業者が容易に発明をすることができたものであるから、請求項１～１３に係る特許は、特許法第２９条第２項の規定に違反してされたものであり、取り消されるべきものである。 （４）申立理由４（甲９を主引用例とする進歩性の欠如） 訂正前本件発明１～１３は、甲９に記載された発明（主引用発明）及び、甲１～８に基いて、当業者が容易に発明をすることができたものであるから、請求項１～１３に係る特許は、特許法第２９条第２項の規定に違反してされたものであり、取り消されるべきものである。 ２ 申立理由１について 申立人は、甲１に記載された発明を主引用発明とし、甲２～甲８を提示して、訂正前本件発明１～１３は、甲１～甲８に基づいて、当業者が容易に発明をすることができたものである旨を主張している。 しかしながら、本件発明９と甲１に記載された発明は、少なくとも第４の５（１）の相違点１として挙げた発明特定事項、すなわち、「取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた複数の領域のそれぞれをコロニー候補領域」とすること、及び、「コロニー候補領域のそれぞれにコロニーがあるか否かを判別する」ことで相違し、この点は取消理由において検討していない甲３、甲６、甲８に記載も示唆もされていない。 そうすると、本件発明９及び上記の発明特定事項を備える本件発明１～４、６～８、１０～１３は、上記文献に記載された発明に基づいて当業者が容易に発明をすることができたものとはいえない。 したがって、申立理由１（進歩性）は理由がない。 ３ 申立理由２について 申立人は、甲２に記載された発明を主引用発明とし、甲１、甲３～甲８を提示して、訂正前本件発明１～１３は、甲１～甲８に基づいて、当業者が容易に発明をすることができたものである旨を主張している。 しかしながら、本件発明９と甲２に記載された発明は、少なくとも第４の５（１）の相違点１として挙げた上記の発明特定事項で相違し、この点は甲１、３～８に記載も示唆もされていない。 そうすると、本件発明９及び上記の発明特定事項を備える本件発明１～４、６～８、１０～１３は、上記文献に記載された発明に基づいて当業者が容易に発明をすることができたものとはいえない。 したがって、申立理由２（進歩性）は理由がない。 ３ 申立理由３について 申立人は、甲４に記載された発明を主引用発明とし、甲１～甲３、甲５～甲８を提示して、訂正前本件発明１～１３は、甲１～甲８に基づいて、当業者が容易に発明をすることができたものである旨を主張している。 （１）甲４に記載された発明の認定 甲４には、一般的なデジタルカメラの画像も入力として受け付けることができ、ディッシュ/プレート領域の検出、コロニーの識別、凝集したコロニーの分離を行い、最終的に一貫性のある正確な計数結果を報告するバクテリアコロニーカウンター（甲４（ア））が記載され、当該画像には、ディッシュ/プレート領域、コロニーが含まれること、「真の」コロニーを特定し、クラスター化されたコロニーは、さらにWatershedアルゴリズム[7]によって分離され、最後に、残ったセグメントの数が総コロニー数として報告されることが記載されている（甲４（イ））。 したがって、甲４には、以下の発明が記載されていると認められる。 「ディッシュ/プレート領域、コロニーを含む画像からバクテリアコロニーを検出するバクテリアコロニーカウンターであって、 ディッシュ/プレート領域、コロニーを含む画像を入力として受け付けるステップと、 取得されたディッシュ/プレート領域、コロニーを含む画像から、コロニー候補領域を特定するステップと、 「真の」コロニーを特定する統計処理部と、 クラスター化したコロニーセグメントを分水嶺アルゴリズムを適用して、分離・識別するステップと、 コロニーとして識別されたオブジェクトの数を合計することにより、生存可能なコロニーの総数を取得するステップと、 を備えるバクテリアコロニーカウンター。」（以下、「甲４発明」という。） （２）本件発明９と甲４発明の対比 甲４発明における「ディッシュ/プレート」は、培地上に細菌のコロニーが生じたものである（甲１（エ））から、本件発明９における「微生物の培養後の培地」に相当する。 甲４発明における「バクテリアコロニーカウンター」は、細菌コロニーの自動検出および測定をするものであるから、本件発明９における「コロニー検出装置」に相当する。 甲４発明における「ディッシュ/プレート領域、コロニーを含む画像を入力として受け付ける」ことを担う装置は、ディッシュ/プレート領域のコロニーを含む画像を取り込むものであるから、本件発明９における「コロニーを検出する対象となる培地画像を取得する培地画像取得部」に相当する。 甲４発明における「コロニーとして識別されたオブジェクトの数を合計することにより、生存可能なコロニーの総数を取得する」装置は、本件発明９における「培地画像中のコロニーの総数を算出する算出部」に相当する。 甲４発明における「分水嶺アルゴリズム」は、本件発明９における「取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割」することに相当する。 したがって、本件発明９と甲４発明は 「微生物の培養後の培地の画像である培地画像から微生物由来のコロニーを検出するコロニー検出装置であって、 コロニーを検出する対象となる培地画像を取得する培地画像取得部と、 前記コロニー判別部による判別結果に基づいて、前記培地画像中のコロニーの総数を算出する算出部と、 を備え、 取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割する情報処理部を備える コロニー検出装置。」 である点で一致し、以下の点で相違すると認められる。 （相違点３） 本件発明９では、取得された前記培地画像から、前記コロニーの有無を検出対象とする領域であるコロニー候補領域を複数抽出する領域抽出部を備え、前記領域抽出部は、取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた複数の領域のそれぞれをコロニー候補領域とし、コロニー候補領域のそれぞれにコロニーがあるか否かを判別しているのに対して、 甲４発明では、取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割することでクラスター化したコロニーセグメントから分離・識別されたコロニーを得ているものの、分割して得られた複数の領域をコロニーの有無を検出対象とする領域であるコロニー候補領域とすることやコロニー候補領域のそれぞれにコロニーがあるか否かの判別を行っていない点。 （相違点４） 本件発明９では、コロニーの有無を判別するために学習モデルを用いるのに対して、 甲４発明では、コロニーの有無を判別するために学習モデルを用いることが記載されていない点 （３）本件発明９の甲４発明に対する進歩性の検討 ア．相違点３の容易想到性の検討 相違点３について検討する。 甲４におけるコロニー検出装置においては、「クラスター化したコロニーセグメント」すなわちコロニーが存在することを前提とし、さらに分離・識別されたコロニーを得る段階で、「取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割」することは記載されているが、領域分割の対象を、コロニーの有無を検出するためのコロニー候補領域とすることは記載も示唆もされていない。 そして、甲１～甲３、甲５～甲８にも、甲４に記載された領域分割の対象を、コロニー候補領域とすることを動機付ける記載や示唆があるとはいえないし、更に、このコロニー候補領域のそれぞれにコロニーがあるか否かの判別を行うことを示唆するものとも認められない。 そうすると、相違点３として挙げた本件発明９の発明特定事項は、甲１～甲８の記載事項を勘案しても、当業者が容易に想到し得たものとはいえない。 イ．申立人の令和５年５月１２日付け意見書における主張について 申立人は、甲４には、「理想的には、前のステップで孤立した前景オブジェクトは、1つのコロニーに対応する。しかし、このようなオブジェクトは複数のコロニーに対応する可能性がある。なぜなら、複数のコロニーが集まっている可能性があるからである。そのため、正しいコロニー数を得るためには、コロニーを分割する必要がある。・・・・分水嶺アルゴリズムを適用した結果、ほぼすべてのクラスター化したコロニーセグメントを分離・識別することができ、コロニー列挙の準備が整った。」（２３７頁左欄１～１５行）と記載されており、甲４では、「ほぼ」という記載から、全てのコロニーを分離・識別できていない可能性が示唆され、甲４において、セグメントが真のコロニーの画像であるものとして扱われているわけではない旨主張する。 また、申立人は、仮に甲４でセグメントが真のコロニーの画像であるものとして扱われているとしても、前述したとおり、甲２には、「セグメントに含まれるコロニーを例挙し、外れ値を破棄することが通常必要である（図２参照）。」（７４５８頁右欄１０行～１４行：摘記事項甲２（ア））と記載されているから、甲４に記載された事項と甲２に記載された事項から、本件発明は当業者が容易に想到することができたものであるとも主張する。 しかるところ、甲４の「ほぼ」という記載は、単に「すべて」を修飾するものであり、かかる記載より甲４に記載されたコロニーがコロニー候補領域に相当すると解することはできないうえ、甲２の記載と甲４の記載を組み合わせるべき技術的理由はないから、いずれにしても申立人の主張を採用することはできない。 したがって、本件発明１～４、６～１３に係る特許は、申立理由３（進歩性）によって取り消すべきものではない。 ３ 申立理由４について 申立人は、甲９に記載された発明を主引用発明とし、甲１～甲８を提示して、訂正前本件発明１～１３は、甲１～甲９に基づいて、当業者が容易に発明をすることができたものである旨を主張している。 しかしながら、本件発明９と甲９に記載された発明は、少なくとも第４の５（１）の相違点１として挙げた上記の発明特定事項で相違し、この点は甲１～８に記載も示唆もされていない。 そうすると、本件発明９及び上記の発明特定事項を備える本件発明１～４、６～８、１０～１３は、上記文献に記載された発明に基づいて当業者が容易に発明をすることができたものとはいえない。 したがって、申立理由４（進歩性）は理由がない。 第６ むすび 本件特許の請求項１～４、６～１３に係る特許は、取消理由通知書に記載した取消理由及び特許異議申立書に記載した特許異議の申立ての理由によっては、取り消すことはできない。 また、他に本件特許の請求項１～４、６～１３に係る特許を取り消すべき理由を発見しない。 本件特許の請求項５に係る特許は、本件訂正請求により削除され、特許異議の申立ての対象が存在しなくなったため、当該特許に係る申立ては、特許法第１２０条の８第１項で準用する同法第１３５条の規定により却下する。 よって、結論のとおり決定する。