特許異議申立
2023-700832
錐体外路症状診断装置及び錐体外路症状診断プログラム
- 審判番号
- 2023-700832
- 法域
- 特許
- 審判種別
- 異議申立(異議の決定)
- 出願番号
- 特願2021-182784
- 登録番号
- 7223103
- 請求日
- 2023年08月14日
- 審決日
- 2024年12月12日
- 公報発行日
- 2025年05月30日
- 結論
- 訂正認容
- 当事者
- 【権利者】株式会社電通総研
- 【権利者代理人】弁理士法人秀和特許事務所
- 【権利者】稲田 俊也
- 【権利者代理人】弁理士法人秀和特許事務所
- 【異議申立人】上地 萌子
- 審判長/審判官
- 審判長 千葉 輝久
- 審判官 樫本 剛
- 審判官 高橋 宣博
- 分類
- P1651.121-YAA(G06T) / P1651.537-YAA(G06T)
- 根拠条文(結論部分から自動抽出・参考)
- 特許法120条の8第1項特許法135条
- 条文(本文から自動抽出・参考)
- 特許法第120条の5第9項、特許法第120条の5第2項、特許法第29条第2項、特許法第120条の5第4項、特許法第36条第6項第1号、特許法第120条の8第1項
- データ出所
- 審決公報(XML)
事件の表示
特許第7223103号発明「錐体外路症状診断装置及び錐体外路症状診断プログラム」の特許異議申立事件について、次のとおり決定する。
結論
結 論
特許第7223103号の特許請求の範囲を令和6年8月29日付け訂正請求書に添付された訂正特許請求の範囲のとおり、訂正後の請求項〔1~4〕、5、6について訂正することを認める。
特許第7223103号の請求項1、3~6に係る特許を維持する。
特許第7223103号の請求項2に係る特許についての特許異議の申立てを却下する。
理由
理 由
第1 手続の経緯
特許第7223103号(以下「本件特許」という。)の請求項1~6に係る特許についての出願は、令和3年11月9日に出願され、令和5年2月7日にその特許権の設定登録がされ、同年2月15日に特許掲載公報が発行された。
その後、令和5年8月14日に特許異議申立人上地萌子(以下「申立人」という。)により本件特許の請求項1~6に対して特許異議の申立てがされた。
さらにその後の経緯は次のとおりである。
令和5年12月18日付け 取消理由通知書
令和6年 2月16日 訂正請求書、意見書の提出(特許権者)
同年 4月10日 意見書の提出(申立人)
同年 7月 2日付け 取消理由通知書(決定の予告)
同年 8月29日 訂正請求書、意見書の提出(特許権者)
同年10月11日 意見書の提出(申立人)
第2 訂正の適否についての判断
1 請求の趣旨、訂正の内容
(1)請求の趣旨
令和6年8月29日に特許権者により行われた、願書に添付した特許請求の範囲の訂正(以下「本件訂正」という。)の請求の趣旨は、特許第7223103号の特許請求の範囲を本訂正請求書に添付した訂正特許請求の範囲のとおり、訂正後の請求項1~6について訂正することを求める、というものである。
(2)訂正の内容
本件訂正の内容(以下「訂正事項」という。)は次のとおりである。なお、下線部は訂正箇所である。
ア 訂正事項1
特許請求の範囲の請求項1に、
「前記画像データから前記対象者の特徴点を複数求め、各特徴点の位置情報を時系列に求めることと、時系列に求めた前記各特徴点の時間経過に伴う位置情報の相対的な変化に基づいて」
と記載されているのを、
「前記画像データから前記対象者の特徴点を複数求め、各特徴点の相対的な位置情報を時系列に求めることと、時系列に求めた前記各特徴点の時間経過に伴う前記相対的な位置情報の変化に基づいて」
に訂正する。(請求項1の記載を引用する請求項3及び4も同様に訂正する。)
イ 訂正事項2
特許請求の範囲の請求項1に、
「各特徴点の特徴量を求めることと」
と記載されているのを、
「各特徴点の時間経過に伴う前記相対的な位置情報の変化量について求めた、平均値を跨いだ回数である特徴量を求めることと」
に訂正する。(請求項1の記載を引用する請求項3及び4も同様に訂正する。)
ウ 訂正事項3
特許請求の範囲の請求項1に、
「各特徴点の前記特徴量が入力された際に、前記各特徴点の時間経過に伴う位置情報の相対的な変化に基づいて推定される」
と記載されているのを、
「各特徴点の前記特徴量が入力された際に、前記各特徴点の時間経過に伴う前記相対的な位置情報の変化に基づいて推定される」
に訂正する。(請求項1の記載を引用する請求項3及び4も同様に訂正する。)
エ 訂正事項4
特許請求の範囲の請求項2を削除する。
オ 訂正事項5
特許請求の範囲の請求項3に
「各特徴点における前記位置情報の時間経過に伴う変化が、前記対象者の顔の基準部位を基準とする相対的な位置の変化である」
と記載されているのを、
「各特徴点における前記相対的な位置情報の時間経過に伴う変化が、前記対象者の顔の基準部位を基準とする相対的な位置の変化である」
に訂正する。(請求項3の記載を引用する請求項4も同様に訂正する。)
カ 訂正事項6
特許請求の範囲の請求項3に、
「請求項1又は2に記載の」
と記載されているのを、
「請求項1に記載の」
に訂正する。(請求項3の記載を引用する請求項4も同様に訂正する。)
キ 訂正事項7
特許請求の範囲の請求項4に、
「特定の部位である」
と記載されているのを、
「特定の部位の所定箇所である」
に訂正する。
ク 訂正事項8
特許請求の範囲の請求項5に
「前記制御部が、前記錐体外路症状の程度を算出した際、当該算出結果への影響度が高い前記特徴点を求めることと、前記影響度が高い前記特徴点を前記対象者の画像上に重畳して表示することと、を更に実行する請求項1~4の何れか1項に記載の錐体外路症状診断装置。」
とあるうち、請求項1を引用するものについて、独立形式に改め、
「診断の対象者を撮影した動画像から時系列に画像データを取得することと、前記画像データから前記対象者の特徴点を複数求め、各特徴点の相対的な位置情報を時系列に求めることと、時系列に求めた前記各特徴点の時間経過に伴う前記相対的な位置情報の変化に基づいて、各特徴点の特徴量を求めることと、各特徴点の前記特徴量が入力された際に、前記各特徴点の時間経過に伴う前記相対的な位置情報の変化に基づいて推定される、振戦の程度、ジスキネジアの程度、又はジストニアの程度を錐体外路症状の程度として算出するように、教師データを用いた機械学習処理が施された学習済み診断モデルに、前記対象者を撮影した前記動画像から求めた前記特徴量を入力して、当該動画像について前記錐体外路症状の程度を出力することと、を実行する制御部を備え、前記制御部が、
前記錐体外路症状の程度を算出した際、当該算出結果への影響度が高い前記特徴点を求めることと、前記影響度が高い前記特徴点を前記対象者の画像上に重畳して表示することと、を更に実行する錐体外路症状診断装置。」
に訂正する。
ケ 訂正事項9
特許請求の範囲の請求項6に、
「前記画像データから前記対象者の特徴点を複数求め、各特徴点の位置情報を時系列に求めることと、時系列に求めた前記各特徴点の時間経過に伴う位置情報の相対的な変化に基づいて」
と記載されているのを、
「前記画像データから前記対象者の特徴点を複数求め、各特徴点の相対的な位置情報を時系列に求めることと、時系列に求めた前記各特徴点の時間経過に伴う前記相対的な位置情報の変化に基づいて」
に訂正する。
コ 訂正事項10
特許請求の範囲の請求項6に、
「各特徴点の前記特徴量が入力された際に、前記各特徴点の時間経過に伴う位置情報の変化に基づいて前記各特徴点の時間経過に伴う位置情報の相対的な変化に基づいて推定される」
と記載されているのを、
「各特徴点の前記特徴量が入力された際に、前記各特徴点の時間経過に伴う前記相対的な位置情報の変化に基づいて推定される」
に訂正する。
サ 訂正事項11
特許請求の範囲の請求項6に、
「前記錐体外路症状の程度を出力することと、を制御部に実行させるための錐体外路症状診断プログラム。」
と記載されているのを、
「前記錐体外路症状の程度を出力することであって、前記錐体外路症状の程度を算出した際、当該算出結果への影響度が高い前記特徴点を求め、前記影響度が高い前記特徴点を前記対象者の画像上に重畳して表示することと、を制御部に実行させるための錐体外路症状診断プログラム。」
に訂正する。
2 一群の請求項について
訂正前の請求項2~5は、それぞれ請求項1を直接的又は間接的に引用し、請求項1の訂正に連動して訂正されるものであるから、訂正前の請求項1~5に対応する訂正後の請求項1~5は、特許法第120条の5第4項に規定する一群の請求項である。
そして、訂正事項1~8は、一群の請求項〔1~5〕についてされたものであるから、特許法第120条の5第4項の規定に適合する。
3 訂正の目的の適否、新規事項の追加の有無、特許請求の範囲の拡張・変更の存否について
(1)訂正事項1について
訂正事項1は、訂正前の請求項1における「位置情報」を「相対的な位置情報」に限定するとともに、明瞭でなかった「位置情報の相対的な変化」を「位置情報の変化」に訂正するものであるから、特許法第120条の5第2項ただし書第1号に掲げる「特許請求の範囲の減縮」及び同第3号に掲げる「明瞭でない記載の釈明」を目的とするものである。
前記「相対的な位置情報」について、願書に添付した明細書の【0029】には「例えば、顔の基準部位、本例では鼻先401を原点とし、垂直方向をY軸、水平方向をX軸、奥行き方向をZ軸とし、この座標系における各特徴点の座標を位置情報として求める。即ち、顔の各パーツの鼻先(基準部位)401に対する相対的な位置の変化を求める。」と記載されている。
前記「位置情報の変化」について、願書に添付した明細書の【0034】には「特徴量算出部113は、前処理部112で時系列に求めた各特徴点の時間経過に伴う位置情報の変化に基づいて、各特徴点の特徴量を求める。」と記載されている。
以上から、訂正事項1は、特許法第120条の5第9項において準用する同法第126条第5項の規定に適合するものである。
訂正事項1は、上記のとおり特許請求の範囲を減縮するもの及び記載を明瞭にするものであり、実質上特許請求の範囲を拡張し、又は変更するものではないから、特許法第120条の5第9項において準用する同法第126条第6項の規定に適合するものである。
(2)訂正事項2について
訂正事項2は、訂正前の請求項1における「各特徴点の特徴量」を「各特徴点の時間経過に伴う前記相対的な位置情報の変化量について求めた、平均値を跨いだ回数である特徴量」に限定するものであるから、特許法第120条の5第2項ただし書第1号に掲げる「特許請求の範囲の減縮」を目的とするものである。
前記「各特徴点の時間経過に伴う前記相対的な位置情報の変化量について求めた、平均値を跨いだ回数である特徴量」について、願書に添付した明細書の【0029】には上記のとおり記載され、【0034】には「ここで、特徴量は、例えば、時間経過に伴う位置情報の変化量について求めた、平均値、中央値、標準偏差、分散、最小値、最大値、歪度、尖度、総和、二乗和、平均値を跨いだ回数、及び平均パワースペクトルのうち、少なくとも一つが挙げられる。」と記載されているから、訂正事項2は、特許法第120条の5第9項において準用する同法第126条第5項の規定に適合するものである。
訂正事項2は、上記のとおり特許請求の範囲を減縮するものであり、実質上特許請求の範囲を拡張し、又は変更するものではないから、特許法第120条の5第9項において準用する同法第126条第6項の規定に適合するものである。
(3)訂正事項3について
上記(1)における「相対的な位置情報」及び「位置情報の変化」についての判断と同様である。
(4)訂正事項4について
訂正事項4は、訂正前の請求項2を削除するものであるから、特許法第120条の5第2項ただし書第1号に掲げる「特許請求の範囲の減縮」を目的とするものであり、特許法第120条の5第9項において準用する同法第126条第5項及び第6項の規定に適合するものである。
(5)訂正事項5について
上記(1)における「相対的な位置情報」についての判断と同様である。
(6)訂正事項6について
訂正事項6は、請求項3における引用請求項から請求項2を削除するものであるから、特許法第120条の5第2項ただし書第1号に掲げる「特許請求の範囲の減縮」を目的とするものであり、特許法第120条の5第9項において準用する同法第126条第5項及び第6項の規定に適合するものである。
(7)訂正事項7について
訂正事項7は、訂正前の「前記特徴点が、前記対象者の顔の部位であって、唇、及び当該唇の周辺部を含む特定の部位である」との記載では、点を意味する特徴点が領域を意味する部位に対応しており、意味が明瞭ではなかったものを、「前記特徴点が、前記対象者の顔の部位であって、唇、及び当該唇の周辺部を含む特定の部位の所定箇所である」と訂正することにより、対応関係を整合させて意味を明瞭にするものであるから、特許法第120条の5第2項ただし書第3号に掲げる「明瞭でない記載の釈明」を目的とするものである。
前記「特定の部位の所定箇所である」ことについて、願書に添付した明細書の【0027】には「そして、特徴点決定部111は、各パーツにおける所定箇所を特徴点として求める。」と記載されているから、訂正事項7は、特許法第120条の5第9項において準用する同法第126条第5項の規定に適合するものである。
訂正事項7は、実質上特許請求の範囲を拡張し、又は変更するものではないから、特許法第120条の5第9項において準用する同法第126条第6項の規定に適合するものである。
(8)訂正事項8について
訂正事項8は、請求項5における引用請求項を請求項1に限定するとともに、請求項1を引用する請求項5について独立形式に改めるものであるから、特許法第120条の5第2項ただし書第1号に掲げる「特許請求の範囲の減縮」及び同第4号に掲げる「他の請求項の記載を引用する請求項の記載を当該他の請求項の記載を引用しないものとすること」を目的とするものであり、特許法第120条の5第9項において準用する同法第126条第5項及び第6項の規定に適合するものである。
(9)訂正事項9について
上記(1)における「相対的な位置情報」及び「位置情報の変化」についての判断と同様である。
(10)訂正事項10について
訂正事項10は、訂正前の請求項6における「前記各特徴点の時間経過に伴う位置情報の変化に基づいて」「前記各特徴点の時間経過に伴う位置情報の相対的な変化に基づいて」の前者を削除して、重複的な記載の一方を削除するものであるから、特許法第120条の5第2項ただし書第2号に掲げる「誤記の訂正」を目的とするものであり、特許法第120条の5第9項において準用する同法第126条第5項及び第6項の規定に適合するものである。
また、訂正事項10は、上記「前記各特徴点の時間経過に伴う位置情報の変化に基づいて」「前記各特徴点の時間経過に伴う位置情報の相対的な変化に基づいて」の後者について、「位置情報」を「相対的な位置情報」に限定するとともに、明瞭でなかった「位置情報の相対的な変化」を「位置情報の変化」に訂正するものであるから、上記(1)における「相対的な位置情報」及び「位置情報の変化」についての判断と同様である。
(11)訂正事項11について
訂正事項11は、訂正前の請求項6における「前記錐体外路症状の程度を出力すること」を「前記錐体外路症状の程度を出力することであって、前記錐体外路症状の程度を算出した際、当該算出結果への影響度が高い前記特徴点を求め、前記影響度が高い前記特徴点を前記対象者の画像上に重畳して表示すること」に限定するものであるから、特許法第120条の5第2項ただし書第1号に掲げる「特許請求の範囲の減縮」を目的とするものである。
前記「前記錐体外路症状の程度を算出した際、当該算出結果への影響度が高い前記特徴点を求め、前記影響度が高い前記特徴点を前記対象者の画像上に重畳して表示すること」は、願書に添付した特許請求の範囲の請求項5に記載されているから、訂正事項11は、特許法第120条の5第9項において準用する同法第126条第5項の規定に適合するものである。
訂正事項11は、上記のとおり特許請求の範囲を減縮するものであり、実質上特許請求の範囲を拡張し、又は変更するものではないから、特許法第120条の5第9項において準用する同法第126条第6項の規定に適合するものである。
4 別の訂正単位とする求めについて
特許権者は、訂正後の請求項5については、当該請求項についての訂正が認められる場合には、一群の請求項の他の請求項とは別途訂正することを求めており、訂正後の請求項5は請求項1~4とは別の訂正単位として扱う。
5 訂正の適否についてのまとめ
以上のとおり、訂正事項1~11に係る訂正は、特許法第120条の5第2項ただし書第1号~第4号に掲げる事項を目的とするものであり、かつ、同条第4項、並びに、同条第9項で準用する同法第126条第5項及び第6項の規定に適合するものである。
したがって、特許請求の範囲を、本件訂正請求書に添付された訂正特許請求の範囲のとおり、訂正後の請求項〔1~4〕、5、6について訂正することを認める。
第3 本件訂正後の発明
本件訂正請求により訂正された請求項1~6に係る発明(以下「本件訂正発明1」~「本件訂正発明6」という。)は、訂正特許請求の範囲の請求項1~6に記載された次の事項により特定されるとおりのものである。
なお、本件訂正発明1及び6には(A)~(H)の符号を付した。以下、それぞれ「構成A」~「構成H」という。
〔本件訂正発明1〕【請求項1】
(A) 診断の対象者を撮影した動画像から時系列に画像データを取得することと、
(B) 前記画像データから前記対象者の特徴点を複数求め、各特徴点の相対的な位置情報を時系列に求めることと、
(C) 時系列に求めた前記各特徴点の時間経過に伴う前記相対的な位置情報の変化に基づいて、各特徴点の時間経過に伴う前記相対的な位置情報の変化量について求めた、平均値を跨いだ回数である特徴量を求めることと、
(D) 各特徴点の前記特徴量が入力された際に、前記各特徴点の時間経過に伴う前記相対的な位置情報の変化に基づいて推定される、振戦の程度、ジスキネジアの程度、又はジストニアの程度を錐体外路症状の程度として算出するように、教師データを用いた機械学習処理が施された学習済み診断モデルに、前記対象者を撮影した前記動画像から求めた前記特徴量を入力して、当該動画像について前記錐体外路症状の程度を出力することと、
(E) を実行する制御部を備える錐体外路症状診断装置。
〔本件訂正発明2〕【請求項2】(削除)
〔本件訂正発明3〕【請求項3】
各特徴点における前記相対的な位置情報の時間経過に伴う変化が、前記対象者の顔の基準部位を基準とする相対的な位置の変化である請求項1に記載の錐体外路症状診断装置。
〔本件訂正発明4〕【請求項4】
前記顔の基準部位は鼻であり、前記特徴点が、前記対象者の顔の部位であって、唇、及び当該唇の周辺部を含む特定の部位の所定箇所である請求項3に記載の錐体外路症状診断装置。
〔本件訂正発明5〕【請求項5】
診断の対象者を撮影した動画像から時系列に画像データを取得することと、
前記画像データから前記対象者の特徴点を複数求め、各特徴点の相対的な位置情報を時系列に求めることと、
時系列に求めた前記各特徴点の時間経過に伴う前記相対的な位置情報の変化に基づいて、各特徴点の特徴量を求めることと、
各特徴点の前記特徴量が入力された際に、前記各特徴点の時間経過に伴う前記相対的な位置情報の変化に基づいて推定される、振戦の程度、ジスキネジアの程度、又はジストニアの程度を錐体外路症状の程度として算出するように、教師データを用いた機械学習処理が施された学習済み診断モデルに、前記対象者を撮影した前記動画像から求めた前記特徴量を入力して、当該動画像について前記錐体外路症状の程度を出力することと、
を実行する制御部を備え、
前記制御部が、
前記錐体外路症状の程度を算出した際、当該算出結果への影響度が高い前記特徴点を求めることと、
前記影響度が高い前記特徴点を前記対象者の画像上に重畳して表示することと、
を更に実行する錐体外路症状診断装置。
〔本件訂正発明6〕【請求項6】
(A) 診断の対象者を撮影した動画像から時系列に画像データを取得することと、
(B) 前記画像データから前記対象者の特徴点を複数求め、各特徴点の相対的な位置情報を時系列に求めることと、
(F) 時系列に求めた前記各特徴点の時間経過に伴う前記相対的な位置情報の変化に基づいて、各特徴点の特徴量を求めることと、
(D) 各特徴点の前記特徴量が入力された際に、前記各特徴点の時間経過に伴う前記相対的な位置情報の変化に基づいて推定される、振戦の程度、ジスキネジアの程度、又はジストニアの程度を錐体外路症状の程度として算出するように、教師データを用いた機械学習処理が施された学習済み診断モデルに、前記対象者を撮影した前記動画像から求めた前記特徴量を入力することにより、前記錐体外路症状の程度を出力することであって、
(G)前記錐体外路症状の程度を算出した際、当該算出結果への影響度が高い前記特徴点を求め、前記影響度が高い前記特徴点を前記対象者の画像上に重畳して表示することと、
(H) を制御部に実行させるための錐体外路症状診断プログラム。
第4 取消理由通知に記載した取消理由について
令和6年7月2日付けで特許権者に通知した取消理由の要旨は、次のとおりである。
(進歩性について)
請求項1、3、4、6に係る発明は、甲第6号証に記載された発明及び参考資料3に記載された技術に基づいて、当業者が容易に発明をすることができたものであるから、請求項1、3、4、6に係る特許は特許法第29条第2項の規定に違反してされたものであり、同法第113条第2号に該当し、取り消されるべきものである。
第5 申立人により提出された甲号証及び参考資料
申立人によって特許異議申立書(以下「申立書」という。)とともに提出された甲第1~6号証、令和6年4月10日付け意見書とともに提出された参考資料1~3、及び、令和6年10月11日付け意見書とともに提出された参考資料4は、次のとおりである。
甲第1号証:Jihun Hamm, Christian G. Kohler, Ruben C. Gur, Ragini Verma, “Automated Facial Action Coding System for Dynamic Analysis of Facial Expression in Neuropsychiatric Disorders”, NIH Public Access Author Manuscript, 2011年9月15日
甲第2号証:川村亮介、武村紀子、佐藤宏介、「発話時の表情変化に基づいた精神疲労の推定」、計測自動制御学会論文集、2017年、Vol.53、No.1、90~98頁
甲第3号証:西田武司、「主成分分析を用いた顔面神経麻痺度合いの40点法に基づく定量評価」、奈良先端科学技術大学院大学 情報科学研究科 情報処理学専攻 修士論文、2012年3月16日
甲第4号証:加藤花歩、Chengshuo Xia、杉浦裕太、「顔画像情報を利用した運動識別システム」、エンタテインメントコンピューティングシンポジウム(EC2020)、2020年8月、139~146頁
甲第5号証:伊藤修司、宮河秀和、菅原理裕、中根秀之、後藤聡、「動画像処理を用いた非侵襲的計測方法による顔表情計測装置の開発 ―遅発性ジスキネジア評価への適用―」、精密工学会誌、2015年、Vol.81、No.3、258~263頁
甲第6号証:特表2020-537579号公報
参考資料1:厚生労働省、「重篤副作用疾患別対応マニュアル ジスキネジア」、第13回重篤副作用総合対策検討会 資料2-7、令和3年10月15日、5~10頁
参考資料2:Bo Jin, Yue Qu, Liang Zhang, Zhan Gao, “Research on Diagnosing Parkinson’s Disease through Facial Expression Recognition”, Journal of Medical Internet Research, 2020年3月12日
参考資料3:Michael H. Li, Tiago A. Mestre, Susan H. Fox, Babak Taati, “Automated Vision-Based Analysis of Levodopa-Induced Dyskinesia with Deep Learning”, Proceedings of Annual International Conference of the IEEE Engineering in Medicine and Biology Society, 2017年7月
参考資料4:特開2016-140576号公報
第6 甲第1~6号証、参考資料1~4に記載された発明、技術
1 甲第6号証について
(1)甲第6号証の記載事項
甲第6号証には次の記載がある。なお、強調する箇所に下線を付した。
「【0036】
したがって、本発明の一実施例は、患者を診断するためのシステムを提供することであり、本システムは、プロセッサ及びメモリと通信している少なくとも1つのセンサーであって、プロセッサ及びメモリと通信している前記少なくとも1つのセンサーが、前記患者から生患者データを取得し、前記生患者データが、ビデオ記録及びオーディオ記録のうちの少なくとも1つを備える、少なくとも1つのセンサーと、プロセッサ及びメモリと通信しているデータ処理モジュールであって、前記データ処理モジュールが、前記生患者データを処理された診断データに変換する、データ処理モジュールと、データ処理モジュールと通信している診断モジュールであって、前記診断モジュールが、少なくとも1つのセンサーから遠隔にあり、前記診断モジュールが、トレーニングされた診断システムを備え、前記トレーニングされた診断システムが、複数の診断モデルを備え、前記複数の診断モデルの各々が、前記処理された診断データの少なくとも1つの態様に分類を割り当てるようにトレーニングされた複数のアルゴリズムを備え、前記トレーニングされた診断システムが、前記患者についての診断予測を出力するために、前記複数の診断モデルの分類を統合する、診断モジュールとを備える。」
「【0040】
本発明のまた別の実施例は、そのようなシステムを提供することであり、前記トレーニングされた診断システムが、機械学習システムを使用してトレーニングされる。
【0041】
本発明のさらに別の実施例は、そのようなシステムを提供することであり、前記機械学習システムが、畳み込みニューラル・ネットワーク(たとえば、非特許文献4)、リカレント・ニューラル・ネットワーク(非特許文献5)、長期短期記憶ネットワーク(非特許文献6)、及びランダム・フォレスト回帰モデル(非特許文献7)のうちの少なくとも1つを備える。」
「【0081】
以下では、処理の各段階が何を伴うかについて実例が与えられる。これは、各構成要素の役割を解明するのを助けることが意図されるが、含まれ得る方法の全範囲をカバーするとは限らない。」
「【0084】
特徴抽出:入力データの関係する態様をキャプチャする、抽象的な特徴セットを得るためのフィルタ又は他の方法の適用。これの一実例は、画像シーケンスからのオプティカル・フロー特徴の抽出である。オーディオでは、メル周波数ケプストラム係数(MFCC:Mel Frequency Cepstral Coefficient)が、音響信号から抽出され得る。特徴抽出は、分類/回帰モデル内に暗黙的に実装され得る(これは一般的に、深層学習方法の場合である
)。代替的に、データを人工ニューラル・ネットワークに渡す前に、特徴抽出が実施され得る。
【0085】
分類/回帰:所望の出力を生成するためにデータからトレーニングされる、教師あり(supervised)機械学習アルゴリズム。分類の場合、システムの目標は、入力を前提として、診断のセットのうちのどれが可能性が最も高いかを決定することである。診断のセットは、好ましくは、疾患又は運動障害がないことを表すヌル・オプションを含む。いくつかの実施例では、分類システムの出力は、概して、各可能な診断に関連する確率である(すべての出力にわたる確率は、合計1になる)。回帰システムでは、実数値の出力が、独立して予測される。たとえば、システムは、障害の重大度を測定するための制度上のスケール(たとえば、パーキンソン病統一スケール(UPDRS:Unified Parkinson’s Disease Rating Scale))に当たるスコアを予測するようにトレーニングされ得る。当業者に明らかになるように、最終出力を生成するために使用され得る機械学習分類/回帰アルゴリズムは、(相対的に浅いか又は深い)人工ニューラル・ネットワーク(非特許文献10)、リカレント・ニューラル・ネットワーク、サポート・ベクター・マシン(非特許文献11)、及びランダム・フォレストである。システムはまた、出力を生成するために、機械学習方法のアンサンブルを利用し得る(非特許文献12)。」
「【0104】
以下の実施実例は、本発明の例示的な一実施例を与えており、いかなる形でも本発明の範囲を限定するものではない。これは、運動障害を診断する汎用システムの1つの特定の実施例である。そのような障害は、限定はしないが、パーキンソン病(PD)、脳血管性PD、薬物誘発PD、多系統萎縮症、進行性核上性麻痺、大脳皮質基底核症候群、前頭側頭型認知症、心因性振戦、心因性運動障害、及び正常圧水頭症;フリードライヒ運動失調症、脊髄小脳変性症1~14型、先天性X連鎖運動失調症、ビタミンE欠乏を伴う成人発症の運動失調、毛細血管拡張性運動失調症、及びカナバン病を含む、運動失調;ハンチントン病、神経有棘赤血球症、良性遺伝性舞踏病、及びレッシュ-ナイハン症候群;オッペンハイムの捻転ジストニア、X連鎖ジストニアパーキンソン症候群、ドーパ反応性ジストニア、頭頸部ジストニア、急速発症ジストニアパーキンソン症候群、ニーマンピック病C型、鉄沈着を伴う神経変性症、痙攣性発声障害、及び痙性斜頸を含む、ジストニア;遺伝性驚愕病、ウンフェルリヒト-ルントボルク病、ラフォラ小体病、間代性筋痙攣、クロイツフェルト-ヤコブ病(家族性及び散発性)、及び歯状核赤核淡蒼球ルイ体萎縮症(DRPLA:Dentatorubral-pallidoluysian atrophy);エピソード的運動失調1型及び2型、運動誘発性、非運動誘発性、及び労作性を含む発作性ジスキネジア;トゥレット症候群及びレット症候群;本態性振戦、原発性(primary)頭部振戦、及び原発性音声振戦を含む。
【0105】
トレーニング・プロセスは、6つの主要な段階、1)データ取得、2)データ注釈、3)データ準備、4)診断モデルをトレーニングする、5)トレーニング・モデルのアグリゲーション、及び6)モデル展開を伴う。概して、パーキンソン病を診断するために複数のテストが使用され、したがって、これらの5つの段階の詳細は、テストごとにいくぶん異なり得る。以下の方法は、(たとえば、スマートフォン又はコンピュータ上の)標準的なビデオ・カメラを介して収集され得るデータのみを利用する。しかしながら、他のセンサーからのデータが、さらなる入力として追加され得る。」
「【0107】
アクションのシーケンスをプロンプトしている間の患者の顔のクローズアップ・ビデオを記録する。このテストの目標は、静止時(at rest)の顔、単純な表情を作っている顔、瞬目率情報、及び注視変動(左右、上下、輻輳(convergence))を含んでいるビデオを収集することである。」
「【0113】
データ取得に続いて、データ注釈フェーズが、ビデオ記録の特性をラベリングするために必要とされる。トレーニングされたエキスパートは、各ビデオ記録を検討し、関係するアセスメントの集合を提供する。適切なとき、エキスパートは、患者の様々な観測可能な特性に対してパーキンソン病統一スケール(UPDRS)レーティングを割り当てる。たとえば、テスト1における顔記録について、UPDRSスコアが、顔の表情及び顔/顎振戦に対して割り当てられる。UPDRSが適用可能でない状況では、エキスパートは、ビデオ記録に代替ラベルを割り当て得る。たとえば、テスト1における顔記録について、エキスパートは、患者の瞬目率を、正常から著しく低減された(severely reduced)にわたる5つのカテゴリーに分類し得る。テスト2について、エキスパートは、各四肢(extremity)における振戦の量に対してUPDRSスコアを割り当てる。テスト3について、エキスパートは、特定の持続時間の間の破裂音の回数、又はプロンプトされたパラグラフの共振、明瞭度、韻律、ボリューム、声質、及び調音精度に基づいて、患者の音声に対してUPDRSスコアを割り当てる。テスト4について、エキスパートは、実施された各反復的運動タスクに対してUPDRSスコアを割り当てる。テスト5について、エキスパートは、椅子から立ち上がること、姿勢、歩行、及び身体運動緩徐/運動低下に対してUPDRSスコアを割り当てる。エキスパートは、交代運動率(AMR:alternating motion rate)及び歩行分析を含む、特定のタスクのビデオ分析を通して、筋緊張(硬直、痙直、緊張低下、緊張亢進、ジストニア及び弛緩)など、診断を支援することができるビデオ記録の任意の他の弁別特性を識別し、ラベリングし得る。」
「【0116】
生ビデオ及びオーディオ・データは、通常、モデルをトレーニングするためにそれが使用され得る前に、準備のいくつかの段階を通ることを必要とする。これらの段階は、データ前処理(たとえば、ビデオ/オーディオをトリミングすること、ビデオをクロップすること、オーディオ利得を調節すること、時系列をサブサンプリング又はスーパーサンプリングすること、時間的平滑化など)、正規化(たとえば、オーディオ・クリップを標準的なテンプレートに位置合わせすること、顔画像を正準ビューに変えること、関心物体を検出すること、及び関心物体の周りをクロップすることなど)、及び特徴抽出(たとえば、音響データからメル周波数ケプストラム係数(MFCC)を導出すること、ビデオ・データのためのオプティカル・フロー特徴を算出すること、瞬目又は指のタップなどのアクションを抽出及び表現することなど)を含む。」
「【0121】
生ビデオ・データを処理することにおける第1の段階は、顔が存在し、遮られておらず、静止している、ビデオ内の(1つ又は複数の)連続領域を見つけることである。このタスクのために、既製(off-the-shelf)の顔検出アルゴリズム(たとえば、非特許文献8又はより高度な畳み込みニューラル・ネットワーク)、又はAmazon Rekognition(商標)などのオンラインAPIを介して利用可能な顔検出アルゴリズムが、顔が存在するビデオ・フレームを識別するために使用され得る。顔が存在しないビデオの領域は、廃棄される。顔が存在する十分な連続セクションがない場合、ビデオは再記録される必要があるか、又はデータはトレーニング・セットから廃棄される。この段階中に稼働される顔検出アルゴリズムは、ビデオを(顔がおおよそ中心に置かれた)顔のみを含んでいる領域にクロップするためにも使用される。このプロセスは、異なる記録にわたる顔のサイズの変動を制御するのを助ける。
【0122】
顔処理における次のステップは、標準的な顔ランドマーク(たとえば、眼角、口、鼻、顎の輪郭など)のロケーションを識別することである。これは、フリー・ライセンスのソフトウェアを使用して又はオンラインAPIを介して、行われ得る。代替的に、この問題のためのカスタム・ソリューションが、自由に利用可能な顔ランドマーク・データセットからのデータを使用してトレーニングされ得る。
【0123】
主要な顔の特徴のロケーションが知られると、アルゴリズムは、顔の一部分の周りの矩形領域をクロップすることによって、関心領域をビデオから抽出する。1つのそのような領域は、顎エリアを含み、おおよそ、垂直方向では頤のわずか下から鼻の中央まで、水平方向では顔の両側面に広がる。振戦が生じる顔の他の領域も、このポイントにおいて抽出され得る。さらに、顔全体のクロップが保持され得る。
【0124】
関心領域の抽出中に、クロップされたビデオ・シーケンス内の関心物体の滑らかなビューを保証するために、画像安定化技法が使用される。これらの技法は、あるフレームから次のフレームまでの検出された顔ボックス領域の変化、又は同様に、特定の顔ランドマークのロケーションの変化に依拠し得る。この正規化の目標は、関心領域のクリアな安定したビューを得ることである。たとえば、顎における振戦が、関心領域内で上下の運動として可視であり、顎領域の全体的なビューにおいてジッタを生じないように、顎領域のビューは、滑らかであり、一貫しているべきである。」
「【0125】
この段階の終わりにおいて、準備されたデータは、顔の特定のビュー上にズーム・インされたビデオの集合からなる。最終処理ステップとして、これらのクリップの持続時間が、患者記録にわたる標準的な持続時間を達成するように変更され得る。
4.診断モデルをトレーニングする
【0126】
生ビデオ及びオーディオ・データが、上記で説明された技法を使用して準備されると、正確な診断決定を行うようにモデルがトレーニングされる。多くの異なるモデルが、患者の運動の異なる態様を診断するようにトレーニングされる。前のセクションの場合のような、いくつかの具体的な実例が、ここで詳細に説明される。ただし、ここで説明されない実例は、本質的に同様である。」
「【0129】
上記の説明に従って準備されたデータセットは、関心顔領域の1つ又は複数のビデオ・シーケンスを含んでいる。これらのシーケンスは、固定数のフレームを含むように標準化されている。さらに、各シーケンスについて、観測された顔/顎振戦に関連するUPDRSスコアのためのエキスパート注釈を有する。簡単のために、単一の関心領域のためのモデルを説明し、次いで簡単に、このフレームワークが複数の関心領域にどのように拡張され得るかを論じる。
【0130】
10秒間に毎秒30フレームで記録される顎のビデオ・シーケンスを考慮する。顎の周りのクロップされた領域は128×256ピクセル(行×列)の寸法を有すると仮定される。その場合、データは、それぞれサイズ128×256の300個のサンプル画像のシーケンスである(これらの数字は、説明のためのものにすぎず、モデルで使用される正確な寸法を反映しない)。各患者について、その患者のためのそのようなシーケンス及び関連するUPDRSスコアを有する。モデルをトレーニングすることの目標は、データから導出された入力シーケンスからUPDRSスコアを予測することを学習することである。」
「【0136】
PDを診断するためにこのシステムを展開するとき、同じデータ収集プロセスが、所与の患者のために適用される。データの注釈はなく、なぜなら、目標は、システムがこれを実施することであるからである。生データは、上記のセクション3における方法に従って準備され、セクション4で説明されたトレーニングされるモデルに渡される(ただし、この段階では実際のトレーニングが行われない)。トレーニングされた診断モデルの各々の出力は、次いで、全体的な診断予測を行うために最終モデルにパスされる。中間モデルからの予測も、最終診断において利用可能にされ得る。
【0137】
一実例として、そのようなシステムは、スマートフォン・アプリにおいて実装され得る。ビデオを記録し、適切な患者のアクションについてプロンプトするアプリ内のプロセスに従うことによって、患者についてのデータが収集される。アプリは、上記のテストにおおよそ対応する一連の個別テスト(ただし、上記のテストのうちのいくつかが複数のサブテストに分割される)を循環する。各テストからのデータは、デバイス上に保存されるか又はクラウドにアップロードされる。さらに、データは、適切なデータ準備方法に渡され、データ準備方法は、準備されたデータを適切な診断モデルに渡す。単一のテストからのデータは、(データ準備とモデル評価とからなる)複数の異なる診断パイプラインに渡され得る。診断パイプラインは、デバイス上、遠隔コンピュータ上、又は両方の何らかの組合せで実装され得る。診断モデルのすべてが稼働されると、それらの出力は、全体的な診断予測を得るために最終モデルに渡される。再び、この処理は、デバイス上、クラウド中、又は両方の何らかの組合せで行われ得る。システムは、中間モデル予測とともに最終診断予測を患者に出力する。システムは、そのような出力を、初期センサー・データを収集するために使用されたデバイスのスクリーン上に表示し得るか、又は、そのような出力を、モバイル・デバイスへのSMSメッセージング、又は電子メールを指定された当事者に送ることなど、他の手段を介して、関係する当事者に送信し得る。システムは、診断予測に関係する追加情報(たとえば、信頼性スコア、記録品質のアセスメント、フォローアップ・テストのための勧告など)を提示し得る。アプリはまた、関係する情報とテストからのデータとをロギングし得、診断に関する情報を選択された医療専門家に伝えることができる。」
(2)甲第6号証に記載された技術事項
ア 甲第6号証の段落【0036】によれば、診断モジュールは、トレーニングされた診断システムを備え、トレーニングされた診断システムは、複数の診断モデルを備えるものである。
また、段落【0040】によれば、トレーニングされた診断システムは、機械学習システムを使用してトレーニングされるものである。
つまり、複数の診断モデルは機械学習システムを使用してトレーニングされるものであるといえる。
イ 甲第6号証の段落【0041】によれば、機械学習システムは、畳み込みニューラル・ネットワーク、リカレント・ニューラル・ネットワーク、長期短期記憶ネットワーク、及びランダム・フォレスト回帰モデルのうちの少なくとも1つを備えるものである。
ウ 甲第6号証の段落【0081】からの、処理の各段階の説明において、段落【0085】によれば、分類/回帰は機械学習アルゴリズムにより行われ、分類の場合、システムの目標は、入力を前提として、診断のセットのうちのどれが可能性が最も高いかを決定することであり、分類システムの出力は各可能な診断に関連する確率であり、回帰システムでは、実数値の出力が独立して予測され、障害の重大度を測定するパーキンソン病統一スケール(UPDRS)に当たるスコアを予測するようにトレーニングされ、最終出力を生成するために使用され得る機械学習分類/回帰アルゴリズムは、人工ニューラル・ネットワーク、リカレント・ニューラル・ネットワーク、サポート・ベクター・マシン、及びランダム・フォレストである。
ここで、文脈から判断すると、段落【0085】に記載の「機械学習アルゴリズム」、「システム」(「分類システム」及び「回帰システム」)、「機械学習分類/回帰アルゴリズム」、「人工ニューラル・ネットワーク」は同一のものを表しているといえる。
エ 上記ウによると、「分類システム」の出力は各可能な診断に関連する確率であることから、分類とは診断を行うことと等しいことであるといえる。
オ 上記ウに記載の「回帰システム」において予測されるパーキンソン病統一スケール(UPDRS)に当たるスコアは、障害の重大度を測定するものであるから、「回帰システム」は診断を行うものであると認められる。
カ 上記ウ~オを考慮すると、上記イに記載の「機械学習システム」と上記ウに記載の「機械学習分類/回帰アルゴリズム」とは、ニューラル・ネットワーク等の同様のアルゴリズムによって診断を行うものであることが共通していることから、同一のものを表しているといえる。
キ 甲第6号証の段落【0125】の「4.診断モデルをトレーニングする」という記載によれば、診断モデルをトレーニングする処理の詳細として、段落【0126】に記載のように、生ビデオが、上記で説明された技法を使用して準備されると、正確な診断決定を行うようにモデルがトレーニングされるものである。
したがって、段落【0116】、【0126】、【0130】等に記載の「モデル」は「診断モデル」のことであるといえる。
ク 上記カ、キの記載を総合すると、診断を行う「機械学習分類/回帰アルゴリズム」と「診断モデル」は同一のものを表しているといえる。
ケ 上記ウ、キ、クの記載を総合すると、甲第6号証に記載の「診断モデル」、「モデル」、「人工ニューラル・ネットワーク」は同一のものを表しているといえる。
コ 甲第6号証の段落【0113】の「エキスパートは、患者の様々な観測可能な特性に対してパーキンソン病統一スケール(UPDRS)レーティングを割り当てる。たとえば、テスト1における顔記録について、UPDRSスコアが、顔の表情及び顔/顎振戦に対して割り当てられる。」という記載によれば、「パーキンソン病統一スケール(UPDRS)レーティング」と「UPDRSスコア」とは同一のものを表しているといえる。
(3)甲6発明
上記(1)の記載事項及び(2)の技術事項から、甲第6号証には、次の発明(以下「甲6発明」という。)が記載されているといえる。
なお、甲6発明には(a)~(c2)の符号を付した。以下、それぞれ「構成a」~「構成c2」という。
また、各構成の末尾括弧内に、対応する記載箇所、技術事項を付した。
〔甲6発明〕
(a)患者を診断するためのシステムであって(【0036】)、
(a1)システムは、プロセッサ及びメモリと通信している少なくとも1つのセンサー、プロセッサ及びメモリと通信しているデータ処理モジュール、データ処理モジュールと通信している診断モジュールを備え、前記診断モジュールが複数の診断モデルを備え(【0036】)、
(a2)診断する運動障害は、パーキンソン病、振戦、ジスキネジア、ジストニア等を含み(【0104】)、
(b)トレーニング・プロセスにおいて(【0105】)、
(b1)アクションのシーケンスをプロンプトしている間の患者の顔のクローズアップ・ビデオを記録し(【0107】)、
(b2) データ注釈フェーズにおいて、
(b21)エキスパートは、患者の様々な観測可能な特性に対してUPDRSスコアを割り当て(【0113】、コ)、
(b22)ジストニアなど、診断を支援することができるビデオ記録の任意の他の弁別特性を識別し、ラベリングし得るものであり(【0113】)、
(b3) 生ビデオは、診断モデルをトレーニングするためにそれが使用され得る前に、準備のいくつかの段階を通り(【0116】、ケ)、
(b31)顔検出アルゴリズムが、顔が存在するビデオ・フレームを識別するために使用され(【0121】)、
(b32)顔検出アルゴリズムは、ビデオを(顔がおおよそ中心に置かれた)顔のみを含んでいる領域にクロップするためにも使用され、異なる記録にわたる顔のサイズの変動を制御するのを助け(【0121】)、
(b33)標準的な顔ランドマーク(たとえば、眼角、口、鼻、顎の輪郭など)のロケーションを識別し(【0122】)、
(b34)主要な顔の特徴のロケーションが知られると、顔の一部分の周りの矩形領域をクロップすることによって、関心領域をビデオから抽出し(【0123】)、
(b35)関心領域の抽出中に、クロップされたビデオ・シーケンス内の関心物体の滑らかなビューを保証するために、画像安定化技法が使用されることにより、正規化され(【0124】)、
(b36)データを診断モデルに渡す前に、画像シーケンスからのオプティカル・フロー特徴の抽出が実施され(【0084】、ケ)、
(b4)準備されたデータセットは、関心顔領域の1つ又は複数のビデオ・シーケンスを含んでおり、各シーケンスについて、観測された顔/顎振戦に関連するUPDRSスコアのためのエキスパート注釈を有し(【0129】)、
(b5)生ビデオが、上記で説明された技法を使用して準備されると、正確な診断決定を行うように診断モデルがトレーニングされ、診断モデルをトレーニングすることで、データから導出された入力シーケンスからUPDRSスコアを予測することを学習し(【0126】、【0130】、ケ)、
(c)診断するためにこのシステムを展開するとき、
(c1)同じデータ収集プロセスが、所与の患者のために適用され、生データは、上記の方法に従って準備され、説明されたトレーニングされる診断モデルに渡され(【0136】、ケ)、
(c2)最終診断予測を出力する(【0137】)
(a)システム。」
2 甲第1号証について
(1)甲第1号証の記載事項
甲第1号証には、精神神経疾患における表情の動的解析のための自動顔動作符号化システムであって(標題)、動画像における顔領域を検出し、顔のランドマークを追跡し(5頁の「3.1.1. Face Detection and Tracking」)、検出されたランドマーク位置を用いて幾何学的特徴及びテクスチャ特徴を抽出し(5~6頁の「3.1.2. Feature Extraction」)、特徴量を分類器に入力し、動画像のフレーム毎に動作単位(AU)を検出し、AUの時系列プロファイルを作成し(6~7頁の「3.2. Action Unit Detection」~「3.3.1. Temporal Profiles of AU」)、AUの時系列プロファイルから、単一AUの頻度、及び、精神神経疾患における感情表出の重症度を示す基本的な臨床尺度として役立つ表情の平坦性及び表情の不適切性を導出する(「3.3.2. Analysis of AU Frequencies」~「3.3.3. Flatness and Inappropriateness Measure」)システムの発明が記載されている。
3 甲第2号証について
甲第2号証には、表情の動き情報を得るために顔に貼り付けた複数のマーカの位置を50fpsで計測し(91頁の「2.1.1 顔特徴点の測定」)、マーカ間の距離を疲労推定に用いる特徴量とし、各特徴量の平均と標準偏差を用いて特徴量の標準化を行って特徴ベクトルとし(92頁の「2.特徴量の算出」及び「3.特徴量の標準化」)、当該特徴ベクトルを用いてSVMによる疲労の推定を行う(92~93頁の「2.3 疲労の推定手法」)技術が記載されている。
4 甲第3号証について
甲第3号証には、抽出された複数の特徴点の移動量と点間距離変化量によって表情認識を行うものであって、表情による位置の変化が表れにくい両眼両端の端点である特徴量の平均値を基準として各特徴点の座標を座標系に変換する技術(12~14頁の「2.2 表情認識」)、及び、人中の特徴点を原点とした位置座標ベクトルから移動ベクトルを取得し、当該移動ベクトルについて主成分分析及び次元圧縮を行って麻酔特有の動きを定量化するための特徴量とする技術(22~25頁の「4.3 入力行列の算出方法について」及び「4.4 主成分分析による麻酔の特徴量変換」)が記載されている。
5 甲第4号証について
甲第4号証には、カメラ画像から顔上の30か所の追跡点を抽出し、当該追跡点からなる時系列データを生成し、SVMを用いて様々な運動を識別する技術(141頁の「3.1 システムの概要」~「3.3 運動の種類識別手法」)が記載されている。
6 甲第5号証について
甲第5号証には、動画像から顔表情変化量を算出し、当該顔情報変化量をカラー表示して遅発性ジスキネジア症状を検出する技術(260~261頁の「3 動画像処理による顔表情変化量の計測方法」~「4 顔表情計測結果」)が記載されている。
7 参考資料1について
参考資料1(6~7頁)には、「ジスキネジアの不随意運動が顔のみではなく手足等にも起こること」が記載されている。
8 参考資料2について
(1)参考資料2の記載事項
参考資料2には次の記載がある。なお、末尾に仮訳を付し、強調する箇所に下線を付した。
「
[図:0001422385000001.jpg]
」(3頁目)
(仮訳:表情認識によるパーキンソン病診断の研究
概要
背景:
現在、神経疾患の患者数は年々増加しており、患者にとっても医師にとっても大きな課題となっている。高度情報技術の出現により、デジタル医療は徐々に医療生態系を変えつつある。多くの人々が、より便利で効率的な方法で診察を受けたり、病気を追跡したり、リハビリ訓練を受けたりする新しい方法を模索している。本稿では、典型的な神経系疾患であるパーキンソン病を、人工知能による顔の表情認識を通じて診断することを探求する。
目的:
本研究では、表情認識によるパーキンソン病(PD)の診断方法を提案する。
方法:
パーキンソン病患者および対照者の表情を記録したビデオを収集した。相対座標と位置ジッターを用いて、Face++により設定されたキーポイントから表情特徴(表情振幅特徴と表情小筋群揺れ特徴)を抽出した。PDの診断には、伝統的な機械学習と高度なディープラーニング領域のいくつかのアルゴリズムを利用した。
結果:
実験の結果、我々のモデルがPD診断のための優れた表情認識能力を達成できることが示された。キーポイントの位置特徴にLong Short-term Model(LSTM)ニューラルネットワークを適用すると、Precisionは86%、F1値は75%に達する。さらに、サポートベクターマシン(SVM)アルゴリズムを顔の表情振幅特徴、すなわち顔の小筋群揺れ特徴に適用すると、F1値は99%に達する。
結論:
本研究は、表情認識に基づくPDのデジタル診断に貢献した。疾患診断モデルは実験により検証された。このモデルは、医師がリアルタイムの疾患動態を理解するのに役立ち、遠隔診断も可能である。)
「
[図:0001422385000002.jpg]
[図:0001422385000003.jpg]
」(14~15頁目)
(仮訳:結果
本論文では、ロジスティック回帰(LR) [14]、サポートベクターマシン(SVM) [15]、決定木(DT) [16]、ランダムフォレスト(RF) [17]などの広く使われている機械学習アルゴリズムを用いて、表情の分類タスクを試みた。実験結果を以下に示す:
表3:一般的な機械学習アルゴリズムの実験結果
[図:0001422385000004.jpg]
表3は、顔のキーポイントに基づく方法が、パーキンソン病患者と健常者をよく区別できることを示している。診断結果は比較的良好である。
LASSO(Least Absolute Shrinkage and Selection Operator)はL1正則化[18]を用いた線形回帰法である。LASSOは学習された特徴量の重みの一部を0にすることができるので、スパースネスと特徴量選出の機能を同時に実現する。この実験では LASSOを用いて特徴量を圧縮した。
[図:0001422385000005.jpg]
図5. LASSOによる特徴圧縮がLRとSVMに与える影響
図5から、LASSOの係数αが大きくなるにつれて、圧縮後の特徴数が徐々に減少することがわかる。学習モデルに使用する特徴数が減少すると、LRとSVMモデルの学習セットの精度が変化する。αの値を0.004とした場合、2つのモデル(LRとSVM)の予測精度が最も高いことがわかる。しかし、元の特徴量を徐々に減らしても、予測精度は直線的に低下しないことから、残された特徴量の方が重要であることがわかる。
[図:0001422385000006.jpg]
図6. 分類結果に大きな影響を与えるキーポイント
次に、最適なハイパーパラメータを持つLASSOを使用して、ターゲット(PD又はNot)に最も関連する特徴をいくつか得た。同時に、ランダムフォレストを用いて特徴量の重要度を整理した。これらの点は、人体の右目尻と唇の近くに位置する。図6では、LASSOによって選択された特徴を赤い円で示し、ランダムフォレストによって選択された特徴を青い楕円で示す。)
(2)参考資料2に記載された技術
上記(1)の記載事項から、参考資料2には「表情を記録したビデオについてFace++により設定されたキーポイントから、相対座標と位置ジッターを用いて表情特徴(表情振幅特徴と表情小筋群揺れ特徴)を抽出して表情認識を行う、パーキンソン病(PD)の診断方法の実験結果において、LASSOやランダムフォレストを用いて分類結果に大きな影響を与えるキーポイントを選択する技術」が記載されているといえる。
9 参考資料3について
(1)参考資料3の記載事項
参考資料3には次の記載がある。なお、末尾に仮訳を付し、強調する箇所に下線を付した。
「Automated Vision-Based Analysis of Levodopa-Induced Dyskinesia with Deep Learning」(標題)
(仮訳:ディープラーニングによるレボドパ誘発性ジスキネジアの視覚に基づく自動解析)
「Abstract- Levodopa is the gold standard therapy for Parkinson’s disease (PD), but its prolonged usage leads to additional motor complications, namely levodopa-induced dyskinesia (LID). To assess LID and adjust drug regimens for optimal relief, patients attend regular clinic visits. However, the intermittent nature of these visits can fail to capture important changes in a person’s condition. With the recent emergence of deep learning achieving impressive results in a wide array of fields including computer vision, there is an opportunity for video analysis to be used for automated assessment of LID. Deep learning for pose estimation was studied as a viable means of extracting body movements from PD assessment videos. Movement features were computed from joint trajectories. Results show that features derived from vision-based analysis have moderate to good correlation with clinician ratings of dyskinesia severity. This study presents the first application of deep learning to video analysis in PD, and demonstrates promise for future development of a non-contact system for objective PD assessment.」(2頁目左欄1~19行)
(仮訳:要旨-レボドパはパーキンソン病(PD)のゴールドスタンダード治療であるが、その長期使用はさらなる運動合併症、すなわちレボドパ誘発性ジスキネジア(LID)を引き起こす。LIDを評価し、最適な緩和のために薬物レジメンを調整するために、患者は定期的にクリニックを受診する。しかし、これらの診察は断続的であるため、患者の状態の重要な変化を捉えることができないことがある。近年、ディープラーニングがコンピュータビジョンを含む幅広い分野で目覚ましい成果を上げていることから、ビデオ解析をLIDの自動評価に利用する機会がある。PD評価ビデオから体の動きを抽出する有効な手段として、ポーズ推定のためのディープラーニングが研究された。動きの特徴量は関節軌跡から計算された。その結果、視覚に基づく解析から得られた特徴量は、臨床医によるジスキネジア重症度の評価と中程度から良好な相関を示した。 本研究は、ディープラーニングをPDのビデオ解析に初めて適用したものであり、客観的なPD評価のための非接触システムの将来的な開発への期待を示すものである。)
「A total of 32 features were extracted for each joint. The joint displacement signal and its derivatives were smoothed and computed using a Savitzky-Golay filter with polynomial order 3 and window length 11. Power spectral density (PSD) was estimated using Welch’s method. Kinematic features were the maximum (Max), median, mean, standard deviation (Std), and interquartile range (IQR) of speed, acceleration, and jerk.Spectral features were the peak magnitude (peak), entropy, signal power (i.e. sum of spectrum), spectral half point (i.e. frequency dividing spectral power into equal halves), and relative power in 0.5-1 Hz, > 2 Hz, > 4 Hz, and > 6 Hz bands of the displacement (Disp) and velocity (Vel) PSDs. The last feature was a spatial feature - the convex hull (Conv hull). As communication task videos were split into shorter videos, features were computed in each segment and averaged to get the feature value for the overall video.」(4頁目左欄2~17行)
(仮訳:各関節について合計32の特徴量が抽出された。関節変位信号とその導関数は、多項式次数3、窓長11のSavitzky-Golayフィルタを用いて平滑化し、計算した。パワースペクトル密度(PSD)はWelchの方法を用いて推定した。運動学的特徴量は、速度、加速度、ジャークの最大値(Max)、中央値、平均値、標準偏差(Std)、四分位範囲(IQR)とした。スペクトル特徴量は、変位(Disp)および速度(Vel)のPSDの0.5~1Hz、>2Hz、>4Hz、および>6Hzの帯域におけるピーク振幅(peak)、エントロピー(entropy)、信号パワー(すなわちスペクトルの総和)、スペクトル半値点(すなわちスペクトルのパワーを等分する周波数)、および相対パワーであった。最後の特徴は空間的特徴量である凸包(Conv hull)である。コミュニケーションタスクの映像は短い映像に分割されているため、各セグメントで特徴量を計算し、映像全体の特徴量を得るために平均化した。)
(2)参考資料3に記載された技術
上記(1)の記載事項から、参考資料3には「ディープラーニングによるレボドパ誘発性ジスキネジアの視覚に基づく自動解析において用いられる特徴量として、各関節についての、変位(Disp)および速度(Vel)のPSDのスペクトル半値点(すなわちスペクトルのパワーを等分する周波数)等を用いる技術」が記載されているといえる。
10 参考資料4について
(1)参考資料4の記載事項
参考資料4には次の記載がある。なお、強調する箇所に下線を付した。
「【背景技術】
【0002】
パーキンソン病等の患者において観察される不随意で律動的な身体の動きは振戦と呼ばれる。振戦を計測するためには、従来、振動センサー、加速度センサー、圧力センサー、筋電位センサー、脈拍センサー等が用いられていた。従って振戦を計測して患者を診断するためには、これらのセンサーを備えた専用機器を用意したり、人体に機器や配線を装着したり、計測前にキャリブレーションを実行したりする必要があり、簡易に診断を行うことが困難であった。」
「【発明が解決しようとする課題】
【0004】
以上を鑑みると、簡易な振戦計測及び診断補助を実現する仕組みが望まれる。
【課題を解決するための手段】
【0005】
情報処理装置は、動画像を取得する撮像ユニットと、前記動画像を解析することにより前記動画像中における対象物体の位置を検出し、前記検出した位置に基づいて、前記対象物体の移動の絶対量を時間軸上での複数の点において示す第1の情報と、前記移動に関して少なくとも方向の正負を時間軸上において示す第2の情報と、第1期間における前記対象物体の振動の平均周波数を示す第3の情報とを求める計算ユニットと、前記第1の情報、前記第2の情報、及び前記第3の情報とを別個に表示する表示ユニットとを含む。」
「【0010】
図1は、簡易な振戦計測及び診断補助を可能とするための情報処理装置の概念図を示す図である。図1において、例えばタブレットである情報処理装置11には撮像ユニットが内蔵されており、患者の身体の一部(例えば指等)に取り付けられた対象物体10の動画像を撮像する。情報処理装置11は、動画像を解析することにより動画像中における対象物体10の位置を検出し、検出した位置に基づいて、対象物体10の移動や振動に関する種々の情報、即ち患者の身体の振戦に関する情報を計算により求める。情報処理装置11は、求められた種々の情報を表示画面12に表示することにより、診断の補助となる情報を提供する。なお情報処理装置11は、動画を撮像している最中に表示画面12に撮像中の動画を表示してよく、また撮像した動画をメモリに格納し、撮像終了後にメモリから読み出した動画を表示画面12に表示してよい。
【0011】
対象物体10は、例えば所定の大きさ及び色を有するマーカーであってよい。所定の大きさ及び色を有するマーカーを用いることにより、画像処理による対象物体10の位置検出や移動量計算等を、高精度で容易に実行することが可能となる。なお以後の説明においては、対象物体10として球形のマーカーを一例として用いるが、マーカーの形状は球形に限られるものではない。また画像処理により対象物体の位置検出や移動量計算が満足できる精度で行えるのであれば、対象物体は身体の一部(例えば爪等)であってもよい。」
「【0013】
図2において、撮影処理が開始されると、ステップS1において、情報処理装置11は動画像データを取り込む。ステップS2において、情報処理装置11は対象物体10の輪郭抽出及び描画処理を行う。ステップS3において、情報処理装置11は周波数計算処理を行う。ステップS4において、情報処理装置11は解析処理を行う。ステップS5において、情報処理装置11は移動量と増減情報の計算処理を行う。ステップS6において、情報処理装置11は上記処理により求められた周波数の表示、移動量及び増減情報のグラフ表示、及び解析結果の表示を行う。各処理については、後ほど詳細に説明する。」
「【0015】
図3は、初期設定情報の第1の例を示す図である。図3に示すのは、振戦分類毎の振戦の周波数範囲である。振戦分類の「姿勢時」の振戦とは、重力に逆らって随意的に姿勢を保った状態で観察される振戦のことを意味する。また振戦分類の「安静時(静止時)」の振戦とは、重力に逆らわない安静な状態で観察される振戦のことを意味する。他の分類としては、「運動時」や「混合性」等がある。図3に示す例では、「姿勢時」に対して「3~6」の周波数範囲が指定され、「安静時(静止時)」に対して「4~7」の周波数範囲が指定されている。」
「【0032】
図13は、マーカーの振動を検出する処理を説明するための図である。図13に示すように、患者の右手41の人差し指に装着されたマーカー42は、患者の右手の震えに伴い、例えば矢印43で示すように振動する。情報処理装置11は、撮影された動画像においてマーカー42の位置(中心位置)の移動を検出し、移動が矢印44に示すように振動の一周期分を示した時点で、この振動の周期に基づいて振動の周波数を求めることができる。
【0033】
図14は、周波数計算処理の一例を示すフローチャートである。周波数計算処理が開始されると、ステップS31で、情報処理装置11は、着目フレームのマーカー位置座標を取得する(メモリから読み出す)。なお周波数計算処理が開始された直後のステップS31の実行においては、着目フレームとしては動画像中の2番目のフレームであってよい。このとき情報処理装置11は更に、動画像中の最初のフレームを参照フレームとして、参照フレームにおけるマーカー位置座標を取得して保持してよい。」
「【0041】
図15は、解析処理の一例を示す図である。なお図15に示す処理は、図6に示す振戦情報設定画面16で設定した姿勢時の周波数範囲が3Hz~6Hzであり、安静時の周波数範囲が4Hz~7Hzである例を前提としている。
【0042】
ステップS41において、情報処理装置11は、瞬時周波数データと平均周波数データとを取得する(メモリから読み出す)。ステップS42において、情報処理装置11は、診断対象の平均周波数が3Hz~6Hzの範囲にあるか否かを判定する。平均周波数が3Hz~6Hzの範囲にある場合、処理はステップS43に進む。平均周波数が3Hz~6Hzの範囲にない場合、処理はステップS44に進む。なお図7に示す入力欄27に「姿勢時振戦」が入力されており、且つ、診断対象の平均周波数が3Hz~6Hzの範囲にある場合にのみ、処理がステップS43に進み、それ以外の場合に、処理がステップS44に進むのでもよい。ステップS43において、情報処理装置11は、撮像した患者の震えに関して、姿勢時振戦の可能性がある旨を表示画面12に表示する。
【0043】
ステップS44において、情報処理装置11は、診断対象の平均周波数が4Hz~7Hzの範囲にあるか否かを判定する。平均周波数が4Hz~7Hzの範囲にある場合、処理はステップS45に進む。平均周波数が4Hz~7Hzの範囲にない場合、解析処理は終了する。なお図7に示す入力欄27に「安静(静止)時振戦」が入力されており、且つ、診断対象の平均周波数が4Hz~7Hzの範囲にある場合にのみ、処理がステップS45に進み、それ以外の場合に、処理が終了するのでもよい。ステップS45において、情報処理装置11は、撮像した患者の震えに関して、安静(静止)時振戦の可能性がある旨を表示画面12に表示する。
【0044】
ステップS46において、情報処理装置11は、検出したマーカーの振動の振幅に基づいて重みの判定を行う。具体的には、情報処理装置11は、図6に示す振戦情報設定画面16において入力された振幅データと、図14に示す処理により検出された振幅とを照合することにより、検出された振幅が何れの症状の重み(重篤度)に対応するかを判定する。ステップS47において、情報処理装置11は、振幅による重み付け判定結果を表示画面12に表示する。
【0045
ステップS48において、情報処理装置11は、撮像された振戦がステップS45において安静(静止)時振戦と分類されたか否かを判定する。安静(静止)時振戦と分類された場合、処理はステップS49に進む。安静(静止)時振戦と分類されていない場合、処理はステップS49に進む。
【0046】
ステップS49において、情報処理装置11は、検出したマーカーの振動の時間に基づいて重みの判定を行う。具体的には、情報処理装置11は、例えば動画の開始時を始点として、図6に示す振戦情報設定画面16の判定時間数値欄23に入力された判定時間内において、図14に示す処理で求められた瞬時周波数が存在する区間が何%あるかを計算してよい。情報処理装置11は、計算により得られたパーセンテージと振戦情報設定画面16にて入力された振動時間のパーセンテージとを比較し、計算により得られたパーセンテージに対応する症状の重み(重篤度)を判定結果とする。ステップS50において、情報処理装置11は、振動の時間による重み付け判定結果を表示画面12に表示する。」
(2)参考資料4に記載された技術
上記(1)の記載事項から、参考資料4には「振戦の症状を判定するために、患者の身体の一部に取り付けられたマーカーの動きを計測して振戦の周波数を特定する技術」が記載されているといえる。
第7 当審の判断
1 取消理由通知(決定の予告)に記載した取消理由について
(1)特許法第29条第2項(進歩性)について
(1-1)本件訂正発明1について
ア 対比
本件訂正発明1と甲6発明とを対比する。
(ア)構成Aについて
甲6発明の構成c、c1を参照すると、構成b1、構成b3の処理は診断するためにこのシステムを展開するときにも同様に行われることから、構成b1の「アクションのシーケンスをプロンプトしている間の患者」は、構成Aの「診断の対象者」に相当する。
したがって、構成b1の「アクションのシーケンスをプロンプトしている間の患者の顔のクローズアップ・ビデオを記録」することは、構成Aの「診断の対象者を撮影した動画像から時系列に画像データを取得すること」に相当する。
(イ)構成Bについて
甲6発明の構成b33の「標準的な顔ランドマーク(たとえば、眼角、口、鼻、顎の輪郭など)のロケーションを識別」する処理は、構成b31、b32を参照すると、顔が存在するビデオ・フレームに対して行われるものであるといえる。
また、構成b36のように画像シーケンスからのオプティカル・フロー特徴を抽出するためには、標準的な顔ランドマークのロケーションを識別する処理は、クローズアップ・ビデオの各ビデオ・フレームに対して行われることは当然であるから、顔ランドマークのロケーションは時系列に求められるものであるといえる。
ここで、構成b33の「顔ランドマーク」、「ロケーション」はそれぞれ、構成Bの「特徴点」、「位置情報」に相当する。
また、構成b32、b34によれば、甲6発明は、ビデオを(顔がおおよそ中心に置かれた)顔のみを含んでいる領域にクロップすることで顔のサイズの変動を制御し、顔の一部分の周りの矩形領域をクロップすることによって関心領域を抽出するものであるから、構成b35の正規化は、顔の中心を基準としてなされているといえる。
そうすると、構成b33においてそのようなビデオ・シーケンスに含まれるビデオから抽出される顔ランドマーク、すなわち特徴点は、顔の中心を基準として相対的な位置が特定されるものである。
以上から、上記(ア)も参照すると、構成b33の「標準的な顔ランドマーク(たとえば、眼角、口、鼻、顎の輪郭など)のロケーションを識別」することは、構成Bの「前記画像データから前記対象者の特徴点を複数求め、各特徴点の相対的な位置情報を時系列に求めること」に相当する。
(ウ)構成Cについて
甲6発明においては、構成b32の処理によって顔のサイズが正規化され、構成b32~b35の処理によって、顔ランドマークのロケーションに基づいてクロップする関心領域が正規化されることから、構成b36の「オプティカル・フロー特徴」は、時系列に求めた前記各特徴点の時間経過に伴う前記相対的な位置情報の変化に基づいた特徴量であるといえる。
したがって、構成b36の「データを診断モデルに渡す前に、画像シーケンスからのオプティカル・フロー特徴の抽出が実施され」る処理は、「時系列に求めた前記各特徴点の時間経過に伴う前記相対的な位置情報の変化に基づいて、各特徴点の時間経過に伴う前記相対的な位置情報の変化量について求めた特徴量を求めること」である点で、構成Cと共通する。
しかしながら、前記特徴量が、本件訂正発明1では「各特徴点の時間経過に伴う前記相対的な位置情報の変化量について求めた、平均値を跨いだ回数である」のに対し、甲6発明では当該事項が特定されていない点で、両者は相違する。
(エ)構成Dについて
甲6発明の構成b5の診断モデルは、構成b36において抽出される「オプティカル・フロー特徴」と、構成b2、b21のようにして注釈がなされた、構成b4のような、観測された顔/顎振戦に関連する「UPDRSスコア」のためのエキスパート注釈とを教師データとして用いてトレーニングされるものである。 ここで、上記(ウ)を参照すると、構成b36の「オプティカル・フロー特徴」は、構成Dの「各特徴点の前記特徴量」及び「前記各特徴点の時間経過に伴う前記相対的な位置情報の変化」に相当する。
また、パーキンソン病により生じる症状は錐体外路症状の1つであることを考慮すると、構成b21、b4、b5の「UPDRSスコア」は本件訂正発明1の「錐体外路症状の程度」に相当する。
以上のことから、構成b5において「生ビデオが、上記で説明された技法を使用して準備されると、正確な診断決定を行うように診断モデルがトレーニングされ、診断モデルをトレーニングすることで、データから導出された入力シーケンスからUPDRSスコアを予測することを学習」することによってトレーニングされた診断モデルは、「各特徴点の前記特徴量が入力された際に、前記各特徴点の時間経過に伴う前記相対的な位置情報の変化に基づいて推定される錐体外路症状の程度として算出するように、教師データを用いた機械学習処理が施された学習済み診断モデル」である点で、構成Dと共通する。
そして、診断するために甲6発明のシステムを展開するときに出力される最終診断予測は、トレーニング時と同様、UPDRSスコア、すなわち、錐体外路症状の程度であると認められることから、構成c、c1、c2において「診断するためにこのシステムを展開するとき、同じデータ収集プロセスが、所与の患者のために適用され、生データは、上記の方法に従って準備され、説明されたトレーニングされる診断モデルに渡され、最終診断予測を出力する」ことは、構成Dの「教師データを用いた機械学習処理が施された学習済み診断モデルに、前記対象者を撮影した前記動画像から求めた前記特徴量を入力して、当該動画像について前記錐体外路症状の程度を出力すること」に相当する。
しかしながら、上記診断モデルが、本件訂正発明1では前記錐体外路症状の程度として、振戦の程度、ジスキネジアの程度、又はジストニアの程度を算出するものであるのに対し、甲6発明では当該事項が特定されていない点で、両者は相違する。
(オ)構成Eについて
上記(エ)でも説明したとおり、甲6発明のシステムは、パーキンソン病により生じる症状、すなわち、錐体外路症状を診断するシステムである。
また、構成a1によれば、甲6発明のシステムはプロセッサにより制御がなされるものであるから、構成a1の「プロセッサ」は本件発明1の「制御部」に相当する。
したがって、構成aの「患者を診断するためのシステム」は、構成Eの「を実行する制御部を備える錐体外路症状診断装置」に相当する。
(カ)一致点及び相違点
上記(ア)~(オ)から、本件訂正発明1と甲6発明との間の一致点及び相違点は、以下のとおりである。
〔一致点〕
(A) 診断の対象者を撮影した動画像から時系列に画像データを取得することと、
(B) 前記画像データから前記対象者の特徴点を複数求め、各特徴点の相対的な位置情報を時系列に求めることと、
(C’) 時系列に求めた前記各特徴点の時間経過に伴う前記相対的な位置情報の変化に基づいて、各特徴点の時間経過に伴う前記相対的な位置情報の変化量について求めた特徴量を求めることと、
(D’) 各特徴点の前記特徴量が入力された際に、前記各特徴点の時間経過に伴う前記相対的な位置情報の変化に基づいて推定される錐体外路症状の程度として算出するように、教師データを用いた機械学習処理が施された学習済み診断モデルに、前記対象者を撮影した前記動画像から求めた前記特徴量を入力して、当該動画像について前記錐体外路症状の程度を出力することと、
(E) を実行する制御部を備える錐体外路症状診断装置。
〔相違点1〕
前記特徴量が、本件訂正発明1では「各特徴点の時間経過に伴う前記相対的な位置情報の変化量について求めた、平均値を跨いだ回数である」のに対し、甲6発明では当該事項が特定されていない点。
〔相違点2〕
上記診断モデルが、本件訂正発明1では前記錐体外路症状の程度として、振戦の程度、ジスキネジアの程度、又はジストニアの程度を算出するものであるのに対し、甲6発明では当該事項が特定されていない点。
イ 相違点についての判断
(ア)相違点1について
錐体外路症状の程度を求めるための特徴量として、各特徴点の時間経過に伴う前記相対的な位置情報の変化量について求めた、平均値を跨いだ回数を用いることは、甲第1号証~甲第5号証、参考資料1~参考資料4のいずれにも記載されておらず、相違点1に係る本件訂正発明1の構成は、当業者が容易に想到しうるものではない。
なお、申立人は、令和6年10月11日付け意見書において「「平均値を跨いだ回数」は、参考資料3で開示されている「spectral half point(スペクトル半値点(すなわちスペクトルのパワーを等分する周波数))」と実質的に同義であり、訂正後の請求項1に係る発明は特許法第29条第2項で規定されている進歩性の要件を満たしていない」旨主張しているが、スペクトルのパワーを等分する周波数は、スペクトル(すなわち複数の異なる周波数成分)に基づく指標であるのに対し、「平均値を跨いだ回数」はスペクトルに依存しない指標であるから、スペクトル半値点と実質的に同義といえるものではなく、参考資料3の記載から容易に想到しうるものでもない。
また、申立人は、同意見書において「甲第6号証の診断システムにおける特徴量として、参考資料4に示すような周知技術(振戦周波数の計測による振戦重症度の診断)に基づいて、「周波数」を言い換えたに過ぎない「平均値を跨いだ回数」を用いることは、当業者が容易に想到し得ることである。」等と主張しているが、周波数は平均値に依存する指標ではなく、「平均値を跨いだ回数」は、参考資料4に示すような周知技術から容易に想到しうるものでもない。
以上から、申立人による上記主張は採用することができない。
(イ)相違点2について
甲6発明は、構成a2によれば、パーキンソン病、振戦、ジスキネジア、ジストニア等の運動障害を診断することができ、また、構成b2のデータ注釈フェーズにおいて、構成b22のように、ジストニアなど、診断を支援することができるビデオ記録の任意の他の弁別特性を識別し、ラベリングし得るものである。
上記を考慮すると、振戦、ジスキネジア、ジストニアの診断を行う際には、パーキンソン病統一スケールであるUPDRSスコアに類する、振戦、ジスキネジア、ジストニアの程度を表すスコアを用いるようにすることは当業者が容易に想起し得ることである。
(ウ)小括
以上のとおりであるから、本件訂正発明1は、当業者が容易に発明をすることができたものではない。
(1-2)本件訂正発明3、4について
本件訂正発明3、4は、本件訂正発明1の発明特定事項を全て含む発明であるから、上記(1-1)と同様の理由により、当業者が容易に発明をすることができたものではない。
(1-3)本件訂正発明6について
ア 対比
甲6発明のシステムが、制御部に実行させるためのプログラムを備えていることは明らかであり、本件訂正発明6と甲6発明の当該プログラムとを対比する。
(ア)構成Hについて
甲6発明の当該プログラムは、本件訂正発明6の構成Hの「制御部に実行させるための錐体外路症状診断プログラム」に相当する。
(イ)構成A、B、Dについて
本件訂正発明6の当該プログラムは、本件訂正発明1と同等の構成A、B、Dを備えており、当該各構成の対比については上記(1-1)ア(ア)、(イ)、(エ)にそれぞれ示したものと同様である。
(ウ)構成Fについて
構成Fは、本件訂正発明1の構成Cにおける各特徴点の特徴量について「各特徴点の時間経過に伴う前記相対的な位置情報の変化量について求めた、平均値を跨いだ回数である」との特定事項を除いたものであり、上記上記(1-1)ア(ウ)に示したとおり、構成Cにおける甲6発明の当該プログラムとの相違点は上記特定事項の部分のみであるから、本件訂正発明6の当該プログラムと甲6発明は、構成Fを備える点で一致する。
(エ)構成Gについて
制御部に実行させる内容が、本件訂正発明6では「前記錐体外路症状の程度を算出した際、当該算出結果への影響度が高い前記特徴点を求め、前記影響度が高い前記特徴点を前記対象者の画像上に重畳して表示すること」を含むのに対し、甲6発明の当該プログラムでは当該内容を含んでいない点で、両者は相違する。
(オ)一致点及び相違点
上記(ア)~(エ)から、本件訂正発明6と甲6発明との間の一致点及び相違点は、以下のとおりである。
〔一致点〕
(A) 診断の対象者を撮影した動画像から時系列に画像データを取得することと、
(B) 前記画像データから前記対象者の特徴点を複数求め、各特徴点の相対的な位置情報を時系列に求めることと、
(F) 時系列に求めた前記各特徴点の時間経過に伴う前記相対的な位置情報の変化に基づいて、各特徴点の特徴量を求めることと、
(D’) 各特徴点の前記特徴量が入力された際に、前記各特徴点の時間経過に伴う前記相対的な位置情報の変化に基づいて推定される錐体外路症状の程度として算出するように、教師データを用いた機械学習処理が施された学習済み診断モデルに、前記対象者を撮影した前記動画像から求めた前記特徴量を入力することにより、前記錐体外路症状の程度を出力することと、
(E) を制御部に実行させるための錐体外路症状診断プログラム。
〔相違点3〕
上記診断モデルが、本件訂正発明6では前記錐体外路症状の程度として、振戦の程度、ジスキネジアの程度、又はジストニアの程度を算出するものであるのに対し、甲6発明では当該事項が特定されていない点。
〔相違点4〕
制御部に実行させる内容が、本件訂正発明6では「前記錐体外路症状の程度を算出した際、当該算出結果への影響度が高い前記特徴点を求め、前記影響度が高い前記特徴点を前記対象者の画像上に重畳して表示すること」を含むのに対し、甲6発明の当該プログラムでは当該内容を含んでいない点。
イ 相違点についての判断
(ア)相違点3について
相違点3は、上記相違点2と同等のものであるから、判断は、上記(1-1)イ(イ)と同様である。
(イ)相違点4について
参考資料2には、「表情を記録したビデオについてFace++により設定されたキーポイントから、相対座標と位置ジッターを用いて表情特徴(表情振幅特徴と表情小筋群揺れ特徴)を抽出して表情認識を行う、パーキンソン病(PD)の診断方法の実験結果において、LASSOやランダムフォレストを用いて分類結果に大きな影響を与えるキーポイントを選択する技術」が記載され、同資料(図6)には、対象者の画像上に重畳された前記キーポイントを円で囲った図が記載されているが、当該選択及び図示は、分類結果の考察においてなされているものと認められるから、上記パーキンソン病(PD)の診断方法を実行する際に表示するものではない。
したがって、結果への影響度が高い特徴点を求めて、対象者の画像上に重畳して表示することは、参考資料2に記載されておらず、また、当該事項は甲第1~5号証、参考資料1、3、4のいずれにも記載されていないから、相違点4に係る本件訂正発明6の構成は、当業者が容易に想到しうるものではない。
(ウ)小括
以上のとおりであるから、本件訂正発明6は、当業者が容易に発明をすることができたものではない。
2 取消理由通知(決定の予告)において採用しなかった特許異議申立理由について
(1)甲第6号証を主引用文献とした場合の請求項5に係る発明の進歩性について
申立人は、申立書において、訂正前の特許請求の範囲の請求項5に係る発明は、甲第2号証の発明に甲第5号証で開示された技術を適用することで当業者が容易に想到しうるものである旨を主張する。
しかしながら、本件訂正発明5は、本件訂正発明6を装置の発明としたものであり、上記1(1-3)と同様の理由により、当業者が容易に発明をすることができたものではない。
したがって、申立人の上記主張は、採用することができない。
(2)甲第1号証を主引用文献とした場合の進歩性について
申立人は、申立書において、訂正前の特許請求の範囲の請求項1~6に係る発明は、いずれも、甲第1号証の発明に甲第2号証~甲第6号証で開示された技術を適用することで当業者が容易に想到しうるものである旨を主張する。
しかしながら、上記1(1)(1-1)イ(ア)及び(1-3)イ(イ)で示したとおり、錐体外路症状の程度を求めるための特徴量として、各特徴点の時間経過に伴う前記相対的な位置情報の変化量について求めた、平均値を跨いだ回数を用いること、及び、結果への影響度が高い特徴点を求めて、対象者の画像上に重畳して表示することは、甲第1号証~甲第6号証、参考資料1~参考資料4のいずれにも記載されておらず、甲第1号証を主引用文献とした場合においても、上記相違点1及び4に係る本件訂正発明1の構成は、当業者が容易に想到しうるものではない。
したがって、申立人の上記主張は、採用することができない。
(3)特許法第36条第6項第1号(サポート要件)、同第2号(明確性)について
申立人は、申立書において、訂正前の特許請求の範囲に関し、以下の理由により特許を受けようとする発明が発明の詳細な説明に記載したものではなく、明確でもない旨を主張している。
ア 請求項1及び6に記載の「相対的な変化」は、発明の詳細な説明に記載したものではないし、技術的に特定できない。(申立書「(4.2.1)請求項1及び6のサポート要件違反」のi)及び「(4.3.1)請求項1及び6の明確性要件違反」のi))
イ 請求項1及び6に記載の「各特徴点の特徴量を求める」には、「前記」が付されておらず、位置情報を時系列に求める「各特徴点」と、特徴量を求める「各特徴点」とが一致しない場合も含まれるが、当該構成は発明の詳細な説明に記載したものではないし、技術的に理解できない。(同(4.2.1)のii)及び(4.3.1)のii))
ウ 請求項1及び6は、「錐体外路症状の程度」を出力するために重要な入力値である「特徴量」が特定されておらず、本件明細書に記載の課題(錐体外路症状の診断を適切に行う技術を提供すること)を解決できない構成を含んでいる。したがって、「特徴量」が特定されていない請求項1、6は、発明の詳細な説明に記載した範囲を超えているし、技術的に理解できない。(同(4.2.1)のiii)及び(4.3.1)のiii))
エ 請求項1及び6に記載の「前記対象者を撮影した前記動画像から求めた前記特徴量を入力して」は、「前記各特徴点の前記特徴量を入力して」との記載ではないため、単一の特徴点における1つの特徴量のみ(スカラー値)を入力してもよいと文言上解釈でき、スカラー値のみの入力で錐体外路症状の程度を出力できるとは考え難く、請求項1、6は、発明の詳細な説明に記載した範囲を超えている。(同(4.2.1)のiv))
オ 特徴量に関して、平均値をまたぐ回数等については、錐体外路症状との相関性が理解できるが、他の特徴量については、発明の課題を解決できると当業者が理解できる程度に、請求項中にも明細書中にも記載されていないし、明確性要件も満たしていない。(同(4.2.1)のv)及び(4.3.1)のiv))
カ 請求項1及び6は、「教師データ」が特定されておらず、教師ラベルを含まない学習を含んでいるから、発明の詳細な説明に記載した範囲を超えているし、技術的に理解できない。(同(4.2.1)のvi)及び(4.3.1)のv))
キ また、請求項1に従属する請求項2~5についても、上記ア~カと同様の取消理由が存在する。
ク 請求項2では、学習済み診断モデルに入力する特徴量が「少なくとも1つ」とされており、発明の課題を解決できない構成を含んでいるし、技術的に理解できない。
また、請求項2に従属する請求項3~5についても、同様の取消理由が存在する。(同(4.2.2)及び(4.3.2))
ケ 請求項4には「前記特徴点が、前記対象者の顔の部位であって、唇、及び当該唇の周辺部を含む特定の部位である」と記載されており、特徴点が部位であると記載されているが、一般に、「特徴点」とはある1点のことであり、「部位」とはある領域のことであるから、上記記載は、点を意味する特徴点が領域を意味する部位に対応している。当該構成は、発明の詳細な説明に記載したものではないし、明確なものでもない。
また、請求項4に従属する請求項5についても、同様の取消理由が存在する。(同(4.2.3)及び(4.3.3))
上記各主張についての判断は次のとおりである。
(アについて)
本件訂正(訂正事項1、3、10、11)により、訂正前の請求項1及び6における「位置情報の相対的な変化」は、「相対的な位置情報の変化」と訂正されており、当該「相対的な位置情報の変化」は、上記第2の3(1)で示したとおり発明の詳細な説明に記載されたものであり、明確なものである。
(イについて)
本件訂正後の請求項1及び6において、「各特徴点の特徴量」を求めることは、「時系列に求めた前記各特徴点の時間経過に伴う前記相対的な位置情報の変化に基づいて」なされるとされており、特徴量を求める「各特徴点」が「時系列に求めた前記各特徴点の時間経過に伴う前記相対的な位置情報の変化に基づいて、」における「前記各特徴点」と同じものであることは、文脈上明らかといえる。
そうすると、位置情報を時系列に求める「各特徴点」は、(「時系列に求めた前記各特徴点」に対応する)特徴量を求める「各特徴点」とは一致するものである。
また、発明の詳細な説明の【0034】においても、「各特徴点の特徴量を求める」に「前記」が付されていないが、上記と同様に理解できるものである。
したがって、上記位置情報を時系列に求める「各特徴点」と、特徴量を求める「各特徴点」とが一致した構成は、発明の詳細な説明に記載したものであり、技術的に理解できるものである。
(ウについて)
本件訂正後の請求項1及び6において、特徴量は、「各特徴点の時間経過に伴う前記相対的な位置情報の変化量について求めた、平均値を跨いだ回数である特徴量」と特定されており、当該特徴量について、明細書の【0036】には「錐体外路症状には「繰り返し唇をすぼめる」「口をもぐもぐさせる」「口を突き出す」などの外見的特徴がある。この特徴を捉えるため、上記特徴量のうち、特に・・・平均値を跨いだ回数・・・が有効である。」と有効性が示されているから、当該特徴量は、錐体外路症状の外見的特徴を捉えるのに有効であり、発明の課題を解決するものであるし、技術的に理解できるものである。
(エについて)
本件補正後の請求項1及び6における、学習済み診断モデルの処理は、「各特徴点の前記特徴量が入力された際に、前記各特徴点の時間経過に伴う前記相対的な位置情報の変化に基づいて推定される、振戦の程度、ジスキネジアの程度、又はジストニアの程度を錐体外路症状の程度として算出するように」行われるものであるから、学習済み診断モデルに入力されるものは「各特徴点の前記特徴量」であり、単一の特徴点における1つの特徴量のみ(スカラー値)ではないことは明らかである。
(オについて)
本件訂正後の請求項1及び6において、特徴量は、「各特徴点の時間経過に伴う前記相対的な位置情報の変化量について求めた、平均値を跨いだ回数である特徴量」と特定されており、明確なものである。
(カについて)
教師データを用いた機械学習において、教師ラベルが用いられうることは具体的記載を要するまでもなく当業者に明らかな事項である。
(キについて)
上記(アについて)~(カについて)と同様である。
(クについて)
平均値をまたぐ回数については錐体外路症状との相関性が理解できることは、申立人も上記オのとおり認めており、本件訂正後の請求項1及び6における「各特徴点の時間経過に伴う前記相対的な位置情報の変化量について求めた、平均値を跨いだ回数である特徴量」を用いた構成は、発明の課題を解決できるものであるし、技術的に理解できるものである。
(ケについて)
本件訂正後の請求項4では、「特定の部位の所定箇所である」とされており、当該構成は、発明の詳細な説明の【0027】に記載されたものであるし、明確なものである。
以上から、本件訂正後の特許請求の範囲の記載は、特許法第36条第6項第1号及び第2号の要件を満たす。
したがって、申立人の上記主張は、採用することができない。
第8 むすび
上記第7のとおり、請求項1、3~6に係る特許は、取消理由通知(決定の予告)に記載した取消理由及び特許異議申立書に記載された特許異議申立理由によっては、取り消すことはできない。
また、他に請求項1、3~6に係る特許を取り消すべき理由を発見しない。
上記第2のとおり、本件特許の請求項2に係る発明は、訂正により削除された。これにより、本件特許の請求項2に係る特許異議の申立ては、申立ての対象が存在しないものとなったため、特許法第120条の8第1項で準用する同法第135条の規定により却下する。
よって、結論のとおり決定する。
審決本文(J-PlatPat)
J-PlatPatの審決検索トップを開きます。番号入力で「審判番号」を選び、下の番号を貼り付けて検索してください。
J-PlatPat 審決検索を開く
2023-700832