2022-008862

第２ 原査定の概要

原査定（令和４年２月２８日付け拒絶査定）の概要は次のとおりである。

本願請求項１－４、１０、１１に係る発明は、以下の引用文献１－３に記載された発明に基づいて、その発明の属する技術の分野における通常の知識を有する者（以下「当業者」という。）が容易に発明をすることができたものであるから、特許法第２９条第２項の規定により特許を受けることができない。また、本願請求項５－９に係る発明は、以下の引用文献１、４に記載された発明に基づいて、当業者が容易に発明をすることができたものであるから、特許法第２９条第２項の規定により特許を受けることができない。

＜引用文献等一覧＞

１．特開２０１５－００４７５４号公報

２．金兵 裕太、沼尾 雅之，ネットショッピングサイトの商品レビューを利用したジャンル毎の評価軸の自動構築，第8回データ工学と情報マネジメントに関するフォーラム （第14回日本データベース学会年次大会） ［ｏｎｌｉｎｅ］，日本，電子情報通信学会データ工学研究専門委員会 日本データベース学会 情報処理学会データベースシステム研究会，2016年03月02日，pp.1-8（周知技術を示す文献）

３．那須川 哲哉、金山 博，文脈一貫性を利用した極性付評価表現の語彙獲得，情報処理学会研究報告，第2004巻 第73号，日本，社団法人情報処理学会，2004年07月16日，pp.109-116（周知技術を示す文献）

４．木戸 健二 外２名，生徒の学習意欲を高める授業改善点導出のための授業評価項目の抽出方法，電気学会研究会資料，日本，一般社団法人電気学会，2013年06月21日，pp.15-18

第３ 当審拒絶理由の概要

当審が令和５年１月２４日付けで通知した拒絶理由（以下「当審拒絶理由」という。）の概要は次のとおりである。

この出願は、特許請求の範囲の記載が下記の点で、特許法第３６条第６項第２号に規定する要件を満たしていない。

請求項１、１０、１１に記載された発明は、生成された共起ネットワークは、「利用者の発話と発話に対する応答との履歴から、予め設定された指標発話と同一のセッションに含まれる発話」について生成されたものであり、ノード（発話）を接続するリンクについては「共起性を有する」ことが規定されるのみであるから、既設定の指標発話を含む一のセッション内に出現する全ての発話をノードとして接続したネットワークと解される。

そして、そのような共起ネットワークから「指標発話」を特定したとしても、その「指標発話」と「履歴に含まれる発話」の共起性について「所定の条件を満たす」ことをどのように判定するのか不明であり、その処理における共起ネットワークの役割も不明である。

したがって、請求項１、１０、１１に記載された発明は明確でない。

また、請求項１を引用する請求項２－９にも同様の理由が該当する。

第４ 本願発明

本願請求項１－１１に係る発明（以下、それぞれ「本願発明１」－「本願発明１１」という。）は、令和５年４月３日提出の手続補正書により補正された特許請求の範囲の請求項１－１１に記載された事項により特定される発明であり、本願発明１は以下のとおりの発明である。

「【請求項１】

対話サービスにおける利用者の発話と当該発話に対する応答との履歴から、予め設定された指標発話と同一のセッションに含まれる発話について、当該発話をノードとし、当該発話同士をリンクで接続し、共起性を有する発話若しくは応答を接続することで生成された共起ネットワークにおいて、

前記対話サービスに対する利用者の評価の指標となる発話であって、予め設定された指標発話を前記共起ネットワークから特定する特定部と、

前記特定部により特定された指標発話とのノード間距離または当該指標発話を含むセッションにおける出現回数に係る共起性に基づいて、前記履歴に含まれる発話から、当該共起性が所定の条件を満たす発話を新たな指標発話として抽出する発話抽出部と、

前記発話抽出部により抽出された指標発話が含まれているか否かに基づいて、前記対話サービスにおける発話と応答とを含む一連の連続する複数の発話と複数の応答とを含む対話履歴であるセッションを評価する評価部と

を有し、

前記発話抽出部は、評価部におけるセッションの評価結果を用いて、さらに新たな指標発話を抽出する

ことを特徴とする抽出装置。」

また、本願発明２－９は、本願発明１を減縮した発明である。

さらに、本願発明１０は、本願発明１に対応する「抽出方法」の発明であり、本願発明１とカテゴリ表現が異なるだけの発明である。

加えて、本願発明１１は、本願発明１に対応する「抽出プログラム」の発明であり、本願発明１とカテゴリ表現が異なるだけの発明である。

第５ 引用文献、引用発明

１ 引用文献１、引用発明

原査定の拒絶の理由に引用された引用文献１には、図面とともに次の事項が記載されている（下線は、当審で付した。以下同じ。）。

「【発明が解決しようとする課題】

【０００５】

しかしながら、上述した従来技術では、ユーザの音声入力に対応する応答の妥当性を評価することが出来ないという問題がある。

【０００６】

ルールテーブルに定義された処理の内容は多様化しており、音声入力と処理入力との組み合わせの数も膨大であるため、人手によって各応答の妥当性を評価することは難しい。

【０００７】

本発明は、上記に鑑みてなされたものであって、ユーザの音声入力に対応する応答の妥当性を評価することができる対話装置、対話方法および対話プログラムを提供することを目的とする。」

「【発明の効果】

【０００９】

本発明にかかる対話装置、対話方法および対話プログラムによれば、ユーザの音声入力に対応する応答の妥当性を評価することができるという効果を奏する。」

「【００１２】

まず、本実施例に係る音声対話システムの概要について説明する。図１は、本実施例に係る音声対話システムの概要を説明するための図である。図１に示す例では、ユーザ５がユーザ端末１０に音声入力を行い、ユーザ端末１０が音声を含む応答を行う場合について説明する。詳細については後述するが、ユーザ端末１０は、ネットワークを介して対話装置に接続され、かかる対話装置を利用して応答を行うものとする。

【００１３】

図１のステップＳ１０について説明する。ユーザ５は、天気を知りたい場合に、はっきりと「天気を教えてください」とは言わずに、「今日はよくなるかな？」のような曖昧な表現により音声入力を行う場合がある。そうすると、例えば、ユーザ端末１０は、とりあえず複数の応答候補から天気予報を検索する応答を選択し、天気予報を検索して「今日の天気は、晴れのち曇りです」と音声で応答する。

【００１４】

図１のステップＳ１１について説明する。ステップＳ１０の応答に対して、ユーザ５の希望する応答を得られたとすると、ユーザ５は、反射的に「賢いね！」と感想を発する場合がある。ここで、ユーザ端末１０は、「賢いね！」なる表現は、「肯定的」であるのだから、ステップＳ１０で行った応答は正しいものであると評価を行う。そして、「今日はよくなるかな？」に対して天気予報を検索して音声で応答するルールを、ルールテーブルに追加し、今後の応答に役立てる。

【００１５】

このように、本実施例に係る音声対話システムでは、ユーザ５から音声入力を受け付けた場合に、音声を含む応答を行い、応答に対するユーザ５の反応が肯定的であるか否かに応じて、応答を評価するので、ユーザの音声入力に対応する応答の妥当性を効率的に評価することができる。

【００１６】

次に、本実施例に係る音声対話システムの構成について説明する。図２は、本実施例に係る音声対話システムの構成を示す図である。図１に示すようにこの音声対話システムは、ユーザ端末１０と、音声認識サーバ２０と、音声合成サーバ３０と、対話装置１００とを有する。ユーザ端末１０と、音声認識サーバ２０と、音声合成サーバ３０と、対話装置１００とは、ネットワーク５０を介して相互に接続される。」

「【００２０】

対話装置１００は、ユーザ端末１０から音声情報を受信した場合に、音声情報を含む応答をユーザ端末１０に応答し、応答に対するユーザ端末１０からの音声入力を基にして、自装置が行った応答を評価する装置である。以下において、対話装置１００について具体的に説明する。

【００２１】

図３は、本実施例に係る対話装置の構成を示す機能ブロック図である。図３に示すように、この対話装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。

続きを表示（全18行）

【００２２】

通信部１１０は、ネットワーク５０を介して、ユーザ端末１０、音声認識サーバ２０、音声合成サーバ３０とデータ通信を実行する通信装置である。後述する制御部１３０は、通信部１１０を利用して、ユーザ端末１０、音声認識サーバ２０、音声合成サーバ３０との間でデータをやり取りする。

【００２３】

記憶部１２０は、ルールテーブル１２１、Ｐ判定テーブル１２２、Ｎ判定テーブル１２３を記憶する。記憶部１２０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの半導体メモリ素子、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの記憶装置に対応する。

【００２４】

ルールテーブル１２１は、ユーザ端末１０の音声入力に対してどのような応答を行うのかを定義するテーブルである。図４は、ルールテーブルのデータ構造の一例を示す図である。図４に示すように、このルールテーブル１２１は、識別番号と、キーワードと、応答内容と、Ｐ回数と、Ｎ回数とをそれぞれ対応付ける。このうち、Ｐ回数は、応答に対してユーザから肯定的な音声入力を受け付けた回数を示す。Ｎ回数は、応答に対してユーザから否定的な音声入力を受け付けた回数を示す。なお、応答内容に関しては、キーワードに対応する応答文そのものを対応付けてもよい。例えば、キーワード「西京タワーって」に対する応答内容として、応答文「高さは６４５メートルです」としても良い。

【００２５】

Ｐ判定テーブル１２２は、肯定的なキーワードを定義するテーブルである。図５は、Ｐ判定テーブルのデータ構造の一例を示す図である。図５に示す例では、ありがとう，助かった，賢いね，すごいね等が、肯定的なキーワードとして定義されている。

【００２６】

Ｎ判定テーブル１２３は、否定的なキーワードを定義するテーブルである。図６は、Ｎ判定テーブルのデータ構造の一例を示す図である。図６に示す例では、間違ってる，なにこれ，使えない等が、否定的なキーワードとして定義されている。

【００２７】

図３の説明に戻る。制御部１３０は、取得部１３１、応答部１３２、評価部１３３を有する。制御部１３０は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）や、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの集積装置に対応する。また、制御部１３０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の電子回路に対応する。

【００２８】

取得部１３１は、ユーザ端末１０から音声情報を取得する処理部である。取得部１３１は、音声情報を取得した場合に、音声情報を音声認識サーバ２０に送信し、音声情報をテキスト情報に変換することを依頼する。取得部１３１は、音声情報に対応するテキスト情報を、応答部１３２および評価部１３３に出力する。」

「【００３４】

評価部１３３は、応答部１３２の応答結果に対する利用者の反応から、応答部１３２が行った応答を評価する処理部である。具体的に、評価部１３３は、応答部１３２が応答を行った後に、取得部１３１から、テキスト情報を取得する。評価部１３３は、テキスト情報と、Ｐ判定テーブル１２２およびＮ判定テーブル１２３とを比較して、テキスト情報に肯定的なキーワードが含まれるのか、否定的なキーワードが含まれるのかを判定する。

【００３５】

評価部１３３は、肯定的なキーワードが含まれる場合には、ルールテーブル１２１において、応答部１３２から通知を受けた識別番号に対応するＰ回数に所定値を加算する。これに対して、評価部１３３は、否定的なキーワードが含まれる場合には、ルールテーブル１２１において、応答部１３２から通知を受けた識別番号に対応するＮ回数に所定値を加算する。

続きを表示（全20行）

【００３６】

例えば、応答部１３２が、識別番号「１０３」に対応する応答を行い、その後に、取得部１３１から取得したテキスト情報に肯定的なキーワードが含まれていたとする。この場合には、ルールテーブル１２１の識別番号「１０３」のレコードに対応するＰ回数に１を加算する。

【００３７】

更に、応答部１３２は、テキスト情報に肯定的なキーワードが含まれている場合には、評価部１３３は、応答部１３２が応答するに至ったテキスト情報と、応答内容とを対応付けて、ルールテーブル１２１に新規登録する。

【００３８】

図７は、評価部の処理を説明するための図である。例えば、上記のように、応答部１３２がテキスト情報＜今日はよくなるかな＞に対して、応答内容「天気予報を検索して検索結果を通知」を実行して応答を行い、係る応答に対するテキスト情報に肯定的なキーワードが含まれていたものとする。このような場合には、図７に示すように、キーワード「今日はよくなるかな」と、応答内容「天気予報を検索して検索結果を通知」とを対応付けたレコードを、ルールテーブル１２１に追加する。例えば、Ｐ回数の初期値を「１」、Ｎ回数の初期値を「０」としても良い。

【００３９】

これに対して、応答部１３２が、識別番号「１０３」に対応する応答を行い、その後に、取得部１３１から取得したテキスト情報に否定的なキーワードが含まれていたとする。この場合には、ルールテーブル１２１の識別番号「１０３」のレコードに対応するＮ回数に１を加算する。

【００４０】

ところで、評価部１３３は、ルールテーブル１２１に新たに追加したレコードを基にして、Ｐ判定テーブル１２２のキーワードを追加する処理を行っても良い。例えば、図７で追加したレコードのキーワード「今日はよくなるかな」と、応答内容「天気予報を検索して検索結果を通知」との対応関係は適切であると考えられる。このため、キーワード「今日はよくなるかな」に対して「天気予報を検索して検索結果を通知」する応答を応答部１３２が行った後に、ユーザから得られるテキスト情報は、肯定的なキーワードである。従って、評価部１３３は、ルールテーブル１２１に新たに追加したレコードに基づいて応答部１３２が応答した後に、取得部１３１から取得するテキスト情報を、Ｐ判定テーブル１２２に追加する。例えば、評価部１３３は、取得部１３１からテキスト情報「おもしろい」を取得したとすると、この「おもしろい」を、Ｐ判定テーブル１２２に追加する。

【００４１】

次に、本実施例に係る対話装置１００の処理手順について説明する。図８は、本実施例に係る対話装置の処理手順を示すフローチャートである。図８に示すように、対話装置１００は、音声認識サーバ２０を利用して、ユーザ端末１０に入力された音声をテキスト情報として受信する（ステップＳ１０１）。

【００４２】

対話装置１００は、パターンマッチングを行って、該当するキーワードを選択し、応答内容に対応する処理を実行する（ステップＳ１０２）。対話装置１００は、音声合成サーバ３０を利用して、応答内容を音声情報に変換し、音声を含んだ応答をユーザ端末１０に送信する（ステップＳ１０３）。

【００４３】

対話装置１００は、音声認識サーバ２０を利用して、ユーザ端末１０に入力された音声をテキスト情報として受信する（ステップＳ１０４）。対話装置１００は、テキスト情報を基にして、応答内容を評価し、ルールテーブル１２１を更新する（ステップＳ１０５）。」

【図１】「

［図：0001397948000001.jpg］

」

【図２】「

［図：0001397948000002.jpg］

」

【図３】「

［図：0001397948000003.jpg］

」

【図４】「

［図：0001397948000004.jpg］

」

【図５】「

［図：0001397948000005.jpg］

」

【図７】「

［図：0001397948000006.jpg］

」

【図８】「

［図：0001397948000007.jpg］

」

したがって、引用文献１には次の発明（以下「引用発明」という。）が記載されていると認められる。

「ユーザ５がユーザ端末１０に音声入力を行い、ユーザ端末１０が音声を含む応答を行い、

ユーザ端末１０は、ネットワークを介して対話装置に接続され、かかる対話装置を利用して応答を行うものであり、

ユーザ５は、「今日はよくなるかな？」のような曖昧な表現により音声入力を行う場合があり、そうすると、例えば、ユーザ端末１０は、とりあえず複数の応答候補から天気予報を検索する応答を選択し、天気予報を検索して「今日の天気は、晴れのち曇りです」と音声で応答し、

応答に対して、ユーザ５の希望する応答を得られたとすると、ユーザ５は、反射的に「賢いね！」と感想を発する場合があり、ここで、ユーザ端末１０は、「賢いね！」なる表現は、「肯定的」であるのだから、応答は正しいものであると評価を行い、

続きを表示（全30行）

「今日はよくなるかな？」に対して天気予報を検索して音声で応答するルールを、ルールテーブルに追加し、

ユーザ端末１０と、音声認識サーバ２０と、音声合成サーバ３０と、対話装置１００とを有し、

ユーザ端末１０と、音声認識サーバ２０と、音声合成サーバ３０と、対話装置１００とは、ネットワーク５０を介して相互に接続され、

対話装置１００は、ユーザ端末１０から音声情報を受信した場合に、音声情報を含む応答をユーザ端末１０に応答し、応答に対するユーザ端末１０からの音声入力を基にして、自装置が行った応答を評価する装置であり、

対話装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有し、

記憶部１２０は、ルールテーブル１２１、Ｐ判定テーブル１２２、Ｎ判定テーブル１２３を記憶し、

ルールテーブル１２１は、ユーザ端末１０の音声入力に対してどのような応答を行うのかを定義するテーブルであり、

Ｐ判定テーブル１２２は、肯定的なキーワードを定義するテーブルであり、

ありがとう、助かった、賢いね、すごいね等が、肯定的なキーワードとして定義され、

制御部１３０は、取得部１３１、応答部１３２、評価部１３３を有し、

取得部１３１は、ユーザ端末１０から音声情報を取得する処理部であり、

取得部１３１は、音声情報を取得した場合に、音声情報を音声認識サーバ２０に送信し、音声情報をテキスト情報に変換することを依頼し、

取得部１３１は、音声情報に対応するテキスト情報を、応答部１３２および評価部１３３に出力し、

評価部１３３は、応答部１３２が応答を行った後に、取得部１３１から、テキスト情報を取得し、

評価部１３３は、テキスト情報と、Ｐ判定テーブル１２２とを比較して、テキスト情報に肯定的なキーワードが含まれるのかを判定し、

評価部１３３は、肯定的なキーワードが含まれる場合には、ルールテーブル１２１において、応答部１３２から通知を受けた識別番号に対応するＰ回数に所定値を加算し、

応答部１３２は、テキスト情報に肯定的なキーワードが含まれている場合には、評価部１３３は、応答部１３２が応答するに至ったテキスト情報と、応答内容とを対応付けて、ルールテーブル１２１に新規登録し、

例えば、応答部１３２がテキスト情報＜今日はよくなるかな＞に対して、応答内容「天気予報を検索して検索結果を通知」を実行して応答を行い、係る応答に対するテキスト情報に肯定的なキーワードが含まれていたものとし、このような場合には、キーワード「今日はよくなるかな」と、応答内容「天気予報を検索して検索結果を通知」とを対応付けたレコードを、ルールテーブル１２１に追加し、

追加したレコードのキーワード「今日はよくなるかな」と、応答内容「天気予報を検索して検索結果を通知」との対応関係は適切であると考えられ、このため、キーワード「今日はよくなるかな」に対して「天気予報を検索して検索結果を通知」する応答を応答部１３２が行った後に、ユーザから得られるテキスト情報は、肯定的なキーワードであり、

評価部１３３は、ルールテーブル１２１に新たに追加したレコードに基づいて応答部１３２が応答した後に、取得部１３１から取得するテキスト情報を、Ｐ判定テーブル１２２に追加し、例えば、評価部１３３は、取得部１３１からテキスト情報「おもしろい」を取得したとすると、この「おもしろい」を、Ｐ判定テーブル１２２に追加し、

対話装置１００は、音声認識サーバ２０を利用して、ユーザ端末１０に入力された音声をテキスト情報として受信し、

対話装置１００は、パターンマッチングを行って、該当するキーワードを選択し、応答内容に対応する処理を実行し、

対話装置１００は、音声合成サーバ３０を利用して、応答内容を音声情報に変換し、音声を含んだ応答をユーザ端末１０に送信し、

対話装置１００は、音声認識サーバ２０を利用して、ユーザ端末１０に入力された音声をテキスト情報として受信し、

対話装置１００は、テキスト情報を基にして、応答内容を評価し、ルールテーブル１２１を更新する

ことを特徴とする音声対話システム。」

２ 引用文献２

原査定の拒絶の理由に引用された引用文献２には、次の事項が記載されている

「４．１．評価表現・特徴語の獲得

既知の評価表現を用いて，新たな評価表現と特徴語を抽出する，評価表現候補については，その際に肯定否定の評価極性も推定する必要がある．

いずれの候補の抽出も，既知の評価表現を中心に行うが，それぞれ異なる考え方に基づいている．前述の通り，評価表現候補の抽出では那須川らの手法［２］を用いる．

この手法は，「文書中に評価表現が存在すると，その周囲に評価表現の連続する文脈が形成されることが多く，その中では，明示されない限り，好不評の極性が一致する傾向がある」という仮定に基づいたものである．一方，本研究における特徴語とは，特定の評価指標を代表した言葉である．そのため，「この価格は嬉しいです」という表現における「価格」のように，文章中で評価表現と共に出現する可能性が高いと推測できる．

こういった背景から，［１］では形態素解析を用いて，既知の評価表現に隣接した表現を，新たな評価表現や特徴語の候補として抽出した．しかし，形態素解析のみでの語彙獲得アルゴリズムは精度や網羅性が十分ではなかった。そこで本稿では，係り受け解析を用いた評価表現と特徴語の獲得手法を提案する．係り受け解析は構文解析とも呼ばれ，文章中の語句の意味的な関係を解析するものである．」（３ページ右欄１－２４行）

「４．１．３．評価表現候補の抽出

商品レビューの文章中に既知の評価表現が現れた場合，次の条件を満たす並列な文節から新たな評価表現候補を抽出する．

・接続詞を伴って隣接する前の文章の主筋

・同一文中の係り受け関係にある文節

続きを表示（全11行）

・接続詞を伴って隣接する後の文章の主節

評価表現の候補として抽出するのは，形容詞と形容動詞語幹の名詞としている．また，評価表現候補を抽出する際には，その評価極性と共にカウントする必要がある，評価極性は以下の条件を考慮して推定する．

１．既知の評価表現の極性が肯定か否定か

２．既知の評価表現の極性が文中で反転しているか

３．係る接続詞（接続助詞）が逆接の意味を持つか

４．評価表現候補の極性が文中で反転しているか

これは，既知の評価表現と候補が順接関係にあれば同じ極性を，逆接関係にあれば逆の極性を付与することを意味している．２と４の「極性が文中で反転している」とは，極性反転子「ない」等が評価表現に続くことで，「面白くない」のように本来とは逆の極性を示す場合である．同一文中の並列用言句は係り受け解析によって判定しており，反転情報は文節内の極性反転子の数に応じて決定する．「わからなくもない」といった表現に対応するため，文節内の極性反転子が奇数個であれば「反転している」，偶数個であれば「反転していない」と見なす．極性反転子や逆接の接続詞は予め人手で設定しておく．」（４ページ左欄１－２７行）

３ 引用文献３

原査定の拒絶の理由に引用された引用文献３には、次の事項が記載されている

「３．２．文脈一貫性を利用した語彙獲得の基本的なアイディア

評価表現の文脈一貫性が成立すると仮定すると，何らかの表現を評価表現として与えた場合，文書中で出現するその評価表現の周囲に，同じ極性を持つ評価の表現が存在する可能性が高い．従って，種となる評価表現の周囲の表現を，同じ極性を持つ評価表現の候補として抽出することができる．もちろん，候補となった表現が必ずしも評価表現であるとは限らない．例えば，「満足する」が好評を「がっかりだ」が不評を示す評価表現として与えられた場合，

－この製品を試してみて、とても満足しました。

－この製品を試してみて、がっかりです。

における「試してみる」のように，評価には直接関与しない非評価表現が周囲に存在しても決して不自然ではない．しかし，このような非評価表現は好評文脈にも不評文脈にも出現し得るのに対し，真の評価表現であれば，その表現と同じ極性の評価文脈に出現する確度が高くなると考えられる．従って，文書データ全体から，種表現と隣接する表現を候補表現として抽出した後，各候補表現が，好評文脈，不評文脈，及びそれ以外の文脈にどの程度の割合で分布しているかを調べることによって，最終的に真の評価表現と解釈すべきかを判定する．評価表現と判定されたものは，新たに種表現として，文書データにおけるその隣接表現から，別の評価表現を抽出するために用いることができる．

この処理の概要を図３．１に示す．入力として文書データと種表現（ここでは「満足する」という好評表現）の二つが与えられる．文書データ中で種表現の周囲（評価文脈）から評価表現の候補（Ｃｌ～Ｃ６）を抽出し，各候補が好評文脈，不評文脈，それ以外の文脈に出現する頻度を求め，その結果から，Ｃｌ及びＣ５を好評表現，Ｃ４を不評表現と判定している．次のステップでは，この結果を新たな種表現（Ｓ１，Ｓ４，Ｓ５）として，種表現を拡張した上で同様の処理を繰り返すことにより，さらに新たな評価表現を抽出することになる．」（１１２ページ左欄９－最終行）

［図：0001397948000008.jpg］

」（１１２ページ右欄上部）

「４．３．評価表現の判定

本手法では好評文脈・不評文脈中で極性が一致するという仮定を用いるが，３．１節の末尾で述べたような例外のほか，構文解析の誤り，皮肉・殴り書きなどの特殊な記法などに起因して，抽出された候補表現にノイズが含まれることは避けられない．そこで，得られた候補表現が評価表現であるかどうか，その極性はどちらかを統計的に判定する必要がある．

単純エントリの候補について，次の基準１～３を満たすものを評価表現であると判定する．

１．出現頻度が一定（次節の実験では１０）以上

２．候補表現が極性付きで抽出された場合のうち，好評ないし不評の極性が一定（次節の実験では０．９）以上の割合で一致

３．コーパス全体における，候補表現である用言の出現のうち，当該極性（２．で割合が高い側の極性）の文脈で出現した数が充分に多い」（１１３ページ右欄２２－３９行）

４ 引用文献４

原査定の拒絶の理由に引用された引用文献４には、次の事項が記載されている

「今回は，授業に対する生徒アンケートのデータを，プラス評価している文章とマイナス評価している文章に分け，それぞれの文の共起ネットワークを分析する．

図１にはプラス評価をした授業の共起ネットワーク結果を示す．

プラス評価授業の共起ネットワークでは，「理解」という語が共起ネットワーク構造の中で最も中心的な役割を果たしていることがわかる．また，「理解」と共起関係にある「先生」「テスト」「教科書」「出来る」は，「理解」の次に中心性が高いことがわかる．特に「先生」との共起関係は重要と考える．このことより，生徒が授業を評価する時に最も強く考慮する項目のひとつは「先生」であることがわかる．その上で，「先生」は，「説明」「分かる」と共起関係にあり，先生の説明が理解出来たり分かることが，プラス評価される授業で重要視されている項目であることがわかる．また，「先生」は［内容］「高い」と共起関係にあり「高い」は「レベル」と強い共起関係ある、このことにより，生徒は，先生は高いレベルの内容を教えるということは理解している．そして，「自分」と共起関係に「出来る」「頑張る」「楽しい」という前向きな表現の単語が並んでいる．プラス評価の授業について書く時，生徒の考えも積極的な方向になっていることがわかる．

図２には，マイナス評価をした授業の共起ネットワーク結果を示す．

マイナス評価授業の共起ネットワークでは，「教科書」という語が，共起ネットワーク構造の中で最も中心的な役割を果たしていることがわかる．また，「教科書」と共起関係にある「説明」「多い」は，「教科書」の次に中心性が高いことがわかる．また，「教科書」と「先生」は共起関係にあり，先生の存在がマイナス評価授業でも重要視されることが分かる．「多い」は，「読む」や「話」と共起関係があるので，教科書を読む時間が多いことや話が多いことがマイナス評価される授業で最も指摘されている項目であることがわかる．」（１７ページ左欄１８－最終行）

図１ プラス評価授業の共起ネットワーク「

［図：0001397948000009.jpg］

」（１７ページ右欄上部）

図２ マイナス評価授業の共起ネットワーク「

［図：0001397948000010.jpg］

」（１７ページ右欄中部）

「また，「先生」とは「内容」，「教える」，「プリント」，「多い」という客観的な言葉と，「難しい」という消極的な言葉が共起関係にある．プラス評価授業での「先生」という単語の共起関係と比較すると，共起関係にある単語の種類や共起の強さに差がある．

「出来る」，「頑張る」，「考える」という前向きな表現の言葉が少ないことも特徴である．マイナス評価の授業について書く時，生徒の考えも消極的な発想になり，積極的な方向に向きにくいと考えることができる．

また，マイナス評価の授業では，プラス評価授業では中心的な単語であった「テスト」という単語が消えている．ここでの「テスト」は，授業ごとに行う小テストを意味しているが，生徒は小テストを受けることをプラス評価しており，小テストを行う授業をプラス評価していることが分かる．

またマイナス評価の授業では，「役に立つ」「生活」「習う」のグループが他の単語と共起関係がないことも特徴として考えることができる．マイナス評価の授業が，生徒から役に立つと思われていないことを表していると考えられる．

また，「教科書」と共起関係にある「多い」とそれに続く「話」から，授業の講義以外の話が多いこともマイナス評価の授業の特徴として考えられる．」（１７ページ右欄下から８行－１８ページ左欄１４行）

第６ 対比・判断

１ 本願発明１について

（１）対比

本願発明１と引用発明とを対比すると、次のことがいえる。

ア 引用発明の「音声対話システム」は、「ユーザ５がユーザ端末１０に音声入力を行い、ユーザ端末１０が音声を含む応答を行い」、「ユーザ端末１０は、ネットワークを介して対話装置に接続され、かかる対話装置を利用して応答を行うものであ」るから、ユーザ５に対し、対話サービスを提供しているといえる。また、引用発明の「ユーザ５」は、本願発明１の「利用者」に相当する。さらに、引用発明において、「応答に対して、ユーザ５の希望する応答を得られたとすると、ユーザ５は、反射的に「賢いね！」と感想を発する場合があり、ここで、ユーザ端末１０は、「賢いね！」なる表現は、「肯定的」であるのだから、応答は正しいものであると評価を行い」、「Ｐ判定テーブル１２２は、肯定的なキーワードを定義するテーブルであり」、「ありがとう、助かった、賢いね、すごいね等が、肯定的なキーワードとして定義され」、「取得部１３１は、ユーザ端末１０から音声情報を取得」し、「取得部１３１は、音声情報に対応するテキスト情報を、」「評価部１３３に出力し、「評価部１３３は、応答部１３２が応答を行った後に、取得部１３１から、テキスト情報を取得し」、「評価部１３３は、テキスト情報と、Ｐ判定テーブル１２２とを比較して、テキスト情報に肯定的なキーワードが含まれるのかを判定し」、「評価部１３３は、肯定的なキーワードが含まれる場合には、ルールテーブル１２１において、応答部１３２から通知を受けた識別番号に対応するＰ回数に所定値を加算」することから、「肯定的なキーワード」は、音声対話システムの対話サービスに対するユーザ５の評価の指標となる発話であって、予め設定された指標発話であるといえる。したがって、引用発明の「肯定的なキーワード」は、本願発明１の「指標発話」に相当する。加えて、引用発明において、「評価部１３３は、テキスト情報と、Ｐ判定テーブル１２２とを比較して、テキスト情報に肯定的なキーワードが含まれるのかを判定」するから、評価部１３３は、肯定的なキーワードを特定しているといえる。

したがって、引用発明の「評価部１３３」は、本願発明１の「前記対話サービスに対する利用者の評価の指標となる発話であって、予め設定された指標発話を前記共起ネットワークから特定する特定部」と、「前記対話サービスに対する利用者の評価の指標となる発話であって、予め設定された指標発話を特定する特定部」である点で共通する。

イ 引用発明において、「追加したレコードのキーワード「今日はよくなるかな」と、応答内容「天気予報を検索して検索結果を通知」との対応関係は適切であると考えられ、このため、キーワード「今日はよくなるかな」に対して「天気予報を検索して検索結果を通知」する応答を応答部１３２が行った後に、ユーザから得られるテキスト情報は、肯定的なキーワードであり」、「評価部１３３は、ルールテーブル１２１に新たに追加したレコードに基づいて応答部１３２が応答した後に、取得部１３１から取得するテキスト情報を、Ｐ判定テーブル１２２に追加し、例えば、評価部１３３は、取得部１３１からテキスト情報「おもしろい」を取得したとすると、この「おもしろい」を、Ｐ判定テーブル１２２に追加」することから、評価部１３３は、対話の履歴に含まれる発話から、追加したレコードのキーワードと、応答内容との対応関係は適切である、という条件を満たしている発話である「おもしろい」を新たな肯定的なキーワードとして抽出しているといえる。

したがって、上記アを踏まえると、引用発明の「評価部１３３」は、本願発明１の「前記特定部により特定された指標発話とのノード間距離または当該指標発話を含むセッションにおける出現回数に係る共起性に基づいて、前記履歴に含まれる発話から、当該共起性が所定の条件を満たす発話を新たな指標発話として抽出する発話抽出部」と、「履歴に含まれる発話から、所定の条件を満たす発話を新たな指標発話として抽出する発話抽出部」である点で共通する。

ウ 引用発明において、「応答に対して、ユーザ５の希望する応答を得られたとすると、ユーザ５は、反射的に「賢いね！」と感想を発する場合があり、ここで、ユーザ端末１０は、「賢いね！」なる表現は、「肯定的」であるのだから、応答は正しいものであると評価を行い」、「評価部１３３は、テキスト情報と、Ｐ判定テーブル１２２とを比較して、テキスト情報に肯定的なキーワードが含まれるのかを判定し」、「評価部１３３は、肯定的なキーワードが含まれる場合には、ルールテーブル１２１において、応答部１３２から通知を受けた識別番号に対応するＰ回数に所定値を加算」し、「対話装置１００は、テキスト情報を基にして、応答内容を評価する」から、評価部１３３は、テキスト情報に肯定的なキーワードが含まれるか否かに基づいて、対話サービスにおける応答内容を評価しているといえる。

したがって、上記ア－イを踏まえると、引用発明の「評価部１３３」は、本願発明１の「前記発話抽出部により抽出された指標発話が含まれているか否かに基づいて、前記対話サービスにおける発話と応答とを含む一連の連続する複数の発話と複数の応答とを含む対話履歴であるセッションを評価する評価部」と、「前記発話抽出部により抽出された指標発話が含まれているか否かに基づいて、前記対話サービスにおける応答を評価する評価部」である点で共通する。

エ 引用発明の「音声対話システム」は、評価部１３３を有しているから、上記イを踏まえると、本願発明１の「抽出装置」に相当する。

したがって、本願発明１と引用発明との間には、次の一致点、相違点があるといえる。

（一致点）

「前記対話サービスに対する利用者の評価の指標となる発話であって、予め設定された指標発話を特定する特定部と、

履歴に含まれる発話から、所定の条件を満たす発話を新たな指標発話として抽出する発話抽出部と、

前記発話抽出部により抽出された指標発話が含まれているか否かに基づいて、前記対話サービスにおける応答を評価する評価部と

を有する

ことを特徴とする抽出装置。」

（相違点１）

本願発明１では、「対話サービスにおける利用者の発話と当該発話に対する応答との履歴から、予め設定された指標発話と同一のセッションに含まれる発話について、当該発話をノードとし、当該発話同士をリンクで接続し、共起性を有する発話若しくは応答を接続することで生成された共起ネットワーク」であるのに対し、引用発明では、このような構成について特定されていない点。

（相違点２）

特定部において、予め設定された指標発話を、本願発明１では、「前記共起ネットワークから特定する」のに対し、引用発明では、「Ｐ判定テーブル１２２」から特定する点。

（相違点３）

前記履歴に含まれる発話から、所定の条件を満たす発話を新たな指標発話として抽出する発話抽出部において、本願発明１では、「前記特定部により特定された指標発話とのノード間距離または当該指標発話を含むセッションにおける出現回数に係る共起性に基づいて」おり、また、所定の条件を満たすものが「当該共起性」であるのに対し、引用発明では、「追加したレコードのキーワードと、応答内容との対応関係」に基づいており、また、所定の条件を満たすものが「追加したレコードのキーワードと、応答内容との対応関係」である点。

（相違点４）

評価部における評価対象が、本願発明１では、「前記対話サービスにおける発話と応答とを含む一連の連続する複数の発話と複数の応答とを含む対話履歴であるセッション」であるのに対し、引用発明では、「応答内容」である点。

（相違点５）

本願発明１では、「前記発話抽出部は、評価部におけるセッションの評価結果を用いて、さらに新たな指標発話を抽出する」のに対し、引用発明では、このような構成について特定されていない点。

（２）相違点についての判断

事案に鑑みて、上記相違点３について先に検討する。

引用文献２－４には、上記相違点３に係る本願発明１の構成について記載も示唆もなく、また、このような構成が本願の出願前において周知技術であったともいえない。

したがって、当業者といえども、引用発明及び引用文献２－４に記載された技術的事項から、上記相違点３に係る本願発明１の構成を容易に想到することはできない。

よって、上記相違点１－２、４－５について判断するまでもなく、本願発明１は、当業者であっても、引用発明及び引用文献２－４に記載された技術的事項に基づいて容易に発明できたものとはいえない。

２ 本願発明２－９について

本願発明２－９は、本願発明１と同一の構成を備えるものであるから、本願発明１と同じ理由により、当業者であっても、引用発明及び引用文献２－４に記載された技術的事項に基づいて容易に発明できたものとはいえない。

３ 本願発明１０－１１について

本願発明１０－１１は、本願発明１の構成に対応する構成を実質的に備えるものであるから、本願発明１と同じ理由により、当業者であっても、引用発明及び引用文献２－４に記載された技術的事項に基づいて容易に発明できたものとはいえない。

第７ 当審拒絶理由についての判断

令和５年４月３日にされた手続補正において、「前記特定部により特定された指標発話とのノード間距離または当該指標発話を含むセッションにおける出現回数に係る共起性に基づいて」と補正された結果、この拒絶の理由は解消した。

第８ むすび

以上のとおり、本願発明１－１１は、当業者が引用発明及び引用文献２－４に記載された技術的事項に基づいて容易に発明をすることができたものではない。

したがって、原査定の理由によっては、本願を拒絶することはできない。

また、他に本願を拒絶すべき理由を発見しない。

よって、結論のとおり審決する。