2022-005420

本願は、平成２９年７月２０日の出願であって、その手続の経緯は以下のとおりである。

明細書の発明の詳細な説明には、次の事項が記載されている（下線は、当審において付与した。）。

「 【００２２】

ここで、文章の構造によっては、文章が主として示す内容（トピック）が変化すると考えられる。例えば、同一の単語群を含む文章であっても、各単語の出願順序が異なる場合は、文章のトピックが変化する場合がある。より具体的な例を挙げると「彼はリンゴが好きです」という文章と「彼が好きなのはリンゴです」という文章とを比較した場合、後者の文章においては、「リンゴ」という目的語が「好き」という動詞よりも後に配置されているため、「リンゴ」という単語がより強調された文章となっている。このように、文章のトピックは、文章に含まれる各単語の属性と、各単語が文章中に出現する相対的な順序（例えば、目的語が動詞よりも前にあるか後ろにあるか等）によって変化すると考えられる。換言すると、文章中に含まれる各単語の重要性は、各単語の属性と、各単語が文章中に出現する順序（以下、「出現順序」と記載する。）とに関連していると考えられる。」

「 【００２７】

ここで、学習装置１０は、属性レイヤとして、単語群に含まれる各単語の属性と各単語が文章中に出現する順序とに基づく各単語の所定の文章における重要度に基づいて、各単語が文章中に出現する順序を復元するレイヤを有するデコーダの学習を行う。すなわち、学習装置１０は、前回の出力と新たな入力とに基づいて、次の単語の属性を重要性に基づいて推定し、推定した属性から次の単語を導出するデコーダーを生成する。このようなデコーダは、例えば、特徴から単語群に含まれる各単語の属性を復元するニューラルネットワークであって、入力された情報と、前回出力した情報とに基づいて新たに出力する情報を生成する機能を有するニューラルネットワークにより実現される。このようなニューラルネットワークは、例えば、ＲＮＮ（Recurrent Neural Networks）やＬＳＴＭ（Long short-term memory）と呼ばれる構造を有するニューラルネットワークにより実現される。なお、学習装置１０は、全体としてＬＳＴＭの構成を有するデコーダを学習する必要はなく、少なくとも、属性を復元する属性レイヤがＬＳＴＭの構成を有していればよい。」

「 【００２９】

以下、より具体的なデコーダの構成例について説明する。例えば、モデルのエンコーダおよびデコーダは、ノードの状態を順次遷移させることで、単語群の符号化および復号化を実現する。例えば、エンコーダは、単語を文章中に出現する順（以下、「出現順」と記載する。）でノードに入力することで、単語群の特徴や各単語が文章中に出現する順序とともに、文章中における各単語の重要度を符号化した特徴を生成する。そして、学習装置１０は、エンコーダが出力する特徴をデコーダのノードに入力し、ノードの状態を順次遷移させることで、符号化された単語を、文章中に出現する順序で属性系列とともに復元させることで、単語群の特徴や属性、出現順序に基づく重要度をデコーダに学習させる。

【００３０】

例えば、デコーダは、入力層側から出力層側に向けて、状態レイヤ、属性レイヤ、および単語レイヤを有する。このようなデコーダは、エンコーダの出力を受付けると、状態レイヤが有する１つ又は複数のノードの状態を状態ｈ１へと遷移させる。そして、デコーダは、属性レイヤにて、状態レイヤのノードの状態ｈ１から最初の単語の属性ｚ１を復元するとともに、単語レイヤにて、状態ｈ１と属性ｚ１とから最初の単語ｙ１を属性系列とともに復元し、単語ｙ１と状態ｈ１から状態レイヤのノードの状態を状態ｈ２へと遷移させる。なお、デコーダは、状態レイヤにＬＳＴＭやＤＰＣＮの機能を持たせることで、出力した属性ｚ１を考慮して状態レイヤのノードの状態を状態ｈ２へと遷移させてもよい。続いて、デコーダは、属性レイヤにて、前回復元した属性ｚ１と状態レイヤのノードの現在の状態ｈ２から、２番目の単語の属性ｚ２を復元し、属性ｚ２と前回復元した単語ｙ１とから、２番目の単語ｙ２を属性系列とともに復元する。

【００３１】

すなわち、デコーダは、状態ｈ２を前の状態ｈ１と前回復元した単語ｙ１と前回復元した属性ｚ１とから生成し、属性ｚ２を前の属性ｚ１と状態ｈ２と前回復元した単語ｙ１とから生成し、単語ｙ２を前回復元した単語ｙ１と属性ｚ２と状態ｈ２とから生成する。なお、デコーダは、前回復元した属性ｚ１を考慮せずに、前回の状態ｈ１と前回復元した単語ｙ１とから状態ｈ２を生成してもよい。また、デコーダは、前回復元した単語ｙ１を考慮せずに、前回復元した属性ｚ１と状態ｈ２とから属性ｚ２を生成してもよい。」

「 【００３５】

〔１－４．エンコーダの構成について〕

ここで、学習装置１０は、必須ではないものの、単語群に含まれる各単語の特徴と、各単語が文章中に出現する順序とを、各単語の属性とともに符号化するエンコーダの学習を行ってもよい。すなわち、学習装置１０は、単語群に含まれる各単語の特徴と、各単語が文章中に出現する順序とを、各単語の属性とともにエンコーダに学習させてもよい。

【００３６】

続きを表示（全17行）

例えば、学習装置１０は、単語群に含まれる各単語を入力するレイヤと、各単語の属性を入力するレイヤとを含むエンコーダを学習する。より具体的には、学習装置１０は、正解データとして取得した所定の文章に含まれる単語群と、単語群に含まれる各単語の属性とを抽出する。そして、学習装置１０は、エンコーダとして、単語群に含まれる各単語を入力する単語レイヤと、各単語の属性を入力する属性レイヤとを有し、単語レイヤおよび属性レイヤの出力から、出力する特徴を生成するエンコーダの学習を行ってもよい。また、学習装置１０は、ＤＰＣＮの構造を有するニューラルネットワークをエンコーダとしてもよく、エンコーダが有する各レイヤごとに、ＤＰＣＮの構造を有するニューラルネットワークを採用してもよい。

【００３７】

〔１－５．トピックレイヤについて〕

また、学習装置１０は、いわゆるトピックモデル（例えば、非特許文献２を参照）を用いて、単語群から文章の生成を行ってもよい。例えば、学習装置１０は、エンコーダが出力した特徴から、所定の文章が示すトピックを復元するトピックレイヤを有するモデルを生成する。そして、学習装置１０は、トピックレイヤの出力から、単語群に含まれる各単語と、各単語の属性と、各単語が所定の文章中に出現する順序とを属性系列とともに復元するデコーダを学習してもよい。

【００３８】

ここで、トピックモデルとは、ある文章が生成される過程を確率的に表現したモデルである。例えば、トピックモデルでは、文章に含まれる各単語が属する分野、すなわち文章毎のトピックの比率と、トピックの分布とから、文章を確率的に生成する。例えば、トピックモデルでは、文章に含まれる各単語の集合をθ、文章ごとのトピックの比率をＰ（ｚ｜θ）、トピックの分布をＰ（ｗｎ｜ｚ）とすると、以下の式（１）で表される過程により文章を確率的に生成する。なおｎは、トピックの分布の種別を示す添え字である。

【００３９】

【数１】

［図：0001397824000001.jpg］

【００４０】

トピックレイヤは、このようなトピックモデルに基づいて、エンコーダが出力した特徴から、文章全体のトピックを示す情報、すなわち、文章のコンテキストを示すコンテキスト情報を抽出する。そして、トピックレイヤは、抽出したコンテキスト情報をデコーダに入力する。このような処理の結果、デコーダは、文章全体のコンテキストを考慮して、エンコーダが出力した特徴から各単語や各単語の属性を復元するので、より自然な文章を生成することができる。

【００４１】

なお、トピックレイヤは、文章が出現する位置（例えば、見出しや本文等）や、文章が出現する時間（例えば、文章が投稿されやすい日時）等、文章のコンテキストであれば任意のコンテキストを抽出してよい。」

「 【００４５】

また、学習装置１０は、正解データとして取得した文章Ｃ１０から、単語群Ｃ１１を抽出する。そして、学習装置１０は、単語群Ｃ１１に含まれる各単語と、各単語の属性と、各単語が出現する順序との特徴をモデルＬ１０に学習させる。より具体的には、学習装置１０は、単語群Ｃ１１をエンコーダＬ１１に入力した際に、デコーダＬ１２が出力する文章Ｃ２０が文章Ｃ１０と同じになるように、モデルＬ１０の学習を行う。

【００４６】

例えば、図１に示す例では、学習装置１０は、単語群の各単語ｘ１～ｘ３を、各単語ｘ１～ｘ３が文章Ｃ１０中に出現する順序で、エンコーダＬ１１のノードに入力する。この結果、エンコーダＬ１１は、各単語ｘ１～ｘ３と各単語ｘ１～ｘ３が文章Ｃ１０に出現する順序との特徴Ｃを出力する。そして、学習装置１０は、特徴Ｃ１０をデコーダＬ１２とトピックレイヤＣ１３とに入力する。

続きを表示（全12行）

【００４７】

このような場合、デコーダＬ１２は、特徴とトピックレイヤＬ１３の出力とから単語ｙ１～ｙ３を復元する。より具体的には、トピックレイヤＬ１３は、特徴Ｃから文章Ｃ１０のトピックを示す情報を出力する。そして、デコーダＬ１２は、特徴ＣとトピックレイヤＬ１３の出力とから、属性レイヤＬ１４（当審注：前後の記載を参酌して、「状態レイヤＬ１４」を意味するものと認める。）の状態ｈ１を生成し、状態ｈ１から、各単語ｙ１～ｙ３の属性と各単語ｙ１～ｙ３の属性系列とともに、各単語ｙ１～ｙ３を、各単語ｙ１～ｙ３が文章Ｃ２０中に出現する順序で復元する。

【００４８】

例えば、デコーダＬ１２の状態レイヤＬ１４は、特徴Ｃに基づいて状態ｈ１へと遷移する。このような場合、属性レイヤＬ１５は、状態レイヤＬ１４の状態ｈ１から、単語群Ｃ１１のうち、文章Ｃ１０中に最初に出現する単語の属性ｚ１を復元する。そして、単語レイヤＬ１６は、状態レイヤＬ１４の状態ｈ１と属性レイヤＬ１５が復元した属性ｚ１とに基づいて、単語群Ｃ１１のうち文章Ｃ１０に最初に出現する単語ｙ１を復元する。

【００４９】

続いて、状態レイヤＬ１４は、前回の状態ｈ１と、復元された単語ｙ１と、属性レイヤＬ１５が前回復元した属性ｚ１とに基づいて、状態ｈ２へと遷移する。このような場合、属性レイヤＬ１５は、状態レイヤＬ１４の状態ｈ２と、属性レイヤＬ１５が前回復元した属性ｚ１と、単語レイヤＬ１６が前回復元した単語ｙ１とに基づいて、単語群Ｃ１１のうち、単語ｙ１の次に出現する単語の属性ｚ２を復元する。そして、単語レイヤＬ１６は、状態レイヤＬ１４の状態ｈ２と属性レイヤＬ１５が復元した属性ｚ２と前回復元した単語ｙ１とに基づいて、単語群Ｃ１１のうち単語ｙ１の次に出現する単語ｙ２を復元する。

【００５０】

続いて、状態レイヤＬ１４は、前回の状態ｈ２と、復元された単語ｙ２と、属性レイヤＬ１５が前回復元した属性ｚ２とに基づいて、状態ｈ３へと遷移する。このような場合、属性レイヤＬ１５は、状態レイヤＬ１４の状態ｈ３と、属性レイヤＬ１５が前回復元した属性ｚ２と、単語レイヤＬ１６が前回復元した単語ｙ２とに基づいて、単語群Ｃ１１のうち、単語ｙ２の次に出現する単語の属性ｚ３を復元する。そして、単語レイヤＬ１６は、状態レイヤＬ１４の状態ｈ３と属性レイヤＬ１５が復元した属性ｚ３と前回復元した単語ｙ２とに基づいて、単語群Ｃ１１のうち単語ｙ２の次に出現する単語ｙ３を復元する。」

「 【００７０】

例えば、学習部４２は、エンコーダＬ１１とデコーダＬ１２とを有するモデルＬ１０を生成する。続いて、学習部４２は、正解データデータベース３１に登録された文章と、その文章に含まれる単語群とを抽出する。そして、学習部４２は、抽出した単語群を、文章中に出現する順序でモデルＬ１０のエンコーダＬ１１に入力した際に、エンコーダＬ１１が出力した特徴から、エンコーダＬ１１に入力した単語群と、各単語の属性とを、抽出した文章中に各単語が出現する順で、抽出した文章に含まれる属性系列とともに復元するように、エンコーダＬ１１およびデコーダＬ１２の調整を行う。すなわち、学習部４２は、モデルＬ１０に入力した文章と出力した文章とが同じになるように、モデルＬ１０の調整を行う。

【００７１】

ここで、学習部４２は、デコーダとして、特徴の元となる単語群に含まれる各単語の重要度に基づく順序で、各単語の属性を復元する属性レイヤＬ１５と、属性レイヤの出力から単語群に含まれる各単語を復元する単語レイヤＬ１６とを有するデコーダの学習を行う。例えば、学習部４２は、状態ｈ１から最初に出現する単語の属性ｚ１を復元する属性レイヤＬ１５と、状態ｈ１および属性ｚ１から最初に出現する単語ｙ１を復元する単語レイヤＬ１６とを有するデコーダＬ１２の学習を行う。」

「 【００９２】

なお、学習部４２は、特徴から単語群に含まれる各単語の属性であって、それぞれ異なる属性を復元する複数の属性レイヤと、複数の属性レイヤの出力から単語群に含まれる各単語を復元する単語レイヤとを有するデコーダを学習してもよい。例えば、図６は、実施形態に係る学習装置が学習するデコーダのバリエーションを説明するための図である。例えば、図６に示す例では、デコーダＬ１２は、単語レイヤＬ１６と、第１属性レイヤＬ１７と、第２属性レイヤＬ１８とを有する。

【００９３】

ここで、第１属性レイヤＬ１７と第２属性レイヤＬ１８とは、それぞれ異なる属性を復元する。例えば、第１属性レイヤＬ１７は、単語の品詞を復元し、第２属性レイヤＬ１８は、単語の原型を復元する。そして、単語レイヤＬ１６は、第１属性レイヤＬ１７と第２属性レイヤＬ１８との出力から、単語を復元する。

続きを表示（全14行）

【００９４】

より詳細には、デコーダＬ１２は、エンコーダＬ１１が出力した特徴Ｃと、トピックレイヤＬ１３の出力とに基づいて、状態ｈ１を生成する。このような場合、第１属性レイヤＬ１７は、状態ｈ１から属性ｚ１を復元する。また、第２属性レイヤＬ１８は、状態ｈ１から属性ｕ１を復元する。そして、単語レイヤＬ１６は、状態ｈ１と、属性ｚ１と、属性ｕ１とから、単語ｙ１を生成する。

【００９５】

ここで、図６では矢印を省略したが、デコーダＬ１２は、状態ｈ１と、属性ｚ１と、属性ｕ１と、単語ｙ１とから状態ｈ２を生成する。そして、第１属性レイヤＬ１６は、属性ｚ１と状態ｈ２とから属性ｚ２を復元する。なお、第１属性レイヤＬ１７は、単語ｙ１をさらに考慮して属性ｚ２を復元してもよい。また、第２属性レイヤＬ１８は、属性ｕ１と状態ｈ２とから属性ｕ２を復元する。なお、第２属性レイヤＬ１８は、単語ｙ１をさらに考慮して属性ｕ２を復元してもよい。そして、単語レイヤＬ１６は、状態ｈ２と、属性ｚ２と、属性ｕ２と、単語ｙ１とから、単語ｙ２を生成する。

【００９６】

また、学習部４２は、特徴から所定の文章が示すトピックを復元するトピックレイヤの出力から、単語群に含まれる各単語と、各単語の属性と、各単語が文章中に出現する順序とを文章中における各単語の属性系列とともに復元するデコーダを学習してもよい。すなわち、学習部４２は、トピックレイヤＬ１３が文章Ｃ１０のトピックを復元するように、モデルＬ１０の調整を行ってもよい。

【００９７】

また、学習部４２は、エンコーダとして、単語群に含まれる各単語を入力する単語レイヤと、各単語の属性を入力する属性レイヤとを有し、単語レイヤおよび属性レイヤの出力から特徴を生成するエンコーダを学習してもよい。例えば、図７は、実施形態に係る学習装置が学習するエンコーダのバリエーションを示す図である。

【００９８】

例えば、学習部４２は、単語群に含まれる各単語ｘ１～ｘ３を出現順に受け付ける単語レイヤＬ１９と、単語群の属性ａ１～ａ３を、各単語の出現順に受け付ける属性レイヤＬ２０とを有するエンコーダＬ１１を生成する。このようなエンコーダＬ１１においては、属性ａ１が入力された属性レイヤＬ２０のノードが状態ｃ１となり、状態ｃ１と単語ｘ１とから単語レイヤＬ１９のノードが状態ｄ１となる。また、属性レイヤＬ２０のノードは、状態ｃ１および状態ｄ１と属性ａ２とから状態ｃ２となり、単語レイヤＬ１９のノードが状態ｃ２と状態ｄ１と単語ｘ２とから状態ｄ２となる。また、属性レイヤＬ２０のノードは、状態ｃ２および状態ｄ２と属性ａ３とから状態ｃ３となり、単語レイヤＬ１９のノードが状態ｃ３と状態ｄ２と単語ｘ３とから状態ｄ３となる。そして、エンコーダＬ１１は、状態ｄ３に基づく特徴Ｃを出力する。」

「図１

［図：0001397824000002.jpg］

」

「図６

［図：0001397824000003.jpg］

」

「図７

［図：0001397824000004.jpg］

」