2025-701151

特許第７６９８３７２号発明「案件人材マッチングシステム、情報処理方法及びプログラム」の特許異議申立事件について、次のとおり決定する。

結 論 特許第７６９８３７２号の請求項１～１３に係る特許を維持する。

理 由 第１ 手続の経緯 特許第７６９８３７２号の請求項１～１３に係る特許（以下「本件特許」という。）についての出願は、令和７年５月１４日に出願され、同年６月１７日にその特許権の設定登録がされ、同年６月２５日に特許掲載公報が発行された。その後、本件特許の請求項１～１３に係る特許に対し、令和７年１２月１８日に特許異議申立人 筧 雄次（以下「異議申立人」という。）により、特許異議の申立てがされた。 第２ 本件発明 本件特許の請求項１～１３に係る発明（以下「本件発明１」～「本件発明１３」という。また、これらの発明をまとめて「本件発明」という。）は、それぞれ、その特許請求の範囲の請求項１～１３に記載された事項により特定される次のとおりのものである。 「 【請求項１】 案件と人材とをマッチングさせる案件人材マッチングシステムであって、 少なくとも１つ以上の制御部を有し、 前記制御部は、 前記案件に関する複数の案件情報を取得し、 前記案件情報には案件の説明と条件とが含まれ、 前記人材に関する複数の人材情報を取得し、 前記人材情報には人材の説明と属性と希望とが含まれ、 人材を選択する人材選択画面を表示し、 複数の前記案件情報と複数の前記人材情報のうち前記人材選択画面を介して選択された人材の前記人材情報とに基づきプロンプトを生成し、 前記プロンプトには案件と人材とをマッチングさせる旨の指示が含まれ、 前記プロンプトに応じて学習済みモデルから出力されたデータに基づき前記人材選択画面を介して選択された人材と複数の前記案件とのマッチングに関する結果を出力する、 案件人材マッチングシステム。 【請求項２】 案件と人材とをマッチングさせる案件人材マッチングシステムであって、 少なくとも１つ以上の制御部を有し、 前記制御部は、 前記案件に関する複数の案件情報を取得し、 前記案件情報には案件の説明と条件とが含まれ、 前記人材に関する複数の人材情報を取得し、 前記人材情報には人材の説明と属性と希望とが含まれ、 案件を選択する案件選択画面を表示し、 複数の前記案件情報のうち前記案件選択画面を介して選択された案件の前記案件情報と複数の前記人材情報とに基づきプロンプトを生成し、 前記プロンプトには案件と人材とをマッチングさせる旨の指示が含まれ、 前記プロンプトに応じて学習済みモデルから出力されたデータに基づき前記案件選択画面を介して選択された案件と複数の前記人材とのマッチングに関する結果を出力する、 案件人材マッチングシステム。 【請求項３】 案件と人材とをマッチングさせる案件人材マッチングシステムであって、 少なくとも１つ以上の制御部を有し、 前記制御部は、 前記案件に関する複数の案件情報を取得し、 前記案件情報には案件の説明と条件とが含まれ、 前記人材に関する複数の人材情報を取得し、 前記人材情報には人材の説明と属性と希望とが含まれ、 複数の前記案件情報と複数の前記人材情報とに基づきプロンプトを生成し、 前記プロンプトには案件と人材とをマッチングさせる旨の指示が含まれ、 前記プロンプトに応じて学習済みモデルから出力されたデータに基づき案件と人材とのマッチングに関する結果を含む画面を出力し、 前記画面には所定のグラフィカルユーザーインターフェース部品が含まれ、 前記所定のグラフィカルユーザーインターフェース部品が選択されると、人材に対しては、人材とマッチングした案件の案件情報に基づき案件の紹介文を、案件に対しては、案件とマッチングした人材の人材情報に基づき人材の紹介文を生成する、 案件人材マッチングシステム。 【請求項４】 請求項１から請求項３までの何れか１項に記載の案件人材マッチングシステムであって、 前記マッチングに関する結果には、前記案件の前記案件情報と前記人材の前記人材情報とのマッチングの度合いを示すマッチ度が含まれる、 案件人材マッチングシステム。 【請求項５】 請求項４に記載の案件人材マッチングシステムであって、 前記制御部は、 前記学習済みモデルから出力されたデータに基づき前記マッチ度が設定値以上の案件と人材とのマッチングに関する結果を出力する、 案件人材マッチングシステム。 【請求項６】 請求項１から請求項３までの何れか１項に記載の案件人材マッチングシステムであって、 前記マッチングに関する結果には、前記案件の前記案件情報と前記人材の前記人材情報とのマッチングに関する理由が含まれる、 案件人材マッチングシステム。 【請求項７】 請求項１から請求項３までの何れか１項に記載の案件人材マッチングシステムであって、 前記制御部は、 前記マッチングに関する結果の数が閾値以下となるよう前記マッチングに関する結果を出力する、 案件人材マッチングシステム。 【請求項８】 請求項１から請求項３までの何れか１項に記載の案件人材マッチングシステムであって、 前記制御部は、 複数の前記案件情報に対して名寄せ処理を実行し、 重複した案件情報が存在する場合には、日時に基づき後から取得した案件情報に更新する、 案件人材マッチングシステム。 【請求項９】 請求項１から請求項３までの何れか１項に記載の案件人材マッチングシステムであって、 前記制御部は、 複数の前記人材情報に対して名寄せ処理を実行し、 重複した人材情報が存在する場合には、日時に基づき後から取得した人材情報に更新する、 案件人材マッチングシステム。 【請求項１０】 案件と人材とをマッチングさせる案件人材マッチングシステムが実行する情報処理方法であって、 前記案件に関する複数の案件情報を取得し、 前記案件情報には案件の説明と条件とが含まれ、 前記人材に関する複数の人材情報を取得し、 前記人材情報には人材の説明と属性と希望とが含まれ、 人材を選択する人材選択画面を表示し、 複数の前記案件情報と複数の前記人材情報のうち前記人材選択画面を介して選択された人材の前記人材情報とに基づきプロンプトを生成し、 前記プロンプトには案件と人材とをマッチングさせる旨の指示が含まれ、 前記プロンプトに応じて学習済みモデルから出力されたデータに基づき前記人材選択画面を介して選択された人材と複数の前記案件とのマッチングに関する結果を出力する、 情報処理方法。 【請求項１１】 案件と人材とをマッチングさせる案件人材マッチングシステムが実行する情報処理方法であって、 少なくとも１つ以上の制御部を有し、 前記制御部は、 前記案件に関する複数の案件情報を取得し、 前記案件情報には案件の説明と条件とが含まれ、 前記人材に関する複数の人材情報を取得し、 前記人材情報には人材の説明と属性と希望とが含まれ、 案件を選択する案件選択画面を表示し、 複数の前記案件情報のうち前記案件選択画面を介して選択された案件の前記案件情報と複数の前記人材情報とに基づきプロンプトを生成し、 前記プロンプトには案件と人材とをマッチングさせる旨の指示が含まれ、 前記プロンプトに応じて学習済みモデルから出力されたデータに基づき前記案件選択画面を介して選択された案件と複数の前記人材とのマッチングに関する結果を出力する、 情報処理方法。 【請求項１２】 案件と人材とをマッチングさせる案件人材マッチングシステムが実行する情報処理方法であって、 前記案件に関する複数の案件情報を取得し、 前記案件情報には案件の説明と条件とが含まれ、 前記人材に関する複数の人材情報を取得し、 前記人材情報には人材の説明と属性と希望とが含まれ、 複数の前記案件情報と複数の前記人材情報とに基づきプロンプトを生成し、 前記プロンプトには案件と人材とをマッチングさせる旨の指示が含まれ、 前記プロンプトに応じて学習済みモデルから出力されたデータに基づき案件と人材とのマッチングに関する結果を含む画面を出力し、 前記画面には所定のグラフィカルユーザーインターフェース部品が含まれ、 前記所定のグラフィカルユーザーインターフェース部品が選択されると、人材に対しては、人材とマッチングした案件の案件情報に基づき案件の紹介文を、案件に対しては、案件とマッチングした人材の人材情報に基づき人材の紹介文を生成する、 情報処理方法。 【請求項１３】 プログラムであって、 コンピュータを、 請求項１から請求項３までの何れか１項に記載の案件人材マッチングシステムとして機能させるためのプログラム。」 第３ 特許異議申立書に記載した申立ての理由の概要 １ 異議申立人の提出した証拠 異議申立人は、次の甲第１号証～甲第４号証（以下、それぞれ「甲１」～「甲４」といい、これらをまとめて「甲号証」という。）を証拠として提出している。 甲第１号証：Likang Wu, et al., “Exploring Large Language Model for Graph Data Understanding in Online Job Recommendations”, University of Science and Technology of China, BOSS Zhipin, V3,[online], 2023年12月24日, 掲載日, <URL: https://arxiv.org/abs/2307.05722> 甲第２号証：Ralph Peeters, et al., “Entity Matching using Large Language Models”, University of Mannheim, V4,[online], 2024年10月18日, 掲載日, <URL: https://arxiv.org/abs/2310.11244> 甲第３号証：Preetam Ghosh, et al., “JobRecoGPT: Explainable job recommendations using LLMs”, Intelligent Service Networks, Tata Research, Tata Consultancy Services V1,[online], 2023年9月21日, 掲載日, <URL: https://arxiv.org/abs/2309.11805> 甲第４号証：Pouya Pezeshkpour, et al., “Distilling Large Language Models using Skill-Occupation Graph Context for HR-Related Tasks”, Megagon Labs, Indeed, V1,[online], 2023年11月10日, 掲載日, <URL: https://arxiv.org/abs/2311.06383> ２ 申立人の主張 申立人の主張は、概略、以下のとおりである。 （１）申立理由１（甲１に基づく新規性） 本件発明１～４、１０～１３は、甲１に記載された発明であるから、本件発明１～４、１０～１３についての特許は、特許法第２９条第１項第３号の規定に違反してされたものである。 （２）申立理由２（甲１に基づく進歩性） 本件発明５、７～９は、甲１記載の発明および甲２記載の事項に基づいて、当業者が容易に発明をすることができたものであるから、本件発明５、７～９についての特許は、特許法第２９条第２項の規定に違反してされたものである。 （３）申立理由３（甲３に基づく新規性・進歩性） 本件発明６は、甲３に記載された発明であるから、本件発明６についての特許は、特許法第２９条第１項第３号の規定に違反してされたものである。 また、本件発明６は、甲１記載の発明、甲２記載の事項、甲３記載の発明および甲４記載の事項に基づいて、当業者が容易に発明をすることができたものであるから、本件発明６についての特許は、特許法第２９条第２項の規定に違反してされたものである。 第４ 甲号証について １ 甲１に記載されている事項、甲１発明について （１）甲１に記載されている事項 甲１には、次の事項が記載されている（下線は当審で付した。以下同じ。）。 ア（１頁左欄） 「Abstract Large Language Models (LLMs) have revolutionized natural language processing tasks, demonstrating their exceptional capabilities in various domains. However, their potential for graph semantic mining in job recommendations remains largely unexplored. This paper focuses on unveiling the capability of large language models in understanding behavior graphs and leveraging this understanding to enhance recommendations in online recruitment, including promoting out-of-distribution (OOD) applications. We present a novel framework that harnesses the rich contextual information and semantic representations provided by large language models to analyze behavior graphs and uncover underlying patterns and relationships. Specifically, we propose a meta-path prompt constructor that aids LLM recommender in grasping the semantics of behavior graphs for the first time and design a corresponding path augmentation module to alleviate the prompt bias introduced by path-based sequence input. By facilitating this capability, our framework enables personalized and accurate job recommendations for individual users. We evaluate the effectiveness of our approach on comprehensive real-world datasets and demonstrate its ability to improve the relevance and quality of recommended results. This research not only sheds light on the untapped potential of large language models but also provides valuable insights for developing advanced recommendation systems in the recruitment market. The findings contribute to the growing field of natural language processing and offer practical implications for enhancing job search experiences.」 （当審訳： 概要 大規模言語モデル（LLM）は、自然言語処理タスクに革命をもたらし、様々な分野でその卓越した能力を発揮している。しかしながら、求人推薦におけるグラフの意味的マイニングに関するその潜在能力はほとんど未開拓の領域である。本論文では、大規模言語モデルが行動グラフを理解する能力を明らかにし、この理解を活用して、オンライン採用における推薦機能を強化することに焦点を当てる。具体的には、分布外（OOD）のアプリケーションの促進を含む、オンライン採用における推薦機能の強化を目指す。本研究では、大規模言語モデルが提供する豊富な文脈情報と意味表現を活用して行動グラフを分析し、背後にあるパターンや関係性を明らかにする新しいフレームワークを提案する。特に、LLMレコメンダーが初めて行動グラフの意味を理解できるよう支援するメタパスプロンプト構築器を考案するとともに、経路ベースのシーケンス入力によって生じるプロンプトバイアスを軽減するための対応する経路拡張モジュールを設計する。この能力を可能とすることで、本フレームワークは個々のユーザーに対してパーソナライズされた高精度な求人推薦を実現する。我々は、包括的な実世界データセットを用いて本手法の有効性を評価し、その結果が推薦結果の関連性と品質の向上に寄与することを実証した。本研究は、大規模言語モデルに秘められた未開拓の可能性を明らかにするだけでなく、採用市場における先進的な推薦システムの開発に向けた貴重な知見を提供するものである。これらの知見は自然言語処理分野の発展に寄与するとともに、求職者体験の向上に向けた実践的な示唆を与えるものである。） イ（２頁右欄） 「Methodology In this section, the technical detail of GLRec in Figure 1 would be introduced progressively. Preliminary Problem Formulation Consider a set of candidates C ={c1, c2,...,cn1} and a set of jobs J = {j1,j2,...,jn2}, where n1 and n2 represent the total number of candidates (job seekers) and jobs, respectively. Each candidate and job are associated with textual documents that describe their resumes and job requirements. They are also linked to a collection of directed interaction records (such as interviewing and discussing) within the recruitment platform. These interactions are formally represented as Aci = {ci → j′|ci ∈ C,j′ ∈ J} and Ajk = {jk → c′|jk ∈ J,c′ ∈ C}, indicating the directed interactions initiated by candidate ci or employer jk (referred to as a job). Our objective is to predict the compatibility between a job posting and a candidate.」 （当審訳： 方法論 本節では、図1に示すGLRecの技術的詳細について段階的に説明する。 予備知識 問題の定式化 候補者集合 C = {c1, c2, ..., cn1} および求人集合 J = {j1, j2, ..., jn2} を考える。ここで、n1 および n2 は、それぞれ候補者（求職者）の総数と求人の総数を表す。各候補者と求人には、それぞれの履歴書や求人要件を記述したテキスト文書が関連付けられている。また、これらは採用プラットフォーム内での有向な相互作用記録（面接や話し合いなど）の集合ともリンクしている。これらの相互作用は、Aci = {ci → j′|ci ∈ C,j′ ∈ J} および Ajk = {jk → c′|jk ∈ J,c′ ∈ C} として形式的に表現され、候補者 ci または雇用者 jk（求人と呼ばれる）によって開始された有向な相互作用を示している。我々の目的は、求人情報と候補者の適合性を予測することである。） ウ（３頁、Figure 1） 「 ［図：0001438302000001.jpg］ 」 （当審訳： 図１：求人推薦のためのGLRecのフレームワーク） エ（３頁左欄～右欄） 「Task-specific Instruction In our work, we design two job recommendation tasks to test the LLM recommender following existing related work (Bao et al. 2023), i.e., pointwise and pair-wise job matching. Here we introduce our designed template for the sample in our dataset, where information related to privacy and business has been filtered. Assume there is a job seeker called candidate whose Candidate Profile Prompt and recommended JD Prompt are defined as: Candidate Profile Prompt:Age:25,Education:Bachelor’s degree, Graduation School: XXX University, Major: Computer Applied Science, Work Experience: 2 years. JD Prompt: Position Title: Full Stack Engineer, Educational Requirement: Bachelor’s degree, Work Experience: 1-3 years, Skill Requirements: HTML/JAVA/Spring Boot/SQL. For the point-wise task, we let the LLM recommender learn to predict the satisfaction of a candidate with a recommended job. The instruction is designed as: Point-wise Instruction: You are a recommender, determining whether a candidate would be satisfied with the recommended job position. Please answer with “Yes.” or “No.”. For the pair-wise task, we let the LLM recommender learn to justify the preference of a candidate for a recommended job pair. Given two jobs’ JD Prompt “A” and “B”, the instruction is designed as: Pair-wise Instruction: You are a recommender, determining which position will match the candidate. Please answer with “[A].” or “[B].”.」 （当審訳： タスク固有の指示 本研究では、既存の関連研究（Bao et al. 2023）に倣い、LLMレコメンダーを検証するために、２つの求人推薦タスク、すなわちポイントワイズおよびペアワイズの求人マッチングを設計した。以下に、データセット内のサンプル用に設計したテンプレートを示す。ここでは、プライバシー情報やビジネス関連情報はフィルタリングされている。求職者を「候補者」と呼び、「候補者プロフィールプロンプト」、および、推奨される「ＪＤ（職務記述書）プロンプト」が以下のように定義される： 候補者プロフィールプロンプト：年齢：２５歳、学歴：学士号、卒業校：ＸＸＸ大学、専攻：コンピュータ応用科学、実務経験：２年。 職務記述書プロンプト：職種名：フルスタックエンジニア、学歴要件：学士号、実務経験：１～３年、スキル要件：HTML/JAVA/Spring Boot/SQL。 ポイントワイズタスクでは、LLMレコメンダーが、推薦された求人に対する候補者の満足度を予測するように学習させる。指示は次のように設定される： ポイントワイズの指示：あなたは推薦者として、候補者が推薦された求人に満足するかどうかを判断します。「はい」または「いいえ」で回答してください。 ペアワイズタスクでは、LLMレコメンダーに、候補者が推薦された職種ペアを好む理由を説明できるように学習させる。２つの職種「A」と「B」の職務記述書（JD）プロンプトが与えられた場合、指示は次のように設定される： ペアワイズの指示：あなたは採用担当として、どちらのポジションが候補者に適しているかを判断してください。回答は「[A]」または「[B]」で記入してください。） オ（３頁右欄） 「Behavior Meta-path Prompt Generation To equip LLM with the ability to comprehend interactive relationships in graph data, we propose a meta-path-based prompt constructor to obtain prompt inputs that represent local subgraphs. Before delving into the details of our approach, it is necessary to provide a formal introduction to heterogeneous graph and meta-path (Wu et al. 2021b). Definition 1. Heterogeneous Graph. ［図：0001438302000002.jpg］ , consists of an object set V and a link set E. ［図：0001438302000003.jpg］ is also associated with a node type mapping function ［図：0001438302000004.jpg］ and a link type mapping function ［図：0001438302000005.jpg］ . V and E denote the sets of predefined object types and link types, where ［図：0001438302000006.jpg］ . Definition 2. Meta-path. A meta-path P is defined as a path in the form of ［図：0001438302000007.jpg］ (abbreviated as ［図：0001438302000008.jpg］ ), which describes a composite relation ［図：0001438302000009.jpg］ ［図：0001438302000010.jpg］ between objects V1 and Vl+1, where ○ denotes the composition operator on relations.」 （当審訳： 行動メタパスによるプロンプト生成 LLMにグラフデータにおける相互作用の関係を理解する能力を持たせるため、我々は、局所的な部分グラフを表すプロンプト入力を得るための、メタパスに基づくプロンプト構築手法を提案する。本手法の詳細に入る前に、異種グラフおよびメタパス（Wu et al. 2021b）について正式に紹介しておく必要がある。 定義１．異種グラフ。 ［図：0001438302000011.jpg］ は、対象集合 V と連結集合 E からなる。また、 ［図：0001438302000012.jpg］ には、ノード型写像関数 ［図：0001438302000013.jpg］ および連結型写像関数 ［図：0001438302000014.jpg］ が関連付けられている。V および E は、あらかじめ定義された対象型および連結型の集合を表し、 ［図：0001438302000015.jpg］ である。 定義２．メタパス。メタパス P は、 ［図：0001438302000016.jpg］ （ ［図：0001438302000017.jpg］ と略記される）の形式をとるパスであり、オブジェクト V1 から Vl+1 までの間の複合関係 ［図：0001438302000018.jpg］ ［図：0001438302000019.jpg］ を記述する。ここで、○ は関係上の合成演算子を表す。） カ（４頁、Figure 2） 「 ［図：0001438302000020.jpg］ 」 （当審訳： ［図：0001438302000021.jpg］ 図２：LLMのためのメタパス・プロンプト入力のパス重みと位置バイアスの実例） キ（４頁左欄） 「Heterogeneous graphs are more diverse and complex in terms of their semantics compared to homogeneous graphs. Meta-paths are commonly used techniques to mine and represent the interaction semantics within them. In the context of online recruitment, the interactions between job seekers and job positions, which involve different types of behaviors, form a behavior graph. This behavior graph is a typical heterogeneous graph, where different node types include Candidate, JD, and different edge types include messaging, interviewing, matching, and more. Due to the unique and defined semantics of each type of edge in the behavior graph, it is natural to consider transferring the graph data format meta-path to a natural language description which is acceptable for the large language model. We only need to predefine the prompt template according to the appeared edges in a path and then fill in the template with the resume or job description information. For instance, given a typical meta-path c1 - interview → j1 - message → c2. The prompt template is constructed as: Meta-path Prompt: c1 interviewed for position j1. This position discussed with a job seeker c2. The node information, i.e., the description of candidates or JD, then will be filled in the meta-path prompt template to generate the final prompt data in our dataset. The real case can be referred to in Figure 2. In addition, to avoid too similar meta-paths leading to redundancy, we define a simple similarity metric as follows, ［図：0001438302000022.jpg］ where ΦP denotes the set of sampled paths for a candidate. Pi, Pj indicates two meta-paths in ΦP. |Pi ∩Pj| is the number of tokens that exist simultaneously in two paths, Pi ∪Pj is the union of them. We ensure that Si,j ≦ γ between the final selected M paths and 0 ≦ γ ≦ 1 is a hyperparameter.」 （当審訳： 異種グラフは、同種グラフと比較して、その意味論の面でより多様かつ複雑である。 メタパスは、異種グラフ内の相互作用のセマンティクスを抽出・表現するために一般的に用いられる手法である。オンライン採用の文脈において、求職者と求人との間の相互作用は、さまざまな種類の行動を伴い、行動グラフを形成する。この行動グラフは典型的な異種グラフであり、ノードの種類には「候補者（Candidate）」や「職務記述書（JD）」などが、エッジの種類には「メッセージのやり取り」、「面接」、「マッチング」などが含まれる。例えば、典型的なメタパス c1 - 面接 → j1 - メッセージ → c2 が想定される。プロンプトテンプレートは次のように構成される。 メタパスプロンプト：c1はポジションj1の面接を受けました。このポジションについて、求職者c2と話し合いました。 その後、ノード情報、すなわち候補者や職務記述書（JD）の記述が、メタパス・プロンプト・テンプレートに入力され、当データセットの最終的なプロンプトデータが生成される。実際の事例については、図２を参照。また、類似度が高すぎるメタパスによる冗長性を避けるため、次のような単純な類似度指標を定義する。 ［図：0001438302000023.jpg］ ここで、ΦP は候補に対するサンプリングされたパスの集合を表す。Pi, Pj は ΦP 内の ２つのメタパスを示す。|Pi ∩Pj|は２つのパスに同時に存在するトークンの数であり、Pi∪Pj はその和集合である。最終的に選択されたM個のパス間においてSi,j ≦ γを満たすようにし、0 ≦ γ ≦ 1 はハイパーパラメータである。） ク（４頁右欄） 「Path Debiasing and Soft Selection Different from the traditional network embedding, sequence-based meta-path prompts would lead to two challenges for LLM to understand the candidates’ behavior sub-graph. Challenge 1. Influence of Path Weight. Different meta-paths would present different weights for the model decision. Challenge 2. Position Bias of Path Prompt. The position bias of the order of path prompts brings unstable answers. These two challenges appeared when recognizing the pretrained large language model as a recommender, which hinders the effective modeling of semantic relationships in the graph by LLM recommendation models. To provide a more intuitive explanation, we extracted a real-world case from the log of a popular recruitment platform and visualized them in Figure 2. Specifically, for a job seeker in the IT industry, given his Candidate Profile Prompt, Meta-path Prompt 1, and Meta-path Prompt 2, we further feed the LLM with a Task-specific Instruction belonging to point-wise recommendation. The LLM recommender is expected to output the decision of “Yes” or “No” to present the preference of the candidate. Challenge 1 corresponds to Case 1 and Case 2 in this figure. We can find that the same profile and task description with different behavior meta-paths forces LLM to make different predictions. Obviously, the diversity of technology stacks in Path 1 reveals the candidate’s preference for full-stack development, and compared to Path 2, the back ground of path-related job seeker is more close to our candidate. Therefore, for this candidate, Path 1 is evidently more important for the final decision. For Challenge 2, if we construct the input sequence as Case 3, i.e., the order is meta-path prompt 1 → meta-path prompt 2, the LLM outputs the wrong answer “No”. But with a reverse path prompt order, the LLM is able to provide an accurate prediction. Similar to the widely known position bias of candidate items (Wu et al. 2023), the position of context prompt clearly misleads the model to generate unstable outputs. To address the negative impact of these two challenges on the recommendation results, we carefully design an augmentation module specifically for the meta-path prompt, which consists of three concise but effective strategies. The first strategy is Shuffle Mechanism. When preparing domain data for the model’s supervised fine-tuning (SFT), for each sample that contains multiple paths, we randomly shuffle the meta-path prompts in the sample m times. Here m denotes the conducted times of shuffling. This data augmentation technique allows the model to learn semantic invariance patterns from different combinations of paths, leading to more stable results. It enhances the robustness of the model without introducing redundant information. The second strategy is Path Soft Selector.」 （当審訳： パス・デバイアシングとソフトセレクション 従来のネットワーク埋め込みとは異なり、シーケンスベースのメタパスプロンプトは、LLMが候補の挙動サブグラフを理解する上で２つの課題をもたらすことになる。 課題１．パス重みの影響。 異なるメタパスは、モデルの意思決定において異なる重みをもたらす。 課題２．パスプロンプトの位置バイアス。 パスプロンプトの順序による位置バイアスが、不安定な回答を引き起こす。 事前学習済みの大規模言語モデル（LLM）をレコメンダーとして活用する際、これら２つの課題が浮上した。これらは、LLMレコメンデーションモデルによるグラフ内の意味的関係の有効なモデリングを妨げる要因となっている。より直感的な説明を行うため、人気のある求人プラットフォームのログから実例を抽出し、図２に可視化した。具体的には、IT業界の求職者について、その「候補者プロファイルプロンプト」、「メタパスプロンプト１」、「メタパスプロンプト２」に加え、ポイントワイズレコメンデーションに属する「タスク固有の指示」をLLMに与える。LLMレコメンダーは、候補者の選好を示すために「Yes」または「No」の判断を出力することが期待される。課題１は、この図のケース１およびケース２に対応している。同じプロフィールと職務内容であっても、行動メタパスが異なると、LLMが異なる予測を行うことがわかる。明らかに、パス１における技術スタックの多様性は、この候補者がフルスタック開発を好むことを示しており、パス２と比較すると、パスに関連する求職者の経歴は、当方の候補者に近いものとなっている。したがって、この候補者にとって、最終的な決定においてはパス１の方が明らかに重要である。課題２について、入力シーケンスをケース３（つまり、メタパスプロンプト１→メタパスプロンプト２の順序）として構成すると、LLMは誤った回答「No」を出力する。しかし、パスプロンプトの順序を逆転させると、LLMは正確な予測を提供できるようになる。候補項目の位置バイアス（Wu et al. 2023）で広く知られているのと同様に、コンテキストプロンプトの位置は明らかにモデルを誤導し、不安定な出力を生成させている。これら２つの課題が推薦結果に及ぼす悪影響に対処するため、我々はメタパスプロンプトに特化したデータ拡張モジュールを慎重に設計した。このモジュールは、簡潔かつ効果的な３つの戦略で構成されている。最初の戦略は「シャッフル機構」である。モデルの教師あり微調整（SFT）用にドメインデータを準備する際、複数のパスを含む各サンプルについて、そのサンプル内のメタパスプロンプトをm回ランダムにシャッフルする。ここでmはシャッフルを実行した回数を表す。このデータ拡張手法により、モデルはパスの異なる組み合わせから意味的不変性を学習できるようになり、より安定した結果が得られる。これにより、冗長な情報を導入することなく、モデルの頑健性が向上する。２つ目の戦略は「パス・ソフト・セレクター」である。） ケ（４頁右欄～５頁左欄） 「In this work, we regard the path sampling process in Behavior Meta-path Prompt Generation as a hard selection to heuristic selects semantically rich paths. The Path Soft Selector is used to further adaptively assign a learned weight distribution to the constructed meta-path prompts. Firstly, for a given meta-path prompt Mi, i ∈ {1,2,...,M} (M denotes the number of paths), we obtain the LLM word embedding et of each token t ∈ Mi. So, the meta-path embedding Hi of Mi can be obtained via a mean pooling as follows, ［図：0001438302000024.jpg］ Then we propose a soft selector to calculate the weight for each meta-path embedding as: ［図：0001438302000025.jpg］ where Wa ∈ R1×de is a trainable parameter, and de denotes the dimension of Ei. To avoid the training collapse caused by changed value scale, we utilize a controller parameter λ ∈ (0,0.5] to update word embeddings in Eq.(5). ［図：0001438302000026.jpg］ Compared with most existing tuned or non-tuned LLM models, our prompt augmentation mechanism considers phrase based attention to distinguish different paths. Actually, this simple solution can be transferred to other similar situations, such as weighed sentence embeddings. What’s more, the third strategy is the Hybrid Mechanism which implements Shuffle Mechanism and Path Soft Selector simultaneously. This hybrid module is expected to address the both two challenges. We will evaluate these three strategies in the experiment section. LLM Instruction Tuning and Recommendation In this subsection, we will introduce the instruction tuning and recommendation process, which aims to align the used LLM with the recommendation task effectively and efficiently. For instruction tuning, we follow the general supervised fine-tuning method to minimize the autoregressive loss calculated by ground truth and corresponding LLM output. In our work, we mask the loss position of the prompt part. Specific prompt format, task-specific instruction, and ground truth have been introduced in the Preliminary section. However, direct fine-tuning of the entire model can be computationally intensive and time-consuming. To address this, we propose a lightweight fine-tuning strategy using LoRA, which involves freezing the pre-trained model parameters and introducing trainable rank decomposition matrices into each layer of the Transformer architecture. This approach facilitates lightweight fine-tuning while reducing GPU memory consumption. And the final learning objective can be computed as follows: ［図：0001438302000027.jpg］ 」 （当審訳： 本研究では、「Behavior Meta-path Prompt Generation」におけるパスサンプリングプロセスを、意味的に豊かなパスをヒューリスティックに選択するための「ハードセレクション」とみなす。「Path Soft Selector」を用いて、構築されたメタパスプロンプトに対して、学習された重み分布をさらに適応的に割り当てる。まず、与えられたメタパスプロンプト Mi（i ∈ {1,2,...,M}、M はパスの数を表す）について、各トークン t ∈ Mi の LLM 単語埋め込み et を取得する。したがって、Miのメタパス埋め込みHiは、以下の平均プーリングによって得られる。 ［図：0001438302000028.jpg］ そこで、各メタパス埋め込みの重みを次のように計算するためのソフトセレクタを提案する： ［図：0001438302000029.jpg］ ここで、Wa ∈ R1×de は学習可能なパラメータであり、deはEi の次元を表す。値のスケール変化によって生じる学習の崩壊を回避するため、式（５）において、コントローラパラメータ λ ∈ (0,0.5] を用いて単語埋め込みを更新する。 ［図：0001438302000030.jpg］ 既存のチューニング済みまたは非チューニング済みのLLMモデルの大半と比較して、我々のプロンプト拡張メカニズムは、異なるパスを区別するためにフレーズベースのアテンションを採用する。実際、このシンプルな解決策は、重み付けされた文埋め込みなど、他の類似した状況にも応用可能である。 さらに、３つ目の戦略であるハイブリッドメカニズムは、シャッフルメカニズムとパスソフトセレクターを同時に実装するものである。このハイブリッドモジュールは、これら２つの課題の両方に対処できると期待される。実験セクションにおいて、これら３つの戦略を評価する。 LLM指示チューニングと推薦システム 本節では、使用されるLLMを推薦タスクに効果的かつ効率的に適応させるための指示チューニングと推薦プロセスについて説明する。指示チューニングに関しては、一般的な教師あり微調整手法に従い、正解データと対応するLLM出力から算出される自己回帰損失を最小化する。本研究では、プロンプト部分の損失位置をマスクしている。具体的なプロンプト形式、タスク固有の指示文、および正解データについては「予備知識」節で既に紹介している。しかし、モデル全体を直接微調整する方法は計算コストが高く、時間を要する。この問題に対処するため、我々はLoRAを用いた軽量な微調整戦略を提案する。この手法では、事前学習済みモデルのパラメータを凍結し、Transformerアーキテクチャの各層に学習可能なランク分解行列を導入する。これにより、軽量な微調整が可能となるとともに、GPUメモリ消費量も削減できる。最終的な学習目的関数は以下のように計算される： ［図：0001438302000031.jpg］ ） コ（5頁右欄） 「Experiments Experimental Settings Datasets. We conduct experiments on two datasets RecrX and RecrY with different scales which are collected from a real-world and large online recruitment platform in China to assess recommendation methods. The datasets were constructed from the online logs and contained two kinds of behavior: Match and Interaction, corresponding to the matching set and interaction set mentioned in Problem Formulation. Besides, each candidate (and job) is associated with a descriptive text (i.e., resume or job description). The overall statistics are shown in Table 1. From the statistical data, it can be seen that job recommendation is a sparsely interactive scenario. The segmentation ratio of the training set and testing set is 5:1. Note that all sensitive or private information has been filtered out from the data.」 （当審訳： 実験 実験設定 使用データセット: 本研究では、中国の大規模オンライン採用プラットフォームから収集した異なる規模の2つのデータセットRecrXとRecrYを用いて実験を行った。これらのデータセットは実際のオンラインログから構築されており、問題定義で言及した「マッチングセット」と「インタラクションセット」に対応する2種類の行動データを含んでいる。さらに、各候補者（および求人）には説明文（履歴書または求人内容）が付与されている。全体の統計データを表1に示す。この統計データから、求人推薦は疎なインタラクションを伴うシナリオであることがわかる。訓練セットとテストセットの分割比率は5:1である。なお、データからは機密情報や個人情報はすべて除去されている。） サ（6頁左欄） 「Implementation Details. In this paper, we utilize BELLE-LLaMA-7B (Ji et al. 2023) as the pre-trained LLM backbone due to its expanded Chinese vocabulary. The instruction-tuning and model inference, using LoRa, are conducted on 4 Tesla A100 80G GPUs. To ensure consistent sequence inputs within each batch (batch size is 32), we apply padding to sequences with a maximum length of 512. Our approach incorporates the meta-path prompt and user-specific task instructions as model inputs for personalized recommendations. In our experiments, we investigate the impact of different numbers of paths, specifically M ∈ [0, 1, 2, 3], for GLRec, and the shuffled times m = 2 for M≧ 2. In our work, we select paths with 3 nodes because they offer a balance between meaningful semantics and minimal redundancy with the experimental feedback. Further details regarding the path prompt and instructions can be found in the Methodology section.」 （当審訳： 実装詳細: 本論文では、中国語語彙が拡張されているBELLE-LLaMA-7Bモデル（Ji et al. 2023）を事前学習済みLLMのバックボーンとして採用した。指示チューニングとモデル推論は、LoRaを用いて4台のTesla A100 80G GPU上で実施した。各バッチ内のシーケンス入力を統一するため（バッチサイズは32）、最大長512のシーケンスにはパディングを適用した。本手法では、メタパスプロンプトとユーザー固有のタスク指示をモデル入力として組み込み、パーソナライズされた推薦を実現する。実験では、異なる数のパスが与える影響を調査しており、具体的に、GLRecでは、M ∈ [0, 1, 2, 3]で、m = 2 for M≧ 2のシャッフル回数を変化させた。本研究では、意味的な有意性と実験フィードバックにおける冗長性のバランスを考慮し、3ノードからなるパスを選択した。パスプロンプトと指示に関する詳細な情報は方法論セクションに記載されている。） （２）甲１に記載されているといえる事項 ア 上記（１）アの下線部の「大規模言語モデル（LLM）」に関して、「LLMレコメンダーが初めて行動グラフの意味を理解できるよう支援」し、「この能力を可能とすることで、本フレームワークは個々のユーザーに対してパーソナライズされた高精度な求人推薦を実現する」、「採用市場における先進的な推薦システムの開発に向けた貴重な知見を提供する」などの記載より、甲１には、「大規模言語モデル（LLM）レコメンダーが行動グラフの意味を理解できる能力を可能とすることで、個々のユーザーに対してパーソナライズされた高精度な求人推薦を実現する、当該LLMレコメンダーを有する大規模言語モデル（LLM）推薦システム」が記載されているといえる。 イ 上記（１）イの下線部の「候補者集合 C = {c1, c2, ..., cn1} および求人集合 J = {j1, j2, ..., jn2} を考える。ここで、n1 および n2 は、それぞれ候補者（求職者）の総数と求人の総数を表す。各候補者と求人には、それぞれの履歴書や求人要件を記述したテキスト文書が関連付けられている。また、これらは採用プラットフォーム内での直接的な相互作用記録（面接や話し合いなど）の集合ともリンクしている。」、「我々の目的は、求人情報と候補者の適合性を予測することである。」との記載、および、上記（１）ウの「図１：求人推薦のためのGLRecのフレームワーク」の左上の「→Interaction」（相互作用）（当審注：「→」は、相互作用を表す有向グラフ）、「Behavior Graph」（行動グラフ）などの記載、さらに、上記（１）エの「データセット内のサンプル用に設計したテンプレートを示す。ここでは、プライバシー情報やビジネス関連情報はフィルタリングされている。求職者を「候補者」と呼び、「候補者プロフィールプロンプト」、および、推奨される「ＪＤ（ジョブ記述）プロンプト」が以下のように定義される： 候補者プロフィールプロンプト：年齢：２５歳、学歴：学士号、卒業校：ＸＸＸ大学、専攻：コンピュータ応用科学、実務経験：２年。 ＪＤプロンプト：職種名：フルスタックエンジニア、学歴要件：学士号、実務経験：１～３年、スキル要件：HTML/JAVA/Spring Boot/SQL。」という記載から、甲1には、「候補者（求職者）と求人には、それぞれの履歴書（年齢、学歴、実務経験）や求人要件（職種名、学歴要件、実務経験、スキル要件）を記述したテキスト文書が関連付けられており、さらに、採用プラットフォーム内での直接的相互作用記録（面接や話し合いなど）が行動グラフとしてリンクしている」ことが記載されているといえる。 ウ 上記（１）エの「本研究では、既存の関連研究（Bao et al. 2023）に倣い、LLMレコメンダーを検証するために、２つの求人推薦タスク、すなわちポイントワイズおよびペアワイズの求人マッチングを設計した。」および「ポイントワイズタスクでは、LLMレコメンダーが、推薦された求人に対する候補者の満足度を予測するように学習させる。指示は次のように設計される： ポイントワイズの指示：あなたは推薦者として、候補者が推薦された求人に満足するかどうかを判断します。「はい」または「いいえ」で回答してください。 ペアワイズタスクでは、LLMレコメンダーに、候補者が推薦された職種ペアを好む理由を説明できるように学習させる。２つの職種「A」と「B」の職務記述書（JD）プロンプトが与えられた場合、指示は次のように設定される： ペアワイズの指示：あなたは採用担当として、どちらのポジションが候補者に適しているかを判断してください。回答は「[A]」または「[B]」で記入してください。」という記載から、甲１には、「LLMレコメンダーを検証するために、２つの求人推薦タスクであるポイントワイズタスクおよびペアワイズタスクの求人マッチングを設計しており、 ポイントワイズタスクでは、LLMレコメンダーが、推薦された求人に対する候補者の満足度を予測するように学習させるため、「ポイントワイズの指示：あなたは推薦者として、候補者が推薦された求人に満足するかどうかを判断します。「はい」または「いいえ」で回答してください。」を設定しており、 ペアワイズタスクでは、LLMレコメンダーに、候補者が推薦された職種ペアを好む理由を説明できるように学習させるため、２つの職種「A」と「B」の職務記述書（JD）プロンプトが与えられた場合、「ペアワイズの指示：あなたは採用担当として、どちらのポジションが候補者に適しているかを判断してください。回答は「[A]」または「[B]」で記入してください。」を設定している」ことが記載されているといえる。 エ 上記（１）カの図２および上記（１）キの「その後、ノード情報、すなわち候補者や職務記述書（JD）の記述が、メタパス・プロンプト・テンプレートに入力され、当データセットの最終的なプロンプトデータが生成される。実際の事例については、図２を参照。」という記載、および、上記（１）ケの「指示チューニングに関しては、一般的な教師あり微調整手法に従い、正解データと対応するLLM出力から算出される自己回帰損失を最小化する」および「具体的なプロンプト形式、タスク固有の指示文、および正解データについては「予備知識」節で既に紹介している。」という記載から、甲１には、「候補者や職務記述書（JD）の記述がメタパス・プロンプト・テンプレートに入力されたデータセットの最終的なプロンプトデータが生成され、タスク固有の指示文（「ポイントワイズの指示」および「ペアワイズの指示」）を用いて、一般的な教師あり微調整手法に従い、正解データと対応するLLM出力から算出される自己回帰損失を最小化する学習を行う」ことが記載されているといえる。 オ 上記（１）コの「中国の大規模オンライン採用プラットフォームから収集した異なる規模の2つのデータセットRecrXとRecrYを用いて実験を行った」および「訓練セットとテストセットの分割比率は5:1である」という記載、および、上記（１）サの「モデル推論は、LoRaを用いて4台のTesla A100 80G GPU上で実施した」、「メタパスプロンプトとユーザー固有のタスク指示をモデル入力として組み込み、パーソナライズされた推薦を実現する」および「パスプロンプトと指示に関する詳細な情報は方法論セクションに記載されている」という記載から、甲１には、「中国の大規模オンライン採用プラットフォームから収集した異なる規模の2つのデータセットRecrXとRecrYを用いて実験を行い、モデル推論は、LoRaを用いて4台のTesla A100 80G GPU上で実施し、メタパスプロンプトとユーザー固有のタスク指示（「ポイントワイズの指示」および「ペアワイズの指示」）をモデル入力として組み込み、パーソナライズされた推薦を実現する」ことが記載されているといえる。 （３）甲１に記載された発明 上記（１）および（２）から、甲１には、次の発明（以下、「甲１発明」という。）が記載されているといえる。 「大規模言語モデル（LLM）レコメンダーが行動グラフの意味を理解できる能力を可能とすることで、個々のユーザーに対してパーソナライズされた高精度な求人推薦を実現する、当該LLMレコメンダーを有する大規模言語モデル（LLM）推薦システムであって、 候補者（求職者）と求人には、それぞれの履歴書（年齢、学歴、実務経験）や求人要件（職種名、学歴要件、実務経験、スキル要件）を記述したテキスト文書が関連付けられており、さらに、採用プラットフォーム内での有向な相互作用記録（面接や話し合いなど）が行動グラフとしてリンクしており、 LLMレコメンダーを検証するために、２つの求人推薦タスクであるポイントワイズタスクおよびペアワイズタスクの求人マッチングを設計しており、 ポイントワイズタスクでは、LLMレコメンダーが、推薦された求人に対する候補者の満足度を予測するように学習させるため、「ポイントワイズの指示：あなたは推薦者として、候補者が推薦された求人に満足するかどうかを判断します。「はい」または「いいえ」で回答してください。」を設定しており、 ペアワイズタスクでは、LLMレコメンダーに、候補者が推薦された職種ペアを好む理由を説明できるように学習させるため、２つの職種「A」と「B」の職務記述書（JD）プロンプトが与えられた場合、「ペアワイズの指示：あなたは採用担当として、どちらのポジションが候補者に適しているかを判断してください。回答は「[A]」または「[B]」で記入してください。」を設定しており、 候補者や職務記述書（JD）の記述がメタパス・プロンプト・テンプレートに入力されたデータセットの最終的なプロンプトデータが生成され、タスク固有の指示文（「ポイントワイズの指示」および「ペアワイズの指示」）を用いて、一般的な教師あり微調整手法に従い、正解データと対応するLLM出力から算出される自己回帰損失を最小化する学習を行い、 中国の大規模オンライン採用プラットフォームから収集した異なる規模の2つのデータセットRecrXとRecrYを用いて実験を行い、モデル推論は、LoRaを用いて4台のTesla A100 80G GPU上で実施し、メタパスプロンプトとユーザー固有のタスク指示（「ポイントワイズの指示」および「ペアワイズの指示」）をモデル入力として組み込み、パーソナライズされた推薦を実現する 大規模言語モデル（LLM）推薦システム。」 ２ 甲２に記載されている事項 （１）甲２に記載されている事項 甲２には、次の事項が記載されている。 ア（１頁） 「ABSTRACT Entity matching is the task of deciding whether two entity descriptions refer to the same real-world entity. Entity matching is a central step in most data integration pipelines. Many state-of-the-art entity matching methods rely on pre-trained language models (PLMs) such as BERT or RoBERTa. Two major drawbacks of these models for entity matching are that (i) the models require significant amounts of task-specific training data and (ii) the fine-tuned models are not robust concerning out-of-distribution entities. This paper investigates using generative large language models (LLMs) as a less task-specific training data-dependent and more robust alternative to PLM-based matchers. The study covers hosted and open-source LLMs which can be run locally. We evaluate these models in a zero-shot scenario and a scenario where task-specific training data is available. We compare different prompt designs and the prompt sensitivity of the models.」 （当審訳： 概要 エンティティマッチングとは、２つのエンティティ記述が現実世界の同じエンティティを指しているかどうかを判断するタスクである。エンティティマッチングは、ほとんどのデータ統合パイプラインにおいて中心的なステップである。多くの最先端のエンティティマッチング手法は、BERTやRoBERTaなどの事前学習済み言語モデル（PLM）を利用している。エンティティマッチングにおいて、これらのモデルには次の２つの大きな欠点がある。(i) モデルにはタスク固有のトレーニングデータが大量に必要であること、(ii) 微調整されたモデルは、分布外のエンティティに対して頑健ではないことである。本論文では、PLMベースのマッチング手法に代わる、タスク固有のトレーニングデータへの依存度が低く、より頑健な代替手段として、生成型大規模言語モデル（LLM）の利用について検討する。本研究では、ホスト型およびローカルで実行可能なオープンソースのLLMを対象としている。これらのモデルを、ゼロショットシナリオおよびタスク固有の学習データが利用可能なシナリオにおいて評価する。また、異なるプロンプト設計や、各モデルのプロンプトに対する感度についても比較検討する。） イ（８頁右欄） 「6 EXPLAINING MATCHING DECISIONS Understanding the decisions of a matching model is important for users to build trust towards the systems. Explanations of model decisions can further be used for debugging matching pipelines. The size and structure of deep learning models make explaining their decisions a challenging task, which has led to a dedicated line of research in the field of entity matching [2, 12, 32, 33]. Instead of relying on external explainability methods, LLMs can directly be queried for explanations of their decisions. In this Section, we use GPT4 to generate structured explanations for its decisions and show how to aggregate these explanations to derive global insights about matching decisions.」 （当審訳： ６ マッチング決定の説明 マッチングモデルの決定を理解することは、ユーザーがシステムに対する信頼を築く上で重要である。また、モデルの決定に関する説明は、マッチングパイプラインのデバッグにも活用できる。深層学習モデルの規模と構造の複雑さゆえに、その決定を説明することは困難な課題となっており、これがエンティティマッチングの分野において、この問題に特化した一連の研究を生み出している [2, 12, 32, 33]。外部の説明可能性手法に依存する代わりに、LLMに対して直接、その決定に関する説明を求めることができる。本節では、GPT-4を用いてその決定に対する構造化された説明を生成し、これらの説明を集約してマッチング決定に関する全体的な知見を導き出す方法を示す。） （２）甲２記載事項 上記（１）から、甲２には、次の事項（以下、「甲２記載事項」という。）が記載されているといえる。 「２つのエンティティ記述が現実世界の同じエンティティを指しているかどうかを判断するタスクであるエンティティマッチングにおいて、生成型大規模言語モデル（LLM）を利用すること、GPT-4を用いてマッチング決定に対する構造化された説明を生成させること、これらの説明を集約してマッチング決定に関する全体的な知見を導き出すこと。」 ３ 甲３に記載されている事項、甲３発明について （１）甲３に記載されている事項 甲３には、次の事項が記載されている。 ア（１頁、論文タイトル） 「JobRecoGPT: Explainable job recommendations using LLMs」 （当審訳： JobRecoGPT：LLMを活用した説明可能な求人推薦） イ（１頁左欄） 「Abstract - In today’s rapidly evolving job market, finding the right opportunity can be a daunting challenge. With advancements in the field of AI, computers can now recommend suitable jobs to candidates. However, the task of recommending jobs is not same as recommending movies to viewers. Apart from must-have criteria, like skills and experience, there are many subtle aspects to a job which can decide if it is a good fit or not for a given candidate. Traditional approaches can capture the quantifiable aspects of jobs and candidates, but a substantial portion of the data that is present in unstructured form in the job descriptions and resumes is lost in the process of conversion to structured format. As of late, Large Language Models (LLMs) have taken over the AI field by storm with extraordinary performance in fields where text-based data is available. Inspired by the superior performance of LLMs, we leverage their capability to understand natural language for capturing the information that was previously getting lost during the conversion of unstructured data to structured form. To this end, we compare performance of four different approaches for job recommendations namely, (i) Content based deterministic, (ii) LLM guided, (iii) LLM unguided, and (iv) Hybrid. In this study, we present advantages and limitations of each method and evaluate their performance in terms of time requirements.」 （当審訳： 概要 － 急速に変化する今日の求人市場において、自分に合った仕事を見つけることは、非常に困難な課題となり得る。AI分野の進歩により、コンピュータは求職者に適した仕事を推薦できるようになった。しかし、仕事の推薦は、視聴者に映画を推薦することとは異なる。スキルや経験といった必須条件とは別に、その仕事が特定の求職者に適しているかどうかを左右する、多くの微妙な側面が存在するからである。従来のアプローチでは、仕事や求職者の定量化可能な側面を捉えることはできるが、求人情報や履歴書に非構造化データとして存在する情報の相当部分が、構造化形式への変換過程で失われてしまう。近年、大規模言語モデル（LLM）は、テキストベースのデータが利用可能な分野で驚異的な性能を発揮し、AI分野を席巻している。LLMの優れた性能に着想を得て、我々は自然言語を理解するその能力を活用し、これまで非構造化データから構造化データへの変換過程で失われていた情報を捕捉する。この目的のために、求人推薦に関する４つの異なるアプローチ、すなわち（i）コンテンツベースの決定論的アプローチ、（ii）LLMガイド型、（iii）LLM非ガイド型、および（iv）ハイブリッド型の性能を比較する。本研究では、各手法の利点と限界を提示し、所要時間という観点からその性能を評価する。） ウ（３頁左欄～右欄） 「A. LLM Guided Algorithm Here, we provide a pre-defined structure to generate recommendations. This allows control over the model's response, such as the criteria used for matching, the number of recommendations, and returning recommendations in a structured format. Further, we exploit LLMs ability to explain their actions in natural language to provide reasoning of why a certain recommendation is good or bad. Figure 5 shows the overall flow and prompts provided as input to LLM. A configuration is provided to “guide” the LLM according in the desired objective direction, “criteria”. This information together with appropriate prompts is provided as an input to the LLM.The output from the LLM is consistent due to the guidelines from the prompts and consists of recommended Job ID along with explanations such as benefits, drawbacks, and qualitative aspects.」 （当審訳： A. LLM誘導型アルゴリズム ここでは、レコメンデーションを生成するための事前定義された構造を提供する。これにより、マッチングに用いる基準、レコメンデーションの数、構造化された形式でのレコメンデーションの返却など、モデルの応答を制御することが可能になる。さらに、LLMが自身の動作を自然言語で説明できる能力を活用し、特定のレコメンデーションがなぜ適切か、あるいは不適切なのかという推論を提供する。 図５は、全体的なフローとLLMへの入力として提供されるプロンプトを示している。望ましい目的の方向性である「基準」に従ってLLMを「誘導」するための設定が用意されている。この情報と適切なプロンプトが組み合わされ、LLMへの入力として提供される。プロンプトによる基準により、LLMからの出力は一貫性を保ち、推薦される求人IDに加え、メリット、デメリット、定性的な側面などの説明で構成される。） エ 図５（３頁右欄） 「 ［図：0001438302000032.jpg］ 」 オ 図６（３頁右欄） 「 ［図：0001438302000033.jpg］ 」 カ（３頁右欄） 「B. LLM Unguided Algorithm To leverage LLMs ability to comprehend natural language, we perform an experiment where no clear criteria is provided for recommending a job to a talent viz. an “unguided” approach. This way, the LLM model is expected to recommend jobs that are “good” according to its own comprehension. We direct the model in the prompt to add an explanations for the recommendation. With this approach, the model provides recommendations with logical explanations. Figure 6 shows the overall flow and prompts used in this approach. This time no “criteria” is provided to guide the model. The output obtained from this approach does not follow any specific structure. Nevertheless, it provides a structure to its response in multiple paragraphs with the Job ID at top and the explanations following below as a bulleted list.」 （当審訳： B. LLM非誘導型アルゴリズム LLMが自然言語を理解する能力を活用するため、人材への求人推薦に関して明確な基準を一切提示しない、いわゆる「非誘導型」のアプローチによる実験を実施した。これにより、LLMモデルは自身の理解に基づいて「良い」と判断した求人を推薦することが期待される。プロンプト内で、推薦の理由を説明するようにモデルに指示を出す。このアプローチにより、モデルは論理的な説明を伴った推薦を提供する。 図6は、本手法における全体的なフローとプロンプトを示している。今回は、モデルを誘導するための「基準（クライテリア）」は提示されていない。この手法で得られる出力は、特定の構造に従うものではない。それにもかかわらず、回答は、冒頭にJob IDを配置し、その後に説明を箇条書きで並べるという構成になっている。） キ（４頁左欄） 「The recommendations are further enriched by an unbiased view of the role and organization to overcome the issue of JDs of organizations highlighting only the perks of working for them, without mentioning drawbacks. An unbiased view makes it easier for the candidate to make an informed decision. We prompt the LLM to rate the organizations and the particular role in that organization on a scale of 1 to 10. The prompt containing the aspects of the organization and roles that are considered for the rating are shown in Figure 8.」 （当審訳： また、組織の職務記述書（JD）が、その組織で働くことのメリットのみを強調し、デメリットには触れないという問題を克服するため、役割や組織に関する偏りのない視点を取り入れることで、推奨事項はさらに充実したものとなっている。偏りのない視点があれば、候補者は十分な情報に基づいて判断を下しやすくなる。LLMに対し、組織およびその組織内の特定の役職を１から１０のスケールで評価するよう指示する。評価の対象となる組織や役職の側面を含むプロンプトを図８に示す。） ク（９頁左欄～右欄） 「VIII. PERFORMANCE ANALYSIS We evaluate runtime performance of all the approaches. We observed a strong correlation between the number of tokens used in the LLMs, both input and output, and the time it takes to generate recommendations. ・Deterministic algorithm: In this case, the time taken by the algorithm itself is negligible when compared to the time required to convert unstructured to structured data. On an average around 20 seconds are required to convert a given CV or a JD to structured format. However, in real, Fig. 29: Quality of language based recommendations on real data. JDs may not be required to be converted to structured format every single time the recommendation system runs. ・LLM guided and LLM unguided: Both of these methods exhibit similar time requirements, although LLM unguided takes slightly longer due to its tendency to employ verbose reasoning, resulting in a higher token count during the process. Generating recommendations for a given CV typically takes an average of 25 to 35 seconds using either method.」 （当審訳： 「VIII. パフォーマンス分析 我々は、すべてのアプローチの実行時のパフォーマンスを評価した。その結果、LLMで使用されるトークンの数（入力・出力双方）と、推薦の生成にかかる時間との間に強い相関関係が認められた。 ・決定論的アルゴリズム：この場合、アルゴリズム自体の処理時間は、非構造化データを構造化データに変換するのに必要な時間と比較すると、ごくわずかである。特定の履歴書や求人要項を構造化形式に変換するには、平均して約２０秒を要する。しかし実際には、推薦システムが実行されるたびに、求人要項を構造化形式に変換する必要はないかもしれない。 ・LLM誘導型およびLLM非誘導型：いずれの手法も所要時間は同程度であるが、LLM非誘導型手法は、冗長な推論を行う傾向があり、その過程でトークン数が増加するため、わずかに時間が長くかかる場合がある。特定の履歴書（CV）に対して推奨事項を生成するのに要する時間は、どちらの手法を用いても通常、平均して25～35秒である。） （２）甲３に記載された発明 上記（１）から、甲３には、次の２つの発明（以下、「甲３－１発明」および「甲３－１発明」という。）が記載されているといえる。 ア 甲３－１発明 「LLMを活用した説明可能な求人推薦を行う推薦システムであって、 LLM誘導型アルゴリズムにより、マッチングに用いる基準、レコメンデーションの数、構造化された形式でのレコメンデーションの返却など、モデルの応答を制御することが可能となり、LLMが自身の動作を自然言語で説明できる能力を活用し、特定のレコメンデーションがなぜ適切か、あるいは不適切なのかという推論を提供するものであり、 LLMへの入力として提供されるプロンプトに、望ましい目的の方向性である「基準」に従ってLLMを「誘導」するための設定が用意されて、LLMへの入力として提供され、 プロンプトによる基準により、LLMからの出力は一貫性を保ち、推薦される求人IDに加え、メリット、デメリット、定性的な側面などの説明で構成される 推薦システム。」 イ 甲３－２発明 「LLMを活用した説明可能な求人推薦を行う推薦システムであって、 LLM非誘導型アルゴリズムは、LLMが自然言語を理解する能力を活用するため、人材への求人推薦に関して明確な基準を提示しない、いわゆる「非誘導型」のアプローチであり、これにより、LLMモデルは自身の理解に基づいて「良い」と判断した求人を推薦することが期待され、 プロンプト内で、モデルを誘導するための「基準（クライテリア）」は提示せずに、推薦の理由を説明するようにモデルに指示を出し、 冒頭に推薦するJob IDを配置し、その後に合理的な説明を箇条書きで並べる回答を提供する 推薦システム。」 ４ 甲４に記載されている事項 （１）甲４に記載されている事項 甲４には、次の事項が記載されている。 ア（１頁左欄） 「Abstract Numerous HR applications are centered around resumes and job descriptions. While they can benefit from advancements in NLP, particularly large language models, their real-world adoption faces challenges due to absence of comprehensive benchmarks for various HR tasks, and lack of smaller models with competitive capabilities. In this paper, we aim to bridge this gap by introducing the Resume-Job Description Benchmark (RJDB). We meticulously craft this benchmark to cater to a wide array of HR tasks, including matching and explaining resumes to job descriptions, extracting skills and experiences from resumes, and editing resumes. To create this benchmark, we propose to distill domain-specific knowledge from a large language model (LLM). We rely on a curated skill-occupation graph to ensure diversity and provide context for LLMs generation. Our benchmark includes over 50 thousand triples of job descriptions, matched resumes and unmatched resumes. Using RJDB, we train multiple smaller student models. Our experiments reveal that the student models achieve near/better performance than the teacher model (GPT-4), affirming the effectiveness of the benchmark. Additionally, we explore the utility of RJDB on out-of-distribution data for skill extraction and resume-job description matching, in zero-shot and weak supervision manner. We release our datasets and code to foster further research and industry applications.」 （当審訳： 概要 数多くの人事（HR）アプリケーションは、履歴書や求人要項を中心に展開されている。これらのアプリケーションは、自然言語処理（NLP）、特に大規模言語モデルの進歩から恩恵を受けることができるものの、様々なHRタスクに対する包括的なベンチマークの欠如や、競争力のある小型モデルの不足により、実世界での導入には課題が伴っている。本論文では、「Resume-Job Description Benchmark（RJDB）」を導入することで、このギャップを埋めることを目指す。本ベンチマークは、職務記述書と履歴書のマッチングや説明、履歴書からのスキルや経験の抽出、履歴書の編集など、幅広いHRタスクに対応できるよう綿密に構築されている。このベンチマークを作成するため、我々は大規模言語モデル（LLM）からドメイン固有の知識を蒸留する手法を提案する。多様性を確保し、LLMによる生成に文脈を提供するために、厳選されたスキル・職種グラフを活用している。本ベンチマークには、５万件以上の求人情報、マッチングされた履歴書、およびマッチングされなかった履歴書の組み合わせが含まれている。RJDBを用いて、複数の小規模な「生徒モデル」を学習させる。実験の結果、学習モデルは教師モデル（GPT-4）と同等かそれ以上の性能を達成しており、本ベンチマークの有効性が裏付けられた。さらに、ゼロショット学習および弱教師あり学習の手法を用いて、分布外データにおけるスキル抽出および履歴書と求人要項のマッチングに対するRJDBの有用性を検証した。今後の研究および産業への応用を促進するため、データセットとコードを公開する。） イ（２頁左欄～右欄） 「We craft the generation pipeline such that it yields triples that serve as resources for training and evaluating models across several pivotal tasks: (1) Job-Candidate Matching: Assessing the compatibility between job openings and potential candidates. (2) Counterfactual Explanation for Matching: Exploring explanations and reasoning behind job-candidate matches. (3) Information Extraction: Extracting pertinent details, such as skills and occupations, from both resumes and job descriptions. And, (4) Resume Editing: Facilitating the enhancement and refinement of resumes for candidates. We provide an overview of our pipeline to generate RJDB in Figure 1.」 （当審訳： 我々は、以下のいくつかの重要なタスクにおけるモデルの学習および評価のためのリソースとなるトリプルを生成するように、生成パイプラインを構築しています：(1) 求人・候補者マッチング：求人情報と潜在的な候補者との適合性を評価すること。(2) マッチングに関する反事実的説明：求人・候補者マッチングの背景にある説明や推論を明らかにすること。(3) 情報抽出：履歴書と求人情報の両方から、スキルや職種などの関連情報を抽出すること。そして、(4) 履歴書編集：候補者の履歴書の改善や洗練を支援すること。図１に、RJDBを生成するための当研究のパイプラインの概要を示す。） ウ（６頁右欄） 「Matcher and Explainer We fine-tune the T5 student model for both matching and explaining tasks simultaneously. When presented with pairs of resumes and job descriptions, our goal here is not only to predict their compatibility but also to explain the reasons behind this determination by providing a set of matching or mismatching skills and experiences.」 （当審訳： マッチングと説明 我々は、マッチングと説明の両方のタスクに対して、T5の生徒モデルを同時に微調整している。履歴書と求人情報のペアが提示された際、我々の目標は、両者の適合性を予測するだけでなく、適合または不適合となるスキルや経験のセットを示すことで、その判断の根拠を説明することでもある。） （２）甲４記載事項 上記（１）から、甲４には、次の事項（以下、「甲４記載事項」という。）が記載されているといえる。 「ベンチマークであるResume-Job Description Benchmark（RJDB）には、５万件以上の求人情報、マッチングされた履歴書、およびマッチングされなかった履歴書の組み合わせが含まれており、RJDBを用いて生徒モデルの学習を行うこと、学習した生徒モデルを用いて、求人情報と潜在的な候補者との適合性を評価する求人・候補者マッチングのタスクを行うこと、また、求人・候補者マッチングの背景にある説明や推論を明らかにするべく、適合または不適合となるスキルや経験のセットを示すことで、その判断の根拠を説明する説明タスクを行うこと。」 第５ 当審の判断 １ 申立理由１（甲１に基づく新規性）について （１）本件発明１について ア 対比 本件発明１と甲１発明とを対比する。 （ア）「案件と人材とをマッチングさせる案件人材マッチングシステムであって、」について 甲１発明の「求人」および「候補者（求職者）」は、本件発明１の「案件」および「人材」に相当する。 また、甲１発明は、「候補者（求職者）」が「求人」に満足するかどうかを判断することにより「求人マッチングである求人推薦タスクを行う」「推薦システム」であるから、後述する相違点は別にして、本件発明１と甲１発明とは、「案件と人材とをマッチングさせる案件人材マッチングシステム」で一致する。 （イ）「少なくとも１つ以上の制御部を有し、」について 甲１発明は、「モデル推論」を「4台のTesla A100 80G GPU上で実施し」ており、甲１発明の「Tesla A100 80G GPU」は、本件発明１の「制御部」に相当する。 したがって、本件発明１と甲１発明とは、「少なくとも１つ以上の制御部を有」する点で一致しているといえる。 （ウ）「前記案件に関する複数の案件情報を取得し、前記案件情報には案件の説明と条件とが含まれ、前記人材に関する複数の人材情報を取得し、前記人材情報には人材の説明と属性と希望とが含まれ、」について 甲１発明の「履歴書（年齢、学歴、実務経験）」「を記述したテキスト文書」は、本件発明１の「人材の説明と属性と希望とが含まれ」た「人材情報」と、「人材の説明と属性」を「含」んだ「人材情報」である点で共通しているといえる。 甲１発明の「求人要件（職種名、学歴要件、実務経験、スキル要件）を記述したテキスト文書」は、求人要件の職種名に係る職種がどのような仕事であるかを示すテキストと、学歴要件やスキル要件等の求人対象の人材に求められる条件のテキストとを含むものであるから、本件発明１の「案件の説明と条件とが含まれ」た「案件情報」に相当する。 甲１発明では、中国の大規模オンライン採用プラットフォームから収集した異なる規模の2つのデータセットRecrXとRecrYを用いて実験を行い、履歴書（年齢、学歴、実務経験）や求人要件（職種名、学歴要件、実務経験、スキル要件)を記述したテキスト文書がデータセットから得られているといえる。 したがって、本件発明１の「前記案件に関する複数の案件情報を取得し、前記案件情報には案件の説明と条件とが含まれ、前記人材に関する複数の人材情報を取得し、前記人材情報には人材の説明と属性と希望とが含まれ」と、甲１発明とは、「前記案件に関する複数の案件情報を取得し、前記案件情報には案件の説明と条件とが含まれ、前記人材に関する複数の人材情報を取得し、前記人材情報には人材の説明と属性と」「が含まれ」る点で共通しているといえる。 他方、本件発明１の人材情報では、「希望」も含んでいるのに対して、甲１発明では、希望を含んでいない点で相違している。 （エ）「人材を選択する人材選択画面を表示し、複数の前記案件情報と複数の前記人材情報のうち前記人材選択画面を介して選択された人材の前記人材情報とに基づきプロンプトを生成し、」について 甲１発明は、学習の際に「候補者や職務記述書（JD）の記述がメタパス・プロンプト・テンプレートに入力されたデータセットの最終的なプロンプトデータが生成され」、推論の際にも、「メタパスプロンプトとユーザー固有のタスク指示（「ポイントワイズの指示」および「ペアワイズの指示」）をモデル入力として組み込」んでおり、推論の際に「モデル入力として組み込」まれる「メタパスプロンプト」は、学習の際に生成された「最終的なプロンプトデータ」と同じであるから、甲１発明も、本件発明１と同様に、「複数の前記案件情報」と所定の「人材の前記人材情報とに基づきプロンプトを生成」しているといえる。 したがって、本件発明１と、甲１発明とは、「複数の前記案件情報と複数の前記人材情報」「とに基づきプロンプトを生成し」ている点で共通しているといえる。 他方、甲１発明においては「人材を選択する人材選択画面を表示」し、表示した「前記人材選択画面を介して選択された人材」に基づいてプロンプトを生成しているのに対し、甲１発明は当該構成を有しない点で、本件発明１と相違する。 （オ）「前記プロンプトには案件と人材とをマッチングさせる旨の指示が含まれ、」について 甲１発明では、推論の際に、「ユーザー固有のタスク指示（「ポイントワイズの指示」および「ペアワイズの指示」）をモデル入力として」おり、ここで、「ポイントワイズの指示」は、「あなたは推薦者として、候補者が推薦された求人に満足するかどうかを判断します。「はい」または「いいえ」で回答してください。」との指示であり、「ペアワイズの指示」は、「あなたは採用担当として、どちらのポジションが候補者に適しているかを判断してください。回答は「[A]」または「[B]」で記入してください。」との指示である。 ここで、「ペアワイズの指示」は、２つの職種「A」と「B」の職務記述書（JD）プロンプトが与えられた場合に、候補者が職種「A」と「B」のどちらに適しているかを大規模言語モデル（LLM）推薦システムに問うものであるから、本件発明１の「案件と人材とをマッチングさせる旨の指示」に相当するといえる。 また、これらの「ユーザー固有のタスク指示（「ポイントワイズの指示」および「ペアワイズの指示」）」も指示プロンプトであるといえる。 したがって、本件発明１と、甲１発明とは、「前記プロンプトには案件と人材とをマッチングさせる旨の指示が含まれ」る点で共通しているといえる。 （カ）「前記プロンプトに応じて学習済みモデルから出力されたデータに基づき前記人材選択画面を介して選択された人材と複数の前記案件とのマッチングに関する結果を出力する、案件人材マッチングシステム。」について 甲１発明では、「ペアワイズの指示」プロンプトの入力に応じてモデル推論から、候補者が職種「A」と「B」のどちらに適しているかを出力しているから、甲１発明も、本件発明１と同様に、「前記プロンプトに応じて学習済みモデルから出力されたデータに基づき」「人材と複数の前記案件とのマッチングに関する結果を出力」しているといえる。 また、甲１発明の「大規模言語モデル（LLM）推薦システム」は、「職種」（案件）と「候補者」（人材）をマッチングさせるシステムであるから、本件発明１と同様に、「案件人材マッチングシステム」であるといえる。 したがって、本件発明１と、甲１発明とは、「前記プロンプトに応じて学習済みモデルから出力されたデータに基づき」「人材と複数の前記案件とのマッチングに関する結果を出力する、案件人材マッチングシステム」である点で共通しているといえる。 イ 一致点・相違点 上記アより、本件発明１と甲１発明との間には、次のとおりの一致点および相違点がある。 [一致点] 「案件と人材とをマッチングさせる案件人材マッチングシステムであって、 少なくとも１つ以上の制御部を有し、 前記制御部は、 前記案件に関する複数の案件情報を取得し、 前記案件情報には案件の説明と条件とが含まれ、 前記人材に関する複数の人材情報を取得し、 前記人材情報には人材の説明と属性とが含まれ、 複数の前記案件情報と複数の前記人材情報とに基づきプロンプトを生成し、 前記プロンプトには案件と人材とをマッチングさせる旨の指示が含まれ、 前記プロンプトに応じて学習済みモデルから出力されたデータに基づき人材と複数の前記案件とのマッチングに関する結果を出力する、 案件人材マッチングシステム。」 [相違点] （相違点１－１） 本件発明１の「人材情報」には「希望」が含まれるのに対して、甲１発明の「候補者プロフィール」にはそのようなものは含まれない点。 （相違点１－２） 本件発明１は、「人材を選択する人材選択画面を表示し、複数の前記案件情報と複数の前記人材情報のうち前記人材選択画面を介して選択された人材の前記人材情報とに基づきプロンプトを生成」しているのに対して、甲１発明は「人材選択画面を表示」する構成は有さず、「人材選択画面」を介した選択に基づいてマッチングする構成を有しない点。 ウ 相違点について 上記イのとおり、本件発明１と甲１発明との間には、（相違点１－１）および（相違点１－２）があり、これらは、いずれも、実質的なものであるため、本件発明１は、甲１に記載された発明であるとはいえない。 エ 異議申立人の主張について （ア）異議申立人は、本件発明１の新規性について以下のように主張している。（特許異議申立書３頁） 「本件特許は、学習済みモデル（LLMを含む）に対して、案件情報と人材情報に基づくプロンプトを生成し、当該プロンプトに「マッチングさせる旨の指示」を含めることで、マッチング結果を出力するシステムを請求している。」とした上で、甲１について「本論文は、LLMを活用したオンライン求人推薦システム「GLRec」を提案する。本件特許出願日（2025年5月14日）より約22ヶ月前に公開された先行技術であり、請求項1の全構成要件を直接開示している。」と主張するとともに、特許異議申立書５～６頁において、本件発明１と甲１との対比を行い「甲第1号証は請求項1の構成要件1A～1Hのすべてを開示している。したがって、請求項1に係る発明は新規性を欠く（特許法第29条第1項第3号）。」 （イ）しかしながら、上記ウで述べたように、本件発明１と甲１発明との間には、（相違点１－１）および（相違点１－２）があり、これらは、いずれも、実質的なものであるため、本件発明１は、甲１に記載された発明であるとはいえないから、異議申立人の上記主張は採用できない。 オ 小括 以上のとおりであるから、本件発明１は、甲１に記載された発明ではないから、本件発明１についての特許は、特許法第２９条第１項第３号の規定に違反してされたものではない。 （２）本件発明２について 本件発明２は、本件発明１における「人材を選択する人材選択画面」に代えて「案件を選択する案件選択画面」を表示して、表示した画面に基づいて選択やプロンプトの生成を行い、マッチングするものであって、本件発明２と甲１発明とを対比すると、上記（１）イで述べた一致点で一致し、下記相違点で相違する。 （相違点２－１） 本件発明２の「人材情報」には「希望」が含まれるのに対して、甲１発明の「候補者プロフィール」にはそのようなものは含まれない点。 （相違点２－２） 本件発明２は、「案件を選択する案件選択画面を表示し、複数の前記案件情報のうち前記案件選択画面を介して選択された案件の前記案件情報と複数の前記人材情報とに基づきプロンプトを生成」しているのに対して、甲１発明は「案件選択画面を表示」する構成は有さず、「案件選択画面」を介した選択に基づいてマッチングする構成を有しない点。 上記のとおり、本件発明２と甲１発明との間には、（相違点２－１）および（相違点２－２）があり、これらは、いずれも、実質的なものであるため、本件発明２は、甲１に記載された発明であるとはいえない。 したがって、本件発明２は、甲１に記載された発明ではないから、本件発明２についての特許は、特許法第２９条第１項第３号の規定に違反してされたものではない。 （３）本件発明３について 本件発明３は、本件発明１における「人材を選択する人材選択画面」に代えて「案件と人材とのマッチングに関する結果を含む画面」を表示し、「前記画面には所定のグラフィカルユーザーインターフェース部品が含まれ、前記所定のグラフィカルユーザーインターフェース部品が選択されると、人材に対しては、人材とマッチングした案件の案件情報に基づき案件の紹介文を、案件に対しては、案件とマッチングした人材の人材情報に基づき人材の紹介文を生成する」ものであって、本件発明３と甲１発明とを対比すると、上記（１）イで述べた一致点で一致し、下記相違点で相違する。 （相違点３－１） 本件発明３の「人材情報」には「希望」が含まれるのに対して、甲１発明の「候補者プロフィール」にはそのようなものは含まれない点。 （相違点３－２） 本件発明３は、（結果を出力する）「前記画面には所定のグラフィカルユーザーインターフェース部品が含まれ、前記所定のグラフィカルユーザーインターフェース部品が選択されると、人材に対しては、人材とマッチングした案件の案件情報に基づき案件の紹介文を、案件に対しては、案件とマッチングした人材の人材情報に基づき人材の紹介文を生成する」しているのに対して、甲１発明は、（結果を出力する画面に）「グラフィカルユーザーインターフェース部品が含まれ」ておらず、「前記所定のグラフィカルユーザーインターフェース部品が選択されると、人材に対しては、人材とマッチングした案件の案件情報に基づき案件の紹介文を、案件に対しては、案件とマッチングした人材の人材情報に基づき人材の紹介文を生成する」構成を有しない点。 上記のとおり、本件発明３と甲１発明との間には、（相違点３－１）および（相違点３－２）があり、これらは、いずれも、実質的なものであるため、本件発明３は、甲１に記載された発明であるとはいえない。 したがって、本件発明３は、甲１に記載された発明ではないから、本件発明３についての特許は、特許法第２９条第１項第３号の規定に違反してされたものではない。 （４）本件発明４について 本件発明４は、本件発明１～３のいずれかの発明の構成に限定を加えて減縮したものであり、本件発明１～３のいずれかの発明と同様の上記（相違点１－１）ないし（相違点３－２）に係る構成を有しているから、上記「（１）本件発明１について」、「（２）本件発明２について」および「（３）本件発明３について」のいずれかで示したものと同様の理由により、本件発明４は、甲１に記載された発明であるとはいえないから、本件発明４についての特許は、特許法第２９条第１項第３号の規定に違反してされたものではない。 （５）本件発明１０～１３について 本件発明１０～１２は、それぞれ、本件発明１～３の「案件人材マッチングシステム」に係る発明が実行するステップを「案件と人材とをマッチングさせる案件人材マッチングシステムが実行する情報処理方法」として表現したものであり、上記「（１）本件発明１について」、「（２）本件発明２について」および「（３）本件発明３について」のいずれかで示した上記（相違点１－１）ないし（相違点３－２）に係る構成を有しており、これらは、いずれも、実質的なものであるから、本件発明１０～１２は、甲１に記載された発明であるとはいえない。 また、本件発明１３は、コンピュータを、本件発明１～３の「案件人材マッチングシステムとして機能させるためのプログラム」に係る発明であり、上記「（１）本件発明１について」、「（２）本件発明２について」および「（３）本件発明３について」のいずれかで示した上記（相違点１－１）ないし（相違点３－２）に係る構成を有しており、これらは、いずれも、実質的なものであるから、本件発明１３は、甲１に記載された発明であるとはいえない。 したがって、本件発明１０～１３についての特許は、特許法第２９条第１項第３号の規定に違反してされたものではない。 ２ 申立理由２（甲１に基づく進歩性）について （１）本件発明５について 本件発明５は、本件発明４の構成を全て備え、さらに、「前記制御部は、前記学習済みモデルから出力されたデータに基づき前記マッチ度が設定値以上の案件と人材とのマッチングに関する結果を出力する、」との構成を付加したものである。 すると、本件発明５も、本件発明４と同様に、上記（相違点１－１）ないし（相違点３－２）に係る構成を有している。 そして、少なくとも、上記（相違点１－２）、（相違点２－２）あるいは、（相違点３－２）に係る構成は、甲２ないし甲４のいずれにも記載も示唆もなく、当該構成が、本件特許出願前に周知であったとも認められないから、本件発明５は、甲１発明、甲２ないし甲４記載の技術に基づいて、当業者が容易に発明し得たものではない。 したがって、本件発明５についての特許は、特許法第２９条第２項の規定に違反してされたものではない。 （２）本件発明７～９について 本件発明７～９は、いずれも、本件発明１～３のいずれかの発明の構成に限定を加えて減縮したものである。 すると、本件発明７～９も、本件発明１～３と同様に、上記（相違点１－１）ないし（相違点３－２）に係る構成を有している。 そして、少なくとも、上記（相違点１－２）、（相違点２－２）あるいは、（相違点３－２）に係る構成は、甲２ないし甲４のいずれにも記載も示唆もなく、当該構成が、本件特許出願前に周知であったとも認められないから、本件発明７～９は、甲１発明、甲２ないし甲４記載の技術に基づいて、当業者が容易に発明し得たものではない。 したがって、本件発明７～９についての特許は、特許法第２９条第２項の規定に違反してされたものではない。 ３ 申立理由３（甲３に基づく新規性・進歩性）について （１）本件発明６について ア 本件発明６は、本件発明１～３のいずれかの発明の構成に「前記マッチングに関する結果には、前記案件の前記案件情報と前記人材の前記人材情報とのマッチングに関する理由が含まれる」との限定を加えて減縮したものであって、本件発明６も、上記（相違点１－２）、（相違点２－２）あるいは（相違点３－２）に係る構成を備えている。 イ 上記第４の３（２）で述べたように、甲３－１発明にも、甲３－２発明にも、上記（相違点１－２）、（相違点２－２）あるいは（相違点３－２）に係る構成が開示されておらず、これらの相違点は、いずれも、実質的なものであるから、本件発明６は、甲３に記載された発明であるとはいえない。 したがって、本件発明６についての特許は、特許法第２９条第１項第３号の規定に違反してされたものではない。 ウ また、上記（相違点１－２）、（相違点２－２）あるいは（相違点３－２）に係る構成は、甲１、甲２および甲４のいずれにも、記載も示唆もなく、本件特許出願前に周知の技術であったとも認められないから、（相違点１－２）、（相違点２－２）あるいは（相違点３－２）に係る構成は、甲１ないし甲４に基づいて、当業者が容易に発明し得たものではない。 したがって、本件発明６についての特許は、特許法第２９条第２項の規定に違反してされたものではない。 エ なお、異議申立人は、特許異議申立書８頁において、以下のように主張している。 「甲第3号証は、論文タイトル自体に「Explainable」（説明可能な）を掲げ、LLMを用いた**人材・求人マッチングドメインにおける説明生成**を直接の主題としている。 "JobRecoGPT -- Explainable job recommendations using LLMs "本論文は、推薦システムが「なぜこの求人が候補者に適合するか」の理由を自然言語で出力する機能を実装しており、これは請求項6「マッチングに関する結果とともに…理由を出力する」構成そのものである。 **甲第3号証は、請求項6の人材ドメインにおける直接的先行技術であり、本件出願日の約20ヶ月前に公開されていた。**」 また、特許異議申立書１０頁において、以下のように主張している。 「２．請求項６について ・甲第3号証（JobRecoGPT）により**人材ドメインで直接開示**されている → 新規性欠如（特許法第29条第1項第3号） ・仮に新規性が認められても、甲第1号証のマッチングシステムに甲第2号証または甲第3号証の説明生成手法を組み合わせることは当業者が容易に想到 → 進歩性欠如（同条第2項）」 オ しかし、上述したように、本件発明６は、甲３に記載された発明ではなく、また、甲１発明、甲２記載事項、甲３発明および甲４記載事項に基づいて、当業者が容易に発明をすることができたものではないから、異議申立人の上記主張は採用できない。 ４ 当審の判断のまとめ 以上によれば、本件発明１～１３は、申立人の主張する上記申立理由１～３および証拠によって取り消すことはできない。 また、本件発明１～１３は、いずれも上記（相違点１－２）、（相違点２－２）あるいは（相違点３－２）に係る構成を有しており、これらの構成は、上記３のイ、ウに示したとおり、甲１～甲４のいずれにも、記載も示唆もなく、本件特許出願前に周知の技術であったとも認められないから、本件特許発明１～１３は、甲１発明、甲３発明、甲２記載事項、甲４記載事項に基づいて、当業者が容易に発明をすることができたものではない。 第６ むすび 以上のとおりであるから、特許異議の申立ての理由および証拠によっては、請求項１～１３に係る特許を取り消すことはできない。 また、他に請求項１～１３に係る特許を取り消すべき理由を発見しない。 よって、結論のとおり決定する。