2026-700275

特許第７７４７３９４号発明「情報処理装置、方法、プログラム及びシステム」の特許異議申立事件について、次のとおり決定する。

結 論 特許第７７４７３９４号の請求項１～９に係る特許を維持する。

理 由 第１ 手続の経緯 特許第７７４７３９４号の請求項１～９に係る特許についての出願は、令和７年８月８日に出願され、同年９月２２日にその特許権の設定登録がされ、同年１０月１日に特許掲載公報が発行された。その後、その特許に対し、令和８年３月３１日に特許異議申立人 西田 佳弘（以下「申立人」という。）は、特許異議の申立てを行った。 第２ 本件発明 特許第７７４７３９４号の請求項１～９の特許に係る発明は、それぞれ、その特許請求の範囲の請求項１～９に記載された事項により特定される次のとおりのものである。（以下、それぞれ「本件発明１」～「本件発明９」という。） 「【請求項１】 プロセッサと、メモリとを備えるコンピュータを動作させるためのプログラムであって、前記プログラムは、前記プロセッサに、 組織の構成員と会話する指示文を含む第１プロンプトを生成ＡＩに入力するステップと、 前記構成員による発言を前記生成ＡＩに入力し、前記生成ＡＩに、前記発言に対する応答を出力させるステップと、 前記構成員に前記応答を提示するステップと、 前記発言、及び前記応答を含む会話内容を記憶するステップと、 前記会話内容と、前記構成員の前記組織において重視されるマインドセットに係るコアスキルおよび当該コアスキルの巧拙度を表すパラメータ値を前記会話内容に基づいて出力する指示文と、を含む第２プロンプトを前記生成ＡＩに入力し、前記生成ＡＩに、前記構成員の前記コアスキルおよび当該コアスキルの前記パラメータ値とを前記会話内容に基づいて出力させるステップと、 前記出力された前記コアスキルと当該コアスキルの前記パラメータ値を提示するステップと、 を実行させるプログラム。 【請求項２】 前記生成ＡＩは、モデル構成員に関するテキスト情報を入力データとし、出力対象となる前記モデル構成員の前記コアスキルの名前および当該コアスキルの前記パラメータ値を正解データとして、前記コアスキルについて事前に学習させられた、請求項１に記載のプログラム。 【請求項３】 前記提示するステップにおいて、前記出力された前記コアスキルの前記パラメータ値が高い場合に、当該パラメータ値が高いことを示唆する情報と共に当該パラメータ値を提示する、請求項１に記載のプログラム。 【請求項４】 前記提示するステップにおいて、前記出力された前記コアスキルの前記パラメータ値が低い場合に、当該パラメータ値が低いことを示唆する情報と共に当該パラメータ値を提示する、請求項１に記載のプログラム。 【請求項５】 前記プロセッサに、 前記構成員もしくは当該構成員の管理者の承認を経て、前記出力された前記コアスキルと当該コアスキルの前記パラメータ値を記憶するステップ を実行させるプログラム、請求項１に記載のプログラム。 【請求項６】 前記プロセッサに、 前記会話内容と、前記構成員に関連する前記コアスキルに係る研修の情報を前記会話内容に基づいて出力する指示文と、を含む第３プロンプトを前記生成ＡＩに入力し、前記生成ＡＩに、前記研修の情報を前記会話内容に基づいて出力させるステップ を実行させる、請求項１に記載のプログラム。 【請求項７】 プロセッサと、メモリとを備えるコンピュータに実行される方法であって、前記プロセッサが、請求項１から請求項６のいずれかに係る発明において実行される全てのステップを実行する方法。 【請求項８】 制御部と、記憶部とを備える情報処理装置であって、前記制御部が、請求項１から請求項６のいずれかに係る発明において実行される全てのステップを実行する情報処理装置。 【請求項９】 請求項１から請求項６のいずれかに係る発明において実行される全てのステップを実行する手段を備えるシステム。」 第３ 申立理由の概要 １ 申立人の提出した証拠 申立人の提出した証拠は以下のとおりである。 （なお、甲第１号証～甲第８号証を以下それぞれ、「甲１」、「甲２」、・・・、という。） 甲第１号証：“Sapia.ai Unveil SAIGE:A world-first Gen AI-powered conversational intelligence engine for talent management” 甲第２号証：“Responsible Use of LLMs for Response Grading and Explanations in Structured Interviews” 甲第３号証：“The Responsible Use of LLMs in Structured Interviews” 甲第４号証：“How Well Can an AI Chatbot Infer Personality? Examining Psychometric Properties of Machine-Inferred Personality Scores” 甲第５号証：特開２０２３－０３１０８９号公報 甲第６号証：米国特許出願公開第２０１２／０２７８７１３号明細書 甲第７号証：特開２０１９－１３９４１６号公報 甲第８号証：特開２０２５－０５８１９５号公報 ２ 申立人の主張 申立人の主張は、概略、以下のとおりである。 （１）申立理由１（新規性） 本件発明１、２、７～９は、甲１記載の発明と同一であるから、本件発明１、２、７～９についての特許は、特許法第２９条第１項第３号に該当するものである。 （２）申立理由２（進歩性） ア 甲１を主引例とする場合 （ア）本件発明１、２、７～９は、甲１～甲３記載の発明に基づいて、当業者が容易に発明をすることができたものであるから、本件発明１、２、７～９についての特許は、特許法第２９条第２項の規定に違反してされたものである。 （イ）本件発明３、４は、甲１～甲３、甲７記載の発明に基づいて、当業者が容易に発明をすることができたものであるから、本件発明３、４についての特許は、特許法第２９条第２項の規定に違反してされたものである。 （ウ）本件発明５は、甲１～甲４記載の発明に基づいて、当業者が容易に発明をすることができたものであるから、本件発明５についての特許は、特許法第２９条第２項の規定に違反してされたものである。 （エ）本件発明６は、甲１～甲３、甲８記載の発明に基づいて、当業者が容易に発明をすることができたものであるから、本件発明６についての特許は、特許法第２９条第２項の規定に違反してされたものである。 イ 甲４を主引例とする場合 （ア）本件発明１、２、５、７～９は、甲４～甲６記載の発明に基づいて、当業者が容易に発明をすることができたものであるから、本件発明１、２、５、７～９についての特許は、特許法第２９条第２項の規定に違反してされたものである。 （イ）本件発明３、４は、甲４～６、甲１～甲３、甲７記載の発明に基づいて、当業者が容易に発明をすることができたものであるから、本件発明３、４についての特許は、特許法第２９条第２項の規定に違反してされたものである。 （ウ）本件発明６は、甲４～６、甲１～甲３、甲８記載の発明に基づいて、当業者が容易に発明をすることができたものであるから、本件発明６についての特許は、特許法第２９条第２項の規定に違反してされたものである。 第４ 甲号証 １ 甲１～８の記載事項 （１）甲１の記載 甲１には、以下の記載がある（下線は当審において付加した。以下同じ。）。 「MELBOURNE, Australia--(BUSINESS WIRE)--Sapia.ai, a leader in workplace artificial intelligence (AI) solutions, today launches SAIGETM,a generative AI model poised to transform how organizations globally select, manage and optimize their workforce. Leveraging proprietary large language model (LLM) capabilities developed over six years, SAIGETMevaluates candidates at scale using a blind chat interview, providing comprehensive scoring along with a set of job-related competencies, including transparent explanations for its assessments. Compared to resume parsers that evaluate a historical record encoded with various biases, SAIGETM allows organizations to have a conversation with every candidate and assess their potential to be a good fit for the role. “We have been on a mission to humanize the way people are evaluated, and SAIGETM is the next step in this journey. As much as ChatGPT was a revolution in the way we interact with AI, SAIGETM is a quantum leap in the way people will be assessed and coached,” Sapia.ai founder and CEO Barb Hyman said. Unlike solutions built on existing general-purpose LLMs like GPT-4 or PaLM, SAIGETM's foundation is a state-of-the-art proprietary LLM meticulously fine-tuned on a massive dataset of over 3.5 million unique interviews spanning 15 million responses across industries, job families and geographies. This unrivaled training data combined with oversight from industrial and organizational psychology experts and empirical research from Sapia.ai research division Sapia.ai Labs, provides SAIGETM with unmatched assessment capabilities governed by robust ethical policies to mitigate human biases that may impact candidate evaluations. “Structured interviews have been proven to lead to better hiring outcomes and reduce bias in the selection process. Now with SAIGETM organizations have a way to consistently interview and evaluate at scale using a rubric set by experts, and also generate detailed interview notes. What we are really excited about is the potential SAIGETM has on providing coaching to hiring managers and new employees on setting them up for success,” Ms. Hyman added. The platform is capable of detecting and assessing most of the skills and traits employers require for various roles. Crucially, it can also adapt over time and be trained to look for particular requirements for each role and organization.” “A unique power of these LLMs is their ability to explain themselves. SAIGETM is bringing this level of transparency that is imperative for the responsible use of AI and especially in people decisions, such as who to hire and promote, helping to reduce the unconscious bias we see in human-led decision making, ” said Chief Data Scientist of Sapia.ai, Dr. Buddhi Jayatilleke. Sapia.ai has been at the forefront of developing ethical AI solutions supporting hiring decisions since 2018. Its Chat Interview, a unique structured interview scored by AI, is used by ASX and FTSE-listed companies including Woolworths, Qantas, Suncorp, Starbucks Australia, Holland & Barrett, and BT Openreach. From intelligent candidate screening with structured interviews to personalized coaching and development plans, SAIGETM offers a game-changing approach to talent management through conversational intelligence. For more information about SAIGETM and Sapia.ai, visit www.sapia.ai. About Sapia.ai: Sapia.ai built the world’s first and only Smart Interviewer. Their platform, which sits on a fully vertically integrated proprietary ML system, uses NLP to interview and assess candidate’s interview responses against sought-after skills, values, and behaviors. Sapia.ai is loved by brands where finding the right people really matters. It’s also loved by candidates because the low-pressure chat gives them a chance to shine. Every candidate also gets an individual insights report detailing their strengths, their work style, and personalized coaching. Even unsuccessful candidates feel seen, and warm toward the brand. About SAIGETM SAIGETM is Sapia.ai for Interview Grading and Explanations built on top of Sapia.ai’s proprietary AI models that interview and score candidates accurately on various job-related competencies and communication skills. SAIGETM is trained through the use of Reinforcement Learning from Human Feedback (RLHF) to ensure candidates are assessed accurately, fairly, and with minimal bias. Sapia.ai’s rule based models are built upon an unparalleled and expansive data set, comprising over 3.5 million unique interviews covering over 15 million answers across multiple languages, job families and geographies. This proprietary data set of 2 billion words was used to fine tune the open source LLM Llama-2 from Meta.」 （当審訳） 「オーストラリア、メルボルン--(BUSINESS WIRE)--職場向け人工知能（AI）ソリューションのリーダーであるSapia.aiは本日、世界中の組織が従業員を選抜、管理、最適化する方法を変革する生成型AIモデルであるSAIGETMを発表しました。 SAIGETMは、6年かけて開発した独自の大型言語モデル（LLM）機能を活用し、ブラインドチャットインタビューを用いて候補者を大規模に評価します。包括的なスコアリングに加え、職務に関連する一連の能力評価を提供し、評価結果の明確な説明も行います。様々なバイアスが埋め込まれた過去の記録を評価する履歴書解析ツールとは異なり、SAIGETMは企業がすべての候補者と対話し、その候補者が職務にふさわしいかどうかを評価することを可能にします。 「私たちは、人々の評価方法を人間味のあるものにするという使命に取り組んできました。SAIGETMは、この取り組みにおける次のステップです。ChatGPTがAIとのやり取りの方法に革命をもたらしたように、SAIGETMは人々の評価と指導の方法において飛躍的な進歩をもたらすでしょう」と、Sapia.aiの創設者兼CEOであるバーブ・ハイマン氏は述べています。 GPT-4やPaLMといった既存の汎用LLMを基盤とするソリューションとは異なり、SAIGETMの基盤は、業界、職種、地域を横断する1500万件の回答を含む350万件以上の独自のインタビューという膨大なデータセットに基づいて綿密に調整された、最先端の独自LLMです。 この比類のないトレーニングデータと、産業・組織心理学の専門家による監督、そしてSapia.aiの研究部門であるSapia.ai Labsによる実証研究を組み合わせることで、SAIGETMは、候補者の評価に影響を与える可能性のある人間の偏見を軽減するための厳格な倫理規定に則った、他に類を見ない評価機能を提供します。 「構造化面接は、採用結果の向上と選考プロセスにおける偏見の軽減に効果があることが証明されています。SAIGETMを使えば、専門家が設定した評価基準に基づいて、組織全体で一貫性のある面接と評価を実施し、詳細な面接メモを作成することができます。私たちが特に期待しているのは、SAIGETMが採用担当者や新入社員の成功を支援するコーチングを提供できる可能性です」とハイマン氏は付け加えました。 このプラットフォームは、企業が様々な職種に求めるスキルや特性のほとんどを検出・評価する能力を備えています。さらに重要なのは、時間の経過とともに適応し、各職種や組織特有の要件を探すように学習させることができる点です。 「これらのLLMのユニークな強みは、自らを説明できる能力です。SAIGETMは、AIの責任ある利用、特に採用や昇進といった人事決定において不可欠な透明性をもたらし、人間主導の意思決定に見られる無意識の偏見を軽減するのに役立ちます」と、Sapia.aiのチーフデータサイエンティストであるブッディ・ジャヤティレケ博士は述べています。 Sapia.aiは、2018年以来、採用意思決定を支援する倫理的なAIソリューションの開発において最先端を走ってきました。AIによる採点機能を備えた独自の構造化面接「Chat Interview」は、ウールワース、カンタス航空、サンコープ、スターバックス・オーストラリア、ホランド＆バレット、BTオープンリーチなど、ASXおよびFTSE上場企業で利用されています。 構造化面接によるインテリジェントな候補者選考から、パーソナライズされたコーチングや育成プランまで、SAIGETMは会話型インテリジェンスを活用した、人材管理における革新的なアプローチを提供します。 SAIGETMおよびSapia.aiの詳細については、www.sapia.aiをご覧ください。 Sapia.aiについて： Sapia.aiは、世界初にして唯一のスマート面接システムを開発しました。独自の機械学習システム（ML）を基盤とするこのプラットフォームは、自然言語処理（NLP）を用いて、候補者の面接回答を、求められるスキル、価値観、行動特性に基づいて評価します。Sapia.aiは、適切な人材を見つけることが重要な企業から高く評価されています。また、候補者にとっても、プレッシャーの少ない面接形式で自分の個性を存分に発揮できるため、好評を得ています。すべての候補者には、強み、ワークスタイル、そして個別のコーチングを詳細に記したインサイトレポートが提供されます。採用に至らなかった候補者も、評価されたと感じ、企業に対して好印象を抱きます。 SAIGETMについて SAIGETMは、Sapia.ai独自のAIモデルを基盤とした、面接評価と説明のためのSapia.aiプラットフォームです。様々な職務関連能力とコミュニケーションスキルについて、候補者の面接と評価を正確に行います。SAIGETMは、人間からのフィードバックに基づく強化学習（RLHF）を用いてトレーニングされており、候補者の評価が正確かつ公平で、偏りを最小限に抑えられるように設計されています。 Sapia.aiのルールベースモデルは、他に類を見ない膨大なデータセットに基づいて構築されています。このデータセットは、複数の言語、職種、地域にわたる1,500万件以上の回答を網羅した、350万件を超える独自のインタビューデータで構成されています。この20億語に及ぶ独自のデータセットは、Meta社のオープンソースLLMであるLlama-2の微調整に使用されました。」 （２）甲２の記載 甲２には、以下の記載がある。 「Generative Artificial Intelligence (GenAI and Large Language Models LLMs) such as GPT-4 and LLaMA-2 demonstrate remarkable capabilities on a wide range of language related tasks across various application domains (McKinsey & Company, 2023. With their enhanced language understanding and reasoning (Liu et al., 2023; OpenAI, 2023, there is a promising opportunity to extend LLMs for automatic interview response grading and to offer relevant explanations. However, the use of LLMs in interview scoring demands not only innovation but also a strong commitment to responsible use and ethics. The open-sourced and commercially available LLMs in the market can inherit language biases from their pre-training data and propagate the biases and stereotypes to downstream tasks (Zhuo et al., 2023; Li et al., 2023, especially when directly using LLMs through zero-shot in-context learning and prompt engineering without fine-tuning (Shaikh et al., 2023. Some LLMs fine-tuned through Reinforcement Learning with Human Feedback RLHF (Ouyang et al., 2022 might also encode algorithmic biases due to the decisions made by human labellers, who might not be Subject-Matter Experts SMEs) in specific application domains. In this work, we present a methodology and early results from fine-tuning an LLM for interview response grading with explanations. We first introduce InterviewLLM, a domain-specific LLM trained on a large high-quality interview response dataset for enhanced interview context understanding. We illustrate how InterviewLLM outperforms a baseline LLM, both quantitatively and qualitatively for interview context understanding and language generation. We further extend InterviewLLM to develop SAIGE (Sapia AI for Interview Grading and Explanations), an LLM specialized in interview response grading and providing natural language explanations for the “why” behind the grades. SAIGE is fine-tuned with a grading rubric defined by SMEs using a Behaviorally Anchored Rating Scale BARS, and a hybrid of SME and AI feedback using a de-bias process to increase the validity and reduce the bias of grades and explanations. We showcase how SAIGE outperforms open-sourced LLMs quantitatively and qualitatively. Method InterviewLLM is built on LLaMA-2 (Touvron et al., 2023 through parameter-efficient fine-tuning (Ding et al., 2023 using Sapia.ai 1 proprietary dataset of interview responses collected through their Chat Interview TM platform, which is a chat-based structured interview used across multiple industries, job roles, geographies, and demographics. For this experiment, we used a stratified sample of 10,000 candidate data accounting to 50,000 question-answer pairs from a pool of 3 million candidates and over 14mil question-answer pairs (> 1.3 billion words). As part of pre-processing, all plagiarized responses and responses containing toxic or harmful information were excluded. Further, personal identifiable information PII in responses was masked. SAIGE is fine-tuned on top of IntervewLLM using an augmented dataset generated through multi-step self-augmentation and self-curation (Li et al., 2023. Grading rubrics defined by SMEs based on BARS are added to the prompts at each step with optimal rubric positions determined through comprehensive testing of all possible combinations (Yang et al., 2023. SAIGE is further fine-tuned through reinforcement learning with Direct Preference Optimization (Rafailov et al.,2023 on a hybrid of SME and AI preferences, which are determined through ensemble learning to avoid bias from either humans or the AI. The same evaluation definitions are provided for both humans and AI, with AI preference generated following Lee et al. 2023. To show the advancement of domain-specific knowledge of InterviewLLM, we instructed it and LLaMA-2 to generate interview responses with the same set of prompts and parameters and compared the interview assessment scores 0 ≦ score ≦ 1 using Sapia.ai’s interview scoring algorithm. We also compared the relevance of the generated responses to the interview context using Sapia.ai’s outlier response detector. To illustrate how SAIGE outperforms LLaMA-2, we instructed the models to grade the interview responses on the Conscientiousness trait and provide explanations with the same prompts and parameters. We compared the correlation between SAIGE and LLaMA-2 generated grades with self-grading and SME grading results. We also compared the grade difference by gender for both models.」 （当審訳） 「GPT-4やLLaMA-2などの生成型人工知能（GenAIおよび大規模言語モデルLLM）は、さまざまなアプリケーション領域にわたる幅広い言語関連タスクにおいて優れた能力を発揮します（McKinsey & Company、2023）。言語理解と推論能力が向上したことで（Liu et al.、2023; OpenAI、2023）、LLMを拡張して面接応答の自動採点や適切な説明を提供する有望な機会が生まれています。しかし、面接採点にLLMを使用するには、革新性だけでなく、責任ある使用と倫理に対する強いコミットメントも必要です。市場に出回っているオープンソースおよび商用のLLMは、事前学習データから言語バイアスを継承し、バイアスやステレオタイプを下流のタスクに伝播させる可能性があります（Zhuo et al.、2023; Li et al.、2023）。特に、ゼロショットのコンテキスト内学習やファインチューニングなしのプロンプトエンジニアリングを通じてLLMを直接使用する場合（Shaikh et al.、2023; Li et al.、2023）。 al., 2023。強化学習と人間からのフィードバック（RLHF）（Ouyang et al., 2022）によって微調整された一部のLLMは、特定のアプリケーション領域において、主題専門家（SME）ではない可能性のある人間のラベラーによる決定により、アルゴリズムのバイアスをエンコードする可能性もあります。 本稿では、説明付きインタビュー回答評価のための言語学習モデル（LLM）の微調整に関する手法と初期結果を提示します。まず、インタビューコンテキストの理解を強化するために、大規模で質の高いインタビュー回答データセットで学習されたドメイン固有のLLMであるInterviewLLMを紹介します。インタビューコンテキストの理解と言語生成において、InterviewLLMがベースラインLLMを定量的にも定性的にも上回ることを示します。さらに、インタビュー回答評価と評価の「理由」を自然言語で説明することに特化したLLMであるSAIGE（Sapia AI for Interview Grading and Explanations）を開発するために、InterviewLLMを拡張します。SAIGEは、行動基準評価尺度（BARS）を使用して専門家が定義した評価ルーブリックと、バイアス除去プロセスを使用した専門家とAIのフィードバックのハイブリッドによって微調整され、評価と説明の妥当性を高め、バイアスを低減します。SAIGEがオープンソースのLLMを定量的にも定性的にも上回ることを示します。 方法 InterviewLLMは、LLaMA-2（Touvron et al., 2023）をベースに、Sapia.ai 1独自のインタビュー回答データセット（Chat InterviewTMプラットフォームで収集されたもの）を用いて、パラメータ効率の良い微調整（Ding et al., 2023）を施して構築されています。Chat InterviewTMは、複数の業界、職種、地域、人口統計にわたって使用されているチャットベースの構造化インタビューです。今回の実験では、300万人の候補者と1400万以上の質問と回答のペア（13億語以上）のプールから、1万人の候補者データ（5万の質問と回答のペア）を層別抽出して使用しました。前処理の一環として、盗用された回答、および有害または悪質な情報を含む回答はすべて除外しました。さらに、回答に含まれる個人識別情報（PII）はマスキングしました。 SAIGEは、多段階の自己拡張と自己キュレーションによって生成された拡張データセットを使用してIntervewLLMの上に微調整されています（Li et al., 2023）。BARSに基づいてSMEによって定義された採点ルーブリックが各ステップのプロンプトに追加され、すべての可能な組み合わせの包括的なテストによって最適なルーブリックの位置が決定されます（Yang et al., 2023）。SAIGEはさらに、人間またはAIのバイアスを回避するためにアンサンブル学習によって決定されるSMEとAIの嗜好のハイブリッド上で直接嗜好最適化（Rafailov et al., 2023）による強化学習によって微調整されます。人間とAIの両方に同じ評価定義が提供され、AIの選好はLee et al. 2023に従って生成されます。InterviewLLMのドメイン固有知識の進歩を示すため、InterviewLLMとLLaMA-2に同じプロンプトとパラメータを用いて面接回答を生成させ、Sapia.aiの面接採点アルゴリズムを用いて面接評価スコア（0≦スコア≦1）を比較しました。また、Sapia.aiの外れ値検出機能を用いて、生成された回答と面接コンテキストとの関連性を比較しました。SAIGEがLLaMA-2よりも優れていることを示すため、同じプロンプトとパラメータを用いて、両モデルに面接回答を誠実性特性に基づいて採点し、説明を提供するよう指示しました。SAIGEとLLaMA-2が生成した採点結果と、自己採点および専門家による採点結果との相関関係を比較しました。さらに、両モデルにおける性別ごとの採点結果の差も比較しました。」 （３）甲３の記載 甲３には、以下の記載がある。 「Large Language Models, or LLMs, are the engines that have driven some of the biggest technological advancements in recent years. OpenAI’s GPT-4, Google’s Bard, and Metas Llama are examples of LLMs that power interfaces like ChatGPT, which has changed how many of us work and manage aspects of our daily lives. At Sapia.ai, we use responsible AI to help organizations find the people who belong with their brands. Chat InterviewTM enables our customers to interview every candidate, widening their talent pools and creating a more efficient, effective, and fair recruitment process. With the advent of LLMs with enhanced language understanding and reasoning, there is a promising opportunity to extend these models in the recruitment space. However, using LLMs for activities like interview scoring demands not only innovation but also a strong commitment to responsible use and ethics. Any use of technology to make hiring more efficient should also make it fairer and transparent. This blog post summarises the paper that we presented at SIOP 2024, titled “Responsible Use of Large Language Models for Response Grading and Explanations in Structured Interviews”, written by Yimeng Dai, Leo Pham, Ashlie Plants, and Buddhi Jayatilleke. The Beginning of InterviewLLM Our goal was to create an LLM that could grasp the unique nuances of interview conversations, leading to the creation of InterviewLLM. This domain-specific model was trained on a rich dataset from our Chat InterviewTMplatform, encompassing over 1.3 billion words from diverse industries, job roles, and geographies. The result is a model that can understand and generate interview dialogues with fewer possible stereotypes. The Gold Standard in Interview Grading Building on the capabilities of InterviewLLM, we developed SaigeTM(Sapia AI for Interview Grading and Explanations), a tool that takes interview grading to new heights. SaigeTMis fine-tuned with a grading rubric crafted by our subject matter experts, employing Behaviorally Anchored Rating Scales (BARS) to ensure that assessments of candidate responses are anchored in the description of observable behaviors. By adopting BARS, the gold standard for creating rubrics for scoring interviews by humans, SaigeTM allows human SMEs to add new competencies to be rated by SaigeTM, which most of the current mainstream automated interview grading approaches lack. We didn’t stop at creating a more intelligent grading system with extensibility and explainability. Using LLMs in interviews demands a strong ethical commitment. We recognized the importance of addressing potential biases in AI, which led us to implement a de-biasing process during SaigeTM’s training. By combining the expertise of our human SMEs with AI feedback, we created a model that not only delivers accurate grades but does so in a manner that is fair and objective. SaigeTMalso leverages LLM to explain why a candidate received a certain score, referencing actual examples from the candidate’s response and a description of how it exemplifies or fails to exemplify,the characteristics of the attribute that were defined by the SMEs. The characteristics of each attribute are defined by not only the many facets of them but also the frequency and depth in which they are demonstrated. The Impact and Implications of SaigeTM The introduction of SaigeTM marks a significant milestone in the recruitment industry. In testing, SaigeTM has demonstrated exceptional performance compared to LLaMA-2, with a higher agreement and correlation with SME grading. The implications of SaigeTM extend beyond just improved interview grading accuracy. By reducing biases in the grading process, we’re contributing to a more equitable hiring process, where candidates are evaluated based on their merits rather than unconscious prejudices. SaigeTM’s ability to provide clear, natural language explanations for grading decisions creates a level of transparency not seen before in automated interviews. With the explanations, candidates can gain insights into areas for improvement and identify the attributes or abilities necessary for success in their careers; while hiring teams can learn more about each candidate and have confidence in their hiring decisions. Possible Applications of SaigeTM We’re at the start of our journey with InterviewLLM and SaigeTM. The opportunity to use this capability beyond assessment, to provide effective coaching to candidates and employees at scale is immense and exciting. It could enable them to understand how they can improve, fostering continuous growth and professional development within the organization. As we continue to refine these Generative AI tools and explore new applications of LLMs in recruitment, we remain committed to our core principles of fairness and transparency.」 （当審訳） 「大規模言語モデル（LLM）は、近年の技術革新を牽引してきた原動力です。OpenAIのGPT-4、GoogleのBard、Metas Llamaなどは、ChatGPTのようなインターフェースを支えるLLMの例であり、私たちの仕事のやり方や日常生活の様々な側面を大きく変えました。 Sapia.aiでは、責任あるAIを活用して、企業が自社ブランドにふさわしい人材を見つけるお手伝いをしています。Chat InterviewTMは、お客様がすべての候補者と面接できるようにすることで、人材プールを拡大し、より効率的、効果的、かつ公平な採用プロセスを実現します。 言語理解と推論能力が向上した大規模言語モデル（LLM）の登場により、採用分野におけるこれらのモデルの活用は大きな可能性を秘めています。しかし、面接の採点などの活動にLLMを使用するには、イノベーションだけでなく、責任ある利用と倫理に対する強いコミットメントが不可欠です。採用を効率化するためのテクノロジーの活用は、公平性と透明性も同時に確保されるべきです。 このブログ記事は、SIOP 2024で発表した論文「構造化面接における応答採点と説明のための大規模言語モデルの責任ある利用」（Yimeng Dai、Leo Pham、Ashlie Plants、Buddhi Jayatilleke共著）の概要をまとめたものです。 InterviewLLMの始まり 私たちの目標は、面接会話特有のニュアンスを捉えることができるLLM（言語学習モデル）を開発することでした。そして、それがInterviewLLMの誕生につながりました。このドメイン特化型モデルは、多様な業界、職種、地域にわたる13億語以上の単語を網羅した、当社のChat InterviewTMプラットフォームの豊富なデータセットを用いてトレーニングされました。その結果、ステレオタイプな表現を最小限に抑えた面接会話を理解し、生成できるモデルが誕生しました。 面接評価のゴールドスタンダード InterviewLLMの機能をさらに発展させ、面接評価を新たな高みへと引き上げるツール、SaigeTM（Sapia AI for Interview Grading and Explanations）を開発しました。SaigeTMは、当社の専門家が作成した評価ルーブリックに基づいて最適化されており、行動基準評価尺度（BARS）を採用することで、候補者の回答に対する評価が観察可能な行動の記述に基づいていることを保証します。人間による面接評価ルーブリック作成のゴールドスタンダードであるBARSを採用することで、SaigeTMは、人間の専門家がSaigeTMで評価する新たなコンピテンシーを追加することを可能にします。これは、現在主流となっている自動面接評価手法のほとんどが欠いている機能です。 私たちは、拡張性と説明可能性を備えた、より高度な評価システムを開発するだけに留まりませんでした。面接にLLMを使用するには、高い倫理観が求められます。AIにおける潜在的なバイアスに対処することの重要性を認識し、SaigeTMのトレーニング中にバイアス除去プロセスを導入しました。当社の専門家（SME）の専門知識とAIフィードバックを組み合わせることで、正確な評価を提供するだけでなく、公平かつ客観的な評価を行うモデルを開発しました。 SaigeTMは、LLM（学習成果モデル）を活用し、受験者の回答から具体的な例を挙げ、専門家が定義した属性の特性をどの程度満たしているか、あるいは満たしていないかを具体的に説明することで、受験者が特定のスコアを獲得した理由を解説します。各属性の特性は、その多面的な側面だけでなく、それらがどの程度の頻度と深さで示されているかによっても定義されます。 SaigeTMの影響と意義 SaigeTMの導入は、採用業界における重要なマイルストーンとなります。テストにおいて、SaigeTMはLLaMA-2と比較して卓越した性能を発揮し、専門家による評価との一致度と相関性も向上しました。 SaigeTMの意義は、面接評価の精度向上にとどまりません。評価プロセスにおけるバイアスを低減することで、候補者が無意識の偏見ではなく、能力に基づいて評価される、より公平な採用プロセスに貢献します。 SaigeTMは、評価決定の根拠を明確かつ自然な言葉で説明する機能を備えており、自動面接ではこれまでになかったレベルの透明性を実現します。候補者は、この説明を通して改善すべき点を把握し、キャリアにおける成功に必要な資質や能力を特定できます。一方、採用チームは各候補者についてより深く理解し、採用決定に自信を持つことができます。 SaigeTMの活用可能性 私たちはInterviewLLMとSaigeTMの活用において、まだ始まったばかりです。この機能を単なる評価ツールとしてではなく、候補者や従業員への効果的なコーチングに大規模に活用できる可能性は、計り知れないほど大きく、刺激的です。これにより、候補者や従業員は自身の成長方法を理解し、組織内での継続的な成長と専門能力開発を促進できるでしょう。私たちは、これらの生成型AIツールの改良を続け、採用におけるLLMの新たな活用方法を模索していく中で、公平性と透明性という基本理念を堅持していきます。」 （４）甲４の記載 甲４には、以下の記載がある。 「The present study explores the plausibility of measuring personality indirectly through an Artificial Intelligence (AI) chatbot. This chatbot mines various textual features from users’ free text responses collected during an online conversation/interview, and then uses machine learning algorithms to infer personality scores. We comprehensively examine the psychometric properties of the machine-inferred personality scores, including reliability (internal consistency, split-half, and test-retest), factorial validity, convergent and discriminant validity, and criterion-related validity. Participants were undergraduate students (n = 1,444) enrolled in a large southeastern public university in the U.S. who completed a self-report Big-Five personality measure (IPIP-300) and engaged with an AI chatbot for approximately 20 to 30 minutes. In a subsample (n = 407), we obtained participants’ cumulative grade point averages (GPAs) from the University Registrar and had their peers rate their college adjustment. In an additional sample (n = 61), we obtained test-retest data. Results indicated that machine-inferred personality scores (a) had overall acceptable reliability at both the domain and facet levels, (b) yielded a comparable factor structure to self-reported questionnaire-derived personality scores, (c) displayed good convergent validity but relatively poor discriminant validity (averaged convergent correlations = .48 vs. averaged machine-score correlations = .35 in the test sample), (d) showed low criterion-related validity, and (e) exhibited incremental validity over self-reported questionnaire-derived personality scores in some analyses. In addition, there was strong evidence for cross-sample generalizability of psychometric properties of machine scores. Theoretical implications, future research directions, and practical considerations are discussed. ・・・（中略）・・・ During the last three decades,… ・・・（中略）・・・ The third area in which AI-based personality assessments are unique is its algorithms. AI is a broad term that refers to the science and engineering of making intelligent systems or machines (e.g., especially computer programs) that mimic human intelligence to perform tasks and can iteratively improve themselves based on the information they collect (McCarthy & Wright, 2004). Machine learning (ML) is a subset of AI, which focuses on building computer algorithms that automatically learn or improve performance based on the data they consume (Mitchell, 1997). In some more complex work, the term deep learning (DL) may also be referenced. DL is a subset of ML, referring to neural-network-based ML algorithms that are composed of multiple processing layers to learn the representations of data with multiple levels of abstraction and mimic how a biological brain works (LeCun et al., 2015). The present article refers to personality assessment tools that can predict personality traits using digital footprints as the ML approach. The ML approach can be thought of as an indirect measurement of personality using a large number of features with empirically derived model parameters to score personality automatically (Hickman et al., 2022; Park et al., 2015). These features can be based on lingual or other behaviors, such as interaction logs or facial expressions. Model parameters indicate the influence of features on personality “ground truth” as the prediction targets. This new approach boasts at least two advantages over traditional assessment methods, particularly self-report questionnaires (Mulfinger et al., 2020). The first advantage lies in its efficiency. For instance, it is possible to use the same set of digital footprints to train a series of models to infer scores on numerous individual difference variables such as personality traits, cognitive ability, values, career interests, etc. It is resource intensive to train these different models; however, once trained, various individual differences can be automatically and simultaneously inferred with a single set of digital footprint inputs. This would greatly shorten the assessment time in general, which should be appealing to both test-takers and sponsoring organizations. Second, the testing experience tends to be less tedious (Kim et al., 2019). If individuals’ social media content is utilized to infer personality, individuals do not need to go through the assessment process at all. If video interview or online chat is used, individuals may feel they have more opportunities to perform, and thus should enjoy the assessment more than, for instance, completing a self-report personality inventory (McCarthy et al., 2017). ・・・（中略）・・・ The purpose of the present study is to explore the plausibility of measuring personality through an AI chatbot. More importantly, we extensively examine psychometric properties of machine-inferred personality scores at both facet and domain levels including reliability (internal consistency, split-half, and test-retest), factorial validity, convergent and discriminant validity, and criterion-related validity. Such a comprehensive examination has been extremely rare in the ML literature but is sorely needed. Although an unpublished doctoral dissertation (Sun, 2021) provided initial promising evidence for the utility of the AI chatbot method for personality inference, more empirical research is warranted. ・・・（中略）・・・ AI Chatbot and Personality Inference ・・・（中略）・・・ While there are many chatbot platforms commercially available (e.g., IBM Watson Assistant, Google Dialogflow, and Microsoft Power Virtual Agents), we opted to use Juji’s AI chatbot platform (https://juji.io) as our study platform for three reasons. First, unlike many other platforms that require writing computer programs (e.g., via Application Programming Interfaces) to train and customize advanced chatbot functionalities, such as dialog management, Juji’s platform enables non-IT professionals, such as applied psychologists and HR professionals, to create, customize, and manage an AI chatbot to conduct virtual interviews, without writing code. Second, Juji’s platform is publicly accessible (currently with no- or low-cost academic use options), which enables other scholars to conduct similar research studies and/or replicate our study. Third, scholars have successfully used the Juji chatbot platform in conducting various scientific studies, including team creativity (e.g., Hwang and Won 2021), personality assessment (e.g., Volker et al, 2020), and public opinion elicitation (e.g., Jiang et al., 2023). ・・・（中略）・・・ As shown in Figure 1, at the bottom level, several machine learning models are used, including data-driven machine learning models and symbolic AI models, to support the entire chatbot system. At the middle level, specialty engines are built to facilitate two-way conversations and user insights inferences. Specifically, an NLP engine for conversation interprets highly diverse and complex user natural language inputs during a conversation. Based on the interpretation results, an Active Listening Conversation Engine, which is powered by social-emotional intelligence of carrying out an empathetic and effective conversation, decides how to best respond to users and guide the conversation forward. For example, it may decide to engage users in small talk, provide empathetic comments such as paraphrasing, verbalizing emotions, and summarizing user input, as well as handle diverse user interruptions, such as digressing from a conversation and trying to dodge a question (Xiao et al., 2020). The Personality Inference Engine takes in the conversation script from a user and performs NLP on the script to extract textual features, which are used as predictors, with the same user’s questionnaire-based personality scores being used as the criteria. ML models can then be built to automatically infer personality using statistical methods such as linear regressions. ・・・（中略）・・・ Machine-inferred personalities. The machine learning algorithm the AI firm helped develop was used to estimate the 30 personality facet scores based on mined textual features of participants’ virtual conversation scripts. See the Analytic Strategies section for NLP and model building details. Reliabilities of machine-inferred 30 facet scores and Big Five domain scores6 in the training and test samples are presented in Tables 2 and 3, respectively. ・・・（中略）・・・ Practical Considerations Despite initial promises of the AI chatbot approach to personality assessment, we believe that a series of practical issues need to be sufficiently addressed before we could recommend its implementation in applied settings. First, the AI chatbot system used in this study allows users to tailor-make the conversation agenda. This makes sense, as organizations need to design interview questions according to specific positions. However, there is little empirical evidence within the chatbot approach that different sets of interview questions would yield similar machine scores for the same individuals. In this regard, we agree with Hickman et al. (2022) that vendors need to provide potential client organizations with enough information about the training data such as sample demographics and the list of interview questions the models are built on. ・・・（中略）・・・ Finally, the ML-based chatbot approach to personality assessment comes with potential challenges related to professional ethics and ethical AI (e.g., concerns involving the fair and responsible use of AI). For instance, is it ethical or legally defensible to have job applicants go through a chatbot interview without telling them that their textual data will be mined for selection-relevant information? Organizations might also decide to transform recorded in-person interviews into texts, apply predictive models such as the one used in the present study, and obtain machine-inferred personality scores for talent management purposes. AI chatbots may soon be an enormously popular tool for initial recruiting and screening processes, and corporate actors may not hesitate to repurpose harvested data for new applications.」 （当審訳） 「本研究では、人工知能（AI）チャットボットを介して間接的に性格を測定することの妥当性を探ります。このチャットボットは、オンライン会話/インタビュー中に収集されたユーザーの自由記述回答からさまざまなテキスト特徴を抽出し、機械学習アルゴリズムを使用して性格スコアを推論します。私たちは、信頼性（内的整合性、折半、再テスト）、因子妥当性、収束妥当性、弁別妥当性、基準関連妥当性など、機械によって推論された性格スコアの心理測定特性を包括的に検証します。参加者は、米国南東部の大規模な公立大学に在籍する学部生（n = 1,444）で、自己報告式のビッグファイブ性格尺度（IPIP-300）を完了し、AIチャットボットと約20～30分間やり取りしました。サブサンプル（n = 407）では、参加者の累積成績平均点（GPA）を大学の教務課から取得し、同級生に大学への適応度を評価してもらいました。追加のサンプル（n = 61）では、再テストデータを取得しました。結果は、機械推論による性格スコアが、（a）領域レベルと側面レベルの両方で全体的に許容できる信頼性を示し、（b）自己申告による質問票由来の性格スコアと同等の因子構造を示し、（c）良好な収束妥当性を示したが、弁別妥当性は比較的低く（テストサンプルにおける平均収束相関係数 = .48、平均機械スコア相関係数 = .35）、（d）基準関連妥当性が低く、（e）一部の分析では自己申告による質問票由来の性格スコアよりも増分妥当性を示したことを示しました。さらに、機械スコアの心理測定特性のサンプル間一般化可能性を示す強力な証拠がありました。理論的意義、今後の研究方向、および実際的な考慮事項について議論します。 ・・・（中略）・・・ 過去３０年間にわたり、… ・・・（中略）・・・ AIベースの性格診断が独自性を発揮する3つ目の分野は、そのアルゴリズムです。AIとは、人間の知能を模倣してタスクを実行し、収集した情報に基づいて反復的に自己改善できるインテリジェントシステムや機械（特にコンピュータプログラム）を開発する科学と工学を指す広範な用語です（McCarthy & Wright, 2004）。機械学習（ML）はAIのサブセットであり、取り込んだデータに基づいて自動的に学習または性能を向上させるコンピュータアルゴリズムの構築に焦点を当てています（Mitchell, 1997）。より複雑な研究では、深層学習（DL）という用語も用いられることがあります。DLはMLのサブセットであり、複数の処理層から構成され、複数の抽象度レベルでデータの表現を学習し、生物の脳の働きを模倣するニューラルネットワークベースのMLアルゴリズムを指します（LeCun et al., 2015）。本稿では、デジタルフットプリントを用いて性格特性を予測できる性格診断ツールをMLアプローチとして取り上げます。 MLアプローチは、経験的に導出されたモデルパラメータを持つ多数の特徴を使用して性格を自動的にスコアリングする、性格の間接的な測定と考えることができます（Hickman et al., 2022; Park et al., 2015）。これらの特徴は、言語的行動またはインタラクションログや顔の表情などの他の行動に基づいています。モデルパラメータは、予測ターゲットとしての性格の「グラウンドトゥルース」に対する特徴の影響を示します。この新しいアプローチは、特に自己報告アンケートなどの従来の評価方法に比べて少なくとも2つの利点があります（Mulfinger et al., 2020）。最初の利点は、その効率性にあります。たとえば、同じデジタルフットプリントのセットを使用して、性格特性、認知能力、価値観、キャリアへの関心など、多数の個人差変数のスコアを推測する一連のモデルをトレーニングすることが可能です。これらの異なるモデルをトレーニングするにはリソースが大量に消費されますが、トレーニングが完了すると、単一のデジタルフットプリント入力セットを使用して、さまざまな個人差を自動的かつ同時に推測できます。これにより、評価にかかる時間が全体的に大幅に短縮されるため、受験者とスポンサー組織の両方にとって魅力的なものとなるはずです。第二に、テスト体験は退屈さが少なくなる傾向があります（Kim et al., 2019）。個人のソーシャルメディアコンテンツを使用して性格を推測する場合、個人は評価プロセスを経る必要がまったくありません。ビデオインタビューやオンラインチャットを使用する場合、個人はより多くのパフォーマンスの機会があると感じ、たとえば自己報告式の性格検査を完了するよりも評価を楽しむことができるはずです（McCarthy et al., 2017）。 ・・・（中略）・・・ 本研究の目的は、AIチャットボットによる性格測定の妥当性を探ることである。さらに重要な点として、信頼性（内的整合性、折半法、再テスト信頼性）、因子妥当性、収束妥当性、弁別妥当性、基準関連妥当性など、側面レベルと領域レベルの両方において、機械推論による性格スコアの心理測定特性を詳細に検討する。このような包括的な検討は機械学習の文献では極めて稀であるが、切実に必要とされている。未発表の博士論文（Sun、2021）では、性格推論におけるAIチャットボット手法の有用性を示す有望な初期証拠が提示されているものの、さらなる実証研究が必要である。 ・・・（中略）・・・ AIチャットボットと性格推論 ・・・（中略）・・・ 市販されているチャットボットプラットフォームは多数ありますが（例：IBM Watson Assistant、Google Dialogflow、Microsoft Power Virtual Agents）、本研究では、3つの理由からJujiのAIチャットボットプラットフォーム（https://juji.io）を研究プラットフォームとして採用しました。第一に、対話管理などの高度なチャットボット機能をトレーニングおよびカスタマイズするためにコンピュータプログラム（アプリケーションプログラミングインターフェースなど）を作成する必要がある他の多くのプラットフォームとは異なり、Jujiのプラットフォームでは、応用心理学者や人事担当者などのIT専門家以外の人でも、コードを書かずに仮想面接を行うAIチャットボットを作成、カスタマイズ、管理できます。第二に、Jujiのプラットフォームは一般に公開されており（現在、学術利用は無料または低価格）、他の研究者が同様の研究を実施したり、本研究を再現したりすることができます。第三に、研究者たちはJujiチャットボットプラットフォームを、チームの創造性（例：Hwang and Won 2021）、性格評価（例：Volker et al, 2020）、世論調査（例：Jiang et al., 2023）など、さまざまな科学的研究に活用することに成功している。 ・・・（中略）・・・ 図1に示すように、最下層では、データ駆動型機械学習モデルや記号AIモデルなど、複数の機械学習モデルを使用して、チャットボットシステム全体をサポートしています。中間層では、双方向の会話やユーザーインサイトの推論を容易にするための専用エンジンが構築されています。具体的には、会話用のNLPエンジンが、会話中に非常に多様で複雑なユーザーの自然言語入力を解釈します。解釈結果に基づいて、共感的で効果的な会話を実行する社会的感情知能によって駆動されるアクティブリスニング会話エンジンが、ユーザーへの最適な応答方法と会話の進め方を決定します。たとえば、ユーザーと雑談したり、言い換え、感情の言語化、ユーザー入力の要約などの共感的なコメントを提供したり、会話から逸れたり質問をはぐらかそうとしたりするなど、さまざまなユーザーの割り込みに対応したりすることができます（Xiao et al., 2020）。性格推論エンジンは、ユーザーからの会話スクリプトを入力として受け取り、そのスクリプトに対して自然言語処理（NLP）を実行してテキストの特徴を抽出します。抽出されたテキストの特徴は予測因子として使用され、同じユーザーのアンケートに基づく性格スコアが基準として用いられます。その後、線形回帰などの統計的手法を用いて、性格を自動的に推論する機械学習モデルを構築できます。 ・・・（中略）・・・ 機械による性格推論 AI企業が開発を支援した機械学習アルゴリズムは、参加者の仮想会話スクリプトから抽出されたテキスト特徴に基づいて、30の性格特性スコアを推定するために使用されました。NLPとモデル構築の詳細については、「分析戦略」セクションを参照してください。トレーニングサンプルとテストサンプルにおける、機械による30の特性スコアとビッグファイブ領域スコア6の信頼性は、それぞれ表2と表3に示されています。 ・・・（中略）・・・ 実務上の考慮事項 AIチャットボットを用いた性格診断は当初大きな期待を集めていましたが、実務的な場面での導入を推奨するには、いくつかの課題を十分に解決する必要があると考えます。まず、本研究で使用したAIチャットボットシステムは、ユーザーが会話の議題をカスタマイズできるという特徴があります。これは、組織が特定の職種に応じて面接質問を設計する必要があることを考えると理にかなっています。しかし、チャットボットを用いたアプローチにおいて、異なる面接質問セットを用いても、同一人物に対して同様の機械スコアが得られるという実証的な証拠はほとんどありません。この点において、ベンダーは潜在的な顧客組織に対し、サンプル人口統計情報やモデル構築に使用した面接質問リストなど、トレーニングデータに関する十分な情報を提供する必要があるというHickmanら（2022）の意見に賛同します。 ・・・（中略）・・・ 最後に、機械学習に基づくチャットボットを用いた性格評価には、職業倫理や倫理的なAI（例えば、AIの公正かつ責任ある利用に関する懸念）に関連する潜在的な課題が伴います。例えば、求職者にテキストデータが選考に関連する情報を抽出することを告げずにチャットボット面接を受けさせることは、倫理的にも法的にも正当化できるのでしょうか。組織によっては、対面面接の録音をテキストに変換し、本研究で使用したような予測モデルを適用して、人材管理目的で機械が推論した性格スコアを取得する可能性もあります。AIチャットボットは、採用や選考の初期段階で非常に人気のあるツールとなる可能性があり、企業は収集したデータを新しい用途に再利用することを躊躇しないかもしれません。」 「図１ ［図：0001437441000001.jpg］ 」 （５）甲５の記載 甲５には、以下の記載がある。 「【００２１】 図1の機能ブロック図に示す通り、管理サーバ２は、求職者からの回答内容や求職者情報を取得する取得部２１と、求職者の面接結果を数値で評価をする評価部２２と、数値で評価をした面接結果の情報としての採点情報を送信する結果送信部２３と、言葉の発声及び聴音としての音声情報を生成する音声情報生成部２４と、音声情報の交信によって対話を成立させる対話部２５と、求職者の回答内容と点数が関連付けて記憶されている記憶部２６を備えている。」 「【００２４】 評価部２２の具体的判定方法を以下に例示する。 【００２５】 （例１）たとえば、未経験の仕事にも積極的に取り組む人材を採用したい場合、評価部２２は、求職者の回答情報に含まれるポジティブな単語を加点項目、ネガティブな単語を減点項目として、求職者に加点又は減点の評価を行うように設定する。加点、減点の点数は、単語ごとのポジティブの度合いやネガティブの度合いに応じ、予め設定されている。 【００２６】 （例２）評価部２２は、求人者が採用したくない傾向の性格や人格を判定する単語を減点項目とする構成や、表示部４１に特定の求職者を採用したくない傾向の性格や人格であることを示すアラートを表示させる構成を備えていても良い。たとえば、うつ傾向の人間を採用したくない場合には、評価部２２に、うつ傾向を示す単語を減点項目やアラート情報の対象とする構成を備えておき、評価部２２が、求職者の回答や自己ＰＲの中にその言葉が含まれていると判定した場合、減点したり、「うつ傾向あり」のアラート情報を表示させる。 【００２７】 （例３）評価部２２には、採用したくない人間を特定するための質問をするタイミングや質問方法を予め設定しておいても良い。たとえば、うつ傾向の強い人間を採用したくない場合には、うつ傾向を特定するための質問として「毎朝起きると憂鬱ですか？」を、「今朝は何時に起きましたか？」という質問の直後に行って、自然な会話の流れとなるように質問を配置するように、評価部２２に設定をしておくなどが考えられる。 【００２８】 （例４）評価部２２には、求職者の言葉の語調や抑揚、発話の大きさを検出し、評価の点数として数値化する設定を設けておくことができる。たとえば、質問に対する「はい」という求職者の言葉が、通常の会話で誠実に回答する際の抑揚になっている場合は加点、いい加減に回答する際の抑揚になっている場合は減点、声が明瞭なら加点、声が小さかったり、震えやどもりがある場合は減点するような設定を評価部２２に設けておくことが考えられる。 【００２９】 上記（例１）～（例４）の評価の基準となる単語や表情、加点、減点の数値の関連付けや、採用したくない性格や個性、人格が発見された場合の処理方法は、記憶部２６に記憶されている。 【００３０】 評価部２２は、これらの加点、減点の結果、面接結果を数値で評価をする。この数値は、会社端末４を使用する者などが、求職者の面接の合否判定を行うときなどに用いる。 【００３１】 評価部２２は、評価基準情報と取得部２１が取得した求職者の回答内容や求職者情報に基づいて、面接結果を数値で評価をする。評価基準情報とは、人材採用の合否を評価するに際して基準となる情報や項目をいい、さらには、どのような項目についてより評価を行うかという情報が含まれる。たとえば、求人者が営業系の人材採用を希望する場合には、評価基準情報のうちコミュニケーション能力に関する項目は、他の評価項目（たとえば、プログラミング能力）よりも高く評価されるよう設定することができる。また、たとえば、求人者がＩＴ系の人材採用を希望する場合には、評価基準情報のうちプログラミング能力に関する項目は、他の評価項目（たとえば、コミュニケーション能力）よりも高く評価されるよう設定することができる。一方で、求職者の回答内容によっては直ちに不合格になるという項目を設定しても良い。たとえば、「今までにウソをついたことがありますか。」という質問に対して、求職者から「ありません。」という回答があった場合などである。なお、当然のことながら、求人者によって経営理念としてのミッション、ビジョン、バリュー等が異なるため、各求人者の求める人材に応じて、評価基準情報のうち高く評価する項目を自由に設定することができるのはいうまでもない。」 「【００３３】 評価部２２は、学習済みモデルを用いて構築することができるし、質問と回答内容、その回答内容に基づく心理状況などを関連付けて記憶されているデータベースを用いて構築することもできる。ここでは、学習済みモデルを用いた場合を例として、説明する。学習済みモデルは、取得部２１が取得した回答内容や求職者情報に基づいて、その求職者の性格や心理状況、喜怒哀楽、回答した内容がポジティブなものなのか、ネガティブなものなのかなどを検出できるものであれば、形態素解析でも良いし、その他の公知のもので良い。たとえば、求職者が「はい」と回答した場合、評価部２２は、取得部２１が取得した「はい」という返事の語調や言葉の使い方から、どのような性格の求職者なのか検出する。求職者の「はい」という返事の語調が弱かったときは、その求職者には自信がないように検出されることがある。また、たとえば、評価部２２は、求職者の視線の向きや求職者の体の姿勢など、動画像における求職者の言動から、喜怒哀楽のうちどのような状況なのか検出することができる。評価部２２は、対話部２５による音声情報生成部２４が生成した音声情報と取得部２１が取得した求職者による音声情報の交信により成立した対話を通じて取得した求職者情報や、あらかじめ設定した評価基準情報と取得部２１が取得した求職者からの回答内容に基づいて、面接結果を数値で評価をする。評価部２２は、動画像における求職者の個々の言動を求職者情報として抽出して、その求職者の性格や心理状況、喜怒哀楽などを検出して、面接結果を数値で評価することができるので、有能な人材を発見しやすい。 【００３４】 結果送信部２３は、評価部２２の判定した面接結果の情報としての採点情報を会社端末４へ送信する。たとえば、面接の結果、その面接を通過した場合には、「一次面接に合格。二次面接へ。」などの情報が会社端末４へ送信され、面接を通過しなかった場合には、「不合格」などの情報が会社端末４へ送信される。 【００３５】 音声情報生成部２４は、言葉の発声や聴音としての音声情報を生成する。取得部２１が取得する求職者に関する音声情報に基づいて、音声情報生成部２４は音声情報を生成する。対話部２５によって、音声情報生成部２４が生成した音声情報と取得部２１が取得した求職者による音声情報が交信され、求職者と後記キャラクターとの対話が成立する。音声情報生成部２４が生成する音声情報の内容としては、たとえば、対面で行われる面接のように面接を行う面接官から質問される項目であり、「あなたの長所と短所を教えてください。」、「趣味を教えてください。」、「弊社を志望された理由をお聞かせください。」、「仮に弊社に入社することができたら、どのような仕事をしたいですか。」などである。 【００３６】 対話部２５は、音声情報生成部２４が生成した音声情報と取得部２１が取得した求職者に関する音声情報を交信することによって、求職者と、管理サーバ２に蓄積されているプログラム（図示せず）を実行させることによって稼働するキャラクターが対話をしているかのように対話をさせる。この対話を通じて、取得部２１は、求職者からの回答内容に加えて、評価部２２が面接結果を数値で評価するのに必要な求職者情報を取得する。なお、キャラクターを稼働させるためのプログラム（図示せず）は、外部記憶媒体など管理サーバ２以外に記憶しておき、面接支援システム１を用いる際に、管理サーバ２にこのプログラム（図示せず）を格納させ、実行させてもよい。 【００３７】 対話部２５が、音声情報生成部２４が生成した音声情報と取得部２１が取得した求職者に関する音声情報を交信させることにより対話を成立させるので、効率的に求職者情報を取得することができるとともに、対面での面接と同等以上の質を担保した面接を実施することができ、また、対話部２５により成立させる対話を通じて、有能な人材を効率的に見つけ出すことができる。 【００３８】 記憶部２６は、求職者の回答内容と点数とを関連付けて記憶している。取得部２１が取得する求職者情報のうち求職者の言動に応じて、評価部２２は、記憶部２６が記憶している点数を加し、又は減ずる。たとえば、求職者が、対話部２５により成立される対話を通じて、求人者からの質問に対して、求人者の経営理念と求職者の意向が合致するような回答をしたときは、加点されることがある。一方で、たとえば、求職者が、求人者からの質問に対して、回答できなかったときや答えに窮したようなときは、減点されることがある。対話部２５による求職者とキャラクターとの対話を繰り返して行い、合否の判定ができる程度に達したときは、対話部２５による対話は終了し、評価部２２は、面接結果を数値で評価する。」 「【００４７】 拡声部３４は、管理サーバ２から送信される音声情報を求職者に対する質問内容として、拡声する。拡声部３４は、一般にはスピーカーであるが、管理サーバ２から求職者端末３へ送信される質問内容を拡声することができれば、その手段を問わない。」 「【００５０】 図1の機能ブロック図に示す通り、会社端末４は、求職者の採点情報を表示する表示部４１を備える。 【００５１】 表示部４１は、結果送信部２３から採点情報を受信して、会社端末にその面接結果として評価された数値を表示する。たとえば、面接結果が高得点の際には数字が強調されるように数字に色彩を付したり、数字を太字にするなどして表示をしても良い。」 「【００６０】 面接官から求職者に対する質問としての音声情報は、対話部２５が成立させる対話を通じて、音声情報生成部２４が生成する。図3においては、音声情報生成部２４が「学生時代に最も力を入れてきたことは何ですか？簡潔に回答してください。」という音声情報を生成し、対話部２５が音声情報を交信することによって、面接官としての前記キャラクターから求職者へ話しかけているように求職者に対して質問をしている。拡声部３４は、面接官から求職者に対する質問を求職者端末の外部に音声を拡声し、求職者は、拡声部３４を通じて、面接官からの質問内容を認識して、質問内容に回答する。集音部３３は、求職者から「はい、私が学生時代に最も力を入れてきたことは、◇◇◇です。□□□に取り組んでおりました。」と発声された言葉を集音し、音声情報変換部３５が集音した音声を音声情報に変換する。送信部３２が取得部２１へ音声情報を送信する。対話部２５は、音声情報変換部３５が変換した音声情報と、音声情報生成部２４が生成する言葉の発声及び聴音としての音声情報とを交信することによって、求職者と前記キャラクターとの間で対話を成立させ、対話部２５が繰り返す対話によって、一次面接が進行していく。評価部２２は、管理サーバ２に格納されている評価基準情報と、取得部２１が取得した動画像に含まれる求職者からの回答内容や求職者情報に基づいて、面接結果を数値で評価する。 【００６１】 また、図3における実施形態においては、評価部２２は、動画像における求職者の言動や様子を検出することができる。たとえば、評価部２２は、求職者の「はい」という音声での回答だけでなく、求職者のまゆげの動き、目や顔の向き、口の角度や開き方、姿勢などを検知し、検知した言動から、求職者がどのような性格や個性、人格を有し、どのような心理状況なのか検出することができる。記憶部２６は、評価の基準となる単語や表情、加点、減点の数値の関連付けや、採用したくない性格や個性、人格が発見された場合の処理方法について記憶している。これらの加点、減点の結果、面接結果を数値で評価をする。」 「【００７２】 図５は、この発明の実施の形態に係る面接支援システム１において、表示部４１が採用選考の合否を判定した結果を表示した画面の一例を示す図である。 【００７３】 図５にある表５１において、「面接日時」、「面接」、「面接官」、「求職者氏名」の欄がある。「面接日時」の行には、面接が行われて日時が表示されており、面接が２０２１年〇月△日午前１０時から行われたことがわかる。「面接」の行には、面接の段階が表示されており、一次面接であることがわかる。「面接官」の行には、一次面接を担当した面接官の氏名が表示されており、一次面接の面接官がＡＩさくらであることがわかる。「求職者氏名」の行には、一次面接を受けた者の氏名が表示されており、ＹＹＹが一次面接を受けたことがわかる。これらのことから、図５は、２０２１年〇月△日午前１０時から行われた、面接官をＡＩさくら、求職者をＹＹＹとする一次面接の結果が表示されている画面であることがわかる。 【００７４】 表５２において、面接結果として評価された数値が表示されている。表５２においては、面接において重要視した項目と各項目に対する点数、点数の合計が表示されている。面接において重要視する項目は、求人者が任意に設定することができる。表５２において、評価する項目として５つの項目が表示されているが、評価する項目の数は、求人者の裁量で決定することができる。表５２において、点数は、いずれも７点と表示されている。表示されている７点は、１０点を満点とした場合の数値であるが、各項目に対する満点の数値を任意に設定することができるほか、特に重要視する項目については、他の項目よりも満点の数値を高くしても良い。各項目に対する点数は、評価部２２が、記憶部２６に関連付けて記憶されている求職者の回答内容と点数に基づいて採点をするため、面接官の主観的、恣意的な採点を排除することができる。」 「【００７８】 会社端末４によって、管理サーバ２に格納された評価基準情報に即した質問を選択すると、音声情報生成部２４が言葉の発声及び聴音としての音声情報を生成し、管理サーバ２は求職者端末３に対して、質問内容として生成された音声情報を送信する（ステップＳ１０２）。 【００７９】 集音部３３は、管理サーバ２から送信された質問内容としての音声情報に対する回答として、求職者からの言葉の発声を受け付ける（ステップＳ１０３）。 【００８０】 求職者が質問内容への回答として集音部３３に言葉を発声すると、求職者端末３の音声情報変換部３５が、集音部３３が集音した言葉を音声情報に変換する。音声情報変換部３５が音声情報に変換すると、求職者端末３の送信部３２が音声情報を管理サーバ２に送信する（ステップＳ１０４）。なお、求職者の音声情報と、音声情報生成部２４が生成した音声情報との交信は、対話部２５が行う。 【００８１】 取得部２１は、求職者端末３の送信部３２から送信された音声情報を取得する（ステップＳ１０５）。 【００８２】 評価部２２が、面接結果としての数値を評価することができる程度まで、これらのステップ（ステップＳ１０１からＳ１０５まで）を繰り返す。」 「図１ ［図：0001437441000002.jpg］ 」 「図２ ［図：0001437441000003.jpg］ 」 「図３ ［図：0001437441000004.jpg］ 」 「図５ ［図：0001437441000005.jpg］ 」 「図６ ［図：0001437441000006.jpg］ 」 （６）甲６の記載 甲６には、以下の記載がある。 「ABSTRACT A computer system is provided. The computer system includes a memory, at least one processor coupled to the memory, and an assessment component executed by the at least one processor. The assessment component is configured to execute a conversation between at least one user and a computer-simulated character and determine a competency level displayed by the at least one user based on at least one response option received during the conversation. In the computer system, the at least one response option may includes a plurality of response options and the assessment component may be further configured to calculate an overall score based on the plurality of response options.」 （当審訳） 「要約 コンピュータシステムが提供される。コンピュータシステムは、メモリと、メモリに結合された少なくとも1つのプロセッサと、少なくとも1つのプロセッサによって実行される評価コンポーネントを含む。評価コンポーネントは、少なくとも1人のユーザとコンピュータ模擬キャラクターとの間で会話を行い、かつ、会話中に受信された少なくとも1つの応答オプションに基づいて少なくとも1つのユーザによって示される能力（コンピテンシー、適格性）レベルを決定するように構成される。コンピュータシステムにおいて、少なくとも1つの応答オプションは、複数の応答オプションを含んでもよく、その場合、評価コンポーネントは、複数の応答オプションに基づいて総合スコアを算出するように構成されてもよい。」 「【0003】The technical field relates generally to competency management within an organization and, more particularly, to training, evaluating, and managing individual and collective competencies within an organization using a distributed computer system.」 （当審訳） 「【０００３】 本発明の技術分野は、一般に、組織内の能力管理に関し、より詳細には、分散型コンピュータシステムを使用して組織内の個人および集団の能力を訓練、評価、管理することに関する。」 「【0050】At least one embodiment disclosed herein provides a professional development and performance optimization platform that assesses competencies of individual members (e.g., employees) of an organization and that facilitates management of the organizational units to which the members belong. In some embodiments, the professional development and performance optimization platform includes three primary components: a training and assessment component, a management component, and a feedback component. 【0051】 According to one embodiment, the training and assessment component executes a computer simulation that, when conducted by a member, will assess the member's proficiency within a particular, predefined set of competencies. In some embodiments, the assessment component assesses competencies via an interactive entertainment experience. In these embodiments, the simulation includes a game. The game may include one or more levels. While the member is playing the game, the assessment component presents the member with one or more scenarios. Each scenario is associated with, and is designed to assess the member's performance within, one or more competencies. As such, scenarios define the methodology used to assess member proficiency within one or more competencies.」 （当審訳） 「【００５０】 本明細書に開示される少なくとも1つの実施形態は、組織の個々のメンバー（例えば、従業員）の能力を評価し、メンバーが所属する組織単位の管理を容易にする専門能力開発およびパフォーマンス最適化プラットフォームを提供する。一部の実施形態では、この専門能力開発およびパフォーマンス最適化プラットフォームは、トレーニングおよび評価コンポーネント、管理コンポーネント、およびフィードバックコンポーネントという3つの主要なコンポーネントを含む。 【００５１】 一実施形態によれば、訓練および評価コンポーネントは、メンバーによって実行されたときに、特定の予め定義した一組の能力における当該メンバーの熟練度を評価するコンピュータシミュレーションを実行する。いくつかの実施形態において、評価コンポーネントは、インタラクティブなエンターテインメント体験を介して能力を評価する。これらの実施形態において、シミュレーションはゲームを含む。ゲームは1つまたはそれ以上のレベルを含んでもよい。メンバーがゲームをプレイしている間、評価コンポーネントは、当該メンバーに１つまたはそれ以上のシナリオを提示する。各シナリオは、１つまたはそれ以上の能力に関連付けられ、かつ、それらの能力におけるメンバーのパフォーマンスを評価するように設計される。したがって、シナリオは、1つまたはそれ以上の能力におけるメンバーの熟練度を評価するために用いられる方法論を定義する。」 「【0054】In another embodiment, the management component includes one or more administrative interfaces that receive configuration information from authorized administrative users. This configuration information may be descriptive of one or more organizational structures associated with an authorized administrative user. For instance, this configuration information may specify the company, department, and team structure of the organization to which the authorized administrative user belongs. The configuration information may specify employees or other individuals that make up the organization and competency models used within the organization. Furthermore, the configuration information may specify roles within the organization and associate roles with proficiency levels of competencies needed to perform the role. 【0055】According to another embodiment, the management component includes one or more interfaces that provide authorized users with performance feedback reports generated by a reporting engine and based on data gathered and stored by the assessment component or the feedback component describe below. These interfaces may provide a variety of competency reports by individual, team, department, and organization. These reports provide insight into how to structure the organization's teams and departments and allow managers to better manage their teams. Managers are also able to use the data displayed in these reports to make hiring decisions and to identify individual, team, department, and company competencies. In some embodiments, the management component may include one or more interfaces that receive status updates from members, receive indications that other users wish to follow an identified member or group of members, and provide, to the other users, status updates received from the identified member or group of members.」 （当審訳） 「【００５４】 別の実施形態では、管理コンポーネントは、権限のある管理者ユーザーから構成情報を受信する1つ以上の管理インターフェイスを備える。この構成情報は、権限のある管理者ユーザーに関連付けられた1つ以上の組織構造を記述するものである。例えば、この構成情報は、権限のある管理者ユーザーが所属する組織の会社、部門、およびチーム構造を指定する。構成情報は、組織を構成する従業員またはその他の個人、および組織内で使用される能力モデルを指定する。さらに、構成情報は、組織内の役割を指定し、その役割を実行するために必要な能力の熟練度レベルと役割を関連付ける。 【００５５】 別の実施形態によれば、管理コンポーネントは、評価コンポーネントまたは後述するフィードバックコンポーネントによって収集および保存されたデータに基づいてレポートエンジンによって生成されたパフォーマンスフィードバックレポートを、承認されたユーザーに提供する1つ以上のインターフェースを含む。これらのインターフェースは、個人、チーム、部門、および組織ごとのさまざまな能力レポートを提供することができる。これらのレポートは、組織のチームや部門をどのように構成するかについての洞察を提供し、管理者がチームをより適切に管理できるようにする。管理者はまた、これらのレポートに表示されるデータを使用して、採用決定を行い、個人、チーム、部門、および会社の能力を特定することができる。一部の実施形態では、管理コンポーネントは、メンバーからステータス更新を受信し、他のユーザーが特定のメンバーまたはメンバーグループをフォローしたいという指示を受信し、特定のメンバーまたはメンバーグループから受信したステータス更新を他のユーザーに提供する1つ以上のインターフェースを含むことができる。」 「【0074】In some embodiments, the competency model of an organization includes a set of competencies for each organizational unit defined within the organizational structure (e.g., members, teams, departments, and the organization as a whole). Competencies included in the competency model may be specific (e.g., email-based customer service skills) or general (e.g., leadership, ability to run a company, etc . . . ). In at least one embodiment, the competency model includes several discrete collections of competencies, with one collection being evaluated by the assessment engine 132 and another collection being setup via the administrator interface 126 and evaluated via the feedback engine 128. In this embodiment, the competency configuration information includes information mapping both collections of competencies into the overall competency model. The overall competency model may be organized into a hierarchy in which specific competencies, which may be more frequently assessed by the assessment engine 132, roll-up into more general competencies, which may include feedback information gathered via the feedback engine 128.」 （当審訳） 「【００７４】 いくつかの実施形態では、組織のコンピテンシーモデルは、組織構造内で定義された各組織単位（例えば、メンバー、チーム、部門、および組織全体）のコンピテンシーセットを含みます。コンピテンシーモデルに含まれるコンピテンシーは、特定のもの（例えば、電子メールベースの顧客サービススキル）または一般的なもの（例えば、リーダーシップ、会社経営能力など）である場合があります。少なくとも1つの実施形態では、コンピテンシーモデルは複数の個別のコンピテンシーコレクションを含み、1つのコレクションは評価エンジン132によって評価され、別のコレクションは管理者インターフェース126を介して設定され、フィードバックエンジン128を介して評価されます。この実施形態では、コンピテンシー構成情報には、両方のコンピテンシーコレクションを全体的なコンピテンシーモデルにマッピングする情報が含まれます。全体的なコンピテンシーモデルは階層構造に構成され、評価エンジン132によってより頻繁に評価される特定のコンピテンシーが、フィードバックエンジン128を介して収集されたフィードバック情報を含む、より一般的なコンピテンシーに集約されます。」 「【0080】 FIGS. 7 and 8 illustrate two exemplary reports rendered from report information generated by the reporting engine 130. FIG. 7 illustrates a competency report according to one embodiment. As shown, the competency report reflects an assessed competency score by individual member (e.g., employee) or aggregated to larger organizational units (e.g., team or department). Competency reports provide insight into improving the structure of the organization's teams, departments, or other units. For example, where a report by team shows that everyone on a team scored poorly at the “making decisions” competency then managers can use this information to restructure the team. The reports also allow managers to better understand, and thus better manage, their team. For example, where members on a team to scored poorly at “communication,” team managers can use this information to properly focus feedback to those specific team members. The reports also show differences between a targeted or planned team competency structure and the assessed competency structure. 【0081】 FIG. 8 illustrates a performance feedback report according to another embodiment. Performance feedback reports may include a list of the competencies assessed, a score that characterizes the assessed proficiency in each competency listed and feedback for the competency. In some embodiments, the performance feedback report also includes one or more awards. The performance feedback reports may also contain actionable feedback, if necessary. The information included in the actionable feedback given is dependent on the score or award the member receives for each competency and provides guidance to the member on how to improve their performance.」 （当審訳） 「【００８０】 図７および図８は、 報告エンジン1 3 0によって生成された報告書情報から表現される2つの典型的な報告書を示す。 図７は、 一実施形態による能力報告書を示す。 図示されるように、 能力報告書は、 個々のメンバー（たとえば、 従業員）による評価済み能カスコア、 またはより大きな組織単位（たとえば、 チームまたは部門）へ集約された評価済み能力スコアを反映する。能力報告書は、組織のチーム、部門、またはその他の単位の構造を改善するための洞察を提供する。たとえば、チームによる報告書において、チーム内の全員が「意思決定」能力で低いスコアであることが示された場合、マネージャはその情報を用いてチームを再編成することができる。これらの報告書はまた、マネージャが自身のチームをよりよく理解し、したがってよりよく管理することを可能にする。たとえば、チーム内のメンバーが「コミュニケーション」で低いスコアであった場合、チームマネージャはその情報を用いて、その特定のチームメンバーに適切に焦点を当てたフィードバックを行うことができる。これらの報告書はまた、目標とされたまたは計画されたチームの能力構造と、評価された能力構造との相違を示す。 【００８１】 図８は、 別の実施形態によるパフォーマンスフィードバック報告書を示す。 パフォーマンスフィードバック報告書は、 評価対象となった能力の一覧、 一覧に記載された各能力における評価された習熟度を示すスコア、 およびその能力に関するフィードバックが含まれる場合がある。 いくつかの実施形態において、 パフォーマンスフィードバック報告書は、 1つまたはそれ以上の賞も含む。 パフォーマンスフィードバック報告書は、 実行可能なフィードバックも必要に応じて含み得る。 実行可能なフィードバックに含まれる情報は、 メンバーが能力毎に受け取るスコアまたは賞に依存し、 メンバーが自身のパフォーマンスをどのように改善すべきかについての指針を提供する。」 「【0083】Within the server computer 102, the assessment engine 132 exchanges information the member interface 122, the reporting engine 130, and the data storage 134. In some embodiments, the assessment engine 132 is configured to execute a simulation that assesses one or more competencies of an individual member of an organization. This simulation may be a game. In some embodiments, the assessment engine 132 provides the simulation to a member, such as the member 110, via a simulation user interface provided by the member interface 122. It is to be appreciated that, in some embodiments, a user may access the simulation interface without holding a member account on the competency management system. In these embodiments, where the user conducts a simulation, the results are stored in association with an identifier of the user, and these results may be reviewed managerial personnel. FIG. 2 illustrates the configuration of the assessment engine 132 in greater detail.」 （当審訳） 「【００８３】 サーバーコンピュータ102内では、評価エンジン132がメンバーインターフェース122、レポートエンジン130、およびデータストレージ134と情報を交換する。一部の実施形態では、評価エンジン132は、組織の個々のメンバーの1つまたは複数の能力を評価するシミュレーションを実行するように構成されている。このシミュレーションはゲームであってもよい。一部の実施形態では、評価エンジン132は、メンバーインターフェース122によって提供されるシミュレーションユーザーインターフェースを介して、メンバー110などのメンバーにシミュレーションを提供する。一部の実施形態では、ユーザーは能力管理システムにメンバーアカウントを持たなくてもシミュレーションインターフェースにアクセスできることに留意されたい。これらの実施形態では、ユーザーがシミュレーションを実行すると、結果はユーザーの識別子に関連付けられて保存され、これらの結果は管理担当者によってレビューされる可能性がある。図２は、評価エンジン132の構成をより詳細に示す。」 「【0085】 Conversation scripts instruct the conversation manager 206 to execute a simulated conversation with a member via a simulation user interface. The simulated conversation may include one or more computer-simulated characters (such as co-workers, supervisors, subordinates, customers, and vendors) who interact and converse with the member in a variety of settings using various communication channels (such as email, instant messaging, and simulated verbal interaction). The persona assumed by the computer-simulated characters may be fictitious or actual (e.g., a hypothetical co-worker or an actual co-worker of the member within the organization). FIG. 20 illustrates one example of simulated instant messaging according to one embodiment. In some embodiments, the simulated verbal interaction includes simulated speech communicated by the computer-simulated characters. The conversation manager 206 may render simulated speech as text or as audio output.」 （当審訳） 「【００８５】 会話スクリプトは、 会話マネージャ２０６に対し、シミュレーションユーザインタフェースを介してメンバーとの模擬会話(simulated conversation)を実行するよう命令する。 模擬会話は、種々のコミュニケーションチャネル（電子メール、 インスタントメッセージング、 および模擬音声インタラクションのような）を用いる各種設定において、 メンバーとやり取りして会話する1人またはそれ以上のコンピュータ模擬キャクタ（同僚、 上司、 部下、顧客、 および事業者のような）を含み得る。 コンピュータ模擬キャクタが演じる人物は、 架空のものでも、 実在のものでもよい（たとえば、 架空の同僚や、 組織内のメンバーの実際の同僚など）。 図２０は、 一実施形態による模擬インスタントメッセージングの一例を示す。 いくつかの実施形態において、 模擬音声インタラクションは、 コンピュータ模擬キャクタによって伝達される模擬音声を含む。 会話マネージャ２０６は、 模擬音声をテキストとして、 または音声出力として表現してもよい。」 「【0091】The configuration data 224 includes information that configures components included in the competency management system 100, such as the report engine 130 and the feedback engine 128. There are many examples of configuration data described above with reference to the administrator interface 126, the manager interface 124, and the member interface 122. Some of examples of configuration data include: organizational structures, roles, permissions granted to members or other organizational units; feedback configuration information including information descriptive of the members and competencies for which feedback to information should be collected, the frequency with which assessment of a competency is planned and requested by the feedback engine 128, and whether the feedback engine 128 should start, pause, or stop collection of feedback information; team information including information descriptive of a team, members who constitute a team, the manager of the team, the company to which the team belongs, or the department (or other organizational units) to which the team belongs; member information including information descriptive of a member (e.g., an employee), such as the name, logon credentials, roles associated with the member, and stored assessment information (e.g., progress made through one or more scenarios); competency configuration information may include information descriptive of any a competency within the overall competency model of the organization, the roles with which the competency is associated and the targeted proficiency levels for the competency within each associated role; and report configuration information including information descriptive of any report generated by the reporting engine 130, such as members authorized to run or view a report, scheduled report generation, and report options.」 （当審訳） 「【００９１】 構成データ224には、レポートエンジン130やフィードバックエンジン128など、能力管理システム100に含まれるコンポーネントを構成する情報が含まれています。上記で説明した構成データの例は、管理者インターフェース126、マネージャーインターフェース124、およびメンバーインターフェース122を参照しながら多数あります。構成データの例としては、組織構造、役割、メンバーまたは他の組織単位に付与された権限、フィードバック情報を収集するメンバーと能力の説明情報、フィードバックエンジン128によって能力評価が計画され要求される頻度、フィードバックエンジン128がフィードバック情報の収集を開始、一時停止、または停止するかどうかなどのフィードバック構成情報、チーム、チームを構成するメンバー、チームのマネージャー、チームが所属する会社、またはチームが所属する部門（またはその他の組織単位）の説明情報などのチーム情報などがあります。メンバー情報には、メンバー（従業員など）の説明情報（名前、ログオン資格情報、メンバーに関連付けられた役割、保存された評価情報（1 つ以上のシナリオで達成された進捗状況など））が含まれます。能力構成情報には、組織の全体的な能力モデル内の任意の能力の説明情報、その能力に関連付けられている役割、および各関連役割内の能力の目標習熟度レベルが含まれる場合があります。レポート構成情報には、レポートエンジン 130 によって生成される任意のレポートの説明情報（レポートの実行または表示を許可されたメンバー、スケジュールされたレポート生成、レポートオプションなど）が含まれます。」 「【0098】 In some embodiments, individual conversation scripts may be associated with, and designed to evaluate, one or more competencies. In addition, conversation scripts have a type attribute that specifies the communication channel (e.g., direct, email, instant message) and may be associated with one or more characters. In some embodiments, items are portions of a conversation. Attributes of an item include text (for direct and instant message conversation scripts), an email subject, an email body, a plurality of potential responses that each correspond to a response competency score, etc. In one embodiment, the response competency scores are expressed as “high,” “medium,” and “low.” In other embodiments, the response competency scores are expressed using numeric values. One example of a simulation process performed by the flow manager 200 is described further below with reference to FIG. 10.」 （当審訳） 「【００９８】 いくつかの実施形態において、 個々の会話スクリプトは、 1つまたはそれ以上の能力に関連付けられ、 かつこれらを評価するように設計され得る。 なお、 会話スクリプトは、コミュニケーションチャネル（たとえば、直接、電子メール、インスタントメッセージ）を指定するタイプ属性を有し、 かつ1つまたはそれ以上のキャラクタに関連付けられ得る。 いくつかの実施形態において、 項目は会話の一部分である。 項目の属性は、 テキスト（ダイレクトメッセージやインスタントメッセージの会話スクリプト用）、 メールの件名、 メールの本文、 それぞれが応答能カスコアに対応する複数の回答候補などを含む。 一実施形態において、 応答能カスコアは、 「high（高い）」 、 「medium（中間）」 、 および「low（低い）」として表される。 他の実施形態において、 応答能カスコアは数値を用いて表される。 フローマネージャ２００によって実行されるシミュレーションプロセスの一例については、 以下で図１０を参照してさらに説明する。」 「【0112】As illustrated in FIG. 3, the computer system 302 includes a processor 310, a memory 312, an interconnection element 314, an interface 316 and data storage element 318. To implement at least some of the aspects, functions and processes disclosed herein, the processor 310 performs a series of instructions that result in manipulated data. The processor 310 may be any type of processor, multiprocessor or controller. Some exemplary processors include to commercially available processors such as an Intel Xeon, Itanium, Core, Celeron, or Pentium processor, an AMD Opteron processor, an Apple A5, a Sun UltraSPARC or IBM Power5+ processor and an IBM mainframe chip. The processor 310 is connected to other system components, including one or more memory devices 312, by the interconnection element 314. 【0113】 The memory 312 stores programs and data during operation of the computer system 302. Thus, the memory 312 may be a relatively high performance, volatile, random access memory such as a dynamic random access memory (“DRAM”) or static memory (“SRAM”). However, the memory 312 may include any device for storing data, such as a disk drive or other non-volatile storage device. Various examples may organize the memory 312 into particularized and, in some cases, unique structures to perform the functions disclosed herein. These data structures may be sized and organized to store values for particular data and types of data.」 （当審訳） 「【０１１２】 図３に示すように、コンピュータシステム302は、プロセッサ310、メモリ312、相互接続要素314、インターフェース316、およびデータ記憶要素318を備える。本明細書に開示される態様、機能、およびプロセスの少なくとも一部を実現するために、プロセッサ310は、操作されたデータをもたらす一連の命令を実行する。プロセッサ310は、任意の種類のプロセッサ、マルチプロセッサ、またはコントローラであってもよい。例として、市販のプロセッサ（Intel Xeon、Itanium、Core、Celeron、Pentiumプロセッサ、AMD Opteronプロセッサ、Apple A5、Sun UltraSPARCまたはIBM Power5+プロセッサ、およびIBMメインフレームチップなど）が挙げられる。プロセッサ310は、相互接続要素314によって、1つまたは複数のメモリデバイス312を含む他のシステムコンポーネントに接続される。 【０１１３】 メモリ312は、コンピュータシステム302の動作中にプログラムとデータを格納する。したがって、メモリ312は、ダイナミックランダムアクセスメモリ（DRAM）やスタティックメモリ（SRAM）などの、比較的高性能な揮発性ランダムアクセスメモリであってもよい。ただし、メモリ312は、ディスクドライブやその他の不揮発性記憶装置など、データを格納するためのあらゆるデバイスであってもよい。様々な例において、メモリ312は、本明細書に開示される機能を実行するために、特定の、場合によっては独自の構造に構成され得る。これらのデータ構造は、特定のデータおよびデータタイプの値を格納するようにサイズおよび構成されていてもよい。」 「【0132】 In the act 1022, the flow manager calls the conversation manager and passes the next to element of scenario data to the conversation manager. The conversation manager, in turn, parses the next element of scenario data and exchanges information with the member interface to iteratively execute a conversation script, which prescribes one or more interactions. One example of a conversation script execution process performed by the conversation manager is illustrated below with reference to FIG. 11. Prior to executing the conversation script, the conversation manager may retrieve the conversation script from the scenario data 220 described above with reference to FIG. 2.」 （当審訳） 「【０１３２】 アクション1022では、フローマネージャが会話マネージャを呼び出し、シナリオデータの次の要素を会話マネージャに渡します。会話マネージャは、シナリオデータの次の要素を解析し、メンバインターフェースと情報を交換して、1つ以上のインタラクションを規定する会話スクリプトを繰り返し実行します。会話マネージャによって実行される会話スクリプト実行プロセスの一例を、図１１を参照して以下に示します。会話スクリプトを実行する前に、会話マネージャは、図２を参照して上述したシナリオデータ220から会話スクリプトを取得する場合があります。」 「【0139】In act 1102, a conversation manager, such as the conversation manager 206 described above with reference to FIG. 2, reads a next script item from a conversation script, such as one of the conversation scripts stored in the scenario data 210 described above with reference to FIG. 2. In act 1104, the conversation manager requests the next script item be served by a member interface, such as the member interface 122 described above with reference to FIG. 1 for rendering within a simulation user interface, such as the simulation user interface described above. In response to this request, the member interface transmits information descriptive of the next script item to the simulation user interface. Next, the simulation user interface displays the next script item within a playground, such as the playground described above. 【0140】In act 1106, the conversation manager receives a response from the simulation user interface via the member interface. The response may contain information descriptive of a selection made by a member conducting the simulation. In act 1108, the conversation manager stores the option indicated in the response, competency information reflecting the response received, and session information reflecting that the member has answered the next script item. The conversation manager may store the competency information within the competency data 216 and the session (and path) information in the session data 218, both of which are described above with reference to FIG. 2.」 （当審訳） 「【０１３９】 動作1102では、図２を参照して上述した会話マネージャ206などの会話マネージャが、図２を参照して上述したシナリオデータ210に格納されている会話スクリプトの1つなどの会話スクリプトから、次のスクリプト項目を読み取ります。動作1104では、会話マネージャは、図１を参照して上述したメンバーインターフェース122などのメンバーインターフェースに対し、上述したシミュレーションユーザインターフェース内でレンダリングするために、次のスクリプト項目を提供するよう要求します。この要求に応じて、メンバーインターフェースは、次のスクリプト項目を記述する情報をシミュレーションユーザインターフェースに送信します。次に、シミュレーションユーザインターフェースは、上述したプレイグラウンドなどのプレイグラウンド内に、次のスクリプト項目を表示します。 【０１４０】 アクション1106では、会話マネージャは、メンバーインターフェースを介してシミュレーションユーザーインターフェースから応答を受け取ります。この応答には、シミュレーションを実行しているメンバーが行った選択を説明する情報が含まれる場合があります。アクション1108では、会話マネージャは、応答で示されたオプション、受信した応答を反映した能力情報、およびメンバーが次のスクリプト項目に回答したことを示すセッション情報を格納します。会話マネージャは、能力情報を能力データ216に、セッション（およびパス）情報をセッションデータ218に格納することができます。これら2つは、図２を参照して上記で説明されています。」 「図１ ［図：0001437441000007.jpg］ 」 「図２ ［図：0001437441000008.jpg］ 」 「図３ ［図：0001437441000009.jpg］ 」 「図７ ［図：0001437441000010.jpg］ 」 「図８ ［図：0001437441000011.jpg］ 」 「図１０ ［図：0001437441000012.jpg］ 」 「図１１ ［図：0001437441000013.jpg］ 」 （７）甲７の記載 甲７には、以下の記載がある。 「【００５２】 ステップＳ１０４でＹｅｓの場合、結果表示部１５は、表示すべき画面の種類が評価結果画面かサマリー画面かを判断し、前者の場合はステップＳ１０６へ進み、後者の場合はステップＳ１０８へ進む（ステップＳ１０５）。前者の場合、フィルタ部１４は、スコア記憶部１３に記憶されたスコア９の中から与えられた条件を満たす基板に関するスコア９を選択する（ステップＳ１０６）。次に、結果表示部１５は、ステップＳ１０６で選択されたスコア９に基づき、評価結果画面を表示する（ステップＳ１０７）。 【００５３】 ステップＳ１０５でサマリー画面の場合、データ処理装置１０は、他のデータ処理装置から、他のデータ処理装置が求めたスコアを受信する（ステップＳ１０８）。次に、結果表示部１５は、スコア計算部１２で求めたスコア９と、ステップＳ１０８で受信したスコアとに基づき、サマリー画面を表示する（ステップＳ１０９）。ステップＳ１０７またはＳ１０９を実行した後、データ処理装置１０の制御はステップＳ１０１へ進む。 【００５４】 図５に示すフローチャートにおいて、スコア計算部１２が行うステップＳ１０２は、評価値計算ステップに該当する。フィルタ部１４が行うステップＳ１０６は、評価値選択ステップに該当する。結果表示部１５が行うステップＳ１０７およびＳ１０９は、結果表示ステップに該当する。」 「【００５６】 図６は、結果表示部１５が表示する評価結果画面を示す図である。図6に示す評価結果画面５０は、複数の処理ユニット２５に対応して、複数の表示領域５１を有する。複数の表示領域５１は、評価結果画面５０内に２次元状に配置される。各表示領域５１の内部には、スコアエラー件数５２などが表示される。評価結果画面５０の左側部分には、基板処理装置２０の外観図６１や識別子などが表示される。スコアエラーが発生した基板が検出されたときには、外観図６１と重なるように顔マーク６２が表示される。評価結果画面５０の上側部分にはアイコン６３～６５が表示され、評価結果画面５０にはマウスカーソル６９も表示される。なお、図６に示す評価結果画面５０は、スコアエラー件数が多いときの説明用の画面である。実際のスコアエラー件数は、図６に示す値よりも少ない。」 「【００６４】 次に、スコアエラーの増減傾向を表示する機能について説明する。表示領域５１内に表示される矢印５４は、スコアエラーの増減傾向を示す。データ処理装置１０では、スコア評価期間の直前にスコア評価期間と同じ長さの期間（以下、以前のスコア評価期間という）が設定される（図8を参照）。フィルタ部１４は、スコア記憶部１３に記憶されたスコア９の中から、スコア評価期間内に処理が完了した基板に関するスコアと、以前のスコア評価期間内に処理が完了した基板に関するスコアとを選択する。結果表示部１５は、処理ユニット２５ごとに、スコア評価期間内に処理が完了し、かつ、スコアエラーが発生した基板の枚数と、以前のスコア評価期間内に処理が完了し、かつ、スコアエラーが発生した基板の枚数とを求める。結果表示部１５は、処理ユニット２５ごとに、２種類の枚数を比較し、スコアエラーの増減傾向が「急激に増加」「増加」「増減なし」「減少」および「急激に減少」のうちのいずれであるかを判断する。この判断のための閾値は、利用者によって予め任意に設定される。」 「【００６６】 図９は、矢印５４の種類を示す図である。スコアエラーの増減傾向が「急激に増加」のときには、図９（ａ）に示す上向きの矢印５４ａが、例えば赤色で表示される。スコアエラーの増減傾向が「増加」のときには、図９（ｂ）に示す斜め上向きの矢印５４ｂが、例えば橙色で表示される。スコアエラーの増減傾向が「増減なし」のときには、図９（ｃ）に示す右向きの矢印５４ｃが、例えば灰色で表示される。スコアエラーの増減傾向が「減少」のときには、図９（ｄ）に示す斜め下向きの矢印５４ｄが、例えば薄緑色で表示される。スコアエラーの増減傾向が「急激に減少」のときには、図９（ｅ）に示す下向きの矢印５４ｅが、例えば緑色で表示される。 【００６７】 次に、スコアエラーのプッシュ通知機能について説明する。顔マーク６２は、スコアエラーが発生した基板が検出されるまでは表示されない。顔マーク６２は、スコアエラーが発生した基板が検出されたときに、利用者が何の操作を行わなくても自動的に表示される。利用者がマウス３９を操作してスコアエラー確認指示を入力すると、顔マーク６２は評価結果画面５０から消える。顔マーク６２の表情は、利用者による確認後に処理が完了した、スコアが異常である基板の枚数（以下、確認後のスコアエラー件数という）に応じて変化する。 【００６８】 図１０は、顔マーク６２の種類を示す図である。確認後のスコアエラー件数が１件以上４件以下のときには、図１０（ａ）に示す顔マーク６２ａが表示される。顔マーク６２ａは、左目に１粒の涙を浮かべた表情を有し、例えば黄色で表示される。確認後のスコアエラー件数が５件以上９件以下のときには、図１０（ｂ）に示す顔マーク６２ｂが表示される。顔マーク６２ｂは、両目に涙を１粒ずつ浮かべた表情を有し、例えば橙色で表示される。確認後のスコアエラー件数が１０件以上のときには、図１０（ｃ）に示す顔マーク６２ｃが表示される。顔マーク６２ｃは、両目に涙を３粒ずつ浮かべた表示を有し、例えば赤色で表示される。顔マーク６２の種類を切り替えるための閾値は、利用者によって予め任意に設定される。」 「図５ ［図：0001437441000014.jpg］ 」 「図６ ［図：0001437441000015.jpg］ 」 「図９ ［図：0001437441000016.jpg］ 」 「図１０ ［図：0001437441000017.jpg］ 」 （８）甲８の記載 甲８には、以下の記載がある。 「【００２２】 図２に示すように、データ処理装置１２では、プロセッサ２８によって特定処理が行われる。ストレージ３２には、特定処理プログラム５６が格納されている。特定処理プログラム５６は、本開示の技術に係る「プログラム」の一例である。プロセッサ２８は、ストレージ３２から特定処理プログラム５６を読み出し、読み出した特定処理プログラム５６をＲＡＭ３０上で実行する。特定処理は、プロセッサ２８がＲＡＭ３０上で実行する特定処理プログラム５６に従って特定処理部２９０として動作することによって実現される。 【００２３】 ストレージ３２には、データ生成モデル５８及び感情特定モデル５９が格納されている。データ生成モデル５８及び感情特定モデル５９は、特定処理部２９０によって用いられる。」 「【００２５】 なお、データ処理装置１２以外の他の装置がデータ生成モデル５８を有してもよい。例えば、サーバ装置（例えば、ＣｈａｔＧＰＴサーバ）がデータ生成モデル５８を有してもよい。この場合、データ処理装置１２は、データ生成モデル５８を有するサーバ装置と通信を行うことで、データ生成モデル５８が用いられた処理結果（予測結果など）を得る。また、データ処理装置１２は、サーバ装置であってもよいし、ユーザが保有する端末装置（例えば、携帯電話、ロボット、家電）であってもよい。次に、データ処理装置１２の特定処理部２９０による特定処理について説明する。 【００２６】 （形態例１） 本発明を実施するための形態は、従業員の評価を客観的な基準に基づいて行うために、評価基準を定める手段と、従業員の業績や能力を評価するためのデータ収集手段とを具備する。例えば、評価基準は、業務達成度、目標達成度、スキルレベルなどの客観的な指標に基づいて設定される。また、データ収集手段は、業績データの収集や360度評価の実施などを含む。 （形態例２） 本発明を実施するための形態は、上位管理層や上位経営層に対しても同じ評価基準を適用するために、評価プロセスの透明性を確保する手段と、評価結果の共有手段とを具備する。例えば、評価プロセスの透明性を確保するためには、評価基準や評価方法を明確に定め、評価結果の共有手段としては、評価結果の報告書や定期的な評価面談などが挙げられる。 （形態例３） 本発明を実施するための形態は、従業員の評価結果をフィードバックする手段と、評価結果を基にしたキャリア開発プランを作成する手段とを具備する。例えば、フィードバック手段としては、評価結果の報告書や面談によるフィードバックが行われ、キャリア開発プランの作成手段としては、評価結果を基にしたスキルトレーニングやキャリアパスの提案が行われる。」 「【００２８】 （形態例１） ステップ１：評価基準の定め - 業務達成度、目標達成度、スキルレベルなどの客観的な指標に基づいて、評価基準を定める。 ステップ２：データ収集 - 従業員の業績や能力を評価するために、業績データの収集や360度評価の実施などの手段を用いてデータを収集する。 ステップ３：評価の実施 - 収集したデータを基に、評価を実施する。評価は、定められた評価基準に従って行われ、個人の主観や偏見の影響を排除する。 （形態例２） ステップ１：評価プロセスの透明性の確保 - 評価基準や評価方法を明確に定めることで、評価プロセスの透明性を確保する。 ステップ２：評価結果の共有 - 評価結果を上位管理層や上位経営層と共有するために、評価結果の報告書や定期的な評価面談などの手段を用いて共有する。 （形態例３） ステップ１：評価結果のフィードバック - 評価結果を従業員にフィードバックするために、評価結果の報告書や面談によるフィードバックを行う。 ステップ２：キャリア開発プランの作成 - 評価結果を基に、従業員のキャリア開発を支援するために、スキルトレーニングやキャリアパスの提案などを含むキャリア開発プランを作成する。」 「図２ ［図：0001437441000018.jpg］ 」 ２ 甲１に記載されている発明 上記１（１）によれば、甲１には次の発明（以下「甲１発明」という。）が記載されている。 「業界、職種、地域を横断する1500万件の回答を含む350万件以上の独自のインタビューという膨大なデータセットに基づいて綿密に調整された、独自の大型言語モデル（LLM）を基盤とし、 企業が様々な職種に求めるスキルや特性のほとんどを検出・評価する能力を備え、 前記大型言語モデル（LLM）を活用し、ブラインドチャットインタビューを用いて候補者を大規模に評価し、 世界中の組織が従業員を選抜、管理、最適化する方法を変革する、 生成型ＡＩモデル。」 ３ 甲４に記載されている発明 上記１（４）によれば、甲４には次の発明（以下「甲４発明」という。）が記載されている。 「会話中に非常に多様で複雑なユーザーの自然言語入力を解釈する会話用のNLPエンジンと、 ユーザーからの会話スクリプトを入力として受け取り、そのスクリプトに対して自然言語処理（NLP）を実行してテキストの特徴を抽出する性格推論エンジンと、 データ駆動型機械学習モデルや記号AIモデルなど、複数の機械学習モデルと、を備え、 AI企業が開発を支援した機械学習アルゴリズムが、参加者の仮想会話スクリプトから抽出されたテキスト特徴に基づいて、30の性格特性スコアを推定するために使用され、 オンライン会話/インタビュー中に収集されたユーザーの自由記述回答からさまざまなテキスト特徴を抽出し、機械学習アルゴリズムを使用して性格スコアを推論する、 人工知能（AI）チャットボットシステム。」 第５ 当審の判断 １ 理由１（新規性）について （１） 本件発明１について ア 本件発明１と甲１発明との対比 （ア）「プロセッサと、メモリとを備えるコンピュータを動作させるためのプログラムであって、前記プログラムは、前記プロセッサに、」について 甲１発明は、大型言語モデル（LLM）を活用し、ブラインドチャットインタビューを用いて候補者を大規模に評価するものであり、大型言語モデル（LLM）の活用には、プロセッサと、メモリとを備えるコンピュータを用いることは明らかであるから、本件発明１と甲１発明とは、プロセッサと、メモリとを備えるコンピュータを動作させる点で共通するものの、甲１発明が生成型ＡＩモデルの発明であり、プログラムである旨特定されていない点で一応相違している。 （イ）「組織の構成員と会話する指示文を含む第１プロンプトを生成ＡＩに入力するステップと、 前記構成員による発言を前記生成ＡＩに入力し、前記生成ＡＩに、前記発言に対する応答を出力させるステップと、前記構成員に前記応答を提示するステップと、」について 甲１発明は、ブラインドチャットインタビューを用いて候補者を大規模に評価するとともに、世界中の組織が従業員を選抜、管理、最適化する方法を変革するものであるから、候補者として組織の従業員である構成員をブラインドチャットインタビューを用いて大規模に評価し得るものであり、本件発明１と甲１発明とは、組織の構成員による発言を入力し、前記発言に対する応答を出力し、前記構成員に前記応答を提示する点で共通するものの、甲１発明にはブラインドチャットインタビューに生成ＡＩを用いる旨特定されていない点で相違している。 （ウ）「前記発言、及び前記応答を含む会話内容を記憶するステップと、」について 甲１発明は、ブラインドチャットインタビューを用いて候補者を大規模に評価するものであるが、ブラインドチャットインタビューにおける会話内容を記憶する旨特定されていない点で本件発明１と相違している。 （エ）「前記会話内容と、前記構成員の前記組織において重視されるマインドセットに係るコアスキルおよび当該コアスキルの巧拙度を表すパラメータ値を前記会話内容に基づいて出力する指示文と、を含む第２プロンプトを前記生成ＡＩに入力し、前記生成ＡＩに、前記構成員の前記コアスキルおよび当該コアスキルの前記パラメータ値とを前記会話内容に基づいて出力させるステップと、」について 甲１発明は、大型言語モデル（LLM）を活用し、ブラインドチャットインタビューを用いて候補者に対して、企業が様々な職種に求めるスキルや特性について評価するものであり、ここでブラインドチャットインタビューは候補者との会話が行われるものであり、またスキルや特性の評価とは、そのスキルや特性の優劣の値を定めることであると認められる。 してみれば、本件発明１と甲１発明とは、評価の対象者のコアスキルの巧拙度を表すパラメータ値を、会話内容に基づいて出力する点で共通しているものの、「前記会話内容と、前記構成員の前記組織において重視されるマインドセットに係るコアスキルおよび当該コアスキルの巧拙度を表すパラメータ値を前記会話内容に基づいて出力する指示文と、を含む第２プロンプトを前記生成ＡＩに入力し、前記生成ＡＩに、前記構成員の前記コアスキルおよび当該コアスキルの前記パラメータ値とを前記会話内容に基づいて出力させる」との事項について、甲１発明にはかかる事項が特定されていない点で相違している。 （オ）「前記出力された前記コアスキルと当該コアスキルの前記パラメータ値を提示するステップと、」について 上記（エ）のとおり、本件発明１と甲１発明とは、評価の対象者のコアスキルの巧拙度を表すパラメータ値を、会話内容に基づいて出力する点で共通しているものの、甲１発明では、評価の対象者のコアスキルと当該コアスキルのパラメータ値を提示する旨特定されていない点で相違している。 （カ）「を実行させるプログラム。」について 上記アのとおり、甲１発明が生成型ＡＩモデルの発明であり、プログラムである旨特定されていない点で一応相違している。 イ 一致点及び相違点 上記「ア 本件発明１と甲１発明との対比」で対比した事項を踏まえると、本件発明１と甲１発明とは、 「プロセッサと、メモリとを備えるコンピュータを動作させ、前記プロセッサに、 評価の対象者による発言を入力し、発言に対する応答を出力し、対象者に提示するステップと、 評価の対象者のコアスキルの巧拙度を表すパラメータ値を、会話内容に基づいて出力するステップと、 を実行させる。」という点で一致し、以下の点で相違している。 ［相違点１］ 本件発明１は、「プロセッサと、メモリとを備えるコンピュータを動作させるためのプログラム」の発明であるのに対して、甲１発明は、「プロセッサと、メモリとを備えるコンピュータを動作させる生成型ＡＩモデル」である点。 ［相違点２］ 本件発明１は、組織の構成員との会話に生成ＡＩを用い、「組織の構成員と会話する指示文を含む第１プロンプトを生成ＡＩに入力するステップと、 前記構成員による発言を前記生成ＡＩに入力し、前記生成ＡＩに、前記発言に対する応答を出力させるステップと、前記構成員に前記応答を提示するステップ」を有しているのに対して、甲１発明は、ブラインドチャットインタビューに生成ＡＩを用いる旨特定されていない点。 ［相違点３］ 本件発明１は、組織の構成員の発言、及び前記発言に対する生成ＡＩの応答を含む会話内容を記憶するステップを有しているのに対して、甲１発明は、ブラインドチャットインタビューにおける会話内容を記憶する旨特定されていない点。 ［相違点４］ 本件発明１は、組織の構成員のコアスキルの巧拙度を表すパラメータ値を、会話内容に基づいて出力する際に、「前記会話内容と、前記構成員の前記組織において重視されるマインドセットに係るコアスキルおよび当該コアスキルの巧拙度を表すパラメータ値を前記会話内容に基づいて出力する指示文と、を含む第２プロンプトを前記生成ＡＩに入力し、前記生成ＡＩに、前記構成員の前記コアスキルおよび当該コアスキルの前記パラメータ値とを前記会話内容に基づいて出力させる」のに対して、甲１発明は、評価の対象者のコアスキルの巧拙度を表すパラメータ値を、会話内容に基づいて出力するものの、「前記会話内容と、前記構成員の前記組織において重視されるマインドセットに係るコアスキルおよび当該コアスキルの巧拙度を表すパラメータ値を前記会話内容に基づいて出力する指示文と、を含む第２プロンプトを前記生成ＡＩに入力し、前記生成ＡＩに、前記構成員の前記コアスキルおよび当該コアスキルの前記パラメータ値とを前記会話内容に基づいて出力させる」との事項が特定されていない点。 ［相違点５］ 本件発明１は、出力されたコアスキルと当該コアスキルのパラメータ値を提示するのに対して、甲１発明は、評価の提示について特定されていない点 ウ 相違点についての判断 （ア）相違点１について 「生成型ＡＩモデル」とは、大量の学習データからパターンや関係性を分析・学習し、テキスト、画像、音声、動画３Ｄモデルなどの新しいコンテンツを自律的に生む出すＡＩプログラムであり、生成型ＡＩモデルはプログラムの一種であるといえることから、当該事項については、甲１発明との実質的な相違点ではない。 （イ）相違点２について 本件発明１は、「組織の構成員と会話する指示文を含む第１プロンプトを生成ＡＩに入力するステップと、 前記構成員による発言を前記生成ＡＩに入力し、前記生成ＡＩに、前記発言に対する応答を出力させるステップと、前記構成員に前記応答を提示するステップ」を有し、組織の構成員との会話に生成ＡＩを用いているものである。 一方、甲１発明は、大型言語モデル（LLM）を活用し、ブラインドチャットインタビューを用いて候補者を大規模に評価するものの、ブラインドチャットインタビューに生成ＡＩを用いるとの事項は特定されておらず、甲１に記載の事項から自明ともいえない。 してみると、相違点２に係る事項は、実質的な相違点であるから、本件発明１は甲１に記載された発明であるとはいえない。 （ウ）相違点３について 本件発明１は、「前記発言、及び前記応答を含む会話内容を記憶するステップ」を有し、組織の構成員の発言、及び前記発言に対する生成ＡＩの応答を含む会話内容を記憶するものである。 一方、甲１発明は、ブラインドチャットインタビューにおける会話内容を記憶する点について特定されておらず、甲１に記載の事項から自明ともいえない。 してみると、相違点３に係る事項は、実質的な相違点であるから、本件発明１は甲１に記載された発明であるとはいえない。 （エ）相違点４について 本件発明１は、「前記会話内容と、前記構成員の前記組織において重視されるマインドセットに係るコアスキルおよび当該コアスキルの巧拙度を表すパラメータ値を前記会話内容に基づいて出力する指示文と、を含む第２プロンプトを前記生成ＡＩに入力し、前記生成ＡＩに、前記構成員の前記コアスキルおよび当該コアスキルの前記パラメータ値とを前記会話内容に基づいて出力させるステップ」を有しているものである。 一方、甲１発明は、評価の対象者のコアスキルの巧拙度を表すパラメータ値を、会話内容に基づいて出力するものの、「前記会話内容と、前記構成員の前記組織において重視されるマインドセットに係るコアスキルおよび当該コアスキルの巧拙度を表すパラメータ値を前記会話内容に基づいて出力する指示文と、を含む第２プロンプトを前記生成ＡＩに入力し、前記生成ＡＩに、前記構成員の前記コアスキルおよび当該コアスキルの前記パラメータ値とを前記会話内容に基づいて出力させる」との事項は特定されておらず、甲１に記載の事項から自明ともいえない。 してみると、相違点４に係る事項は、実質的な相違点であるから、本件発明１は甲１に記載された発明であるとはいえない。 （オ）相違点５について 本件発明１は、「「前記出力された前記コアスキルと当該コアスキルの前記パラメータ値を提示するステップ」を有し、生成ＡＩから出力されたコアスキルと当該コアスキルのパラメータ値を提示するものである。 一方、甲１発明は、評価の提示について明示的な特定はないものの、「包括的なスコアリングに加え、職務に関連する一連の能力評価を提供し、評価結果の明確な説明も行います。」と、評価結果の説明が行われることが記載されていることから、評価結果が提示されることは、甲１に記載の事項から自明といえ、当該事項については、甲１発明との実質的な相違点ではない。 （カ）異議申立人の主張について 異議申立人は、特許異議申立書の「イ 引用発明の説明」の「（ア）」（特許異議申立書第２３～２８頁）において、甲１には本件発明１の構成が開示されている旨主張しているが、上記（イ）～（エ）で検討したとおり、本件発明１は甲１に記載された発明であるとはいえないから、異議申立人の主張に理由はない。 したがって、異議申立人の上記主張は採用できない。 エ 小括 以上のとおりであるから、本件発明１と甲１発明との間には、実質的な相違点２～４が存在するので、本件発明１は、甲１に記載された発明ではあるとはいえない。 （２） 本件発明２、７～９について 本件発明２、７～９は、本件発明１を直接的又は間接的に引用するものであるから、上記「（１）本件発明１について」で検討したとおり、甲１に記載された発明であるとはいえない。 ２ 理由２（進歩性）について（甲１を主引例とする場合） （１） 本件発明１について ア 本件発明１と甲１発明との対比 本件発明１と甲１発明を対比すると、上記「１（１）イ」で示した上記一致点、相違点を有するものである。 イ 判断 上記「１（１）ウ」で検討したように、相違点１及び５は実質的な相違点ではないので、相違点２～４について以下検討する。 （ア）相違点２について ＡＩチャットボットとして知られているように、生成ＡＩに、ユーザとの会話を行わせることは、一般的に行われており、また、生成ＡＩに所定の処理を指示する際に、処理の内容を指示するプロンプトを入力することは技術常識であるから、甲１発明において、ブラインドチャットインタビューの実行に生成ＡＩを用い、当該生成ＡＩに、組織の構成員と会話する指示文を入力して、構成員による発言を前記生成ＡＩに入力し、前記生成ＡＩに、前記発言に対する応答を出力させ、前記構成員に前記応答を提示するように構成することに困難性はない。 （イ）相違点３について 甲１発明において、ブラインドチャットインタビューにおける会話内容を記憶する点について特定されていないものの、甲１発明は、ブラインドチャットインタビューを用いて組織の従業員を大規模に評価するものであり、組織の従業員の評価に、ブラインドチャットインタビューにおける会話内容が利用されることは明らかであるから、組織の従業員の評価の処理に利用するため、当該会話内容を記憶しておくように構成することに困難性はない。 （ウ）相違点４について 甲１発明は、大型言語モデル（LLM）を活用し、ブラインドチャットインタビューを用いて組織の従業員に対して、企業が様々な職種に求めるスキルや特性を評価するものであり、大型言語モデル（LLM）の活用としてを活用して、プロンプトに基づき回答を行う生成ＡＩを用いることに困難性はなく、その際、生成ＡＩに入力するプロンプトとして、ブラインドチャットインタビューの会話内容と、企業が様々な職種に求めるスキルや特性を評価する指示文とを含めることは、当業者であれば容易に想到し得たものである。 しかしながら、甲１には、ブラインドチャットインタビューを用いて、企業が様々な職種に求めるスキルや特性そのものを出力させることについては記載されておらず、本件発明１のように、「前記構成員の前記組織において重視されるマインドセットに係るコアスキル」及び「当該コアスキルの巧拙度を表すパラメータ値」の二つの情報を会話内容に基づいて出力する指示文を含むプロンプトを生成ＡＩに入力することは、当業者にとって容易に想到し得たものとは認められない。 そして、「前記会話内容と、前記構成員の前記組織において重視されるマインドセットに係るコアスキルおよび当該コアスキルの巧拙度を表すパラメータ値を前記会話内容に基づいて出力する指示文と、を含む第２プロンプトを前記生成ＡＩに入力し、前記生成ＡＩに、前記構成員の前記コアスキルおよび当該コアスキルの前記パラメータ値とを前記会話内容に基づいて出力させる」ことは、甲２～甲８にも記載されておらず、当該技術分野における周知技術であるともいえない。 したがって、本件発明１は、甲１発明及び甲２～８に記載された事項に基づいて当業者が容易に発明をすることができたものではない。 （エ）異議申立人の主張について 異議申立人は、特許異議申立書の「ウ 本件発明と引用発明との対比」の「（ア）ａ」（特許異議申立書第１５０頁）において、「甲１発明－甲３発明のコンピュータがChat InterviewおよびSAIGETMを呼び出して処理を実行するプログラムは、本件発明１の構成要件１Ａ－構成要件１Ｈに相当し、何ら相違点が見当たらない。仮に相違点があるとしても、単なる設計事項に過ぎない。以上により、本件発明１は甲１発明－甲３発明に対して新規性または進歩性を有していない。」と主張しているが、上記（ウ）で検討したとおりであるから、異議申立人の主張に理由はない。 したがって、異議申立人の上記主張は採用できない。 ウ 小括 以上のとおりであるから、本件発明１は、甲１発明及び甲２～８に記載された事項に基づいて当業者が容易に発明をすることができたものではない。 （２）本件発明２～９について 本件発明２～９は、本件特許発明１を直接的又は間接的に引用するものであるから、上記「（１）本件発明１について」で検討したとおり、甲１発明及び甲２～８に記載された事項に基づいて当業者が容易に発明をすることができたものではない。 ３ 理由２（進歩性）について（甲４を主引例とする場合） （１）本件発明１について 上記「２（１）ウ」で検討したように、本件発明１が備える「前記会話内容と、前記構成員の前記組織において重視されるマインドセットに係るコアスキルおよび当該コアスキルの巧拙度を表すパラメータ値を前記会話内容に基づいて出力する指示文と、を含む第２プロンプトを前記生成ＡＩに入力し、前記生成ＡＩに、前記構成員の前記コアスキルおよび当該コアスキルの前記パラメータ値とを前記会話内容に基づいて出力させる」との事項については、甲１～８のいずれにも記載されておらず、当該技術分野における周知技術であるともいえない。 してみると、甲４を主引例として他の甲号証を組み合わせても、本件発明１が備える上記構成には至らないのであるから、本件発明１は、甲４発明及び甲１～３、５～８に記載された事項に基づいて当業者が容易に発明をすることができたものではない。 （２）本件発明２～９について 本件発明２～９は、本件発明１を直接的又は間接的に引用するものであるから、上記「（１）本件発明１について」で検討したとおり、甲４発明及び甲１～３、５～８に記載された事項に基づいて当業者が容易に発明をすることができたものではない。 （３）異議申立人の主張について 異議申立人は、特許異議申立書の「ウ 本件発明と引用発明との対比」の「（イ）ａ」（特許異議申立書第１５５頁）において、「以上により、本件発明１は、甲４発明および甲５発明に対して、または、甲４発明および甲６発明に対して、進歩性を有していない。」と主張しているが、上記（１）で検討したとおりであるから、異議申立人の主張に理由はない。 したがって、異議申立人の上記主張は採用できない。 第６ むすび したがって、特許異議の申立ての理由及び証拠によっては、本件特許の請求項１～９に係る特許を取り消すことはできない。 また、他に本件特許の請求項１～９に係る特許を取り消すべき理由を発見しない。 よって、結論のとおり決定する。