2021-002661

本願は、平成３０年１２月２０日の出願であって、令和２年６月１５日付けで拒絶理由が通知され、同年７月２９日に意見書が提出されるとともに手続補正がなされたが、同年１１月２６日付けで拒絶査定がなされ、これに対し、令和３年３月１日に拒絶査定不服審判の請求がなされると同時に手続補正がなされたものである。

その後、当審において、令和３年１１月２２日付けで拒絶理由（以下「当審拒絶理由」という。）を通知し、これに対し、令和４年１月２０日に意見書及び手続補正書が提出された。

明細書には、以下のとおりの記載がある。下線は、当審が付した。

「【００２５】

続いて、情報処理装置１００は、サンプルとなる広告を抽出する（ステップＳ１９）。具体的には、情報処理装置１００は、第１モデル及び第２モデルを用いた審査の精度を示す指標値を算出する際、指標値に期待する信頼度を担保するうえで必要なサンプル数を満たすように所定の期間中に広告を抽出する。ここで、本実施形態において、情報処理装置１００は、所定の期間を複数の期間（以下、「分割期間」と記載する場合がある）に分割し、分割期間ごとに抽出される広告の総数が必要なサンプル数を満たすように、分割期間ごとに抽出する広告のサンプル数を決定する。例えば、図１の例において、必要なサンプル数が「１０００」であり、所定の期間が「１０日」であるものとする。この場合、情報処理装置１００は、分割期間を「１日」とし、１日ごとに抽出するサンプル数を「１００」と決定する。

【００２６】

なお、図１の例において、情報処理装置１００は、第１モデルまたは第２モデルを用いた審査おいて、「適切」と分類（判定）された広告（第１モデルを用いた審査に関する情報または第２モデルを用いた審査に関する情報と対応付けられた広告）に関する情報を広告情報記憶部１２１から１日ごとに１００件抽出し、サンプル広告情報記憶部１２５に格納する。

続きを表示（全14行）

【００２７】

続いて、情報処理装置１００は、サンプルとして抽出した広告を審査する（ステップＳ２０）。例えば、図１の例において、情報処理装置１００は、サンプルとして抽出した広告に対応する広告情報を１日ごとに審査者端末２０に送信し、審査者Ｅ１に審査させることにより、目視による広告の審査を行う（すなわち、情報処理装置１００は、広告に関する情報を、審査者端末２０に送信し、審査者Ｅ１による目視の審査結果を審査者端末２０から受け付ける）。言い換えると、情報処理装置１００は、分割期間ごとに抽出するサンプル数に対応する数の広告の審査を分割期間ごとに行う。そして、情報処理装置１００は、広告が「適切」であることを示す情報、または、広告が「不適切」であることを示す情報のいずれかを目視による審査に関する情報として審査者端末２０から受け付け、受け付けた情報を広告に対応付けてサンプル広告情報記憶部１２５に格納する。

【００２８】

ここで、図１の例において、所定の期間が経過し、サンプルとして抽出した１０００件の広告の審査が完了したものとする。この場合、情報処理装置１００は、第１モデル及び第２モデルを用いた審査の精度を示す指標値を算出する（ステップＳ２１）。例えば、図１の例において、情報処理装置１００は、サンプルとして抽出した広告の総数に対する、ステップＳ２０における審査結果が「不適切」である広告（言い換えると、本来「不適切」と分類（判定）されるべきであるにもかかわらず「適切」と判定され、ユーザ端末３０に配信された広告。以下、「偽陰性広告」と記載する場合がある）の数の割合を指標値として算出する。

【００２９】

続いて、情報処理装置１００は、情報処理装置１００が提供する配信サービスを評価する（ステップＳ２２）。例えば、図１の例において、情報処理装置１００は、偽陰性広告に対応する広告配信履歴情報に基づいて、配信サービスを評価する。例えば、情報処理装置１００は、偽陰性広告の配信期間や、配信期間における偽陰性広告のインプレッション数に基づいて、配信サービスにおける広告配信の品質低下の度合いを評価する。

【００３０】

続いて、情報処理装置１００は、第１モデル及び第２モデルの学習を行うための学習データを取得する（ステップＳ２３）。例えば、図１の例において、情報処理装置１００は、ステップＳ１３及びステップＳ１７において目視による審査が行われた広告に関する情報を学習データとして取得する。また、情報処理装置１００は、偽陰性広告に関する情報を学習データとして取得する。

【００３１】

なお、情報処理装置１００は、算出した指標値の値や、配信サービスの評価に応じて学習データを取得してもよい。例えば、情報処理装置１００は、サンプルとして抽出した広告の総数に対する偽陰性広告の数の割合が所定の閾値以上である場合や、配信サービスにおける広告配信の品質低下の度合いが所定の閾値以上である場合、偽陰性広告に関する情報や、ステップＳ１３及びステップＳ１７における審査結果が「適切」である広告に関する情報を学習データとして取得する。」

「【００６０】

（サンプル広告情報記憶部１２５について）

サンプル広告情報記憶部１２５は、第１モデル及び第２モデルを用いた審査の精度を示す指標値を算出する際、サンプルとして抽出した広告に関する情報を記憶する。ここで、図８を用いて、サンプル広告情報記憶部１２５が記憶する情報の一例を説明する。図８は、実施形態に係るサンプル広告情報記憶部の一例を示す図である。図８の例では、サンプル広告情報記憶部１２５は、「サンプル数」、「期間」、「対象日」、「広告ＩＤ」、「広告情報」、「広告単価」、「審査結果」といった項目を有する。」

「【００７０】

（配信部１３２について）

配信部１３２は、審査部１３１によるコンテンツ（広告）の審査結果に基づいて、広告をユーザ端末３０に配信する。例えば、図１の例において、配信部１３２は、第１モデルを用いた審査において「適切」と判定された広告をユーザ端末３０に配信する。また、配信部１３２は、第１モデルを用いた審査において「判別不可」と判定された広告のうち、目視による広告の審査において「適切」と判定された広告をユーザ端末３０に配信する。そして、配信部１３２は、各広告の配信履歴に関する情報をユーザ端末３０から収集し、広告配信履歴情報記憶部１２４に格納する。

【００７１】

続きを表示（全14行）

（抽出部１３３について）

抽出部１３３は、第１審査を経たコンテンツから、所定の期間内において抽出されるコンテンツの総数が所定の数を満たすように複数のコンテンツを抽出する。言い換えると、抽出部１３３は、所定の期間内において抽出される第１コンテンツの総数が所定の数を満たすように抽出する。例えば、抽出部１３３は、モデル審査広告から、所定の期間内において抽出される広告（第１コンテンツ）の総数が所定の数を満たすように複数の広告を抽出する。

【００７２】

また、抽出部１３３は、指標値の信頼度に基づいて、所定の数及び所定の期間を決定してもよい。例えば、抽出部１３３は、後述する算出部１３４が第１モデル及び第２モデルを用いた審査の精度を示す指標値を算出する際、指標値に期待する信頼度を担保するうえで必要なサンプル数を決定する。そして、抽出部１３３は、決定したサンプル数に応じて、サンプルを抽出する期間を決定する。例えば、抽出部１３３は、サンプルとして抽出する広告の審査（例えば、図１のステップＳ２０における目視による審査）に要する時間に基づいて、サンプルを抽出する期間を決定する。

【００７３】

また、抽出部１３３は、所定の期間を分割した複数の分割期間ごとに抽出されるコンテンツの総数が所定の数を満たすように、分割期間ごとに抽出するコンテンツの数を決定してもよい。言い換えると、抽出部１３３は、所定の期間を分割した複数の分割期間ごとに抽出される第１コンテンツの総数が所定の数を満たすように、分割期間ごとに抽出する第１コンテンツの数を決定してもよい。例えば、図１の例において、抽出部１３３は、所定の期間「１０日」に抽出するサンプルの総数が「１０００」を満たすように、分割期間「１日」ごとに抽出するサンプル数を「１００」と決定する。そして、抽出部１３３は、モデル審査広告に関する情報を広告情報記憶部１２１から１日ごとに１００件抽出し、サンプル広告情報記憶部１２５に格納する。

【００７４】

なお、抽出部１３３は、分割期間において審査が可能な広告の数に基づいて、分割期間ごとに抽出するサンプル数、並びに、サンプルを抽出する期間を決定してもよい。例えば、分割期間「１日」ごとに審査（例えば、図１のステップＳ２０における目視による審査）が可能な広告の数が「１００」であり、必要なサンプル数が「１０００」であるものとする。この場合、抽出部１３３は、分割期間「１日」ごとに抽出するサンプル数を「１００」とし、サンプルを抽出する期間を「１０日」と決定する。

【００７５】

また、抽出部１３３は、所定の期間において配信されるコンテンツを抽出してもよい。例えば、抽出部１３３は、広告配信履歴情報記憶部１２４を参照し、所定の期間においてユーザに表示された広告をサンプルとして抽出し、サンプル広告情報記憶部１２５に格納する。ここで、図９を用いて、サンプルの抽出処理を説明する。図９は、サンプルの抽出処理の一例を示す図である。なお、図１に示す例では、必要なサンプル数が「１０００」であるものとする。」

「【００７９】

（算出部１３４について）

算出部１３４は、抽出部１３３が抽出したコンテンツに対する第２審査の結果に基づいて、第１審査の精度を示す指標値を算出する。例えば、算出部１３４は、コンテンツに対する目視による審査の結果に基づいて、指標値を算出する。

【００８０】

続きを表示（全16行）

また、算出部１３４は、抽出部１３３が抽出したコンテンツのうち、第１審査における第１審査基準を満たすと判定されたコンテンツであって、第２審査における第２審査基準を満たさないと判定されたコンテンツの総数に対する割合に基づいて、指標値を算出する。例えば、図１の例において、審査部１３１は、抽出部１３３は、第１モデルまたは第２モデルを用いた審査おいて「適切」と分類された広告を、必要なサンプルの数を満たすように広告情報記憶部１２１から抽出する。そして、算出部１３４は、抽出部１３３が抽出した広告のうち、目視による審査において「不適切」と判定された広告の総サンプル数に対する割合を、第１モデル及び第２モデルを用いた審査の精度を示す指標値として算出する。

【００８１】

なお、算出部１３４は、抽出部１３３が広告配信履歴情報記憶部１２４からサンプルとして抽出した広告の目視による審査結果に基づいて、指標値を算出してもよい。

【００８２】

また、算出部１３４は、抽出部１３３が抽出した第２コンテンツのうち、第２審査基準を満たさないと判定された第４コンテンツの第１コンテンツに対する割合と、抽出部１３３が抽出した第３コンテンツのうち、第２審査基準を満たすと判定された第５コンテンツの第１コンテンツに対する割合とを算出してもよい。すなわち、算出部１３４は、第１コンテンツに対する第４コンテンツの割合と、第１コンテンツに対する第５コンテンツの割合とを算出する。

【００８３】

例えば、図１の例において、算出部１３４は、抽出部１３３がモデル審査広告からサンプルとして抽出した広告（第１コンテンツ）のうち、第１モデルまたは第２モデルを用いた審査おいて「適切」と判定され、目視による審査において「不適切」と判定された広告を偽陰性広告（第４コンテンツ）として特定し、第４コンテンツの第１コンテンツに対する割合を算出する。また、算出部１３４は、第１コンテンツのうち、第１モデルまたは第２モデルを用いた審査おいて「不適切」と判定され、目視による審査において「適切」と判定された広告を偽陽性広告（第５コンテンツ）として特定し、第５コンテンツの第１コンテンツに対する割合を算出する。

【００８４】

また、算出部１３４は、第４コンテンツの第１コンテンツの総数に対する割合と、第５コンテンツの第１コンテンツの総数に対する割合とに基づいて、第１審査基準に基づく審査の精度を示す指標値を算出する。例えば、図１の例において、算出部１３４は、サンプルとして抽出したモデル審査広告の総数に対する偽陰性広告の数の割合と、サンプルとして抽出したモデル審査広告の総数に対する偽陽性広告の割合の数の割合とに基づいて、第１モデル及び第２モデルを用いた審査の精度を示す指標値を算出する。

【００８５】

（評価部１３５について）

評価部１３５は、コンテンツの配信に関する情報に基づいて、コンテンツを配信する配信サービスを評価する。例えば、評価部１３５は、第４コンテンツの配信に関する情報と、第５コンテンツの配信に関する情報とに基づいて、第４コンテンツ及び第５コンテンツを配信する配信サービスを評価する。例えば、評価部１３５は、偽陰性広告及び偽陽性広告に対応付けられて広告情報記憶部１２１に格納されている情報や、広告配信履歴情報記憶部１２４に格納されている情報に基づいて、情報処理装置１００が提供する配信サービスを評価する。」

「【００９０】

（取得部１３６について）

取得部１３６は、モデルを用いたコンテンツの審査の後に行われる審査であって、当該コンテンツの目視による審査の結果に関する情報を学習データとして取得する。例えば、取得部１３６は、目視による審査が行われた広告の審査結果及び当該広告に関する情報を学習データとして取得する。

【００９１】

また、取得部１３６は、モデルを用いた審査において、目視により審査されるべきと判定されたコンテンツの目視による審査の結果に関する情報を学習データとして取得してもよい。例えば、取得部１３６は、第１モデルまたは第２モデルを用いた審査において「判別不可」と判定された広告の目視による審査結果及び当該広告に関する情報を学習データとして取得する。

【００９２】

また、取得部１３６は、抽出部１３３が抽出した第２コンテンツのうち、目視による審査の審査基準を満たさないと判定された第４コンテンツに関する情報と、抽出部１３３が抽出した第３コンテンツのうち、目視による審査の審査基準を満たすと判定された第５コンテンツに関する情報とを、学習データとして取得してもよい。例えば、取得部１３６は、偽陰性広告に関する情報及び偽陽性広告に関する情報を学習データとして広告情報記憶部１２１から取得する。

【００９３】

また、取得部１３６は、第１コンテンツに対する第４コンテンツの割合が所定の閾値以上である場合に第４コンテンツに関する情報を学習データとして取得し、第１コンテンツに対する第５コンテンツの割合が所定の閾値以上である場合に第５コンテンツに関する情報を学習データとして取得する。例えば、取得部１３６は、算出部１３４が算出した、サンプルとして抽出した広告（第１コンテンツ）に対する偽陰性広告（第４コンテンツ）割合が所定の閾値以上である場合に偽陰性広告に関する情報を学習データとして広告情報記憶部１２１から取得する。また、取得部１３６は、算出部１３４が算出した第１コンテンツに対する偽陽性広告（第５コンテンツ）割合が所定の閾値以上である場合に偽陽性広告に関する情報を学習データとして広告情報記憶部１２１から取得する。」

「【００９６】

（学習部１３７について）

学習部１３７は、取得部１３６が取得した学習データに基づいてモデルの学習を行う。例えば、学習部１３７は、取得部１３６が取得した目視による審査が行われた広告の審査結果及び当該広告に関する情報に基づいて、第１モデル及び第２モデルの学習を行う。

【００９７】

また、学習部１３７は、学習データに基づいて、カテゴリごとにモデルの学習を行ってもよい。例えば、取得部１３６がカテゴリ「医薬品」に分類される広告に関する情報を取得した場合、学習部１３７は、当該情報に基づいて、カテゴリ「医薬品」に対応付けられて第１モデル記憶部１２２及び第２モデル記憶部１２３に格納されているモデルの学習を行う。

【００９８】

また、学習部１３７は、取得部１３６が取得した第１学習データ及び第２学習データに基づいて、モデルの学習を行ってもよい。例えば、学習部１３７は、広告の配信前におけるモデルを用いた審査に関する情報、並びに、広告の配信後におけるモデルを用いた審査に関する情報に基づいて、第１モデル及び第２モデルの学習を行う。

【００９９】

また、学習部１３７は、取得部１３６が取得した第１学習データ及び第２学習データに基づいて、第１モデル及び第２モデルの学習を行ってもよい。例えば、学習部１３７は、第１モデルを用いた審査に関する情報、並びに、第２モデルを用いた審査に関する情報に基づいて、第１モデル及び第２モデルの学習を行う。」

「【０１０７】

図１１に示すように、情報処理装置１００は、モデルを用いた審査の精度を示す指標値に期待する信頼度に基づいて、サンプルとして抽出する広告の数（サンプル数）、並びに、広告を抽出する期間を決定する（ステップＳ２０１）。続いて、情報処理装置１００は、モデルの審査基準を満たすと判定された広告、並びに、モデルの審査基準を満たさないと判定された広告を、決定した期間中にサンプル数を満たすように抽出する（ステップＳ２０２）。続いて、情報処理装置１００は、抽出した広告を審査する（ステップＳ２０３）。例えば、情報処理装置１００は、抽出した広告に対し、目視による審査を行う。

【０１０８】

続いて、情報処理装置１００は、指標値を算出する（ステップＳ２０４）。例えば、情報処理装置１００は、モデルの審査基準を満たすと判定された広告のうち、目視による審査基準を満たさない広告（偽陰性広告）のサンプル数に対する割合を算出する。また、情報処理装置１００は、モデルの審査基準を満さないと判定された広告のうち、目視による審査基準を満たす広告（偽陽性広告）のサンプル数に対する割合を算出する。そして、情報処理装置１００は、算出した割合に基づいて、指標値を算出する。

【０１０９】

続いて、情報処理装置１００は、広告配信サービスを評価する（ステップＳ２０５）。例えば、情報処理装置１００は、偽陰性広告及び偽陽性広告の配信に関する情報に基づいて、広告配信サービスを評価する。

【０１１０】

続いて、情報処理装置１００は、学習データを取得する（ステップＳ２０６）。例えば、情報処理装置１００は、偽陰性広告に関する情報、並びに、偽陽性広告に関する情報を学習データとして取得する。続いて、情報処理装置１００は、学習データを用いてモデルの学習を行い（ステップＳ２０７）、処理を終了する」

「【０１１５】

〔６．効果〕

上述してきたように、実施形態に係る情報処理装置１００は、審査部１３１と、配信部１３２と、抽出部１３３と、算出部１３４と、評価部１３５と、取得部１３６と、学習部１３７とを有する。審査部１３１は、コンテンツの審査を行う。配信部１３２は、審査部１３１によるコンテンツの審査結果に基づいて、コンテンツをユーザに配信する。抽出部１３３は、第１審査を経たコンテンツから、所定の期間内において抽出されるコンテンツの総数が所定の数を満たすように複数のコンテンツを抽出する。算出部１３４は、抽出部１３３が抽出したコンテンツに対する第２審査の結果に基づいて、第１審査の精度を示す指標値を算出する。評価部１３５は、コンテンツの配信に関する情報に基づいて、コンテンツを配信する配信サービスを評価する。取得部１３６は、モデルを用いたコンテンツの審査の後に行われる審査であって、当該コンテンツの目視による審査の結果に関する情報を学習データとして取得する。学習部１３７は、取得部１３６が取得した学習データに基づいてモデルの学習を行う。」

「【０１５３】

また、実施形態に係る情報処理装置１００において、例えば、算出部１３４は、第１コンテンツに対する第４コンテンツの割合と、第１コンテンツに対する第５コンテンツの割合とを算出する。そして、取得部１３６は、第１コンテンツに対する第４コンテンツの割合が所定の閾値以上である場合に第４コンテンツに関する情報を学習データとして取得し、第１コンテンツに対する第５コンテンツの割合が所定の閾値以上である場合に第５コンテンツに関する情報を学習データとして取得する。」