2022-006420

第２ 本願発明

本願の請求項１に係る発明（以下「本願発明」という。）は、令和２年１２月１１日に提出された手続補正書により補正された特許請求の範囲の請求項１に記載された次の事項により特定されるとおりのものと認める。

「【請求項１】

車両の走行中に少なくとも三つのセンサーによって同一期間に採取されたデータをそれぞれ取得するステップと、

前記少なくとも三つのセンサーによって採取されたデータのそれぞれに基いて、それぞれの軌跡を決定するステップと、

前記少なくとも三つのセンサーそれぞれの軌跡に対して座標系を揃えて、前記少なくとも三つのセンサーの複合キャリブレーションを実現するステップと、を含み、

前記少なくとも三つのセンサーそれぞれの軌跡に対して座標系を揃えて、前記少なくとも三つのセンサーの複合キャリブレーションを実現するステップは、

前記少なくとも三つのセンサーそれぞれの軌跡からいずれかを目標軌跡として選択し、他の軌跡を対象軌跡とするステップと、

前記対象軌跡及び前記目標軌跡に対してそれぞれ座標系を揃える操作を行い、前記対象軌跡と前記目標軌跡とが同時に揃えた場合、前記少なくとも三つのセンサーそれぞれの外部パラメーターを決定するステップと、を含む、

ことを特徴とするマルチセンサーのキャリブレーション方法。」

第３ 原査定における拒絶の理由

原査定の拒絶の理由のうち、本願発明に対する「理由１（新規性の欠如）」及び「理由２（進歩性の欠如）」は、次のとおりである。

理由１（新規性の欠如）

本願発明は、本願の優先日前に発行された下記引用文献１に記載された発明であるから、特許法２９条１項３号に該当し、特許を受けることができない。

理由２（進歩性の欠如）

本願発明は、本願の優先日前に発行された下記引用文献１に記載された発明に基づいて、その優先日前にその発明の属する技術の分野における通常の知識を有する者が容易に発明をすることができたものであるから、特許法２９条２項の規定により特許を受けることができない。

記

引用文献１．米国特許出願公開第２０１４／０３６８６５１号明細書

第４ 引用文献に記載された発明の認定等

１ 引用文献１に記載された事項と引用発明の認定

(１) 引用文献１に記載された事項

前記引用文献１には、以下の事項が記載されている。下線及び翻訳文は、当合議体によるものであり、以下同様である。

ア BACKGROUND、[0001]

「BACKGROUND

[0001] Within the field of computing, many scenarios involve a scanning of a mobile platform provided to travel through an area and capture a representation of the area. For example, an automobile equipped with one or more cameras may be driven through a road network of a city while capturing images of the city, which are later stitched together to form a navigable pictorial tour of the city. As another example, a scan of the area using laser scanners of various types, such as light detection and ranging (lidar) scanners, may result in the capturing of spatial information about the area that enables a three-dimensional reconstruction of the geometry of the area. These and other techniques may be utilized to capture and reconstruct various types of representations of an area.」

（背景

[0001] コンピューティングの分野においては、多くのシナリオは、領域を通って移動して領域の表現を取得するために提供されるモバイルプラットフォームのスキャンを含む。例えば、一つ又は複数のカメラを装備した自動車は、都市の画像を取得しながら都市の道路網を運転され、当該画像は、後でつなぎ合わされて、都市のナビゲート可能な画像ツアーを形成し得る。別の例として、光検出及び測距(ライダー)スキャナーなどの様々なタイプのレーザースキャナーを使用する領域のスキャンは、領域の幾何学的な三次元再構成を可能にする領域に関する空間情報の取得をもたらし得る。これら及び他の技術は、領域の様々なタイプの表現を取り込み、再構成するために利用することができる。）

イ SUMMARY、[0002]～[0006]

「SUMMARY

（中略）

[0003] With many mobile platforms, the scanning devices aboard the platform are precisely calibrated in a controlled setting before entering an area for scanning. Such calibration may be performed, e.g., in order to verify that the images of the area are captured by cameras and/or lidar devices with a precisely calibrated orientation, such that reconstruction of the captured area (such as stitching together images captured by images with different orientations) may produce accurate results. However, the precise calibration achieved in a controlled setting may be difficult to maintain for extended periods of travel. If a physical jolt causes a sensor device to become significantly misaligned, the mobile platform may have to return to the controlled setting. Such recalibration may leave the platform out of service for an extended duration, and may be expensive to perform with acceptable precision. Additionally, failure to detect a miscalibration may result in extensive capturing of data that results in errors (e.g., misaligned stitching of panoramic images or three-dimensional reconstruction, resulting in significant errors and data corruption) and/or the discarding of an extensive data set that is unusable for reconstruction.

[0004] Presented herein are techniques for verifying the calibration of the sensors of a mobile platform during traveling. In accordance with these techniques, a mobile platform comprising at least one laser scanner, at least one camera, and a location sensor (e.g., a global positioning system (GPS) receiver, an inertial measurement unit (IMU), and/or a radio triangulation device) may travel through an area while capturing data with each sensor over time (e.g., capturing images with the cameras; capturing a laser scan of the area with the laser scanners; and capturing the location of the platform with the location sensor). For each sensor, a sensor path may be identified, comprising a detected path of the sensor while the platform moves through the area. As a first example, the laser scanner may generate a laser scanner path by comparing the laser scans captured at successive periods of time (e.g., a first lidar point cloud indicating the distance of the platform from a fixed object, such as a building, at a first time, and a second lidar point cloud indicating the distance of the platform from the same object at a second time), and may determine the laser scanner path, comprising a sequence of translations and orientations of the platform over time. The images captured at various intervals may be compared (e.g., a fixed tie point may be identified in different locations in two consecutive images, and image evaluation techniques may be utilized to determine the perspective points within the area where each image was captured), resulting in a determination of the camera path as a sequence of translations and orientation changes over a period of time. Similarly, the locations detected by the location sensor may be detected to identify a location sensor path of the location sensor over time.

[0005] Upon identifying the laser scanner path, the camera path, and the location sensor path, the platform may compare these paths to verify the maintenance of the calibration of the sensors. In an embodiment, the coordinate system of each sensor is registered with a static coordinate system, and the translation and orientation changes between each pair of points in a first sensor path of a first sensor of the platform may be compared with the corresponding translations and orientation changes between each pair of points in a second sensor path of another sensor of the platform. Matching comparisons may verify the continued calibration of the sensors, while mismatches (e.g., discrepancies in the detected translation and orientation change of the platform over time) may indicate that at least one sensor has become miscalibrated. Additionally, a three-way comparison of the laser scanner path with the camera path, the laser scanner path with the location sensor path, and the camera path with the location sensor path (as well as comparisons among paths of equivalent sensors, e.g., comparing a first camera path detected by a first camera and a second camera path detected by a second camera) may identify the miscalibrated device. By performing such calibration checking using the computation and comparison of paths for each device, the techniques presented herein may enable periodic and/or continuous verification of maintained calibration even while the platform continues to travel, and/or a faster and more accurate technique for detecting a miscalibration, which may reduce inefficiencies caused by the miscalibration. These and other uses of such calibration techniques may be included in many embodiments of the techniques presented herein.

（後略）」

（要約

（中略）

[0003] 多くのモバイルプラットフォームでは、プラットフォームに搭載された走査装置は、走査領域に入る前に、制御された設定で正確に較正される。そのような較正は、例えば、領域の画像が正確に較正された向きでカメラ及び／又はライダー装置によって取得されることを検証するために実行され得、その結果、取得された領域の再構成（異なる向きの画像によって取得された画像をつなぎ合わせることなど)が正確な結果を生成し得る。しかしながら、制御された設定で達成される正確な較正は、長期間の移動に対して維持することが困難であり得る。物理的な衝撃によってセンサー装置が著しく位置ずれした場合、モバイルプラットフォームは、制御された設定に戻らなければならない場合がある。そのような再較正は、プラットフォームを長期間にわたって使用不能にする可能性があり、許容可能な精度で実行するには費用がかかる可能性がある。加えて、誤較正を検出することができないことは、エラーをもたらすデータの広範な取得をもたらし得(例えば、パノラマ画像又は三次元再構成の位置合わせができていないつなぎ合わせ、これは重大なエラー及びデータ破損をもたらす。)、及び／又は、再構成に使用できない広範なデータセットの破棄をもたらし得る。

[0004] 本明細書では、移動中のモバイルプラットフォームのセンサーの較正を検証するための技術が提示される。これらの技術によれば、少なくとも一つのレーザースキャナーと、少なくとも一つのカメラと、一つの位置センサー(例えば、全地球測位システム(ＧＰＳ)受信機、慣性計測装置(ＩＭＵ)及び／又は無線三角測量装置)を備えるモバイルプラットフォームは、経時的に各センサーを用いてデータを取得しながら(例えば、カメラを用いて画像を取得し、レーザースキャナーを用いて領域のレーザースキャンを取得し、位置センサーを用いてプラットフォームの位置を取得しながら)、領域を通って移動し得る。各センサーについて、プラットフォームが領域を通って移動する間のセンサーの検出された経路で構成されるセンサー経路が識別され得る。第一の例として、レーザースキャナーは、連続的な時間周期で取得されたレーザースキャン(例えば、第一の時間における建物などの固定物体からのプラットフォームの距離を示す第一のライダー点群と、第二の時間における同じ物体からのプラットフォームの距離を示す第二のライダー点群)を比較することによって、レーザースキャナー経路を生成することができ、経時的なプラットフォームの平行移動及び回転のシーケンスを含むレーザースキャナー経路を決定され得る。様々な間隔で取得された画像を比較することができ(例えば、固定タイポイントを二つの連続する画像内の異なる位置で識別することができ、画像評価技術を利用して、各画像が取得された領域内の視点を決定することができ)、その結果、ある期間にわたる平行移動及び回転の変化のシーケンスとしてカメラ経路が決定される。同様に、位置センサーによって検出位置が検出され、経時的な位置センサーの位置センサー経路が識別され得る。

[0005] レーザースキャナー経路、カメラ経路及び位置センサー経路を識別すると、プラットフォームは、これらの経路を比較して、センサーの較正の維持を検証することができる。一実施形態では、各センサーの座標系は、静的座標系と位置合わせされ、プラットフォームの第一のセンサーの第一のセンサー経路内の点の各対の間の平行移動及び回転の変化は、プラットフォームの別のセンサーの第二のセンサー経路内の点の各対の間の対応する平行移動及び回転の変化と比較され得る。一致する比較は、センサーの継続的な較正を検証することができ、一方、不一致（例えば、経時的なプラットフォームの検出された平行移動及び回転の変化の不一致）は、少なくとも一つのセンサーが誤較正であることを示すことができる。加えて、レーザースキャナー経路とカメラ経路、レーザースキャナー経路と位置センサー経路、及び、カメラ経路と位置センサー経路の三者間の比較（並びに、同等のセンサーの経路間の比較、例えば、第一のカメラによって検出された第一のカメラ経路と第二のカメラによって検出された第二のカメラ経路の比較）は、誤較正の装置を識別し得る。各装置のための経路の計算及び比較を使用して、そのような較正チェックを実行することによって、本明細書で提示される技術は、プラットフォームが移動し続けている間であっても、維持された較正の周期的及び／又は連続的検証、及び／又は、誤較正を検出するためのより高速かつより正確な技術を可能にすることができ、誤較正によって引き起こされる非効率性を低減することができる。そのような較正技術のこれら及び他の使用は、本明細書に提示される技術の多くの実施形態に含まれ得る。

（後略））

ウ A. INTRODUCTION

(ア) [0017]、FIG.1

「A. INTRODUCTION

[0017] FIG. 1 presents an illustration of a first exemplary scenario 100 featuring a platform 104 traveling through an area 102 while capturing a representation of the area 102 using a variety of sensors. While the platform 104 is mobile (e.g., exhibiting a particular motion vector 106 with respect to the stationary objects of the area 102), the mobile platform may use one or more cameras 108, positioned at different orientations with respect to the platform 104 (e.g., a front-facing camera 108, a left-facing camera 108, a right-facing camera 108, a rear-facing camera 108, and one or more upward-facing cameras 108) that periodically capture images 100 of the area 102. The platform 104 may also comprise a location sensor 112 that is configured to detect a location 114 of the platform 104, such as a global positioning system (GPS) receiver, an inertial measurement unit (IMU), and/or a radio triangulation device (e.g., a cellular communications device configured to triangulate the location 114 of the platform 104 based on the signal strength of nearby cellular towers at fixed and known locations, and transmitting at a detectable transmission power). The images 110 capture of the area 102, optionally including various objects 116 within the area 102 (e.g., other vehicles, buildings, pedestrians, and road signs), may enable a reconstruction of the area 102, such as a navigable set of panoramic images 110.」

（[0017] 図１は、様々なセンサーを使用して領域１０２の表現を取得しながら領域１０２を通って移動するプラットフォーム１０４を特徴とする第一の例示的なシナリオ１００の図を示す。プラットフォーム１０４は移動可能である（例えば、領域１０２の静止物体に対して特定の動きベクトル１０６を示す。)が、移動可能なプラットフォームは、プラットフォーム１０４に対して異なる向きに配置されて領域１０２の画像１００を周期的に取得する一つ又は複数のカメラ１０８（例えば、前向きカメラ１０８、左向きカメラ１０８、右向きカメラ１０８、後向きカメラ１０８及び一つ又は複数の上向きカメラ１０８）を使用することができる。プラットフォーム１０４は、また、全地球測位システム（ＧＰＳ）受信機、慣性計測装置(ＩＭＵ)及び／又は無線三角測量装置（例えば、位置が既知であり、検出可能な送信電力で電波を送信する近傍のセルラー基地局の信号強度に基づいて、プラットフォーム１０４の位置１１４を三角測量するように構成されたセルラー通信端末）など、プラットフォーム１０４の位置１１４を検出するように構成された位置センサー１１２を備え得る。領域１０２内の様々な物体１１６（例えば、他の車両、建物、歩行者及び道路標識）を任意に含む、領域１０２の取得された画像１１０は、パノラマ画像１１０のナビゲート可能なセットのように、領域１０２の再構成を可能にし得る。）

「

［図：0001398922000001.jpg］

」

(イ) [0018]～[0021]、FIG.2

「[0018] FIG. 2 presents an illustration of a second exemplary scenario 200 featuring a platform 104 traveling through an area 102 while capturing a different representation of the area 102. In this exemplary scenario 200, the platform 104 features a laser scanner 202, comprising a lidar emitter 204 configured to transmit a laser signal 206, and a lidar detector 210 configured to detect reflections 208 of the lidar signal 206 from nearby objects 116 within the area 102. By detecting the reflections 208 at respective times 214, the laser detector may extrapolate, from the lidar data 212 captured at that time 214, one or more lidar point clouds 216 respectively indicating the reflection of the lidar signal 206 from an object 116. Further evaluation of the lidar point cloud 216 may enable the determination of the shapes, sizes, orientations, and distances of the objects 116. This information may later be used, e.g., to generate a three-dimensional reconstruction of the area 102 (including the objects 116 present in the area 102) at the time of the capturing.

[0019] A platform 104 may combine the capturing of images 110 using one or more cameras 108 and the capturing of lidar data 212 and lidar point clouds 216 to generate a robust representation of the area 102. Additionally, the platform 104 may utilize the location sensors 112 to detect the path of the platform 104 over time, which may inform the reconstruction process.

[0020] However, the accurate representation of an area 102 based on the capturing of various types of data using a variety of sensors mounted on the mobile platform 104 may be diminished by miscalibration. For example, the reconstruction of data from multiple sensors may significantly depend on presumptions of the position and/or orientation of the sensor with respect to the platform 104 and other sensors. A miscalibration of one or more sensors may arise, e.g., due to a physical jolt of the sensor and/or mobile platform 104. Reconstructing the area 102 with a variance between the presumed orientation and the actual orientation of the sensor may result in visual artifacts, distortions, and other forms of corruption. As a first example, if one or more cameras 108 of a camera set is miscalibrated, the images 110 automatically stitched together from the cameras 108 may exhibit gaps, spherical aberration, missing areas, or jarring transitions between image borders. As a second example, if one or more laser scanners 202 is miscalibrated, the geometry of the reconstruction of the area 102 may be distorted in size, shape, or relationships between detected surfaces of objects 116. As a third example, if the location sensor 112 is miscalibrated, then the reconstruction may indicate inaccurate locations for the depictions of images 110 and/or three-dimensional object reconstruction, and/or mismatch among images 110 and/or three-dimensional object reconstructions if the calibration of the location sensor 112 changes over time.

[0021] In order to avoid these problems, mobile platforms 104 are often calibrated in a controlled setting with high precision. For example, the respective sensors may be carefully mounted on the platform 104, carefully oriented to a high degree of precision, and affixed in the orientation through strong mechanical brackets. However, the calibration process may be expensive and protracted, and a sensor that is subjected to a physical jolt while the platform 104 is traveling may result in a recall of the platform 104 to the controlled setting for recalibration, possibly entailing a high cost of recalibration, and/or leaving the platform 104 out of service for a potentially extended duration. Alternatively, if the physical jolt is not detected, the platform 104 may capture a large set of data that is later determined to be corrupted and/or misaligned, or, if undetected, may corrupt the automated reconstruction of the area 102 based on the captured data.」

（[0018] 図２は、領域１０２の異なる表現を取得しながら領域１０２を通って移動するプラットフォーム１０４を特徴とする第二の例示的なシナリオ２００の図を示す。この例示的なシナリオ２００では、プラットフォーム１０４は、レーザー信号２０６を送信するように構成されたライダー送信器２０４と、領域１０２内の近くの物体１１６からのライダー信号２０６の反射２０８を検出するように構成されたライダー検出器２１０を備えるレーザースキャナー２０２を特徴とする。それぞれの時間２１４において反射２０８を検出することによって、レーザー検出器は、その時間２１４において取得したライダーデータ２１２から、物体１１６からのライダー信号２０６の反射をそれぞれ示す一つ又は複数のライダー点群２１６を推定することができる。ライダー点群２１６の更なる評価により、物体１１６の形状、サイズ、向き及び距離の決定を可能にし得る。この情報は、後に、例えば、取得時の領域１０２（領域１０２に存在する物体１１６を含む。）の三次元再構成を生成するために使用され得る。

[0019] プラットフォーム１０４は、領域１０２のロバストな表現を生成するために、一つ又は複数のカメラ１０８を使用する画像１１０の取得と、ライダーデータ２１２及びライダー点群２１６の取得を組み合わせ得る。加えて、プラットフォーム１０４は、位置センサー１１２を利用して、プラットフォーム１０４の経路を経時的に検出することができ、これは再構成プロセスに通知することができる。

[0020] しかしながら、モバイルプラットフォーム１０４上に搭載された様々なセンサーを用いた様々なタイプのデータの取得に基づく領域１０２の正確な表現は、誤較正によって低減され得る。例えば、複数のセンサーからのデータの再構成は、プラットフォーム１０４及び他のセンサーに対するセンサーの位置及び／又は向きの推定に大きく依存し得る。一つ又は複数のセンサーの誤較正は、例えば、センサー及び／又はモバイルプラットフォーム１０４の物理的衝撃に起因して生じ得る。センサーの推定された向きと実際の向きとの間に相違があるときに領域１０２を再構築することは、視覚的アーチファクト、歪み及び他の形態の破損をもたらし得る。第一の例として、カメラセットの一つ又は複数のカメラ１０８が誤較正の場合、カメラ１０８から自動的につなぎ合わされた画像１１０は、ギャップ、球面収差、欠落領域又は画像境界間の不調和な遷移を示し得る。第二の例として、一つ又は複数のレーザースキャナー２０２が誤較正の場合、領域１０２の幾何学的な再構成は、サイズ、形状、又は、物体１１６の検出された表面間の関係において歪められ得る。第三の例として、位置センサー１１２が誤較正の場合、再構成は、画像１１０及び／又は三次元物体再構成の描写の不正確な位置、及び／又は、位置センサー１１２の較正が経時的に変化する場合の画像１１０及び／又は三次元物体再構成間の不一致を示し得る。

[0021] これらの問題を回避するために、モバイルプラットフォーム１０４は、制御された設定で高精度に較正されることが多い。例えば、それぞれのセンサーは、プラットフォーム１０４上に慎重に搭載され、高精度に慎重に向きを調整され、強力な機械的ブラケットを通じてその方向に添着されてもよい。しかしながら、較正プロセスは高価であり、時間がかかる可能性があり、プラットフォーム１０４が移動している間に物理的な衝撃を受けるセンサーは、再較正のための制御された設定へのプラットフォーム１０４のリコールをもたらす可能性があり、再較正の高いコストを伴う可能性があり、及び／又は、潜在的に延長された持続時間の間、プラットフォーム１０４を使用不能にする可能性がある。若しくは、物理的衝撃が検出されない場合、プラットフォーム１０４は、後に破損及び／又は不整合であると判定される大量のデータセットを取得するかもしれず、もし検出されない場合、取得されたデータに基づいた領域１０２の自動再構成は間違ったものとなる大量のデータセットを取得するかもしれない。）

「

［図：0001398922000002.jpg］

」

エ B. PRESENTED TECHNIQUES、[0022]～[0026]、FIG.3

「B. PRESENTED TECHNIQUES

[0022] FIG. 3 presents an illustration of an exemplary scenario 300 depicting techniques for verifying the sensor calibration of a platform 104 while traveling through an area 102. In this exemplary scenario, for the respective sensors of the platform 104, a sensor path may be identified representing the travel of the platform 104 through the area 102, based on the data available to that sensor.

[0023] As a first example, for respective cameras 108 of the platform 104, a sequence of images 110 may be captured at various times 214. Using image processing and machine vision techniques, it may be possible to extrapolate from the images 110 the travel of the platform 104 over time. For example, for a particular pair of adjacent images 110 in the sequence, one or more tie points may be identified (e.g., fixed points in the area 102 that are visible in a first position of the first image 110 captured at a first time 214, and in a second position of the second image 110 captured at a second time 214). Comparing the offset of the tie point from the first image 110 to the second image 110 may enable a determination 302 of the translation and/or orientation change of the platform 104 between the first time 214 and the second time 214. A collective evaluation of all of the images 110 may enable a mapping such determinations 302 to locations 114 in the area 102, and the identification of a camera path 304 of the camera 108 traveling throughout the area 102 while mounted on the platform 104.

[0024] As a second example, a laser scanner 202 may periodically scan the area 102 while the platform 104 travels therethrough, and may capture lidar data 212 at various times 214. The identification of lidar point clouds 216 in respective sets of lidar data 212 may enable the determination of the sizes, shapes, orientations, and distances of objects 116 from the laser scanner 202 at the time 214. Additionally, a comparison of a first lidar point cloud 216 in a first set of lidar data 212 captured at a first time 214 and a second lidar point cloud 216 in a second set of lidar data 212 captured at a second time 214 may enable a determination of the translation and/or orientation change of the laser scanner 202 between the first time 214 and the second time 214. Performing such comparative evaluation of sets of lidar data 212 across the sequence of captured laser scans may enable the determination 306 of the locations and orientations of the laser scanner 202 over time 214, and the identification of a laser scanner path 308 indicating the movement of the laser scanner 202 over time 214 while the platform 104 travels through the area 102.

[0025] As a third example, monitoring the locations 114 detected by a location sensor 112 of the platform 104 at a variety of times 214 may enable the detection of a sequence of locations 114 of the platform 104 while traveling through the area 102, and which may be represented as a location sensor path 310.

[0026] In view of these different techniques of detecting a sensor path of the sensor mounted on the platform 104 while traveling through the area 102, it may be possible to perform a comparison 312 of the sensor paths. If the comparison 312 indicates a match among the camera paths 304 of the at least one camera 108, the laser scanner paths 308 of the at least one laser scanner 202, and the location sensor path 310 of the location sensor 112, the comparison 312 may verify the calibration 314 of the sensors of the platform 104. However, if one or more of the comparisons 312 fails to produce a match, a miscalibration may be detected. It may also be possible to determine which sensor is miscalibrated (e.g., if all of the sensor paths match except for one camera path 304 of one camera 108 that does not match any of the other sensor paths, the camera 108 may be presumed to be miscalibrated). The platform 104 may then either be serviced to recalibrate or replace the miscalibrated sensor; may continue traveling through the area 102 while capturing data from all but the miscalibrated sensor(s); and/or may continue capturing data about the area 102 from all of the sensors, but noting the divergence in calibration in order to adjust the data captured by that sensor. In this manner, the platform 104 may verify maintained calibration 314 and/or detect and adapt to miscalibration while the platform 104 is traveling through an area 102 in accordance with the techniques presented herein.」

（[0022] 図３は、領域１０２を通って移動している間にプラットフォーム１０４のセンサー較正を検証するための技術を示す例示的なシナリオ３００の図を示す。この例示的なシナリオでは、プラットフォーム１０４のそれぞれのセンサーについて、そのセンサーに利用可能なデータに基づいて、領域１０２を通るプラットフォーム１０４の移動を表すセンサー経路を識別し得る。

[0023] 第一の例として、プラットフォーム１０４のそれぞれのカメラ１０８について、一連の画像１１０が様々な時間２１４で取得される。画像処理及びマシンビジョン技術を用いて、画像１１０からプラットフォーム１０４の移動を経時的に推定することが可能であり得る。例えば、一連の隣接する画像１１０の特定のペアについて、一つ又は複数のタイポイント（例えば、第一の時間２１４に取得された第一の画像１１０の第一の位置、及び、第二の時間２１４に取得された第二の画像１１０の第二の位置において可視である、領域１０２中の固定点）が識別され得る。第一の画像１１０から第二の画像１１０のタイポイントのオフセットを比較することは、第一の時間２１４と第二の時間２１４との間のプラットフォーム１０４の平行移動及び／又は回転の変化の決定３０２を可能にし得る。全ての画像１１０の集合的な評価は、そのような決定３０２を領域１０２内の位置１１４にマッピングすることと、プラットフォーム１０４上に搭載されている間に領域１０２を通って移動するカメラ１０８のカメラ経路３０４を識別することを可能にし得る。

[0024] 第二の例として、レーザースキャナー２０２は、プラットフォーム１０４が領域１０２を通って移動している間に領域１０２を周期的に走査することができ、様々な時間２１４でライダーデータ２１２を取得することができる。ライダーデータ２１２のそれぞれのセットにおけるライダー点群２１６の識別は、時間２１４におけるレーザースキャナー２０２からの物体１１６のサイズ、形状、向き及び距離の決定を可能にし得る。加えて、第一の時間２１４において取得されたライダーデータ２１２の第一のセットにおける第一のライダー点群２１６と、第二の時間２１４において取得されたライダーデータ２１２の第二のセットにおける第二のライダー点群２１６との比較は、第一の時間２１４と第二の時間２１４の間のレーザースキャナー２０２の平行移動及び／又は回転の変化の決定を可能にし得る。取得されたレーザー走査のシーケンスにわたってライダーデータ２１２のセットのそのような比較評価を実行することは、時間２１４にわたるレーザースキャナー２０２の位置及び向きの決定３０６と、プラットフォーム１０４が領域１０２を通って移動する間の時間２１４にわたるレーザースキャナー２０２の移動を示すレーザースキャナー経路３０８の識別を可能にし得る。

[0025] 第三の例として、様々な時間２１４においてプラットフォーム１０４の位置センサー１１２によって検出された位置１１４を監視することは、領域１０２を通って移動している間のプラットフォーム１０４の位置１１４のシーケンスの検出を可能にすることができ、これは位置センサー経路３１０として表現することができる。

[0026] 領域１０２を通って移動している間の、プラットフォーム１０４上に搭載されたセンサーのセンサー経路を検出するこれらの異なる技術を考慮して、センサー経路の比較３１２を実行することが可能であり得る。比較３１２が、少なくとも一つのカメラ１０８の全てのカメラ経路３０４（当審注：「the camera paths 304 of the at least one camera 108」の翻訳。）と、少なくとも一つのレーザースキャナー２０２の全てのレーザースキャナー経路３０８（当審注：「the laser scanner paths 308 of the at least one laser scanner 202」の翻訳）と、唯一の位置センサー１１２の位置センサー経路３１０（当審注：「the location sensor path 310 of the location sensor 112」の翻訳）の間の一致を示す場合、比較３１２は、プラットフォーム１０４の全てのセンサーの較正３１４を検証することができる。しかしながら、比較３１２のうちの一つ又は複数が一致しない場合、誤較正が検出され得る。どのセンサーが誤較正であるかを判定することも可能であり得る（例えば、他のセンサー経路のいずれとも一致しない一つのカメラ１０８の一つのカメラ経路３０４を除いて、センサー経路の全てが一致する場合、カメラ１０８は誤較正であると推定され得る）。次いで、プラットフォーム１０４は、誤較正であるセンサーを再較正又は交換するようにサービスされてもよく、較正されていないセンサー以外の全てのセンサーからデータを取得しながら領域１０２を通って移動し続けてもよく、及び／又は、センサーの全てから領域１０２に関するデータを取得し続けるが、そのセンサーによって取得されたデータを調整するために較正の発散に留意してもよい。このようにして、プラットフォーム１０４は、本明細書で提示される技術に従って、プラットフォーム１０４が領域１０２を通って移動している間に、較正３１４が維持されているかを検証し、及び／又は、誤較正を検出しそれに適応し得る。）

「

［図：0001398922000003.jpg］

」

オ C. EXEMPLARY EMBODIMENTS、[0027]～[0029]、FIG.4、FIG.5

「[0027] FIG. 4 presents an illustration of an exemplary scenario 400 featuring a first exemplary embodiment of the techniques presented herein, illustrated as an exemplary system 406 configured to verify a calibration 314 of a set of sensors of a platform 104, where the sensors include at least one camera 108, at least one laser scanner 202, and at least one location sensor 112. The exemplary system 406 may be implemented, e.g., as instructions stored in a memory component of a device 402 of the platform 104 and that are configured to, when executed on the processor 404 of the device 402 of the platform 104, cause the device 402 to operate according to the techniques presented herein. The exemplary system 406 includes a path identifier 408 that, with the respective laser scanners 202, compares laser scans of the area 102 captured at respective times 214 to identify a laser scanner path 220 through the area 102; with the respective cameras 108, compares the images 110 of the area 102 captured by the camera 108 at respective times 214 to identify a camera path 304 through the area 102; and, with the location sensor 112, identifies a location sensor path 310 through the area 102. The exemplary system also comprises a platform calibrator 410, which compares the laser scanner path(s) 308, the camera path(s) 304, and the location sensor path(s) 310 to verify the calibration 314 of the platform 104. In this manner, the exemplary system 406 enables the verification of maintained calibration 314 and the detection of miscalibration while the platform 104 travels through the area 102 in accordance with the techniques presented herein.

FIG. 5 presents a second exemplary embodiment of the techniques presented herein, illustrated as an exemplary method 500 of verifying a calibration 314 of a platform 104 traveling through an area 102 while capturing a representation of the area 102 using at least one camera 108, at least one laser scanner 202, and at least one location sensor 112. The exemplary method 500 may be implemented, e.g., as a set of instructions stored in a memory device of a device 402, such as a memory circuit, a platter of a hard disk drive, a solid-state storage device, or a magnetic or optical disc, and organized such that, when executed on a processor 404 of the device 402, cause the device 402 to operate according to the techniques presented herein. The exemplary method 500 begins at 502 and involves, with the respective laser scanners 202, comparing 504 laser scans of the area 102 captured at respective times 214 to identify a laser scanner path 308 through the area 102. The exemplary method 500also involves, with the respective cameras 108, comparing 506 images 110 of the area 102 captured at respective times 214 to identify a camera path 304 through the area 102. The exemplary method 500 also involves,with the respective location sensors 112, identifying 508 a location sensor path 310 through the area 102. The exemplary method 500 also involves comparing 510 the laser scanner path(s) 308, the camera path(s) 304, and the location sensor path(s) 310 to verify a calibration 314 of the platform 104, and/or to detect a miscalibration of at least one sensor, while the platform 104 travels through the area 102 in accordance with the techniques presented herein, and so ends at 512.

（後略）」

（[0027] 図４は、プラットフォーム１０４のセンサーのセットの較正３１４を検証するように構成された例示的なシステム４０６として示される、本明細書に提示される技術の第一の例示的な実施形態を特徴とする例示的なシナリオ４００の図を示し、センサーは、少なくとも一つのカメラ１０８と、少なくとも一つのレーザースキャナー２０２と、少なくとも一つの位置センサー１１２とを含む。例示的なシステム４０６は、例えば、プラットフォーム１０４の装置４０２のメモリ構成要素に記憶され、プラットフォーム１０４の装置４０２のプロセッサー４０４上で実行されると、本明細書で提示する技術に従って装置４０２を動作させるように構成された命令として実装され得る。例示的なシステム４０６は、それぞれのレーザースキャナー２０２を用いて、それぞれの時間２１４で取り込まれた領域１０２のレーザー走査を比較して、領域１０２を通るレーザースキャナー経路２２０を識別し、それぞれのカメラ１０８を用いて、それぞれの時間２１４でカメラ１０８によって取り込まれた領域１０２の画像１１０を比較して、領域１０２を通るカメラ経路３０４を識別し、位置センサー１１２を用いて、領域１０２を通る位置センサー経路３１０を識別する、経路識別器４０８を含む。例示的なシステムは、また、プラットフォーム１０４の較正３１４を検証するために、レーザースキャナー経路３０８（単数又は複数）、カメラ経路３０４（単数又は複数）及び位置センサー経路３１０（単数又は複数）を比較するプラットフォーム較正器４１０を備える。このようにして、例示的なシステム４０６は、本明細書で提示される技術に従って、プラットフォーム１０４が領域１０２を通って移動する間に、維持された較正３１４の検証及び誤較正の検出を可能にする。

図５は、少なくとも一つのカメラ１０８、少なくとも一つのレーザースキャナー２０２及び少なくとも一つの位置センサー１１２を使用して、領域１０２の表現を取得しながら、領域１０２を通って移動するプラットフォーム１０４の較正３１４を検証する例示的な方法５００として示される、本明細書で提示される技術の第二の例示的な実施形態を示す。例示的な方法５００は、例えば、メモリ回路、ハードディスクドライブのプラッタ、ソリッドステートストレージデバイス、磁気又は光ディスクなどの、装置４０２の記憶装置に記憶された命令のセットとして実装され得、装置４０２のプロセッサー４０４上で実行されると、本明細書で提示する技術に従って装置４０２を動作させるように実装され得る。例示的な方法５００は、５０２で開始し、それぞれのレーザースキャナー２０２（複数）を用いて、それぞれの時間２１４で取得した領域１０２のレーザー走査を比較して(５０４)、領域１０２を通るレーザースキャナー経路３０８を識別することを含む。例示的な方法５００は、また、それぞれのカメラ１０８（複数）を用いて、それぞれの時間２１４で取得した領域１０２の画像１１０を比較して(５０６)、領域１０２を通るカメラ経路３０４を識別することを含む。例示的な方法５００は、また、それぞれの位置センサー１１２（複数）を用いて、領域１０２を通る位置センサー経路３１０を識別する（５０８）ことを含む。例示的な方法５００は、また、本明細書で提示される技術に従って、プラットフォーム１０４が領域１０２を通って移動する間に、プラットフォーム１０４の較正３１４を検証するために、及び／又は、少なくとも一つのセンサーの誤較正を検出するために、一つ又は複数のレーザースキャナー経路３０８、一つ又は複数のカメラ経路３０４及び一つ又は複数の位置センサー経路３１０を比較する（５１０）ことを含み、５１２で終了する。

（後略））

「

［図：0001398922000004.jpg］

」

「

［図：0001398922000005.jpg］

」

カ D. VARIATIONS

(ア) [0030]

「D. VARIATIONS

[0030] The techniques discussed herein may be devised with variations in many aspects, and some variations may present additional advantages and/or reduce disadvantages with respect to other variations of these and other techniques. Moreover, some variations may be implemented in combination, and some combinations may feature additional advantages and/or reduced disadvantages through synergistic cooperation. The variations may be incorporated in various embodiments (e.g., the exemplary system 406 of FIG. 4, and the exemplary method 500 of FIG. 5) to confer individual and/or synergistic advantages upon such embodiments.」

（D. 変形例

[0030] 本明細書で説明する技術は、多くの態様における変形例を用いて考案され得、変形例には、これら及び他の技術の他の変形例との関係で、追加の利点を提示し、及び／又は、欠点を低減し得るものもある。さらに、変形例には、組み合わせて実装され得るものもあり、組み合わせの中には、相乗的協働を通じて付加的利点及び／又は低減された不利点を特徴とし得るものもある。これらの変形例は、様々な実施形態（例えば、図４の例示的なシステム406及び図５の例示的な方法500）に組み込まれて、そのような実施形態に個々の及び／又は相乗的な利点を与えることができる。）

(イ) [0033]

「[0033] As a first variation of this first aspect, the techniques presented herein may be utilized with many types of platforms 104, including vehicles traveling in the area 102, such as automobiles and bicycles traveling on a roadway or airplanes, helicopters and unmanned aerial vehicles (UAVs) traveling in an airspace; individuals moving in an area, such as a motion-capture area 102; and projectiles moving in a space, such as ballistics. Such platforms 104 may also be operated in whole or in part by humans present in or near the platform 104 or remotely monitoring the platform 104, and in whole or in part by automated navigation techniques.」

（[0033] この第一の態様の第一の変形例として、本明細書で提示される技術は、車道を移動する自動車や二輪車、又は、空中を移動する飛行機、ヘリコプター及び無人航空機(ＵＡＶｓ)のような領域１０２内を移動する乗り物、モーションキャプチャ領域１０２などの領域を移動する個体、及び、弾道などの空間を移動する発射体を含む、多くのタイプのプラットフォーム１０４に利用され得る。そのようなプラットフォーム１０４は、また、プラットフォーム１０４内又はその近くに存在する、又は、プラットフォーム１０４を遠隔で監視する人によって全体的又は部分的に操作され得るものであり、自動ナビゲーション技術によって全体的又は部分的に操作され得る。）

(ウ) [0043]

「[0043] As a fourth variation of this second aspect, the comparison to verify the calibration 316 of the sensors may involve a registration of the respective sensor paths with a platform-independent coordinate system. For example, a comparison between a first path of a first sensor and a second path of a second sensor may be achieved by registering the first path with a platform-independent coordinate system to produce a registered first path; registering the second path with the platform-independent coordinate system to produce a registered second path; and comparing the registered first path and the registered second path. In an embodiment, the platform-independent coordinate system may comprise a static coordinate system (e.g., the ground of the area 102).」

（当審注：「the calibration 316」は「the calibration 314」の誤記であることは明らかであるため、次の日本語訳においては、「較正３１４」とした。）

（[0043] この第二の態様の第四の変形例として、センサーの較正３１４を検証するための比較は、それぞれのセンサー経路をプラットフォームとは独立した座標系と位置合わせを行うことを含み得る。例えば、第一のセンサーの第一の経路と第二のセンサーの第二の経路の比較は、第一の経路をプラットフォームとは独立した座標系に位置合わせして、位置合わせされた第一の経路を生成し、第二の経路をプラットフォームとは独立した座標系と位置合わせして、位置合わせされた第二の経路を生成し、位置合わせされた第一の経路と位置合わせされた第二の経路とを比較することによって達成され得る。一実施形態では、プラットフォームとは独立した座標系は、静的座標系(例えば、領域１０２の地面)からなり得る。）

(エ) [0044]

「[0044] As a fifth variation of this second aspect, the comparison to verify the calibration 316 may be performed among captured representations of the area 102 by different sensors at the same time 214. For example, a location sensor 112 may be configured to perform a detection of a location 114 of the platform 104 at a location detection frequency (e.g., once per second). One or more laser scanners 202 may be configured to capture laser scans of the area 102 in a manner that is synchronized with the time 214 of the detection of the location 114 of the platform 104 by the location sensor 112; and/or one or more cameras 108 may be configured to capture images 110 of the area 102 in a manner that is synchronized with the time 214 of the detection of the location 114 of the platform 104 by the location sensor 112. Alternatively, the laser scanner 202 and/or camera 108 may capture representations of the area 102 more frequently than the location sensor 112, but may be timed to include a capturing at the same time 214 as the location sensor 112 (e.g., at a frequency that is a multiple of the frequency of the location sensor 112).」（当審注：「the calibration 316」は「the calibration 314」の誤記であることは明らかであるため、日本語訳では、「較正３１４」とした。）

（[0044] この第二の態様の第五の変形形態として、較正３１４を検証するための比較は、同じ時間２１４に異なるセンサーによって取得された領域１０２の表現の間で実行され得る。例えば、位置センサー１１２は、位置検出周期（例えば、１秒に一回）で、プラットフォーム１０４の位置１１４の検出を実行するように構成され得る。一つ又は複数のレーザースキャナー２０２は、位置センサー１１２によるプラットフォーム１０４の位置１１４の検出の時間２１４と同期した方法で、領域１０２のレーザー走査を取り込むように構成され得、及び／又は、一つ又は複数のカメラ１０８は、位置センサー１１２によるプラットフォーム１０４の位置１１４の検出の時２１４と同期した方法で、領域１０２の画像１１０を取得するように構成され得る。代替的に、レーザースキャナー２０２及び／又はカメラ１０８は、位置センサー１１２よりも頻繁に領域１０２の表現を取得し得るが、位置センサー１１２と同じ時間２１４に（例えば、位置センサー１１２の周波数の倍数である周波数で）取得することを含むように時間調整され得る。）

(２) 引用発明の認定

アａ(ａ) 引用文献１の[0027]には、「少なくとも一つのカメラ１０８、少なくとも一つのレーザースキャナー２０２及び少なくとも一つの位置センサー１１２を使用して、領域１０２の表現を取得しながら、領域１０２を通って移動するプラットフォーム１０４の較正３１４を検証する例示的な方法５００」と記載されている。

(ｂ) 同じく[0027]には、「例示的な方法５００は、５０２で開始し、それぞれのレーザースキャナー２０２（複数）を用いて、それぞれの時間２１４で取得した領域１０２のレーザー走査を比較して(５０４)、領域１０２を通るレーザースキャナー経路３０８を識別することを含む。例示的な方法５００は、また、それぞれのカメラ１０８（複数）を用いて、それぞれの時間２１４で取得した領域１０２の画像１１０を比較して(５０６)、領域１０２を通るカメラ経路３０４を識別することを含む。例示的な方法５００は、また、それぞれの位置センサー１１２（複数）を用いて、領域１０２を通る位置センサー経路３１０を識別する（５０８）ことを含む。」と記載されている。

(ｃ) また、[0026]には、「比較３１２が、少なくとも一つのカメラ１０８の全てのカメラ経路３０４と、少なくとも一つのレーザースキャナー２０２の全てのレーザースキャナー経路３０８と、唯一の位置センサー１１２の位置センサー経路３１０の間の一致を示す場合、比較３１２は、プラットフォーム１０４の全てのセンサーの較正３１４を検証することができる。」と記載されている。

ｂ(ａ) 前記ａ(ａ)～(ｂ)に示すように、引用文献１の開示においては、カメラ１０８、レーザースキャナー２０２及び位置センサー１１２のそれぞれの数が単数又は複数の場合の広範な開示になっているところ、次の引用発明の認定においては、引用文献１の開示において、カメラ１０８とレーザースキャナー２０２の数がそれぞれ複数で、位置センサー１１２の数が一つである場合を、引用発明として認定する。

(ｂ) すなわち、引用発明を「複数のカメラ１０８、複数のレーザースキャナー２０２及び一つの位置センサー１１２を使用して、…センサーの較正３１４を検証する方法５００」として認定する。

イ 前記(１)の記載事項及び前記アの認定事項を総合すると、引用文献１には、次の発明（以下「引用発明」という。）が記載されているものと認められる。

＜引用発明＞

「複数のカメラ１０８、複数のレーザースキャナー２０２及び一つの位置センサー１１２を使用して、領域１０２の表現を取得しながら、領域１０２を通って移動するプラットフォーム１０４のセンサーの較正３１４を検証する方法５００であって（前記アの認定事項）、

レーザースキャナー２０２は、ライダー検出器２１０を備え（[0018]）、

位置センサー１１２は、全地球測位システム（ＧＰＳ）受信機、慣性計測装置(ＩＭＵ)など、プラットフォーム１０４の位置１１４を検出するように構成されたものであり（[0017]）、

それぞれのレーザースキャナー２０２（複数）を用いて、それぞれの時間２１４で取得した領域１０２のレーザー走査を比較して(５０４)、領域１０２を通るレーザースキャナー経路３０８を識別し（[0027]、前記アの認定事項）、

続きを表示（全15行）

それぞれのカメラ１０８（複数）を用いて、それぞれの時間２１４で取得した領域１０２の画像１１０を比較して(５０６)、領域１０２を通るカメラ経路３０４を識別し（[0027]、前記アの認定事項）、

位置センサー１１２を用いて、領域１０２を通る位置センサー経路３１０を識別し（５０８）（[0027]、前記アの認定事項）、

プラットフォーム１０４が領域１０２を通って移動する間に、プラットフォーム１０４の較正３１４を検証するために、及び、少なくとも一つのセンサーの誤較正を検出するために、複数のレーザースキャナー経路３０８、複数のカメラ経路３０４及び一つの位置センサー経路３１０を比較し（５１０）（[0027]、前記アの認定事項）、

比較３１２が、全てのカメラ経路３０４（複数）と、全てのレーザースキャナー経路３０８（複数）と、位置センサー経路３１０（単数）の間の一致を示す場合、比較３１２は、プラットフォーム１０４の全てのセンサーの較正３１４を検証することができ（[0026]）、

比較３１２のうちの一つ又は複数が一致しない場合、誤較正が検出され（[0026]）、

どのセンサーが誤較正であるかを判定することも可能であり（例えば、他のセンサー経路のいずれとも一致しない一つのカメラ１０８の一つのカメラ経路３０４を除いて、センサー経路の全てが一致する場合、カメラ１０８は誤較正であると推定される）（[0026]）、

誤較正であるセンサーを再較正するようにサービスされてもよく（[0026]）、

プラットフォーム１０４は、自動車のような領域１０２内を移動する乗り物を含み（[0030]、[0033]）、

センサーの較正３１４を検証するための比較は、それぞれのセンサー経路をプラットフォームとは独立した座標系と位置合わせを行うことを含み、プラットフォームとは独立した座標系は、静的座標系からなり（[0030]、[0043]）、

較正３１４を検証するための比較は、異なるセンサーによって同じ時間２１４に取得された領域１０２の表現の間で実行される（[0030]、[0044]）、

方法５００。」

２ 引用文献２、３に記載された事項及び技術常識の認定

(１) 引用文献２に記載された事項

当審において新たに引用され、本願の優先日前に発行された、「出口光一郎，“コンピュータビジョンのための幾何学 １．画像の生成過程を記述する”，情報処理 情報処理学会誌，１９９６年６月，第３７巻，第６号，５４９～５５６頁」（以下「引用文献２」という。）には、以下の事項が記載されている。

「

［図：0001398922000006.jpg］

［図：0001398922000007.jpg］

［図：0001398922000008.jpg］

」

「

［図：0001398922000009.jpg］

［図：0001398922000010.jpg］

［図：0001398922000011.jpg］

」

「

［図：0001398922000012.jpg］

」

(２) 引用文献３に記載された事項

当審において新たに引用され、本願の優先日前に発行された特開２０１０－１３６０８２号公報（以下「引用文献３」という。）には、以下の事項が記載されている。

「【０００９】

このような車両周辺監視装置においては、例えば、図７に示すように、車載カメラの撮像面（例えば、ＣＣＤやＣＭＯＳ等の撮像素子のセンサ面）１２に結像された車載カメラの撮影映像１４における所定の使用範囲（画素領域）１５内の映像を、この映像と車両周辺俯瞰画像１との座標の対応関係が記述された所謂マッピングテーブルを用いて座標変換（すなわち視点変換）することによって車両周辺俯瞰画像１を生成するのが一般的であった。

【００１０】

ここで、マッピングテーブルは、車載カメラの外部パラメータを用いて作成されるようになっており、この外部パラメータとしては、三次元ワールド座標系における車載カメラの方向（光軸の方向）を規定する回転行列および三次元ワールド座標系における車載カメラの位置を規定する平行移動ベクトルが知られている。

続きを表示（全12行）

【００１１】

なお、マッピングテーブルによる視点変換が歪み補正をともなわないものであれば、視点変換によって得られた視点変換画像に対してさらに歪み補正を行った上で、歪み補正後の各視点変換画像を繋ぎ合わせて車両周辺俯瞰画像１を生成するようになっていた。

【００１２】

このようなマッピングテーブルは、自車両における車載カメラの取付け位置および取付け姿勢（換言すれば、車載カメラの光軸の方向）が設計通りに適切であれば正しく機能し、各車載カメラの撮影映像１４に基づいて、各視点変換画像３，４，６，８同士が境界線５，７，１０，１１において適切に繋ぎ合わされた良好な車両周辺俯瞰画像１を生成することが可能とされていた。

【００１３】

しかしながら、必ずしも、車載カメラを設計通りに高精度に自車両に取り付けることができない場合があり、そのような場合には、境界線５，７，１０，１１の位置において各視点変換画像３，４，６，８同士のずれが確認されるような粗悪な車両周辺俯瞰画像１が生成される虞があった。

【００１４】

そこで、従来から、車両周辺監視装置に対しては、その製造時やカメラの交換時等において、例えば、キャリブレーション用のターゲットボードに描かれた複数の円形パターンを撮影した撮影映像を用いることによって、車載カメラの取付け位置および取付け姿勢を車載カメラの外部パラメータとして算出することが行われていた。そして、算出された外部パラメータが設計値からずれている場合には、ずれが解消されるように外部パラメータの補正およびこれにともなうマッピングテーブルの補正を行うようになっていた。」

(３) 技術常識の認定

引用文献２の前記(１)の摘記箇所の記載、及び、引用文献３の前記(２)の摘記箇所の記載に例示されるように、次の事項は技術常識であると認める（以下「技術常識」という。）。

＜技術常識＞

「ワールド座標系とカメラ座標系の相対的な位置関係は、外部パラメーターと呼ばれる「回転行列と平行移動ベクトル」で表され、この外部パラメーターを用いることによって、ワールド座標系とカメラ座標系の間の座標変換を行うことが可能であり、また、このような外部パラメーターを含むカメラの各パラメーターを決定することを、カメラキャリブレーションということ。」

第５ 対比・判断

１ 対比分析

以下、(１)において、本願発明と引用発明が「マルチセンサーのキャリブレーション方法」であるという基本的な点において一致することを示した上で、(２)～（６）において、本願発明の特定事項の順に沿って、本願発明と引用発明を対比する。

(１)ア 引用発明の「方法５００」は、複数のカメラ１０８、複数のレーザースキャナー２０２及び一つの位置センサー１１２を使用して、領域１０２の表現を取得しながら、領域１０２を通って移動するプラットフォーム１０４のセンサーの較正３１４を検証する方法である。

イ ここで、引用発明の「カメラ１０８」は、「領域１０２の画像１１０」を取得するものであり、「レーザースキャナー２０２」は、「ライダー検出器２１０」を備えたものであるから、いずれもセンサーであるといえる。そうすると、引用発明の「複数のカメラ１０８、複数のレーザースキャナー２０２及び一つの位置センサー１１２」は、複数種類のセンサーの組み合わせであるから、本願発明の「マルチセンサー」に相当する。

ウ 引用発明の「プラットフォーム１０４のセンサーの較正３１４を検証する」ことは、センサー経路の比較３１２により検出された誤較正のセンサーを再較正することを含むから、本願発明の「マルチセンサーのキャリブレーション」に相当する。

エ よって、本願発明と引用発明は、「マルチセンサーのキャリブレーション方法」である点で一致する。

(２)ア 引用発明の「複数のカメラ１０８、複数のレーザースキャナー２０２及び一つの位置センサー１１２」は、本願発明の「少なくとも三つのセンサー」に相当する。

イ(ア) 引用発明において、「プラットフォーム１０４は、自動車のような領域１０２内を移動する乗り物を含む」ものであり、「複数のカメラ１０８、複数のレーザースキャナー２０２及び一つの位置センサー１１２を使用して、領域１０２の表現を取得しながら、領域１０２を通って移動するもの」であるから、引用発明は「プラットフォーム１０４」（乗り物）の移動中に「領域１０２の表現」を「取得」しているといえる。

(イ)ａ ここで、引用発明において、「複数のカメラ１０８」は「領域１０２の画像１１０」を取得し、「複数のレーザースキャナー２０２」は、「領域１０２のレーザー走査」を取得し、「一つの位置センサー１１２」が「プラットフォーム１０４」（乗り物）の位置を取得していることは、明らかである。

ｂ そうすると、引用発明においては、「領域１０２の画像１１０」、「領域１０２のレーザー走査」及び「プラットフォーム１０４」（乗り物）の位置を測定データとして取得した上で「領域１０２の表現」を「取得」しているといえるから、「複数のカメラ１０８、複数のレーザースキャナー２０２及び一つの位置センサー１１２」が取得するこれらの測定データは、本願発明の「車両の走行中に」「採取されたデータ」に相当する。

ウ 引用発明においては、「比較３１２が、複数の全てのカメラ経路３０４（複数）と、複数の全てのレーザースキャナー経路３０８（複数）と、一つの位置センサー経路３１０（単数）の間の一致を示す場合、比較３１２は、プラットフォーム１０４の全てのセンサーの較正３１４を検証することができ」、「比較３１２のうちの一つ又は複数が一致しない場合、誤較正が検出され[る]」ものであり、「較正３１４を検証するための比較は、異なるセンサーによって同じ時間２１４に取得された領域１０２の表現の間で実行される」ものであるから、前記イにおいて検討した「複数のカメラ１０８、複数のレーザースキャナー２０２及び一つの位置センサー１１２」により取得された測定データが同一期間に取得されたものであることは明らかである。

エ 前記アからウまでの検討結果をまとめると、本願発明と引用発明は、「車両の走行中に少なくとも三つのセンサーによって同一期間に採取されたデータをそれぞれ取得するステップ」を有する点で一致する。

(３)ア 引用発明においては、「レーザースキャナー２０２を用いて、それぞれの時間２１４で取得した領域１０２のレーザー走査を比較して(５０４)、領域１０２を通るレーザースキャナー経路３０８を識別し」、「カメラ１０８を用いて、それぞれの時間２１４で取得した領域１０２の画像１１０を比較して(５０６)、領域１０２を通るカメラ経路３０４を識別し」、「位置センサー１１２を用いて、領域１０２を通る位置センサー経路３１０を識別（５０８）［する］」ものであるから、引用発明は、複数のカメラ１０８、複数のレーザースキャナー２０２及び一つの位置センサー１１２によって取得された測定データのそれぞれに基づいて、それぞれの経路を決定しているといえる。

イ そうすると、引用発明の「複数のレーザースキャナー経路３０８、複数のカメラ経路３０４及び一つの位置センサー経路３１０」は、本願発明の「前記少なくとも三つのセンサーによって採取されたデータのそれぞれに基いて」「決定[された]「それぞれの軌跡」に相当する。

ウ したがって、本願発明と引用発明は、「前記少なくとも三つのセンサーによって採取されたデータのそれぞれに基いて、それぞれの軌跡を決定するステップ」を有する点で一致する。

(４)ア(ア) 引用発明において、「センサーの較正３１４を検証するための比較は、それぞれのセンサー経路をプラットフォームとは独立した座標系と位置合わせを行うことを含［む］」ものであるところ、「プラットフォームとは独立した座標系」は、「静的座標系」からなり、「それぞれのセンサー経路」が、レーザースキャナー経路３０８、カメラ経路３０４及び位置センサー経路３１０を指すことは明らかであるから、引用発明の「センサーの較正３１４を検証するための比較」は、これらの三つの経路を共通の静的座標系に座標変換して、この共通の静的座標系において、それぞれの経路の比較を行うことを意味する。

(イ)ａ(ａ) ここで、前記第４の２(３)において認定したとおり、ワールド座標系とカメラ座標系の相対的な位置関係は、外部パラメーターと呼ばれる「回転行列と平行移動ベクトル」で表され、この外部パラメーターを用いることによって、ワールド座標系とカメラ座標系の間の座標変換を行うことは、技術常識である。

(ｂ) そうすると、前記(ア)において、プラットフォームとは独立した静的座標系に、ワールド座標系が含まれることは明らかであるから、前記技術常識を踏まえれば、カメラ経路３０４を、共通の静的座標系であるワールド座標系に位置合わせするということは、カメラ座標系で表現されたカメラ経路３０４を、外部パラメーターを用いてワールド座標系に座標変換することを意味する。

ｂ また、ライダー検出器２１０を備えるレーザースキャナー２０２や、全地球測位システム（ＧＰＳ）受信機、慣性計測装置(ＩＭＵ)などが含まれる位置センサー１１２についても、検出されるセンサー経路は、それぞれのセンサーのセンサー座標系で表現されたものであるから、レーザースキャナー経路３０８や位置センサー経路３１０を、共通の静的座標系であるワールド座標系に位置合わせするということは、それぞれのセンサー座標系で表現された経路を、ワールド座標系に座標変換することを意味し、この座標変換もカメラの場合と同様に、「回転行列と平行移動ベクトル」（外部パラメータ）により記述されることは明らかである。

(ウ) したがって、前記(ア)及び(イ)を踏まえると、引用発明は、レーザースキャナー経路３０８、カメラ経路３０４及び位置センサー経路３１０を、各センサーに固有の外部パラメーターを用いて、共通の静的座標系であるワールド座標系に座標変換して、これらの経路を比較していることは明らかである。

イ(ア) 引用発明においては、「複数のレーザースキャナー経路３０８、複数のカメラ経路３０４及び一つの位置センサー経路３１０を比較し」、「比較３１２のうちの一つ又は複数が一致しない場合、誤較正が検出され」、「どのセンサーが誤較正であるかを判定することも可能であり（例えば、他のセンサー経路のいずれとも一致しない一つのカメラ１０８の一つのカメラ経路３０４を除いて、センサー経路の全てが一致する場合、カメラ１０８は誤較正であると推定される）」、「誤較正であるセンサーを再較正するようにサービスされてもよい」ものである。

(イ) 前記(ア)に示したとおり、引用発明においては、どのセンサーが誤較正であるかを判定する例として、一つのカメラ経路３０４を除いて、センサー経路の全てが一致する場合、カメラ１０８は誤較正であると推定され得るとされているが、例えば、複数のセンサー経路を比較して、二つのセンサー経路を除いて、センサー経路の全てが一致する場合にも、この二つのセンサーが誤較正であると推定されることは明らかであり、この誤較正であると推定された二つのセンサーは再較正されることになる。

ウ(ア) 引用発明において、「較正」とは、それぞれの経路（本願発明の「軌跡」に相当する。）を静的座標系で表現した場合に、各経路を記述する位置ベクトルが一致していること、すなわち、座標系を揃えた場合に、それぞれの経路の位置ベクトルが一致していることを意味するから、「再較正」とは、それぞれの経路を静的座標系で表現した場合に、ある経路の位置ベクトルが他の経路の位置ベクトルと一致しないとき、これらが同時に一致するように、各センサーについて、その座標系の静的座標系に対する位置関係、すなわち、各センサーの外部パラメーター（回転行列と平行移動ベクトル）を決定することにほかならない。

(イ) そして、前記イ(イ)の場合においては、互いに一致するセンサー経路が正しいセンサー経路であるとされているのであるから、誤較正であると推定された二つのセンサー経路が、正しいセンサー経路であるセンサー経路と一致するように、各センサーの外部パラメーターの決定を行って、再較正を行っていることは明らかである。

エ 前記アからウまでの検討結果をまとめると、引用発明は、プラットフォームが、複数のカメラ１０８、複数のレーザースキャナー２０２及び一つの位置センサー１１２を有しており、これらのセンサー経路を、共通の静的座標系であるワールド座標系に、各センサー固有の外部パラメーターを用いて座標変換をして、共通の静的座標系において各センサー経路の比較を行い、互いに一致するセンサー経路と、他のセンサー経路と一致しないセンサー経路（例えば、二つ）を特定し、この他のセンサー経路と一致しないセンサー経路が、正しいセンサー経路とされる互いに一致するセンサー経路と揃うように、外部パラメーターを調整し、そのときの各センサーの外部パラメーターを正しい外部パラメーターとして決定することで、再較正を行っているものと認められる。

オ(ア) 引用発明の前記エに示した、複数のカメラ１０８、複数のレーザースキャナー２０２及び一つの位置センサー１１２のセンサー経路に対して行われる共通の静的座標系であるワールド座標系への座標変換を行うことは、本願発明の「前記少なくとも三つのセンサーそれぞれの軌跡に対して座標系を揃え[る]」ことに相当する。

(イ) 引用発明の前記エに示した、一致しないセンサー経路（例えば、二つ）が、正しいセンサー経路とされる互いに一致するセンサー経路と揃うように、外部パラメーターを調整して、再較正を行うことは、本願発明の「前記少なくとも三つのセンサーの複合キャリブレーションを実現する」ことに相当する。

(ウ) したがって、本願発明と引用発明は、「前記少なくとも三つのセンサーそれぞれの軌跡に対して座標系を揃えて、前記少なくとも三つのセンサーの複合キャリブレーションを実現するステップ」を有する点で一致する。

(５)ア 引用発明の前記(４)エにおける、「他のセンサー経路と一致しないセンサー経路」及び「互いに一致するセンサー経路」が、それぞれ本願発明の「対象軌跡」及び「目標軌跡」に相当することは明らかである。

イ そして、前記(４)エに示したとおり、引用発明においては、各センサー経路の比較を行って、互いに一致するセンサー経路と、他のセンサー経路と一致しないセンサー経路を特定している。

ウ(ア) 引用発明において、本願発明の「目標軌跡」に相当する、互いに一致するセンサー経路と、本願発明の「対象軌跡」に相当する、他のセンサー経路と一致しないセンサー経路を特定しなければ、一致しないセンサー経路を誤較正であると推定して、その一致しないセンサー経路を、正しいセンサー経路であるセンサー経路と一致するように再較正を行えないことは明らかであるから、互いに一致するセンサー経路と、一致しないセンサー経路を特定することが、再較正を行うことの前提になっていることは明らかである。

(イ) そうすると、引用発明において、前記(４)オ(イ)に示した、一致しないセンサー経路（例えば、二つ）が、正しいセンサー経路とされる互いに一致するセンサー経路と揃うように、外部パラメーターを調整して、再較正を行うステップには、互いに一致するセンサー経路と、他のセンサー経路と一致しないセンサー経路を特定するステップが含まれることになる。

エ したがって、本願発明と引用発明は、「前記少なくとも三つのセンサーそれぞれの軌跡に対して座標系を揃えて、前記少なくとも三つのセンサーの複合キャリブレーションを実現するステップは、」「前記少なくとも三つのセンサーそれぞれの軌跡からいずれかを目標軌跡として選択し、他の軌跡を対象軌跡とするステップ」を含む点で一致する。

(６)ア 引用発明においては、全てのセンサー経路が比較のため、共通の静的座標系への座標変換が行われており、前記全てのセンサー経路には、当然、本願発明の「目標軌跡」に相当するセンサー経路、及び、本願発明の「対象軌跡」に相当するセンサー経路も含まれているから、引用発明において、全てのセンサー経路に対して、共通の静的座標系であるワールド座標系への座標変換を行うことは、本願発明の「前記対象軌跡及び前記目標軌跡に対してそれぞれ座標系を揃える操作を行[う]」ことに相当する。

イ(ア) 次に、本願発明の「前記対象軌跡と前記目標軌跡とが同時に揃えた場合、前記少なくとも三つのセンサーそれぞれの外部パラメーターを決定する」構成について検討する。

(イ)ａ(ａ) 本願明細書の【００２３】及び【００２４】には、前記構成について次のとおり記載されている。

「【００２３】

任意に、少なくとも三つのセンサーそれぞれの軌跡を軌跡揃えて、少なくとも三つのセンサーの複合キャリブレーションを実現するステップは、少なくとも三つのセンサーそれぞれの軌跡中から一つのを目標軌跡として任意に選択し、他の軌跡を対象軌跡とするステップと、対象軌跡と目標軌跡とをそれぞれ軌跡揃え操作し、対象軌跡と目標軌跡とが同時に揃えた場合、少なくとも三つのセンサーそれぞれの外部パラメーターを決定するステップと、を含む。

【００２４】

目標軌跡を決定したところ、目標軌跡がある座標系を参考座標系として、残りの対象軌跡に対してその現在の座標システム一を参考座標系に変換し、目標軌跡に揃える。異なる対象軌跡のいずれも、目標軌跡に揃える場合に、異なる軌跡の間の座標変換パラメーター決定することができ、即ち異なるセンサーの外部パラメーターをキャリブレーションし、具体的に、回転行列と並進ベクトルを含むことができる。」

(ｂ) 前記(ａ)に摘記した本願明細書の記載にあるとおり、【００２３】には、「対象軌跡と目標軌跡とが同時に揃えた場合、少なくとも三つのセンサーそれぞれの外部パラメーターを決定する」と記載されており、【００２４】には、「異なる対象軌跡のいずれも、目標軌跡に揃える場合に、異なる軌跡の間の座標変換パラメーター決定することができ[る]」と記載されている。

そうすると、本願明細書の記載において、対象軌跡を目標軌跡に揃えた場合の外部パラメーターを決定することが読み取れるところ、対象軌跡に係るセンサーの外部パラメータは、軌跡が目標軌跡に揃うように調整されるから、調整の前後で外部パラメーターは変化することになるが、目標軌跡に係るセンサーの外部パラメーターは、外部パラメータの調整を行う必要がないため、調整の前後で外部パラメーターは変化しないことになる。

ｂ 前記ａの検討結果を踏まえると、本願発明の「前記対象軌跡と前記目標軌跡とが同時に揃えた場合、前記少なくとも三つのセンサーそれぞれの外部パラメータを決定する」における、「少なくとも三つのセンサーそれぞれの外部パラメータ」には、変化しない外部パラメーターも含まれているから、「外部パラメータを決定する」には、対象軌跡を目標軌跡に揃えた場合に、揃えた時点の前後で外部パラメーターが変化するか否かに関わらず、揃えた後の外部パラメーターを正しい外部パラメーターとして決定すること、すなわち、外部パラメーターが変化しない場合は、継続して、その外部パラメーターを正しい外部パラメーターとして決定することが含まれているものと解釈される。

ウ(ア) 引用発明において、他のセンサー経路と一致しないセンサー経路を、正しいセンサー経路とされるセンサー経路に一致させたときに、各センサーの外部パラメーターを正しい外部パラメーターとして決定するに当り、正しいセンサー経路に係るセンサーの外部パラメーターについては、調整する必要がないので、継続して同じ外部パラメーターを正しい外部パラメーターとして決定することになるところ、前記イの本願明細書の記載を参酌した本願発明のクレーム解釈の検討結果を踏まえると、このような外部パラメーターの決定態様を含む引用発明の「再較正」（各センサーの外部パラメーターを決定すること）は、本願発明の「前記対象軌跡と前記目標軌跡とが同時に揃えた場合、前記少なくとも三つのセンサーそれぞれの外部パラメーターを決定する」ことに相当する。

(イ) そして、引用発明において前記(４)オ(イ)に示した、他のセンサー経路と一致しないセンサー経路（例えば、二つ）が、正しいセンサー経路とされる互いに一致するセンサー経路と揃うように、外部パラメーターを調整して、再較正を行うステップには、他のセンサー経路と一致しないセンサー経路を、正しいセンサー経路とされるセンサー経路に一致させたときに、各センサーの外部パラメーターを正しい外部パラメーターとして決定するステップが含まれることは明らかである。

(ウ) したがって、本願発明と引用発明は、「前記少なくとも三つのセンサーそれぞれの軌跡に対して座標系を揃えて、前記少なくとも三つのセンサーの複合キャリブレーションを実現するステップは、」「前記対象軌跡及び前記目標軌跡に対してそれぞれ座標系を揃える操作を行い、前記対象軌跡と前記目標軌跡とが同時に揃えた場合、前記少なくとも三つのセンサーそれぞれの外部パラメーターを決定するステップ」を含む点で一致する。

(７) 以上のとおり、本願発明と引用発明は、全ての点において一致するから、本願発明は引用文献１に記載された発明である。

また、前記(４)の検討において、技術常識等を参酌することにより当業者には明らかであるとした点については、少なくとも当業者には極めて自明のことにすぎないから、本願発明は、引用文献１に記載された発明及び技術常識に基づいて、当業者が容易に発明をすることができたものである。

２ 請求人の主張について

第７ むすび

以上のとおり、本願発明は、引用文献１に記載された発明であり、特許法２９条１項３号に該当するものであるから、特許を受けることができない。

また、本願発明は、引用文献１に記載された発明及び技術常識に基づいて当業者が容易に発明をすることができたものであるから、特許法２９条２項の規定により特許を受けることができない。

したがって、他の請求項に係る発明について審理するまでもなく、本願は拒絶すべきものである。

よって、結論のとおり審決する。