Automatic generation, post calibration, and evaluation of the HD map
Obtaining customers behaviour and smart phone holding mode
Accurate Self-Localization using HD map and lidar
Analysing customer interest level from camera inside the shop
Smartphone-based Intelligent Driving Data Recorder (DDR)
End-to-End Driving Scene Risk Assessment Using Onboard Camera
Positioning based on 3D City Building Model aided GNSS
01
Self-Driving Car
自動運転にとって悪環境におけるセンシング状況を把握することはとても重要です。 当研究室ではこのテーマに対して、悪環境に対するセンシングをシミュレートするデータ生成などの研究を行っています。 特に、Cycle Generative Adversarial Networks(Cycle GANs)を用いることで、ペア画像なしでの悪環境に対するデータ生成を可能にしています。
既存のドライブレコーダは、高価で、また不必要にデータを保存してしまう問題を抱えています。 本研究ではスマートフォンを用いた車両速度推定や周辺物体認識によって、運転補助に必要な情報を提供する安価なドライブレコーダを提案します。
都市部の自動運転では、歩行者や自転車など自車両以外の存在があります。 そのため、交差点の右折を行う場面など自車両と自車両以外とで様々な関係が生じて安全な移動が難しいです。 そこで、車載カメラから歩行者の動きを分析することで運転シーンにリスクの評価を行いました。
自動運転において事前に走行環境を記録している高精度3次元地図(HD map)は重要な役割を果たしています。そのHD mapとして、3DのPoint cloud mapの形式が一般的であります。 しかし、データ量が膨大であるという問題点があります。そこで、3D Planar Surface mapやMultilayer 2D Vector mapといった新しい形式の地図の開発を行いました。
自動運転において自己位置推定の誤差が生じる原因として、センサデータやHD mapの歪み、スキャンデータと地図のマッチングの誤差が挙げられます。 その中でも、実際の走行環境を記録しているためHD mapは自己位置推定の推定誤差に密接に関係していると考えられます。 そこで、新たに4つの評価指標を定めて実際の位置誤差と指標の相関を調べることで、HD mapの情報から実際の位置推定誤差を推定する手法を提案しました。
High definition (HD) 地図は環境に対する様々な情報を提供する、自動運転のためのデータソースです。 本研究では、HD地図を用いた深層学習ベースのobject detectionモデルの提案を行っています。 HD地図から得られる物体の位置情報と画像データを組み合わせることで、特に悪環境におけるobject detectionにおいて高精度の結果を達成しています。
02
Consumer electronic
画像内の特徴量とテキスト情報をうまく組み合わせる本研究の画像検索と位置推定技術を提案しています。 本研究の技術を用いると、スマートフォンで撮影した画像で自分がどこにいるのか、目の前にある施設は何なのかをデータベースから探索することができるようになります。
実店舗での行動や位置情報を含む顧客コンテキストを分析することは、マーケティング戦略に大きく活用できるため重要です。 本研究では、スマートフォンに内蔵されたセンサーを用いて、文脈に基づくマップマッチングと行動認識を組み合わせた顧客コンテキスト分析システムを提案しています。
スマートフォンの普及と急速な発展に伴い、ユーザーの行動や滞在場所を記録できるスマートフォンに基づくライフログの必要性が高まっています。 本研究では、移動のコンテキスト情報に基づきマップマッチングを用いることでPDRとWi-Fiの測位性能を向上させることに焦点を当てています。
近年、大規模な屋内施設内での人の行動や位置を把握したいというニーズが高まっています。 本研究では、スマートフォンのセンサー(加速度センサーとジャイロスコープ)のみを用いて、低コストで人の行動や室内位置を把握するシステムを提案します。
従来、小売店では労働者やコンサルティング会社を雇い、監視カメラの映像を見てマーケティングに役立つ情報を抽出していました。 ビデオアナライザでは、顧客の行動を観察することで顧客が商品にどの程度の興味を持っているかを評価することができます。
本研究では、「メガネ型ウェアラブルデバイス」を用いた歩行者の自己定位アプローチと画像マッチング技術を用いて、 より正確な歩行者の自己定位を実現しています。また、AR技術を用いて新たなナビゲーション体験の提供を目指しています。
03
deep learning
本研究は、写真をベースとしたシーンラインのインタラクティブな線画のレンダリングを目的としています。 セレクションペンとスマートブラシを使用してマスクを生成し、写真から不要な要素を除去し、線の接続や情報の追加を成功させました。
姿勢推定に多く用いられる関節推定は、オクルージョン状態では正しく推定されないことがあります。 そこで、マスク領域ベースの畳み込みニューラルネットワーク(Mask R-CNN)による複数人の姿勢推定を提案しています。
04
positioning and mapping
MMSにより周囲の環境を高精度に記録をすることができます。その中でも、高層ビルの壁面は静的な物体であることから位置推定に適した物体です。 そこで、MMSの膨大な点群データから建物境界を抽出することで、必要かつ十分な情報を持つ3次元地図を生成する手法を開発しました。
3D-GNSS計測システムを使用することで、正確な自己位置を取得することができます。 その実測値から3D地図上の建物の壁面の位置を推定することでより正確な建物の位置へと補正する手法を提案しました。
3次元地図の建物情報にレイトレーシング法によるシミュレーションを適用することで、都市部の高層ビルが乱立している箇所における位置誤差の主要因である マルチパスや非視線伝搬の補正を行いました。また、マルチGNSSやL1-SAIF信号情報を用いることで、より正確な測位を実現しました。
詳細や他の研究テーマを知りたい方は、研究ページをご覧ください
05
Many students and researchers from all around the world
Kamijo Lab members
上條研究室では、多くの外国人留学生が一緒に研究をしています。 中国、イラン、スリランカ、フィンランド、トルコ、タイなどからの留学生や研究者が在籍しています。 また、過去にはイギリス、フランス、ドイツ、アメリカ、台湾などからの留学生や研究者が研究を行っていました。