#

自動運転用の
高精度3次元地図(HD map)


Self-localization of AV


Automatic generation, post calibration, and evaluation of the HD map

read more

スマートフォンを用いた行動分析



Obtaining customers behaviour and smart phone holding mode

read more

LiDARに基づく
自己位置推定


For Autonomous Driving


Accurate Self-Localization using HD map and lidar

read more

顧客の関心度に関する分析

For marketing


Analysing customer interest level from camera inside the shop

read more

スマートフォンによる
ドライブレコーダ


record dangerous scene


Smartphone-based Intelligent Driving Data Recorder (DDR)

運転シーンにおける
リスク評価

High, Medium, Low risk level


End-to-End Driving Scene Risk Assessment Using Onboard Camera

read more

GNSS測位支援による
3次元都市モデル

accurate positioning in urban area


Positioning based on 3D City Building Model aided GNSS

read more

01

Self-Driving Car

自動運転のための
HD map,自己位置推定,環境認識

#
画像データはBDD 100Kデータセットを活用

悪条件化下におけるセンシング

自動運転にとって悪環境におけるセンシング状況を把握することはとても重要です。 当研究室ではこのテーマに対して、悪環境に対するセンシングをシミュレートするデータ生成などの研究を行っています。 特に、Cycle Generative Adversarial Networks(Cycle GANs)を用いることで、ペア画像なしでの悪環境に対するデータ生成を可能にしています。

#

スマートフォンによるドライブレコーダの実現

既存のドライブレコーダは、高価で、また不必要にデータを保存してしまう問題を抱えています。 本研究ではスマートフォンを用いた車両速度推定や周辺物体認識によって、運転補助に必要な情報を提供する安価なドライブレコーダを提案します。

#

運転シーンの理解

都市部の自動運転では、歩行者や自転車など自車両以外の存在があります。 そのため、交差点の右折を行う場面など自車両と自車両以外とで様々な関係が生じて安全な移動が難しいです。 そこで、車載カメラから歩行者の動きを分析することで運転シーンにリスクの評価を行いました。

#

HD map作成

自動運転において事前に走行環境を記録している高精度3次元地図(HD map)は重要な役割を果たしています。そのHD mapとして、3DのPoint cloud mapの形式が一般的であります。 しかし、データ量が膨大であるという問題点があります。そこで、3D Planar Surface mapやMultilayer 2D Vector mapといった新しい形式の地図の開発を行いました。

#

HD map評価

自動運転において自己位置推定の誤差が生じる原因として、センサデータやHD mapの歪み、スキャンデータと地図のマッチングの誤差が挙げられます。 その中でも、実際の走行環境を記録しているためHD mapは自己位置推定の推定誤差に密接に関係していると考えられます。 そこで、新たに4つの評価指標を定めて実際の位置誤差と指標の相関を調べることで、HD mapの情報から実際の位置推定誤差を推定する手法を提案しました。

#

HD MAP を活用したセンシングの向上

High definition (HD) 地図は環境に対する様々な情報を提供する、自動運転のためのデータソースです。 本研究では、HD地図を用いた深層学習ベースのobject detectionモデルの提案を行っています。 HD地図から得られる物体の位置情報と画像データを組み合わせることで、特に悪環境におけるobject detectionにおいて高精度の結果を達成しています。

02

Consumer electronic

ポータブル・ウェアラブルなスマートデバイス

#

スマートフォン画像を用いた画像検索と位置推定

画像内の特徴量とテキスト情報をうまく組み合わせる本研究の画像検索と位置推定技術を提案しています。 本研究の技術を用いると、スマートフォンで撮影した画像で自分がどこにいるのか、目の前にある施設は何なのかをデータベースから探索することができるようになります。

#

スマートフォンによる顧客の行動分析

実店舗での行動や位置情報を含む顧客コンテキストを分析することは、マーケティング戦略に大きく活用できるため重要です。 本研究では、スマートフォンに内蔵されたセンサーを用いて、文脈に基づくマップマッチングと行動認識を組み合わせた顧客コンテキスト分析システムを提案しています。

#

スマートフォンによるライフログ

スマートフォンの普及と急速な発展に伴い、ユーザーの行動や滞在場所を記録できるスマートフォンに基づくライフログの必要性が高まっています。 本研究では、移動のコンテキスト情報に基づきマップマッチングを用いることでPDRとWi-Fiの測位性能を向上させることに焦点を当てています。

#

顧客の行動分析

近年、大規模な屋内施設内での人の行動や位置を把握したいというニーズが高まっています。 本研究では、スマートフォンのセンサー(加速度センサーとジャイロスコープ)のみを用いて、低コストで人の行動や室内位置を把握するシステムを提案します。

#

顧客の関心度分析

従来、小売店では労働者やコンサルティング会社を雇い、監視カメラの映像を見てマーケティングに役立つ情報を抽出していました。 ビデオアナライザでは、顧客の行動を観察することで顧客が商品にどの程度の興味を持っているかを評価することができます。

#

ウェアラブルグラスを使用したナビゲーション

本研究では、「メガネ型ウェアラブルデバイス」を用いた歩行者の自己定位アプローチと画像マッチング技術を用いて、 より正確な歩行者の自己定位を実現しています。また、AR技術を用いて新たなナビゲーション体験の提供を目指しています。

03

deep learning

深層学習を活用した研究

#
画像データはBDD 100Kデータセットを活用

悪条件化下におけるセンシング

自動運転にとって悪環境におけるセンシング状況を把握することはとても重要です。 当研究室ではこのテーマに対して、悪環境に対するセンシングをシミュレートするデータ生成などの研究を行っています。 特に、Cycle Generative Adversarial Networks(Cycle GANs)を用いることで、ペア画像なしでの悪環境に対するデータ生成を可能にしています。

#

GANを用いた漫画制作支援のためのエッジ検出

本研究は、写真をベースとしたシーンラインのインタラクティブな線画のレンダリングを目的としています。 セレクションペンとスマートブラシを使用してマスクを生成し、写真から不要な要素を除去し、線の接続や情報の追加を成功させました。

#

スマートフォン画像を用いた画像検索と位置推定

画像内の特徴量とテキスト情報をうまく組み合わせる本研究の画像検索と位置推定技術を提案しています。 本研究の技術を用いると、スマートフォンで撮影した画像で自分がどこにいるのか、目の前にある施設は何なのかをデータベースから探索することができるようになります。

#

HD MAP を活用したセンシングの向上

High definition (HD) 地図は環境に対する様々な情報を提供する、自動運転のためのデータソースです。 本研究では、HD地図を用いた深層学習ベースのobject detectionモデルの提案を行っています。 HD地図から得られる物体の位置情報と画像データを組み合わせることで、特に悪環境におけるobject detectionにおいて高精度の結果を達成しています。

#

オクルージョン状態における統合的な姿勢推定

姿勢推定に多く用いられる関節推定は、オクルージョン状態では正しく推定されないことがあります。 そこで、マスク領域ベースの畳み込みニューラルネットワーク(Mask R-CNN)による複数人の姿勢推定を提案しています。

Kamijo Lab

About
KAMIJO Laboratory

私たちの研究室は、駒場リサーチキャンパス内の生産技術研究所にあります。情報理工学系研究科電子情報工学専攻、学際情報学府先端表現情報学コースに所属しています。修士課程8名、博士課程3名、ポスドク研究員1名で構成されており、外国人研究者も多く在籍しています。年に一度、オープンキャンパスを開催しています。また、研究室の見学も随時受け付けています。お気軽にお問い合わせください。

04

positioning and mapping

3次元建物地図の生成と適用

#

3次元建物地図の再構築

MMSにより周囲の環境を高精度に記録をすることができます。その中でも、高層ビルの壁面は静的な物体であることから位置推定に適した物体です。 そこで、MMSの膨大な点群データから建物境界を抽出することで、必要かつ十分な情報を持つ3次元地図を生成する手法を開発しました。

#

3次元建物地図の補正

3D-GNSS計測システムを使用することで、正確な自己位置を取得することができます。 その実測値から3D地図上の建物の壁面の位置を推定することでより正確な建物の位置へと補正する手法を提案しました。

#

3次元地図支援によるGNSS測位

3次元地図の建物情報にレイトレーシング法によるシミュレーションを適用することで、都市部の高層ビルが乱立している箇所における位置誤差の主要因である マルチパスや非視線伝搬の補正を行いました。また、マルチGNSSやL1-SAIF信号情報を用いることで、より正確な測位を実現しました。

More Details about researches
in KAMIJO LABORATORY

詳細や他の研究テーマを知りたい方は、研究ページをご覧ください

05

Many students and researchers from all around the world

国際色豊かな 研究環境

Kamijo Lab members

上條研究室では、多くの外国人留学生が一緒に研究をしています。 中国、イラン、スリランカ、フィンランド、トルコ、タイなどからの留学生や研究者が在籍しています。 また、過去にはイギリス、フランス、ドイツ、アメリカ、台湾などからの留学生や研究者が研究を行っていました。