#

自動運転用の
高精度3次元地図(HD map)

HD MAP
for autonomous driving


Self-localization of AV


Automatic generation, post calibration, and evaluation of the HD map

read more

スマートフォンを用いた行動分析

Customer Context
For marketing analysis



Obtaining customers behaviour and smart phone holding mode

read more

LiDARに基づく
自己位置推定

LiDAR-based
Self-Localization


For Autonomous Driving


Accurate Self-Localization using HD map and lidar

read more

顧客の関心度に関する分析

CUSTOMER
INTEREST LEVEL Analysis

For marketing


Analysing customer interest level from camera inside the shop

read more

スマートフォンによる
ドライブレコーダ

Smart
Drive Recorder


record dangerous scene


Smartphone-based Intelligent Driving Data Recorder (DDR)

read more

運転シーンにおける
リスク評価

Scene Risk
Assessment

High, Medium, Low risk level


End-to-End Driving Scene Risk Assessment Using Onboard Camera

read more

GNSS測位支援による
3次元都市モデル

3D City Model
aided GNSS Positioning

accurate positioning in urban area


Positioning based on 3D City Building Model aided GNSS

read more

01

Self-Driving Car

自動運転のための
HD map,自己位置推定,環境認識

HD Maps, Self-Localization, and Perception for
Autonomous Driving

#
画像データはBDD 100Kデータセットを活用 All images in this research are from BDD-100K

悪条件化下におけるセンシング

Sensing Under Bad Conditions

自動運転にとって悪環境におけるセンシング状況を把握することはとても重要です。 当研究室ではこのテーマに対して、悪環境に対するセンシングをシミュレートするデータ生成などの研究を行っています。 特に、Cycle Generative Adversarial Networks(Cycle GANs)を用いることで、ペア画像なしでの悪環境に対するデータ生成を可能にしています。

For automated driving, it is very important to understand sensing conditions in adverse environments. In our laboratory, we are conducting research on this theme, including data generation to simulate sensing in adverse environments. In particular, Cycle Generative Adversarial Networks (Cycle GANs) to generate data for adverse environments without paired images.

#

スマートフォンによるドライブレコーダの実現

Smart Dashcam

既存のドライブレコーダは、高価で、また不必要にデータを保存してしまう問題を抱えています。 本研究ではスマートフォンを用いた車両速度推定や周辺物体認識によって、運転補助に必要な情報を提供する安価なドライブレコーダを提案します。

Existing drive recorders are expensive and have the problem of storing data unnecessarily. This research proposes an inexpensive drive recorder that provides necessary information for driving assistance by estimating vehicle speed and recognizing surrounding objects using a smartphone.

#

運転シーンの理解

Scene Understanding

都市部の自動運転では、歩行者や自転車など自車両以外の存在があります。 そのため、交差点の右折を行う場面など自車両と自車両以外とで様々な関係が生じて安全な移動が難しいです。 そこで、車載カメラから歩行者の動きを分析することで運転シーンにリスクの評価を行いました。

In urban areas, there are pedestrians, bicycles, and other entities other than the own vehicle. This makes it difficult to implement safe autonomous driving due to various relationships among the own vehicle and non-own vehicles, such as in situations where a right turn is made at an intersection. We evaluated the risk to the driving scene by analyzing the movement of pedestrians from the in-vehicle camera.

#

HD map作成

HD Map Generation

自動運転において事前に走行環境を記録している高精度3次元地図(HD map)は重要な役割を果たしています。そのHD mapとして、3DのPoint cloud mapの形式が一般的であります。 しかし、データ量が膨大であるという問題点があります。そこで、3D Planar Surface mapやMultilayer 2D Vector mapといった新しい形式の地図の開発を行いました。

In this modern social, people get used to a lot of smart devices, including smart phone and wearable devices. Here, we try to apply advanced information processing technology in those devices, to make people' life more convenience.

#

HD map評価

Evaluation of HD maps

自動運転において自己位置推定の誤差が生じる原因として、センサデータやHD mapの歪み、スキャンデータと地図のマッチングの誤差が挙げられます。 その中でも、実際の走行環境を記録しているためHD mapは自己位置推定の推定誤差に密接に関係していると考えられます。 そこで、新たに4つの評価指標を定めて実際の位置誤差と指標の相関を調べることで、HD mapの情報から実際の位置推定誤差を推定する手法を提案しました。

In this modern social, people get used to a lot of smart devices, including smart phone and wearable devices. Here, we try to apply advanced information processing technology in those devices, to make people' life more convenience.

#

HD MAP を活用したセンシングの向上

Sensing Enhancement With HD Maps

High definition (HD) 地図は環境に対する様々な情報を提供する、自動運転のためのデータソースです。 本研究では、HD地図を用いた深層学習ベースのobject detectionモデルの提案を行っています。 HD地図から得られる物体の位置情報と画像データを組み合わせることで、特に悪環境におけるobject detectionにおいて高精度の結果を達成しています。

High definition (HD) maps are a data source for autonomous driving that provides a variety of information about the environment. In this study, we propose a deep learning-based object detection model using HD maps. By combining object location information obtained from HD maps with image data, we have achieved high accuracy in object detection, especially in adverse environments.

02

Consumer electronic

ポータブル・ウェアラブルなスマートデバイス

Portable / Wearable Smart Devices

#

スマートフォン画像を用いた画像検索と位置推定

Image Matching and Positioning with Smartphone

画像内の特徴量とテキスト情報をうまく組み合わせる本研究の画像検索と位置推定技術を提案しています。 本研究の技術を用いると、スマートフォンで撮影した画像で自分がどこにいるのか、目の前にある施設は何なのかをデータベースから探索することができるようになります。

We propose an image retrieval and location estimation technique in this research that successfully combines features in images and textual information. Using this research technology, it will be possible to search a database for where you are and what facilities are in front of you in an image taken with a smartphone.

#

スマートフォンによる顧客の行動分析

Customer Behaviour Analysis With Smartphone

実店舗での行動や位置情報を含む顧客コンテキストを分析することは、マーケティング戦略に大きく活用できるため重要です。 本研究では、スマートフォンに内蔵されたセンサーを用いて、文脈に基づくマップマッチングと行動認識を組み合わせた顧客コンテキスト分析システムを提案しています。

Analyzing customer context, including behavior and location information in physical stores, is important because it can be used significantly for marketing strategies. In this study, we propose a customer context analysis system that combines context-based map matching and behavior recognition using sensors built into smartphones.

#

スマートフォンによるライフログ

Lifelog with Smartphone

スマートフォンの普及と急速な発展に伴い、ユーザーの行動や滞在場所を記録できるスマートフォンに基づくライフログの必要性が高まっています。 本研究では、移動のコンテキスト情報に基づきマップマッチングを用いることでPDRとWi-Fiの測位性能を向上させることに焦点を当てています。

With the proliferation and rapid development of smartphones, there is an increasing need for smartphone-based lifelogging that can record users' activities and where they are staying. This research focuses on improving PDR and Wi-Fi positioning performance by using map matching based on movement context information.

#

顧客の行動分析

Customer Behaviour Analysis

近年、大規模な屋内施設内での人の行動や位置を把握したいというニーズが高まっています。 本研究では、スマートフォンのセンサー(加速度センサーとジャイロスコープ)のみを用いて、低コストで人の行動や室内位置を把握するシステムを提案します。

Recently, there has been an increased demand for understanding the behaviour and position of people within large-scale indoor facilities. In this research, we propose an low-cost system to determine a person's activity and indoor positioning using only smartphone sensors (accelerometer and gyroscope).

#

顧客の関心度分析

Customer Interest Level Analysis

従来、小売店では労働者やコンサルティング会社を雇い、監視カメラの映像を見てマーケティングに役立つ情報を抽出していました。 ビデオアナライザでは、顧客の行動を観察することで顧客が商品にどの程度の興味を持っているかを評価することができます。

Conventionally, retailers hire human labors or consulting companies to watch the surveillance video and extract useful marketing information. The video analyzers can assess how interested in the merchandise the customers are by observing their behaviours.

#

ウェアラブルグラスを使用したナビゲーション

Navigation Application with Wearable Glasses

本研究では、「メガネ型ウェアラブルデバイス」を用いた歩行者の自己定位アプローチと画像マッチング技術を用いて、 より正確な歩行者の自己定位を実現しています。また、AR技術を用いて新たなナビゲーション体験の提供を目指しています。

In this research, a pedestrian self-localization approach using a "glasses-type wearable device" and image matching technology, more accurate pedestrian self-localization. We also aim to provide a new navigation experience using AR technology.

03

deep learning

深層学習を活用した研究

Research With Deep Learning

#
画像データはBDD 100Kデータセットを活用 All images in this research are from BDD-100K

悪条件化下におけるセンシング

Sensing Under Bad Conditions

自動運転にとって悪環境におけるセンシング状況を把握することはとても重要です。 当研究室ではこのテーマに対して、悪環境に対するセンシングをシミュレートするデータ生成などの研究を行っています。 特に、Cycle Generative Adversarial Networks(Cycle GANs)を用いることで、ペア画像なしでの悪環境に対するデータ生成を可能にしています。

For automated driving, it is very important to understand sensing conditions in adverse environments. In our laboratory, we are conducting research on this theme, including data generation to simulate sensing in adverse environments. In particular, Cycle Generative Adversarial Networks (Cycle GANs) to generate data for adverse environments without paired images.

#

GANを用いた漫画制作支援のためのエッジ検出

Edge Drawing for Manga Creation with GANs

本研究は、写真をベースとしたシーンラインのインタラクティブな線画のレンダリングを目的としています。 セレクションペンとスマートブラシを使用してマスクを生成し、写真から不要な要素を除去し、線の接続や情報の追加を成功させました。

The purpose of this study was to render interactive line drawings of scene lines based on photographs. Selection pens and smart brushes were used to generate masks, remove unwanted elements from the photo, and successfully connect lines and add information.

#

スマートフォン画像を用いた画像検索と位置推定

Image Matching and Positioning with Smartphone

画像内の特徴量とテキスト情報をうまく組み合わせる本研究の画像検索と位置推定技術を提案しています。 本研究の技術を用いると、スマートフォンで撮影した画像で自分がどこにいるのか、目の前にある施設は何なのかをデータベースから探索することができるようになります。

We propose an image retrieval and location estimation technique in this research that successfully combines features in images and textual information. Using this research technology, it will be possible to search a database for where you are and what facilities are in front of you in an image taken with a smartphone.

#

HD MAP を活用したセンシングの向上

Sensing Enhancement With HD Maps

High definition (HD) 地図は環境に対する様々な情報を提供する、自動運転のためのデータソースです。 本研究では、HD地図を用いた深層学習ベースのobject detectionモデルの提案を行っています。 HD地図から得られる物体の位置情報と画像データを組み合わせることで、特に悪環境におけるobject detectionにおいて高精度の結果を達成しています。

High definition (HD) maps are a data source for autonomous driving that provides a variety of information about the environment. In this study, we propose a deep learning-based object detection model using HD maps. By combining object location information obtained from HD maps with image data, we have achieved high accuracy in object detection, especially in adverse environments.

#

オクルージョン状態における統合的な姿勢推定

Occlusion Aware Customer Pose Estimation

姿勢推定に多く用いられる関節推定は、オクルージョン状態では正しく推定されないことがあります。 そこで、マスク領域ベースの畳み込みニューラルネットワーク(Mask R-CNN)による複数人の姿勢推定を提案しています。

Joint estimation, which is often used for posture estimation, may not be estimated correctly in occlusion conditions. Therefore, we propose a masked-domain-based convolutional neural network (Mask R-CNN) for multi-person posture estimation.

Kamijo Lab

About
KAMIJO Laboratory

私たちの研究室は、駒場リサーチキャンパス内の生産技術研究所にあります。情報理工学系研究科電子情報工学専攻、学際情報学府先端表現情報学コースに所属しています。修士課程8名、博士課程3名、ポスドク研究員1名で構成されており、外国人研究者も多く在籍しています。年に一度、オープンキャンパスを開催しています。また、研究室の見学も随時受け付けています。お気軽にお問い合わせください。

Our laboratory is at Institute of Industrial Science in Komaba Research Campus. It belongs to Department of Information and Communication Engineering, Graduate School of Information Science and Technology, and Emerging Design and Informatics Course, Graduate School of Interdisciplinary Information Studies. We consist of 8 master course students, 3 doctoral course students and 1 postdoctoral researchers including a lot of foreign members, especially Chinese. We have open campus event once per year. You can also visit our laboratory anytime. Please contact us.

04

positioning and mapping

3次元建物地図の生成と適用

Generation and Application of 3D Building Maps

#

3次元建物地図の再構築

3D Building Map Reconstruction

MMSにより周囲の環境を高精度に記録をすることができます。その中でも、高層ビルの壁面は静的な物体であることから位置推定に適した物体です。 そこで、MMSの膨大な点群データから建物境界を抽出することで、必要かつ十分な情報を持つ3次元地図を生成する手法を開発しました。

We are developing methods to extract building boundaries from huge point cloud data by MMS and generate 3D map consisting of necessary and sufficient information.

#

3次元建物地図の補正

3D Building map correction

3D-GNSS計測システムを使用することで、正確な自己位置を取得することができます。 その実測値から3D地図上の建物の壁面の位置を推定することでより正確な建物の位置へと補正する手法を提案しました。

We propose a method for correcting building footprints in 3D maps utilizing our 3D-GNSS measurement system.

#

3次元地図支援によるGNSS測位

3D Map Aided GNSS

3次元地図の建物情報にレイトレーシング法によるシミュレーションを適用することで、都市部の高層ビルが乱立している箇所における位置誤差の主要因である マルチパスや非視線伝搬の補正を行いました。また、マルチGNSSやL1-SAIF信号情報を用いることで、より正確な測位を実現しました。

Using 3D building map and ray-tracing simulation, our method correct multipath and non-line-of-sight (NLOS) propagation which are main error factors in urban canyons. In addition, we realize more accurate positioning using Multi-GNSS and L1-SAIF signal information.

More Details about researches
in KAMIJO LABORATORY

詳細や他の研究テーマを知りたい方は、研究ページをご覧ください

For the details and other research topics, please check Research page

05

Many students and researchers from all around the world

国際色豊かな 研究環境

International Research Environment

Kamijo Lab members

上條研究室では、多くの外国人留学生が一緒に研究をしています。 中国、イラン、スリランカ、フィンランド、トルコ、タイなどからの留学生や研究者が在籍しています。 また、過去にはイギリス、フランス、ドイツ、アメリカ、台湾などからの留学生や研究者が研究を行っていました。

In Kamijo laboratory, many students from foreign countries are researching together. We have studetns and researcher from China, Iran, Sri Lanka, Finland, Turkey, Thailand. Also in the past, students and researchers form U.K, France, Germany, U.S, and Taiwan were researching in our laboratory.