01
Self-Driving Car
自動運転にとって悪環境におけるセンシング状況を把握することはとても重要です。 当研究室ではこのテーマに対して、悪環境に対するセンシングをシミュレートするデータ生成などの研究を行っています。 特に、Cycle Generative Adversarial Networks(Cycle GANs)を用いることで、ペア画像なしでの悪環境に対するデータ生成を可能にしています。
For automated driving, it is very important to understand sensing conditions in adverse environments. In our laboratory, we are conducting research on this theme, including data generation to simulate sensing in adverse environments. In particular, Cycle Generative Adversarial Networks (Cycle GANs) to generate data for adverse environments without paired images.
既存のドライブレコーダは、高価で、また不必要にデータを保存してしまう問題を抱えています。 本研究ではスマートフォンを用いた車両速度推定や周辺物体認識によって、運転補助に必要な情報を提供する安価なドライブレコーダを提案します。
Existing drive recorders are expensive and have the problem of storing data unnecessarily. This research proposes an inexpensive drive recorder that provides necessary information for driving assistance by estimating vehicle speed and recognizing surrounding objects using a smartphone.
都市部の自動運転では、歩行者や自転車など自車両以外の存在があります。 そのため、交差点の右折を行う場面など自車両と自車両以外とで様々な関係が生じて安全な移動が難しいです。 そこで、車載カメラから歩行者の動きを分析することで運転シーンにリスクの評価を行いました。
In urban areas, there are pedestrians, bicycles, and other entities other than the own vehicle. This makes it difficult to implement safe autonomous driving due to various relationships among the own vehicle and non-own vehicles, such as in situations where a right turn is made at an intersection. We evaluated the risk to the driving scene by analyzing the movement of pedestrians from the in-vehicle camera.
自動運転において事前に走行環境を記録している高精度3次元地図(HD map)は重要な役割を果たしています。そのHD mapとして、3DのPoint cloud mapの形式が一般的であります。 しかし、データ量が膨大であるという問題点があります。そこで、3D Planar Surface mapやMultilayer 2D Vector mapといった新しい形式の地図の開発を行いました。
In this modern social, people get used to a lot of smart devices, including smart phone and wearable devices. Here, we try to apply advanced information processing technology in those devices, to make people' life more convenience.
自動運転において自己位置推定の誤差が生じる原因として、センサデータやHD mapの歪み、スキャンデータと地図のマッチングの誤差が挙げられます。 その中でも、実際の走行環境を記録しているためHD mapは自己位置推定の推定誤差に密接に関係していると考えられます。 そこで、新たに4つの評価指標を定めて実際の位置誤差と指標の相関を調べることで、HD mapの情報から実際の位置推定誤差を推定する手法を提案しました。
In this modern social, people get used to a lot of smart devices, including smart phone and wearable devices. Here, we try to apply advanced information processing technology in those devices, to make people' life more convenience.
High definition (HD) 地図は環境に対する様々な情報を提供する、自動運転のためのデータソースです。 本研究では、HD地図を用いた深層学習ベースのobject detectionモデルの提案を行っています。 HD地図から得られる物体の位置情報と画像データを組み合わせることで、特に悪環境におけるobject detectionにおいて高精度の結果を達成しています。
High definition (HD) maps are a data source for autonomous driving that provides a variety of information about the environment. In this study, we propose a deep learning-based object detection model using HD maps. By combining object location information obtained from HD maps with image data, we have achieved high accuracy in object detection, especially in adverse environments.
02
Consumer electronic
画像内の特徴量とテキスト情報をうまく組み合わせる本研究の画像検索と位置推定技術を提案しています。 本研究の技術を用いると、スマートフォンで撮影した画像で自分がどこにいるのか、目の前にある施設は何なのかをデータベースから探索することができるようになります。
We propose an image retrieval and location estimation technique in this research that successfully combines features in images and textual information. Using this research technology, it will be possible to search a database for where you are and what facilities are in front of you in an image taken with a smartphone.
実店舗での行動や位置情報を含む顧客コンテキストを分析することは、マーケティング戦略に大きく活用できるため重要です。 本研究では、スマートフォンに内蔵されたセンサーを用いて、文脈に基づくマップマッチングと行動認識を組み合わせた顧客コンテキスト分析システムを提案しています。
Analyzing customer context, including behavior and location information in physical stores, is important because it can be used significantly for marketing strategies. In this study, we propose a customer context analysis system that combines context-based map matching and behavior recognition using sensors built into smartphones.
スマートフォンの普及と急速な発展に伴い、ユーザーの行動や滞在場所を記録できるスマートフォンに基づくライフログの必要性が高まっています。 本研究では、移動のコンテキスト情報に基づきマップマッチングを用いることでPDRとWi-Fiの測位性能を向上させることに焦点を当てています。
With the proliferation and rapid development of smartphones, there is an increasing need for smartphone-based lifelogging that can record users' activities and where they are staying. This research focuses on improving PDR and Wi-Fi positioning performance by using map matching based on movement context information.
近年、大規模な屋内施設内での人の行動や位置を把握したいというニーズが高まっています。 本研究では、スマートフォンのセンサー(加速度センサーとジャイロスコープ)のみを用いて、低コストで人の行動や室内位置を把握するシステムを提案します。
Recently, there has been an increased demand for understanding the behaviour and position of people within large-scale indoor facilities. In this research, we propose an low-cost system to determine a person's activity and indoor positioning using only smartphone sensors (accelerometer and gyroscope).
従来、小売店では労働者やコンサルティング会社を雇い、監視カメラの映像を見てマーケティングに役立つ情報を抽出していました。 ビデオアナライザでは、顧客の行動を観察することで顧客が商品にどの程度の興味を持っているかを評価することができます。
Conventionally, retailers hire human labors or consulting companies to watch the surveillance video and extract useful marketing information. The video analyzers can assess how interested in the merchandise the customers are by observing their behaviours.
本研究では、「メガネ型ウェアラブルデバイス」を用いた歩行者の自己定位アプローチと画像マッチング技術を用いて、 より正確な歩行者の自己定位を実現しています。また、AR技術を用いて新たなナビゲーション体験の提供を目指しています。
In this research, a pedestrian self-localization approach using a "glasses-type wearable device" and image matching technology, more accurate pedestrian self-localization. We also aim to provide a new navigation experience using AR technology.
03
deep learning
自動運転にとって悪環境におけるセンシング状況を把握することはとても重要です。 当研究室ではこのテーマに対して、悪環境に対するセンシングをシミュレートするデータ生成などの研究を行っています。 特に、Cycle Generative Adversarial Networks(Cycle GANs)を用いることで、ペア画像なしでの悪環境に対するデータ生成を可能にしています。
For automated driving, it is very important to understand sensing conditions in adverse environments. In our laboratory, we are conducting research on this theme, including data generation to simulate sensing in adverse environments. In particular, Cycle Generative Adversarial Networks (Cycle GANs) to generate data for adverse environments without paired images.
本研究は、写真をベースとしたシーンラインのインタラクティブな線画のレンダリングを目的としています。 セレクションペンとスマートブラシを使用してマスクを生成し、写真から不要な要素を除去し、線の接続や情報の追加を成功させました。
The purpose of this study was to render interactive line drawings of scene lines based on photographs. Selection pens and smart brushes were used to generate masks, remove unwanted elements from the photo, and successfully connect lines and add information.
画像内の特徴量とテキスト情報をうまく組み合わせる本研究の画像検索と位置推定技術を提案しています。 本研究の技術を用いると、スマートフォンで撮影した画像で自分がどこにいるのか、目の前にある施設は何なのかをデータベースから探索することができるようになります。
We propose an image retrieval and location estimation technique in this research that successfully combines features in images and textual information. Using this research technology, it will be possible to search a database for where you are and what facilities are in front of you in an image taken with a smartphone.
High definition (HD) 地図は環境に対する様々な情報を提供する、自動運転のためのデータソースです。 本研究では、HD地図を用いた深層学習ベースのobject detectionモデルの提案を行っています。 HD地図から得られる物体の位置情報と画像データを組み合わせることで、特に悪環境におけるobject detectionにおいて高精度の結果を達成しています。
High definition (HD) maps are a data source for autonomous driving that provides a variety of information about the environment. In this study, we propose a deep learning-based object detection model using HD maps. By combining object location information obtained from HD maps with image data, we have achieved high accuracy in object detection, especially in adverse environments.
姿勢推定に多く用いられる関節推定は、オクルージョン状態では正しく推定されないことがあります。 そこで、マスク領域ベースの畳み込みニューラルネットワーク(Mask R-CNN)による複数人の姿勢推定を提案しています。
Joint estimation, which is often used for posture estimation, may not be estimated correctly in occlusion conditions. Therefore, we propose a masked-domain-based convolutional neural network (Mask R-CNN) for multi-person posture estimation.
私たちの研究室は、駒場リサーチキャンパス内の生産技術研究所にあります。情報理工学系研究科電子情報工学専攻、学際情報学府先端表現情報学コースに所属しています。修士課程9名、博士課程9名で構成されており、外国人研究者も多く在籍しています。年に一度、オープンキャンパスを開催しています。また、研究室の見学も随時受け付けています。お気軽にお問い合わせください。
Our laboratory is at Institute of Industrial Science in Komaba Research Campus. It belongs to Department of Information and Communication Engineering, Graduate School of Information Science and Technology, and Emerging Design and Informatics Course, Graduate School of Interdisciplinary Information Studies. We consist of 9 master course students and 9 doctoral course students including a lot of foreign members. We have open campus event once per year. You can also visit our laboratory anytime. Please feel free to contact us.
04
positioning and mapping
MMSにより周囲の環境を高精度に記録をすることができます。その中でも、高層ビルの壁面は静的な物体であることから位置推定に適した物体です。 そこで、MMSの膨大な点群データから建物境界を抽出することで、必要かつ十分な情報を持つ3次元地図を生成する手法を開発しました。
We are developing methods to extract building boundaries from huge point cloud data by MMS and generate 3D map consisting of necessary and sufficient information.
3次元地図の建物情報にレイトレーシング法によるシミュレーションを適用することで、都市部の高層ビルが乱立している箇所における位置誤差の主要因である マルチパスや非視線伝搬の補正を行いました。また、マルチGNSSやL1-SAIF信号情報を用いることで、より正確な測位を実現しました。
Using 3D building map and ray-tracing simulation, our method correct multipath and non-line-of-sight (NLOS) propagation which are main error factors in urban canyons. In addition, we realize more accurate positioning using Multi-GNSS and L1-SAIF signal information.
詳細や他の研究テーマを知りたい方は、研究ページをご覧ください
For the details and other research topics, please check Research page
05
Many students and researchers from all around the world
Kamijo Lab members
上條研究室では、多くの外国人留学生が一緒に研究をしています。 中国、韓国、トルコなどからの留学生や研究者が在籍しています。 また、過去にはイラン、イギリス、フランス、ドイツ、アメリカ、スリランカ台湾などからの留学生や研究者が研究を行っていました。
In Kamijo laboratory, many students from foreign countries are researching together. We have studetns and researcher from China, Iran, Sri Lanka, Finland, Turkey, Thailand. Also in the past, students and researchers form U.K, France, Germany, U.S, and Taiwan were researching in our laboratory.