Home

Awesome

SLAM with Camera and IMU for Python

画像センサとIMUを用いたSLAMのためのPythonプログラム(日本語説明は後半)

SLAM = Simultaneous Localization and Mapping

Overview

How to use

1.Setup Android App (See -> SLAMwithCameraIMUforAndroid)

2.Setup MQTT Broker (See -> MQTT, mosquitto, Apollo)

3.Install MQTT package of Python

>pip install paho-mqtt

4.Create a single line text file named 'server.conf' on the parent directory of Main.py.

server.conf
[Format] ipaddress&port&username&password
[Example] 160.16.xxx.xxx&61613&admin&password

5.Run Main.py

>python Main.py

6.Start Android App

7.Now the program is receiving sensor data and estimate smartphone location, also publishing it to MQTT broker.

8.If you want to save estimated data as CSV, run GetOutputData.py

>python ./data/GetOutputData.py

Important Files

File nameExplanation
Main.pyThe entry point of SLAM program<br />Receive sensor data<br />Publish estimated location
image_RBPF.pyParse sensor data of camera
landmark.pyLandmark (Keypoint in 3D space) class<br />Initialize landmark parameters<br />Observation model
particle.pyParticle class
particle_filter_RBPF.pyParticle filter
sensor.pyParse sensor data of IMU
state_RBPF.pyManage state variable
data/GetOutputData.pyReceive estimated data and save them as CSV

Data Flow

<br /><br />

概要

使い方

1.Androidアプリをセットアップ(ここを参照 -> SLAMwithCameraIMUforAndroid

2.MQTTブローカーをセットアップ(ここを参照 -> sango

3.PythonのMQTTパッケージをインストール

>pip install paho-mqtt

4.server.confという名前のファイルをMain.pyの親ディレクトリに作成する

server.conf
[フォーマット] ipaddress&port&username&password
[例] 160.16.xxx.xxx&61613&admin&password

5.Main.pyを起動

>python Main.py

6.Androidアプリを起動

7.センサデータを受信し、位置の推定が始まります。推定結果はMQTTブローカーに送信されます。

8.推定結果をCSVファイルに保存したい場合は、GetOutputData.pyを起動

>python ./data/GetOutputData.py

重要なファイル

File nameExplanation
Main.pySLAMプログラムのエントリポイント<br />センサデータの受信<br />推定結果の送信
image_RBPF.py画像センサデータのパース
landmark.pyランドマーク(3D空間中の特徴点)クラス<br />ランドマークのパラメータの初期化<br />観測モデル
particle.pyパーティクルクラス
particle_filter_RBPF.pyパーティクルフィルタ
sensor.pyIMUセンサデータのパース
state_RBPF.py状態変数の管理
data/GetOutputData.py推定結果を受信してCSVで保存

データフロー