Deep Inertial Poser: Learning to Reconstruct Human Pose from Sparse Inertial Measurements in Real Time

Deep Inertial Poser: Learning to Reconstruct Human Pose from Sparse Inertial Measurements in Real Time

Abst.
 6個の慣性センサで全身復元をする。いくつか問題がある。1.IMUの状態に相当するポーズは複数ある(不良設定問題)。2.IMUを付けながら、真値を取得するのはコストが高い。3.最適化は非線形性が強くて、リアルタイムにするのは困難。これらの問題のため、Deepで一時的なポーズの事前分布を学習する。十分なデータがあれば、mocapからIMUのデータを生成できる。bidRNNで学習する。実験のため、17の慣性センサでデータセットを作った。

1. Intro
 少数センサで全身復元するやつが最近あるけど、最適化が重くて、リアルタイムではできない。リアルタイムに小数のセンサで全身を復元する困難さは3つある。1.6IMUでは全身の様子はわからない。2.過去の研究では、長時間の依存が重要であるとされた。3.データセット作るのはすごい大変。
 1.大量のMocapデータセットから、IMU情報を生成することにした。これにより、大量の学習データを生成し、Deepの学習ができる。2.長期の時間依存を実現するため、RNNを利用する。しかし、ACCをフルで使うのは困難。そこで、accを再構成するようなlossを作った。3.bi-directionalでやる。実行時はslidingwindowでやる。
 疑似IMUで学習して、リアルIMUでfine-tuningした。

2. Related Work
2.2 Optimization based sensor fusion methods
 オフラインのやつは、計算が重くて、大変。
2.3 Learning based methods
Sparse IMUs
 少数のIMUから全身を復元するものでは、ガウス過程を用いたものがある。これは各動作などが限定されており、用途が限られる。
Locomotion and gait
 IMUは歩行の解析にも用いられている。周期性が重要な部分だ。

3. Method Overview
 IMU+SMPLでリアルタイムにSMPLを推定します。
3.4.1 Training with uncertainly
 IMUの入力から、推定パラメータのガウスパラメータ(平均、分散)を出力する。(?正解の分布なんてわかるのか??)ちょっとlossの取り方がよくわからない。。
3.4.2 Reconstruction of acceleration
 各フレームの入力はxt=[ot, at]だ。ot:は角度で、atは加速度だ。これはIMUから観測される。モデルは入力加速度の復元も要求される。これをコストにすることで、さらによくなる。これも分布の形で推定する。


その他
[Trumbleet al. 2017],にIMUとMocapデータがある?→見てみたいな。
[Schwarz et al. 2009]に用途を限ったものがある?→見てみたい。今回はこれでいいし。
[Wang et al. 2017]Deepの歩行解析?見てみたい。2章のLocomotion and gaitをチェックしておいたほうがよい。
3.2の疑似データ生成も見ておいた方が良い。

 

単語
 conjunction:連結