Real-time Physics-based Motion Capture with Sparse Sensors

Real-time Physics-based Motion Capture with Sparse Sensors

Abst.
 少数の光学マーカとIMUから全身を復元する。小数のセンサでは全身を復元できない。関節のトルクと、接地パワーなどから動きの尤もらしいものを推定する。事前のモデルは内側の関節の推定改善にも役立つ。

1. Introduction
 光学式は大変だし、IMUはドリフトで大変。
 マーカー式とマーカレス式を組み合わせて頑張ります。
 体の尤もらしい動きを推定する。不明な部分はblack-boxな動きの事前分布を利用して補間する。

1.1.Related Work
Body Tracking by Inertial Sensors
 Kruger et al. [19]はkd-treeを使ってる。Liu et al. [22]はベイズを使ってる。今回は、IKとPCAの再構成[11]を発展させている。

1.2 System OUtline
 imuとマーカトラッキングキャリブレーションして、IKと同時に、ブラックボックスの動きの事前分布で動きを推定する。

2. Phisucs-Based Body Tracking
 IKの説明を色々します。

3. Motion Priors
 いくつかの異なる動きの事前分が実験では使われた。
Reference Pose
 これは最もシンプルだ。T-Poseオンリーでいく。
Pertubed ground truth
 高密度の光学マーカーとカメラのセットから再構築された骨格ポーズの前の「ゴールドスタンダード」モーションを検討します。 私たちのシステムは、そのようなシステムだけで構築された事前モーションを使用して評価されます。 ただし、各関節角度に適用されるガウスノイズ関数を使用してデータを摂動します。 これは、センサーデータからスケルトンの姿勢へのマッピングを学習しましたが、高周波ノイズまたはランダムエラーが発生しやすい事前モーションのクラスを表します。 特に明記しない限り、ラジアン単位の単位で、平均µ = 0および標準偏差σ= 0.12のガウスパラメーターがすべての実験で使用されます。
Clusterd mocap database
 オフラインステップとして、ChenおよびCai [12]によって提案されたスペクトルアルゴリズムを使用して、大規模なモーションキャプチャデータベースからのサンプルをクラスター化し、それを間引きします。 代表的なポーズのみを保存することにより、データベースのサイズが大幅に削減されます。 これにより、保存と検索がより効率的になります。 合成IMUと光学マーカーのセンサーデータが計算され、各ポーズと一緒にクラスター化データベースに保存されます。 実行時に、k最近傍アルゴリズムを使用して、逆四次重み付けスキームを使用して補間された、類似したポーズとセンサーデータの例を見つけます。 つまり、近くの各サンプルˆyの重みwが計算されます。
 w=1/dist(y, y^)^4
y=(θ, x, q)でxはマーカの位置、θはimuの姿勢、qはスケルトンの各姿勢。これで、データとyとデータセットy^の距離を測る。重み付け和か、下記式で表される。

 

その他
 事前分布をどうやってつかってるのかを参考にする。
 Kruger et al. [19]はkd-treeを使ってる。
  Liu et al. [22]はベイズを使ってる。

単語
Perturbed:摂動

Denoising IMU Gyroscopes with Deep Learning for Open-Loop Attitude Estimation

Denoising IMU Gyroscopes with Deep Learning for Open-Loop Attitude Estimation

Abst
 デッドレコニングで真値を使って、ジャイロからノイズを除去する手法を提案する。

ジャイロ値そのものではなく、姿勢でlossを取る

Multivariate Time Series Missing Data Imputation Using Recurrent Denoising Autoencoder

Multivariate Time Series Missing Data Imputation Using Recurrent Denoising Autoencoder

Abst
 LSTMとDAEで消失データを埋める。

1. Inrto
 多変量の時系列データを考える。データの紛失は以下の理由が考えられる。MCAR:ランダムに消失して、周辺にも残ってない。MAR:ランダムに消失してるが、観測に依存している。MNAR:観測にも観測できていないところにも依存している。
 たくさんの研究で消失データの帰属が研究されている。LSTMやGRUには問題がある。LOCFは変数間の関係を無視するし、その性能はサンプリング周波数が低いと悪化する。Decay modelは過去のデータに依存するとするモデルだ。
 我々が提案するモデルは、LSTMとDAEに依存する。Bi-LSTMをエンコーダに利用し、変数間の相関を学習する。これは全ての時系列で行い、各時間で表現を取得する。0で適当に埋めて、それを復元させる。

 

感想
なんかデータを人工的に作ってるのは残念だな。(そりゃそうか。)
各々エンコードして、潜在変数に落として、個々に復元していく。

 

単語
ubiquitous:至る所にある
Multivariate:多変量
imputation:帰属
deteriorate:悪化させる
corrupt:破損した

Deep Recurrent Neural Networks for ECG Signal Denoising

Deep Recurrent Neural Networks for ECG Signal Denoising

Abst
 ECGのモデルを作って、学習して転移学習しました。

感想
[4]を読んでみたい。
ノイズの傾向が結構違うんだよなー。このくらいなら、カルマンフィルタとかでもいいのでは?

Denoising Gravitational Waves using Deep Learning with Recurrent Denoising Autoencoders

Denoising Gravitational Waves using Deep Learning with Recurrent Denoising Autoencoders

Abst
 重力波はノイジーで大変。トラディショナルなデノイジング手法ではだめ。bidir LSTMに基づく、Denoising Autoencoderでやってみまました。

Introduction
 辞書ベースは計算もが重くて大変。
 SMTDAEを教師無し学習でやってみる。

Methods
 重力はのデノイジングに当たり、automatic speech recognitionの技術を利用する。Multiple Timestep Denoising Autoencoder(MTDAE)では、ノイズあり1入力、ノイズ無し1出力で行く。
 

 

感想
[26, 32-34]を読みたい。
Denoising Autoencoderも分かってないかも。。
enc_decでもいいけど。。実装的にどうなんだろうか。

 

単語
astronomy:天文学
transient:一時的な
obscure:あいまいな
GW:gravitational wave

Deep RNNs for Video Denoising

Deep RNNs for Video Denoising

Abst
動画のデノイジングを提案する。パッチベースのend-to-endの学習で、クリーンとノイジーな動画列をマッピングする。

1.Intro
 Y=X+N(Xがきれいな動画、Yがノイズ動画、Nはノイズ)

2. Related Work
 ノイズ除去は長い歴史がる。
 動画は結構情報が冗長。パッチの一致を取る研究が色々ある。
 RNNの動画の超解像が良い結果を出した。

3. Model Desccription
3.1 Deep Recurrenct Neural Networks
 RNNを重ねるとDeep RNNになる。

3.2 Deep RNNs for Video Denoising
 x^t = y^t + n^t
 画像の一部分を時系列でRNNに突っ込んでいって、真ん中のフレームを再構成する。

 

 感想
シンプルだなー。
陽にパッチを保持するわけではないんだなー。

しかし、やはり正解の対応が無い場合はどうすればいいの?

 

単語
accommodating:収容する

Adaptive Image Denoising by Mixture Adaptation

Abst
適応的に、画像のノイズ除去のために、パッチベースの画像の事前分布を学習する。データべースから一般的な事前分布を学習して、ある画像に対して、特別な事前分布を出力する。今まではこのへんアドホックだったけど、厳密にベイジアンの理論から導かれる。EMアルゴの微分で計算の複雑性を回避。潜在のきれいな画像がないときは、プリフィルタでどう対処するかも示す。

 

1.Intro
A. Overview
 モデルは以下。
 y = x + e(xは画像で、eがノイズ)
 yからxを推論したい。
 画像のデノイズは今までいろいろあるけど、今回は特に、MAPのアプローチをやる。
 argmax_x f(y|x)f(x) = argmin_x {||y - x||^ 2 /(2σ^2) -log f(x)}
 上記事後分布を最大化する。一項目はガウスのノイズモデルで、画像の次元分布だ。MAP推定の良いところは、陽に画像の事前分布f(x)を定式化できるところだ。
 MAP推定はf(x)がうまくいくかにかかっている。でもxは高次元すぎて無理。だから、f(x)をパッチで評価することにする。数学的には、PiRd*nを画像からパッチを取得するものだとして、logの加算で評価する。
  argmax_x f(y|x)f(x) = argmin_x {||y - x||^ 2 /(2σ^2) -Σlog f(Pix)}
 これはexpected patch log likelihoodと呼ばれる。
B. Related Work
 どうやって、f(Pix)を学習するのか?一枚のノイズありの画像からやる(internal prior)か、画像のデータセットからやるか(external prior)。
 これらを混ぜるのがよくある。
 

感想
手法の一つとして、頭にいれておく。
明確な周期がある場合、その辺を使えば、うまくいくのかな・・

単語
rigorously:厳密に
in the absence of :ないときは
vitally:致命的に
alleviate:和らげる