运动合成——机器学习技术

参考文献：《人体运动合成中的机器学习技术合成综述》

根据机器学习的用途分类，在图形学中使用到的大致如下：

1>    回归和函数逼近。回归是一种插值技术，分析已知数据点来合成新的数据。

2>    降维。从高维数的运动数据中得到潜在结构。注意学习一下流行学习。

3>    分类。监督学习技术，提高数据的使用效率。

4>    聚类。非监督学习技术。将数据分割为连续的群。最简单广泛的K均值法

5>    决策。搜索假设空间，寻找最优解决方案。注意学习决策树学习，增强学习。

人体运动合成主流采用数据驱动的方法，但是捕捉的数据缺乏灵活性。机器学习可以用于运动数据的合成、分类、分割、检索。

人体动画的计算机视觉和机器学习技术文献：

Xiao Jun, Zhuang Yueting, Wu Fei. Computervision and machine learning in 3D hum an animation: a survey [ J] .J ournal ofC om puterAided Design & Com puter Graph ics,2008, 20( 3) : 281 290 ( inChines e)

( 肖 俊, 庄越挺, 吴 飞. 计算机视觉与机器学习技术在三维人体动画中的应用综述 [ J] . 计算机辅助设计与图形学学报, 2008, 20( 3) : 281- 290)

 

回归和函数逼近：

 通过学习已有数据得到参数化模型，以此来对运动进行控制。

①Rose采用RBF(径向基函数)对相同内容不同风格的运动插值：

Rose C, Cohen M F, Boden heim er B . Verbsand adverbs:m ultidimensional motion interpolation [ J ] . IEEE C omputerGraphics and Applications, 1998, 18( 5) : 32- 41

②Rose采用RBF求解逆运动学问题，得到满足约束的虚拟人位姿

Rose C F, Sloan P P J, Cohen M F. Artist-directedinverse- kinematics using radial basis function interpolation[ J ] . Compu terGraphics Forum, 2001, 20( 3) : 239 250

③学习运动混合全职合成新运动，但是认为标注风格参数

Torresani L, Hackney P, Bregler C .Learning motion style synthesis from perceptual observations [ C] - Proceedingsof NIPS 19. Cambridge: The MIT Press, 2007: 1393- 1400

④高斯混合模型训练拳击数据

W ang Y, Liu ZG, Zhou LZ . Key- styling:learning motion style for real-time synthes is of 3D animation [ J] . ComputerAnimation and Virtual Worlds, 2006, 17( 3-4) : 229-237

⑤插值看着丢失数据的预测，地统计学插值法

Mukai T, Kuriyama S . Geostatistical motioninterpolation[ J ] . ACM Transactions on Graphics , 2005, 24 ( 3 ) : 1062-1070

⑥机器学习，逆动力学，非线性反向优化风格化运动

Liu C K, Hertzmann A, Popovic' Z. Learningphysics- based motion style with nonlinear inverse optimization [ J] . ACMTransactions on Graphics, 2005, 24( 3) : 1071- 1081

⑦小段运动推广到长运动或其他角色的运动上使用了高斯过程(GP)和RBF

Ikemoto L, Arikan O, Forsyth D .Generalizing motion edits with Gaussian processes [ J ] . ACM Transactions onGraphics,2009, 28( 1) : Article No 1

⑧使用HMM，隐变量表示风格参数

Brand M , Hertzmann A. Style machines [ C]– Computer Graphics Proceedings, Annual Conference Series, ACM SIGGRAPH. NewYork: ACM Press, 2000: 183- 192

⑨两层统计模型：线性动态系统(LDS)和转换关系(HMM表示)

Li Y, Wang T S, Shum H Y. Motion texture: atwo-level statistical model for character motion synthesis [ J] . ACMTransactions on Graphics, 2002, 21( 3): 465- 472

⑩线性时不变模型(LTI)，运动风格的转换和过渡

Hsu E, Pulli K, Popovic' J . Styletranslation for human motion [ J] . ACM Transactions on Graphics, 2005, 24 ( 3) :1082- 1089

⑪求解最大后验问题

Chai J X, Hodgins J K . Constrain tbasedmotion optimization using a statistical dynamic model [ J] . ACM Transactionson Graphics, 2007, 26( 3) : Article No 8

⑫高斯过程动态建模(GaussProcess Dynamic Model, GPDM),考虑的输入数据的时间结构

Wang J M , Fleet D J, Hertzmann A .Gaussian process dynamical models for human motion [ J] . IEEE Transaction sonPattern Analysis and Machine Intelligence, 2008, 30( 2 ) :283 298

⑬动态贝叶斯网络( dynamic Bayesian networks, DBN)对输入运动扩展

Lau M , BarJoseph Z, Ku ffner J . Modeling spatial and temporalvariation in motion data [ J] . ACM Transactions on Graphics, 2009, 28( 5) :Article No 171

⑭风格化运动控制器线性时变(lineartim e variant, LTV)系统处理平衡问题，捕获运动提供风格

daSilva M , Abe Y, Popovic' J . Interactive simulation of stylizedhuman locomotion [ J] . ACM  Transactionson Graphics, 2008, 27( 3) : Article No 82

回归和函数逼近方法需要大量样本数据，所以实时性不高，适合动画制作和仿真，不适合游戏和交互式编辑。

⑮对运动数据进行评价

Ren L, Patrick A, Efros AA, etal. A data- driven approach toquantifying natural human motion [ J ] . ACM Transactions on Graphics, 2005,24( 3) : 1090- 1097

 

降维：

常用的有主成分分析(PCA)和独立成分分析(ICA)

①      PCA不同步速和步幅的行走引擎
Glardon P, Boulic R, Thalmann D. PCAbased walk ingen gine usingmotion capture data [ C]  Proceedings ofthe Computer Graphics International. Washington D C: IEEE Computer SocietyPress , 2004: 292 298

②      PCA风格化行走运动
Urtasun R, Glardon P, Boulic R, etal. Style-based motion synthesis[ J] . Computer Graphics Forum, 2004, 23( 4) : 799-812

③      PCA走路上楼梯
Li Chunpeng, Wang Zhaoqi, Xia Shihong . Motion synthesis forvirtual human using functional data analysis [ J] . Journal of Software, 2009,20( 6) : 1664- 1672 ( in Chinese)( 李淳芃, 王兆其, 夏时洪. 人体运动的函数数据分析与合成[ J] . 软件学报, 2009, 20( 6) : 1664-1672)

④      ICA子空间合成新运动
Mori H , Hoshin o J . ICAbased interpolation of human motion [C]  Proceedings of IEEE InternationalSymposium on Computational Intelligence in Robotics and Automation. New York:IEEE Press, 2003: 453-458

⑤      ICA提取风格传递给其它运动
Shapiro A, Cao Y, Faloutsos P. Style components [ C] --Proceedingsof the Conference on Graphics Interface. Quebec: Canadian Human-Computer CommunicationSociety, 2006:33-39

⑥      多维尺度变换(multi-dimensional scaling, MDS)降维，然后插值连接等操作
Shin H J, Lee J . Motion synthesis and editing in low-dimensionalspaces [ J] . Computer Animation and Virtual Worlds, 2006, 17( 3-4) : 219- 227
用降维辅助求解运动学问题(inversekinematics,IK)问题

⑦      非线性PCA技术变尺度高斯过程潜在变量模型(scaled Gaussian process latent variable mode,SGPLVM)降维，然后用非线性插值合成新姿态
Grochow K, Martin S L, Hertzmann A, et al. Style- based inversekinematics [ J] . ACM Transaction on Graphics, 2004,23( 3) : 522 531

⑧      基于主测地线分析(principal geodesic analysis,PGA)逆运动学求解，属于流行学习
Tournier M, Wu X, Courty N, et al. Motion compression usingprincipal geodesic analysis [ J] . Computer Graphics Forum , 2009, 28( 2) : 355-364

⑨      LTI系统，误差平方和进行分割
Zhu Dengming, Wang Zhaoqi. Extraction of key frame from motioncapture data based on motion sequence segmentation[ J] . Journal ofComputer-Aided Design & Computer Graphics, 2008, 20( 6) : 787-792 ( inChinese)( 朱登明, 王兆其. 基于运动序列分割的运动捕获数据关键帧提取[ J] . 计算机辅助设计与图形学学报, 2008,20 ( 6) : 787792)

⑩      运动缩略图。运用MDS降为低维运动曲线，寻找运动曲线与平均曲线距离最大的点确定关键姿态，也就是全局意义上的最与众不同的姿态
Assa J, Caspi Y, Cohen-or D. Action synopsis: pose selection andillumination [ J] . ACM Transactions on Graphics, 2005, 24( 3) : 667-676

⑪      SOM(self organized map)自组织映射降维
Li Chunpeng, Wang Zhaoqi, Xia Shi hong, et al. Inverse kinematicsusing local support poses[ J] . Chinese Journal of Computers, 2007, 30( 11) :1982 1988 ( in Chinese)( 李淳芃, 王兆其, 夏时洪, 等. 基于局部支撑姿态的逆运动学求解[ J] . 计算机学报, 2007, 30( 11) : 1982-1988)

    

降维算法不具备实时性，但是计算出低维模型后新数据的合成和分析都能实时得到。

 

分类：

利用训练出的模型对输入数据进行预判，提高数据的使用效率

①      模拟人摔倒，连接动力学仿真和捕获数据，但是对运动数据库搜索费时
Tang B, Pan ZG, Zheng L, et al . Interactive Generation of FallingMotions [ J] . Computer Animation and Virtual Worlds, 2006, 17( 3-4) : 271-279

②      利用神经网络(neural newworks,NN)对捕获数据分类
Pan Zhig eng, Chen g Xi, T ang Bing . A real-time algorithm forcharacter reactive animation generation [ J] . Journal of Computer Research andDevelopment, 2009, 46( 1) : 151- 158( in Chinese)( 潘志庚, 程熙, 唐冰. 一种实时虚拟人反应式动画生成算法[ J] . 计算机研究与发展, 2009, 46( 1) : 151-158)

③      从运动捕获数据学习控制策略的方法
S ok K W , Kim M, Lee J. Simulating biped behaviors from human motiondata [ J] . ACM Transactions on Graphics,2007, 26( 3) : Article No 107

④      自动对运动片段进行分类
ArikanO, Forsyth D A, O-Brien J F. Motion synthesis from annotations [ J] . ACMTransactions on Graphics, 2003, 22( 3) : 402- 408

⑤      关系向量机，加速出拳规则和风格的创建
ZhangL, Xiao J, Zhuang Y T , et al. Competitive motion synthesis based on hybridcontrol [ J] . Computer Animation and Virtual Worlds, 2009, 20( 2-3) : 225- 235

⑥      相似帧聚一起，一线任意时刻任意运动片段之间的过渡
PengJ Y, Lin I C, Chao J H, et al. Interactive and flexible motion transition [ J]. Computer Animation and Virtual Worlds, 2007, 18( 3-4) : 549- 588

⑦      符合视觉感知规律的度量性方法
TangJ K T , Leung H , Komura T, et al. Emulating human perception of motionsimilarity [ J] . Computer Animation and Virtual Worlds, 2008, 19( 3-4) : 211-221

聚类：

①      层次化聚类，建立骨架运动学约束模型，合成满足约束的人体动画
Ong E J, Hilton A . Learn t inverse kinematics for animation synthesis [ J] . GraphicalModels, 2006, 68( 5-6) : 472- 483

②      两层模型，底层是HMM组织的原始运动数据，高层是统计模型K均值聚类后的相似帧汇聚成群，通过概率决定是否可能产生过渡
LeeJ, C hai J X, Reitsma P S A, et al . Interactive control of avatars animated withhuman motion data [ J] . ACM Transactions on Graphics, 2002, 21( 3): 491- 500

③      使用PCA和概率PCA分割数据
BarbicJ, Safonova A, Pan J Y. Segmenting motion capture data into distinct behaviors[ C]-Proceedings of the Conference on Graphics Interface. Quebec: Canadian Human-ComputerCommunications Society, 2004: 185- 194

④      处理时间缩放，在高层使用简单的聚类，检索效率高，基于SOM
WuS Y, Xia S H , Wang Z Q, et al . Efficient motion data indexing and retrievalwith local similarity measure of motion strings [ J] . The Visual Computer,2009, 25( 5-7) : 499- 508

决策：

①      运动图，节点是运动片段，有向边是可能的过渡
Kovar L, Gleicher M , Pighin F. Motion graph s [ J] . ACM Transactions onGraphics, 2002, 21( 3): 473- 482

②      使用动态规划(dynamic programming,DP)技术对拳击运动数据进行预处理，得到可以对外部环境进行实时反映的控制策略
LeeJ, Lee K H . Precomputing avatar behavior from human motion data [ C] -Proceedingsof Eurographics-ACMSIGGRAPH Symposium on Computer Animation. New York: ACMPress, 2004: 79- 87

③      使用增强学习(reinforcement learning,RL)训练一张控制策略表，记录用户输入和下一个运动片段的关系，控制器根据此表实时响应用户输入，适合交互式游戏
McCannJ, Pollard N . Responsive characters from motion fragments [ J] . AC M Transactionson Graphics, 2007, 26( 3) : Article No 6

④      使用基函数代替最优控制策略函数，实现次最优控制
TreuilleA, Lee Y J, Popovic' Z. Near-optimal character animation with continuouscontrol [ J] . ACM Transactions on Graphics, 2007, 26( 3) : Article No 7

⑤      基于树的拟合迭代算法，扩展传统RL框架，引入参数化运动和插值方法，可在不影响控制效果的情况下减少输入样本数量
LoW Y, Zwicker M . Real-time planning for parameterized human motion [ C] --Proceedingsof Eurographics-ACMSIGGRAPH Symposium on Computer Animation. New York:ACMPress, 2008: 29-38

⑥      支持向量机的离线训练简化运动片段的搜索过程
ChengX, Liu G D, Pan Z G, et al. Fragment-based responsive character motion forinteractive games [ J] . The Visual Computer, 2009, 25( 57) : 479- 485

⑦      使用参数化运动表示和RL实现复杂运动控制：自动选择少量数据构建简单的运动控制器，并实现控制器的连接和转换，通过迭代逐步改进基函数，实现高复杂度的控制策略函数
LeeY J, Lee S J, Popovic' Z. Compact character controller s[ J] . ACM Transactionson Graphics, 2009, 28 ( 5) : ArticleNo 169

 

在此把运动合成分为五类：

1．  运动混合，即运动样本之间的插值

2．  动态建模，运动在时序上的分析和建模

3．  动力学仿真，考虑物理特性的运动合成

4．  逆运动学，满足末端约束的姿态合成

5．  运动连接，小的运动片段连接成长的运动序列