- 1 -
中国科技论文在线
多通道肌电信号检测与模式识别#
栗阳1,桑爱军2,徐卓君1,张莉1,杨志明1,田彦涛1**
基金项目:本论文的研究得到了吉林省科技发展重点项目“具有温度、触滑觉临场感的仿生手臂研制与开
发”(20090350)和中国高校博士专项科研基金(20100061110029)“具有临场感知智能仿生手臂运动肌
电信号建模与模式识别理论方法研究”资助。
作者简介:栗阳,(1990-),女,学生,模式识别。
通信联系人:田彦涛,(1958-),男,教授,博士生导师,复杂系统建模与优化控制、分布式智能系统与
网络控制、智能机器人系统与控制、模式识别与机器视觉。
(1. 吉林大学通信工程学院,工程仿生教育部重点实验室,长春 130022;
2. 吉林大学通信工程学院,长春 130022) 5
摘要:本文通过合理的增加表面肌电信号采集系统电极数,分别采集对应六种手部动作的二、
四、八通道的表面肌电信号,并建立相应的数据库。在实验室前期研究的双通道表面肌电信
号研究方法的基础上,进一步研究了多通道采集与信息处理方法,使其适用于四通道和八通
道的情况。在此基础上对表面肌电信号进行活动段检测、特征提取和模式识别处理。通过实
验结果分析可知,通道数量的增加有利于识别率的提高。 10
关键词:表面肌电信号;通道数量与识别率;活动段检测;特征提取;模式识别
中图分类号:TP183
Multi-channel sEMG Detection and Pattern Recognition
LI Yang1, SANG Aijun2, XU Zhoujun1, ZHANG Li1, YANG Zhiming1, 15
TIAN Yantao1
(1. Institute of Communication Engineering, Jilin University,China Key Laboratory of Bionic
Engineering of Education, ChangChun 130022;
2. Institute of Communication Engineering, Jilin University, ChangChun 130022)
Abstract: In this artical, the database of sEMG corresponding to the six hand movements with 20
two,four and eight channels is sampled and established through increasing the number of surface
electrode muscle telecommunication research method of two channel used in the
previous studies in laboratory is improved to make it suitable for four channels and eight
this basis, the activity of sEMG is detected,the feature of sEMG is extrated and the
pattern of six hand movements is analysing the experimental result, an increase in 25
the number of channel is benefical to the improvement of recognition rate.
Keywords: sEMG; number of channel and recognition rate; activity detecting; feature extracting;
pattern recognizing
0 引言 30
表面肌电信号是肢体运动时肌肉收缩所产生的电信号在皮肤表面处的时间和空间的综
合, 它一定程度上反映了神经、肌肉的功能状态,并已成为智能仿生手的理想控制源和人机
交互系统中感知人体动作的重要方式。
目前国内外已有的针对表面肌电信号的研究多是基于双通道表面肌电信号采集数据库,
少部分则是基于四通道数据库。国内如上海交通大学的邹晓阳和雷敏在基于多尺度模糊熵的35
动作表面肌电信号模式识别的研究是基于四通道数据库[1],吉林大学李阳在基于 FFT 盲辨识
的肌电信号建模及模式识别的研究则是基于双通道数据库[2]。国外如美国西北大学 Aaron J.
Young 等人在通过改变电极位移和组态改善肌电模式识别鲁棒性能的研究中采用双通道数
据库[3],韩国矫形复原工程中心电子控制实验室的 Pupyoung-Gu 在基于实时 EMG 信号多功
能肌电手控制模式识别方法的研究中采用四通道数据库[4],在美国芝加哥假肢康复研究所的40
Blair A. Lock 等人在肌电信号自适应识别算法探索中则采用了十二通道数据库[5]。
- 2 -
中国科技论文在线
虽然这些学者在其各自的研究领域中均取得了理想的研究成果,但对与前期表面肌电信
号采集过程中选用二通道采集方式或多通道采集方式的原因并没有做详细的介绍。并且由于
其是否是线性的还是非线性的,未给出一致的回答,这就给后续的处理带来了很大的不确定性
[6]。本文针对以上两个问题,展开表面肌电信数据通道数量与识别率之间关系的研究。并期45
望通过合理增加数据通道数量提高识别率,从而降低表面肌电信号本质不确定所带来影响。
本文首先在实验室现有双通道表面肌电信号数据库基础上,利用 MQ-8 表面肌电信号采
集系统补充四通道和八通道数据库。然后改进实验室已有双通道研究方法,使其适用于四通
道和八通道的情况。最后利用三层 BP 神经网络对手部动作进行模式识别,分析仿真实验结
果得出数据通道数量与识别率之间的关系。 50
1 二、四、八通道表面肌电信号采集
针对已有研究情况,本文选择标准手势动作集中应用最为广泛的六种手部动作,分别为
手势动作“OK”(OKAY),向下曲腕(FLWR),向侧曲腕(SFWR),向后曲腕(EXWR),手势
动作“C”(ASLC),握拳(HDGP)。图1为六种手势动作示意图
55
OKAY FLWR SFWR EXWR ASLC HDGP
图1 手势动作示意图
Diagram of gestures
所用仪器为日本生产的 MQ-8 表面肌电信号采集系统,带通频率为 10Hz~100Hz,采样60
频率为 1000Hz。对以上六种手部动作分别进行四通道和八通道的表面肌电信号数据采集实
验。图2分别为八通道动作表面肌电信号采集过程示意图和八通道表面肌电信号采集过程中
的软件显示图。
(a)八通道表面肌电信号采集过程 (b)软件显示 65
图2 八通道表面肌电信号采集过程及软件显示图
Acquisition process of sEMG with eight channels and software figure
- 3 -
中国科技论文在线
2 活动段检测及特征提取
活动段检测 70
由于采集到的表面肌电信号既包括有效动作执行期间的信息又包括放松状态的信息,而
我们需要的只是前者。所以为了减少后续信号处理的运算量,提高识别的实时性,对采集到
的表面肌电信号进行活动段检测是必不可少的。
目前国内外常采用的活动段提取算法有移动平均法、自组织人工神经网络法、短时傅立
叶方法等等。考虑到算法的复杂度,实时性等问题,本文选择计算简单且实时性较高的移动75
平均值法,并结合阈值比较的方法检测出符合要求的活动段的起始点[7]。经过反复试验,发
现每个活动段的数据长度均大于1024个点。所以本文在检测出符合要求的活动段起始点后,
依次向后取1024个点进行特征提取,既降低了运算复杂度又提高了时效性。具体处理过程如
下:
1)将各路原始信号求和平方,在对和平方信号求平均。再取窗口 W=64对信号做移动80
平均处理,如公式1公式2所示。
NiiSEMG
H
iSEMG
h
k
krawaveraged <= ∑
=
,])([1)( 2
1
)( (1)
∑−+
=
+−≤= 1 1),(1)( wi
ij
averagedMAV WNiiSEMGW
iSEMG (2)
0 1 2 3 4 5 6 7
x 10
4
-1
0
1
0 1 2 3 4 5 6 7
x 10
4
-1
0
1
0 1 2 3 4 5 6 7
x 10
4
-2
0
2
0 1 2 3 4 5 6 7
x 10
4
0
0 1 2 3 4 5 6 7
x 10
4
-1
0
1
0 1 2 3 4 5 6 7
x 10
4
-2
0
2
0 1 2 3 4 5 6 7
x 10
4
0
0 1 2 3 4 5 6 7
x 10
4
0
(a)八路原始表面肌电信号 85
0 1 2 3 4 5 6 7
x 10
4
0
(b)经过活动窗处理后的信号
图3 八路原始表面肌电信号和经过活动窗处理后的信号
Original sEMG with eight channels and the signal dealed with the avtivity window
90
当 H=2 时,
averagedSEMG 两路表面肌电信号平方的均值,当 H=4 时, averagedSEMG 为四路表面
- 4 -
中国科技论文在线
肌电信号平方的均值,当 H=8 时,
averagedSEMG 为八路表面肌电信号平方的均值。 )(krawSEMG 为
每路表面肌电信号的值。
MAVSEMG 为经过窗口 W 移动平均后的表面肌电信号的值。以动作握
拳 HDGP 为例,其八路原始肌电信号和经过活动窗处理后的信号如上图 3 所示。
从仿真结果图中可以明显观察到,经过活动窗处理后的八路表面肌电信号的活动段要比95
单独每路表面肌电信号更加突出,这使得活动段检测的后续工作更加容易和准确。
2)设置幅度阈值 TH 判别移动平均后的信号,将高于阈值 TH 的信号作为有效动作信
号保留置1,低于阈值的信号置0,如公式3所示。
⎩⎨
⎧
≤
≥=
THiSEMGif
THiSEMGif
iSEMG
MAV
MAV
rectified )(,0
)(,1
)( (3)
由于表面肌电信号采集过程中难免会引入噪声,阈值判别过程中,很可能将某一时刻的100
干扰噪声(这里的噪声指的是两个活动段间歇时段里的伪动作信号)误判为有效动作信号,
为避免误判的出现,可以连续向后判别多个信号点,具体做法如公式 4 所示。 )( jst 中保存
1)50(&1)10(&1)(,)(
11
=+=+==
==
iSEiSEiSEifijst rectifiedrectifiedrectified
L
ij
(4)
着阈值高于 TH 且非干扰噪声的有效动作信号的序号,L 为 )(iSEMGMAV 的长度,
)(iSErectified 是 rectifiedSEMG 的缩写, if 后面的判别条件可以视具体情况改变,这里判别到105
第 i个点后面的第 50 个点。如果判别情况不佳也可以判别到第 100 个点,第 200 个点均可。
3)表面肌电信号在经过 1)、2)两步处理后最后得到的并不是每个活动段的起始点,
而是各活动段在执行动作期间的所有高于阈值的非噪声点的集合,以握拳动作 HDGP 为例
如图 4 所示。根据仿真结果图,可以明显看出经过 1)2)两步处理后得到的表面肌电信号
0 1 2 3 4 5 6 7
x 10
4
0
110
图 4 各活动段中高于阈值的点
Point above the threshold in each activity section
图中红色部分并非每个活动段的起始点,而是各活动段中高于阈值的所有非噪声点集
合。 115
这些活动段长短不一,使得后续特征提取工作复杂化。如前所述,本文为降低运算复杂
度,提高时效性,只需检测每个活动段的起始点,然后向后依次取出 1024 个点进行特征提
取即可。本文采用如下算法
)()1()(
1
1
1
1
1
1
−
=
−
=
−
=
−+= l
i
l
i
l
i
ististichk (5)
⎩⎨
⎧
>
<=−
= 1024)(,)(
1024)(, 0
)(
1
1 ichkifist
ichkif
ist
l
i
(6) 120
公式 5 )(ichk 中保存着原始 )(ist 中相邻两个数据之差,l是 )(ist 的长度,经公式 5 和
公式 6 处理后 )(ist 中保存的便是每个活动段的起始点的序号,这些数据是后期对每一路表
面肌电信号进行特征提取时的重要参数。同样以动作握拳 HDGP 为例活动段检测最终结果
如图 5 所示。
- 5 -
中国科技论文在线
0 1 2 3 4 5 6 7
x 10
4
0
125
图 5 动段活检测最终结果
The result of testing activity section
特征提取
对于表面肌电信号运动模式识别来说, 如何寻找有效的特征来表征肌电信号是其根本130
问题。特征提取就是寻找出这种明显的特征的主要途径。就其所利用的理论方法而言, 目前
国内外的研究主要集中于时域法、频域法、时域- 频域法、非线性动力学法。为了提高识别
率上海交通大学的王志中[8]等人对肌电信号建立 IIR 模型,日本东京大学 Ruwadi 等人提出
了一种简化的 SISO 模型[9]。建模方法上的改进固然重要,若能在合理选择通道数量的基础
上采用新的建模方法则可以更充分的发挥新方法的优势。所以本文在基于同一特征提取的前135
提下,对不同通道数量的表面肌电信号识别结果进行了分析。基于实验室已有研究成果,发
现时域分析法中提取绝对值均值特征的平均识别率较好且算法简单易于实现,所以本文采用
此方法,以下将对时域分析法中的绝对值均值做简要介绍。
由前一章节肌电信号产生机理的内容可知,不同的手势动作募集到的动作单元数量不
同,这一差异直接反应到表面肌电信号 SEMG 的幅值上,但由于肌电信号可近似看作均值140
为零的随机信号,若直接采用均值作为肌电信号的特征,所得特征值近似为零,不能表征信号
间的差异[10]。若对肌电信号取绝对值,则得到的信号的均值将恒大于零,此即时域分析中的积
分肌电值方法,该方法定义如公式 7 所示
8...2,1,)(
1024
1 1024
1
)()( == ∑
=
kiSEMGISEMG
i
krawkraw (7)
图6为六种手部动作八通道、四通道和二通道时绝对均值特征图,横坐标为通道数,纵145
坐标为绝对均值特征值。
1 2 3 4 5 6 7 8
1 2 3 4
1 2
(a)八通道绝对均值特征 (b)四通道绝对均值特征 (c)二通道绝对均值特征
图6三种采集情况下六种手部动作的绝对均值特征
The absolute mean of six kinds of hand movements in three cases 150
通过研究仿真实验得出的六种手部动作八通道、四通道和二通道信号采集时的绝对均值
特征图,发现双通道采集时,如果其中一个通道的特征值接近,能做参考的差异通道就只有
另一个,少于四通道采集时的三个和八通道采集时的七个。所以双通道表面肌电信号采集实
验,对表面电极贴放位置的准确性的要求更高。 155
3 仿真实验及结果分析
本文选择计算简单且实时性较高的移动平均值法,并结合阈值比较的方法检测出符合要
- 6 -
中国科技论文在线
求的活动段的起始点。依次向后取 1024 个点进行绝对值均值特征提取,并选取三层 BP 神
经网络[11]作为模式识别方法进行表面肌电信号数据通道数量与识别率之间关系的研究
六种手部动作八通道表面肌电信号经 BP 神经网络识别后的预测图,误差图和网络训练160
图如图 7 所示。
以上仿真实验结果图,是在每类动作的 20 个样本数据中提取前十个样本作为训练样本
后十个样本作为预测样本的前提下进行的。从图(c)中可以看出,在八通道数据采集时,网
络通过较少的训练次数便可达到要求的训练目标,在经过六次训练后最终的误差仅为
小于目标 。图(a)中“。”表示预测类别,“+”表示实际类别,可以看出165
预测结果中二者完全一致。所以图(b)中的误差均为 0。
0 10 20 30 40 50 60
1
2
3
4
5
6
预测的个数
类别
数
预测类别
实际类别
0 10 20 30 40 50 60
-1
0
1
预测的个数
误差
大小
网络训练后的误差
(a) 预测图 (b) 误差图 (c) 网络训练图
图 7 八通道识别结果图
The result of recognition with eight channels 170
表 1 八通道时各类动作的识别率及识别时间
Recognition rate and recognition time of action with eight channels
动作 OKAY FLWR SFWR EXWR ASLC HDGP
识别率 10/10 10/10 10/10 10/10 10/10 10/10
时间
从以上图表可以看出,采用八通道表面肌电信号进行模式识别时识别率很高,且经过较175
少的训练次数和较短的识别时间便可达到要求的训练目标。这里的识别时间不包括前期数据
处理中的活动段检测和特征提取,且是对六类手部动作中每一类的十个动作共计六十个动作
进行识别,也就是八通道时每个动作的识别时间为总时间除以 60 即 ss = 。
0 10 20 30 40 50 60
1
2
3
4
5
6
预测的个数
类别
数
预测类别
实际类别
0 10 20 30 40 50 60
-4
-3
-2
-1
0
预测的个数
误差
大小
网络训练后的误差
(a) 预测图 (b) 误差图 (c) 网络训练图 180
图 8 四通道识别结果图
The result of recognition with four channels
六种手部动作四通道表面肌电信号经 BP 神经网络识别后的预测图,误差图和网络训练
图如图 8 所示。 185
- 7 -
中国科技论文在线
以上仿真实验结果图,同样是在每类动作的 20 个样本数据中提取前十个样本作为训练
样本后十个样本作为预测样本的前提下进行的。从图(c)中可以看出,在四通道数据采集时,
网络通过较少的训练次数便可达到要求的训练目标,在经过六次训练后最终的误差为
虽高于八通道时的 ,但也小于要求目标 。图(a)中“。”表示预
测类别,“+”表示实际类别,可以看出预测结果中第二类动作向下曲腕(FLWR)十个动作190
中有两个错误预测成第一类动作“OK”(OKAY),第五类动作“C”(ASLC)十个动作中
有一个错误预测成第一类动作“OK”(OKAY)。所以图(b)中出现三个误差。
表 2 四通道时各类动作的识别率及识别时间
Recognition rate and recognition time of action with four channels 195
动作 OKAY FLWR SFWR EXWR ASLC HDGP
识别率 10/10 8/10 10/10 10/10 9/10 10/10
时间
从以上图表可以看出,采用四通道表面肌电信号进行模式识别时识别率较高,但低于八
通道的识别率。网络训练次数较少,识别时间也较短,易达到训练目标。每个动作的平均识
别时间为 ss = 。
六种手部动作二通道表面肌电信号经 BP 神经网络识别后的预测图,误差图和网络训练200
图如图 9 所示
0 10 20 30 40 50 60
1
2
3
4
5
6
预测的个数
类别
数
预测类别
实际类别
0 10 20 30 40 50 60
-4
-3
-2
-1
0
1
预测的个数
误差
大小
网络训练后的误差
(a) 预测图 (b) 误差图 (c) 网络训练图
图 9 二通道识别结果图
The result of recognition with two channels 205
以上仿真实验结果图,同样是在每类动作的 20 个样本数据中提取前十个样本作为训练
样本后十个样本作为预测样本的前提下进行的。从图(c)中可以看出,在二通道数据采集时,
网络通过多次训练才达到要求的训练目标,在经过 25 次训练后最终的误差为 远
高于八通道时的 和四通道时的 。但也小于了要求目标 。图(a)210
中“。”表示预测类别,“+”表示实际类别,可以看出预测结果中除第四类和第六类动作
外,其余四类动作均出现了错误预测。且图(b)中出现八个误差。
表 3 二通道时各类动作的识别率及识别时间
Recognition rate and recognition time of action with two channels 215
动作 OKAY FLWR SFWR EXWR ASLC HDGP
识别率 9/10 8/10 8/10 10/10 7/10 10/10
时间
从以上图表可以看出,采用二通道表面肌电信号进行模式识别时识别率较八通道和四通
- 8 -
中国科技论文在线
道有明显下降。网络训练次数较多,识别时间也较长,不易达到训练目标。平均每个动作的
识别时间为 ss = 。
综合以上二、四、八通道的识别时间可以看出,在不考虑前期活动段检测和特征提取的220
前提下八通道和四通道的识别时间明显优于二通道,但若考虑前期信号处理时间由于四通道
的数据量是二通道时的两倍,八通的数据量是二通道的四倍。所以综合评价这一时间参数时,
四通道和八通道在实时性上不如二通道。
总结以上仿真实验结果中的识别率,可以直观的从表 4 中看出,采集通道数量越多,识
别正确率越高。其中由二通道增加到四通道时,识别率的提高较为明显。而四通道增加到八225
通道时,因为四通道时识别率已经接近理想,所以一倍数据量的增加并没有带来识别率上较
大的提高。所以研究过程中究竟采用几个数据通道,要视具体情况而定。当强调识别准确率
时,可以适当的增加通道数量。当强调控制实时性时,则需要适当减少数据通道量。
表 4 表面肌电信号数据通道数量与识别率之间的关系 230
The relationship between the recognition rate and the number of channels
4 结论
本文针对目前已有表面肌电信号研究中采集通道数量不确定,选择通道数量原因不明确
的问题,展开研究。在补充四通道和八通道表面肌电信号数据库基础上,运用移动平均值法235
将各通道瞬时能量合并,并结合阈值比较检测出有效活动段。然后提取每一个活动段的绝对
值平均值特征。最后利用三层 BP 神经网络对六种动作进行识别,并比较分析三种采集形式
下识别率和识别时间的变化。
综合分析仿真实验结果可见通道数量的增加会在一定程度上提高识别准确率,但同时也
会带来较长的数据处理时间。所以通道数量选多少合适,要看具体的研究应用环境折中考虑240
实时性和准确性。
[参考文献] (References)
[1] 邹晓阳,雷敏 基于多尺度模糊熵的动作表面肌电信号模式识别[J]. 生物医学工程学杂志,2012,29(6):
1185-1188. 245
[2] 李阳,田彦涛,陈万忠 基于 FFT 盲辨识的肌电信号建模[J]. 自动化学报,2012,38(1):129-134.
[3] Aaron J. Young, Member, IEEE, Levi J. Hargrove, Member, IEEE, and Todd A. Kuiken, Senior Member,
IEEE. Improving Myoelectric Pattern Recognition[J].IEEE TRANSACTIONS ON BIOMEDICAL
ENGINEERING,2012,59(3):645-652.
[4] Jun-Uk Chu, Inhyuk Moon, Shin-Ki Kim, and Mu-Seong Mun. Control of Multifunction Myoelectric Hand[R]. 250
Korea:Electronics & Control Laboratory,-6.
[5] Jonathon W. Sensinger, Member, IEEE, Blair A. Lock, and Todd A. Kuiken, Senior Member,
Pattern Recognition of Myoelectric Signals:[J].IEEE TRANSACTIONS ON NEURAL SYSTEMS AND
REHABILITATION ENGINEERING,2009,17(3):270-278.
[6] 雷敏,王志中 肌电假肢控制中的表面肌电信号的研究进展与展望 [J]. 中国医疗器械杂志, 2001,25 255
(3):156-160.
[7] 李阳 智能仿生手臂肌电信号运动模型化与模式识别理论方法研究[D]. 吉林大学:吉林大学,2012,
1-117.
[8] Wang Zhizhong, Cai Liyu. Modeling and Classification of Two-Channel Identification Theory[J]. Journal of
shanghai jiaotong university. 2000,11:1471-1474. 260
动作 OKAY FLWR SFWR EXWR ASLC HDGP 正确率
八通道识别率 10/10 10/10 10/10 10/10 10/10 10/10 100%100
四通道识别率 10/10 8/10 10/10 10/10 9/10 10/10 95%100
二通道识别率 9/10 8/10 8/10 10/10 7/10 10/10 87%100
- 9 -
中国科技论文在线
[9] Ruwadi, Philippe Poignet, Han Ming Li, Ang Wei -Input Single-Output EMG-Based
Musculoskeletal Modeling[C].The University of Tokyo, Tokyo, Japan,-929.
[10] 加玉涛,罗志增 肌电信号特征提取方法综述[J]. 电子器件, 2007, 30(1): 326-330.
[11] 尚小晶 肌电-运动关系建模与运动模式识别研究[D]. 吉林大学:吉林大学,2012,1-67.
265