- 1 -
基于互联网图像的自动增量式视频标注#
王晗，宋浩，吴心筱**
（北京理工大学计算机学院智能信息技术北京市重点实验室 北京 100081）
5 摘要：为了能够从根本上解决互联网视频大数据的标注问题，本文使用增量式的方法不断的
更新所得到的标注模型，提出了使用异构源域增量式迁移学习的计算框架。此框架将组权重
建模为隐变量，通过构建结构化隐变量模型以获取源域组与目标域样本之间的相关性，并在
增量式迁移学习的过程中引入两个约束，在适当保留旧知识的同时学习新知识。
关键词：模式识别；视频标注；增量式迁移学习； 10
中图分类号：TP391
Automatical incremental video annotation based on Web
images
Wang Han, Song Hao, Wu Xinxiao 15
(Beijing Laboratory of Intelligent Information Technology, Beijing Institute of Technolofy,
Beijing, 100081)
Abstract: The fast emerging Web images and consumer videos make the previously learned
model outdated and unsuitable for handling the increasing new data. We propose incrementally
learnig knowledge from the Web and balancing between transferring the new knowledge and 20
preserving what has been learned from the source domain. In order to measure the relevance
between the groups and individual target videos, the group weights are treated as latent variables
for each target domain video.
Key words: Pattern Recognition, Video Annotation, Incrementally Transfer Learning.
25
0 引言
互联网时代日益更新的不仅是用户视频，互联网中的图像的更新也是日新月异的。为适
应快速增长的源域数据（互联网图像）以及目标域数据（用户视频），本章研究一种增量式
的视频标注学习框架。在此框架中，在源域中习得的分类器可以增量式的更新以获取源域和
目标域中数据的变化，由此可以更有效地完成真实世界中的视频标注任务。 30
本章提出了增量式地从互联网中的粗标注图像以及现有的行为数据库（如 KTH 行为数
据库[1]和 Weizmann 行为数据库[2]）中获取知识。使用这两类数据作为源域数据主要出于两
个方面的考虑：（1）互联网中的用户视频持续时间相对较长，分析从互联网中检索得来的
视频比分析图像要耗费相对较多的时间；（2）除了互联网图像给出的静态信息，由行为数
据库给出的带标注时空信息同样可以有利于识别某些用户视频中的关键动作；（3）所有的35
行为数据库均已由研究人员完成标注，不需要额外的标注工作。
尽管同时从互联网图像和行为数据库中获取知识有益于视频标注，但由于主观理解和随
意标注使得与用户视频中事件无关的噪声知识依然存在。为了解决负迁移，本章中将源域中
- 2 -
的样本根据语义概念以及特征表示的不同分为不同组。给定一个事件类别对应的若干组，可
以根据其与目标域中数据的关系分配不同的权重。除了源域中的不相关数据，目标域视频中40
的类内变化同样不能忽视。换句话说，与一个视频相关的知识有可能与两一另个同类视频无
关。为了解决用户视频较大的类内变化，源域与目标域的相关性不仅要根据事件类别来考虑
还需要根据视频本身来分析。本章通过权衡不同源域组与单个目标域视频之间的相关性，为
不同的组分配不同的权重。与第五章中固定的组权重不同，对应于不同的目标视频样本，源
域组权重也不尽相同。将组权重视为隐变量并试图通过在一个隐变量结构化学习框架中同时45
优化组权重和组分类器。
综上所述，未解决固定模型泛化性不好的问题，本章引入增量学习知识迁移框架。该框
架使用结构化隐变量模型通过最小化新加入的源域与目标域之间的边缘概率差，在从新的数
据中获取新的知识的同时，保留了原来习得的知识。为了使习得的模型在目标域上获得更稳
定的结果，在增量学习的过程中使新得到的目标分类面尽可能地靠近旧的目标分类面。同时，50
通过在两个正则项和不同组之间使用平滑约束使得目标分类器更将适用于目标域的数据。
图 阐述了本章方法的主要框架。本章中的贡献可以概括为如下三点：1）提出了一
种使用异构源域增量式迁移学习的原理框架；2）提出通过将组权重视为隐变量的结构化隐
变量模型以获取源域组与目标域样本之间的相关性；3）通过在增量史式迁移学习的过程中
引入两个约束在习得新知识的同时保留旧知识。 55
图 增量式迁移学习框架
1 相关工作
本节主要讨论在异构领域的迁移学习方法。[3]中，互联网图像增量式地加入以习得行为
- 3 -
中国科技论文在线
视频的分类器。Tang 等[4]引入一个自适应步长的领域适应算法以迭代地将源域图像上习得60
的检测子用于目标视频。Duan 等[5]通过将不同的特征分类器作为目标分类器中的不同组成
部分，以获得包含异构特征的目标分类器。在这些方法中，预先习得的分类器主要使用的是
源域中标注样本，目标域数据只是在后期融合各个预分类器时使用。与之不同的是，本章中
的方法使用两个域中的数据增量式地优化组分类器和组权重。[6]的工作与本章的工作最为接
近，该工作解决了异构特征空间中的知识迁移。但他们的方法中所习得的组权重对于所有目65
标样本是固定的。这并不能适应用户视频中纷繁复杂的情况。本章的方法将组权重视为隐含
变量，随着目标域的样本不同而改变。
2 问题的设置与定义
为获得构成源域的互联网图像，首先定义了一个语义概念集 ，其
中 为一个事件相关的概念。本章使用 76 个语义概念关键词，包括事件本事（“play 70
basketball”），运动相关概念（“waving”），物体相关概念（“ball”）以及场景相关概
念（“basketball court”）。对应于每一个概念，通过关键字从互联网搜索引擎中获取一系
列图像组。对于构成源域的运动视频来说，视频根据其所属的行为类别分组（如“waving”，
“running”等等）。根据如此分组策略，得到 G 个包含互联网图像以及四女工委视频的异
构数据源域。其中的每一组只用一种特征来表示（“图像特征”或“视频特征”）。而在目75
标域中，每个用户视频均由两类特征来表示：从整个视频中提取出来的视频特征（如“STIP”
特征）以及从相应关键帧提取的图像特征（如“SIFT”特征）。
下面给出形式化定义。每一个事件类别对应于源域 中一系列包含图像和视频的组
。其中 为第 g 组中所包含的的样本个数， 是改组中第
i 个样本其标签为 。每一个组中的数据训练得到一个组预分类器80
。其中 表示第 g组的特征映射函数。此处值得一提的是，在本章中，
源域包含两类数据特征：图像特征与视频特征。因此，对于不同的组 g，特征映射函数 也
相应地变化。此外，本章还给定一系列目标域 中的未标注视频数据 用以优化目标
分类器。
在增量式学习的过程中，首先通过源域中已有的 G组数据上习得一系列组预分类器 。85
在增量式学习中，更新分类器时只能获得旧的分类器，而不可见旧数据。将在源域上预先获
得 G 组分类平面表示为矩阵形式 。接下来，在每一次增量学习的过程
中，可以获得一部分新的源域数据以及目标域未标注视频数据。学习的目标是使用新给定的
源域数据来增强分类器在新给定的目标域视频上的标注效果。
3 异构数据上的增量式迁移学习 90
与传统的多源域迁移学习方法不同，本章中通过将不同组权重视为隐变量使用对新
近目标域视频分配不同的组权重而不是对于所有视频固定组权重。为了达到这个目的，本章
中根据不同的隐变量组权重融合源域组分类器的决策值以获得目标域分类器
- 4 -
中国科技论文在线
（）
其中， 为第 g 组数据上的组模板； 为对应于视频 的组权重隐变95
量； ； ； 为该视频在相应祖上的特征映射函
数。一旦获得新的目标域数据，就可以更新目标分类器使其更加适用于新视频。换句话说，
本章增量式学习的目标就在于使用新数据习得新分类平面 的新线性
组合 以使 1）新得到的目标域分类器能够在新进用户视频上取得更好的
分类效果；2）在保持旧知识的同时习得新知识。3）新得到的分类器可以同时分类新旧知识。 100
目标函数学习
为了防止负迁移，需要约束新习得的分类超平面 与已有分类超平面 尽可能接近，
因此使用 添加这一约束。这一项使用参数向量 使目标模型
与原有模型尽可能接近。除了分类超平面的约束外，本节还在单组决策值上加上了一个平滑105
性约束。也就是说，属于同一类事件的不同组分类器对于同一个目标域样本应该生成相似的
决策值。本章中，这个约束使用正则表达式 来实
现。由于组权重被视为隐变量，本节的目标为使用如下形式习得一个预测函数
， （）
其中， 为描述输入视频 ，输出事件类别 以及隐含组权重 的之间相关性的110
联合特征向量。
为了给新进目标视频 习得组权重 同时更新组分类器 ，本节中在结构化隐变量目
标函数中引入约束，具体形式如下
()
() 115
()
()
其中， 为 hinge 损失函数 。通过使用该损失函数使得
新习得的目标分类器对于同一个样本的决策值与原分类器不致相差太远。本章认
为加入此类监督信息在增量式迁移学习的过程中非常重要。原因有二：1）更新120
后的目标分类器与原分类器有部分重叠，因此，两个分类器对于同一个样本的决
策值很可能不会相差太远；2）目标域中不含有任何标注样本，所以若不加入任
何约束，更新的分类器的分类结果可能会变差。
在本章使用[7]中提出的非凸切平面方法求解。首先，式（）等价于
, 125
- 5 -
中国科技论文在线
其中， 一个损失函数，其定义为
()
非凸切平面方法[7]的目标是基于 对 迭代构建越来越准确分段
二次逼近。这里的关键问题在于如何计算偏导数 。此处定义：
() 130
式（）的推理问题在下一节中讨论， 可以很容易计算得到
()
此处，
()
以及 135
（）
根据式（）给出的偏导数 ，可以使用[7]中的方法最小化 .
组权重推理
给定一个组分类器 ，需要为每一个目标域样本 解决如下分类问题：
（） 140
迁移学习的关键问题在于如何评估源域数据域目标域数据之间的相关性。受
到Maximum Mean Discrepancy, MMD 方法[8~11]的启发，本节根据估算两个样本集
中边缘概率分布的差异来推断目标域样本的组权重
（）
在此强调上述准则是根据源域组定义的，因此样本均值是根据语义相关的样145
本进行计算的。这与其他使用非参方法估计分布的 MMD方法不同。这些方法依
赖于所有源域数据需要与目标域数据分布详细的强假设。另外，在推理问题中，
不同的目标域样本被赋予了不同的权重。下一节将显示这种方法的有效性。
4 实验
数据库 150
本章使用的两个用户视频数据库（Kodak[11]和 CCV[12]）。
Kodak 数据库[11]据库包含 195 个用户视频。每个用户视频都隶属于六个事
件类别（“birthday”, “picnic”, “parade”, “show”,“sports” and “wedding”）中的一
类。
- 6 -
中国科技论文在线
CCV 数据库[12]。该数据库是由哥伦比亚大学发布的一个用户视频库。其中155
包含 9317 个从 YouTube 上下载得到的用户视频。所有的 9317 个视频被划分为
包含 4659 个视频的训练集和包含 4658 个视频的测试集，每个视频隶属于 20 种
语义类别之一。由于本章研究的是对视频事件的标注，因此可以排除五类非事件
类别（“playground”, “bird”, “beach”, “cat” 和 “dog”）。为了便于关键字检
索，将“wedding ceremony”, “wedding reception”，和 “wedding dance”合并为160
“wedding”。最终，在 13个事件类别的 2700 个视频上测评不同的算法。这 13个
类别分别是： “baseball”, “basketball”, “biking”, “birthday”, “graduation”,
“iceskating”, “performance”, “parade”, “show”, “skiing”, “soccer”, “swimming”,
和“wedding”。
KTH 行为数据库 [1]，该数据库包含六类人体行为：行走“walking”，165
“jogging”，“running”，“boxing”，“hand waving”以及“hand clapping”。
这些行为由 25个人在四中不同的场景下表演若干次得到。
Weizmann 行为数据库[2]包含了 90 个低分辨率视频序列，由 9 个人每人
表演 10个动作（bending, jumping,running, skipping, galloping, walking and waving）
组成。 170
互联网图像数据根据用户视频数据库的事件类别，该集合包含了 13中事件：
“basketball”, “baseball”, “soccer”, “iceskating”,“biking”, “swimming”, “graduation”,
“birthday”, “wedding”, “skinning”, “show”, “parade” 以及 “picnic”。在本章的实
验中使用 Google 图像搜索引擎以获取图片。对应于每一个输入的关键字，检索
结果排序前 300 张图片被下载。最终通过使用 76 个事件相关关键字在图像搜索175
引擎中进行检索，可以获得了包含 16708张图片。
实验设置
对于两个域中的视频，使用在线工具得到包含 72 维方向梯度直方图
（Histograms of Oriented Gradient ，HoG）特征和 90 维光流直方图特征
（Histograms of Optical Flow ，HoF）的 162 维 3D时空兴趣点特征。另外在每180
一个目标域的用户视频中随机选择一帧作为关键帧，并从该帧抽取使用高斯差分
检测子在显著区域检测得到的 128 维 SIFT 特征。使用同样的方法从互联网图像
上抽取 128 维 SIFT 特征。接着使用词袋表示法来量化图像和视频特征。具体来
说，将图像和视频关键帧中抽取的 SIFT特征进行聚类得到 2000个视觉词汇再将
图像和视频的原始特征根据这个视觉码本量化为 2000 维的词频特征。同样地，185
将用户视频和行为视频中的 STIP 特征使用 k-means 聚类得到 2000 个视觉词汇，
- 7 -
中国科技论文在线
并量化 STIP 特征得到 2000维词频特征以表示实验中所使用的视频。最终，目标
域中的视频由两类特征来表示，源域中的图像和视频分别由一种特征来表示。
为预先习得每一个事件类别的源域组分类器，可以使用与该组对应的图像
（视频）作为正样本，并从与该组特征类别相同的源域中其他组中随机抽取 300190
个样本作为负样本。在训练阶段，对 CCV 数据库，使用预先定义的训练集作为
训练样本；对 Kodak 数据库，使用其中所有的 195个视频作为未标注训练样本。
由此，训练数据包含了源域中异构的图像组和视频组，以及目标域中的视频。
现将本章的方法与其他优秀的迁移算法进行比较。这些方法包括标准 SVM
（standard SVM，S_SVM）方法[13]，域适应 SVM（Domain Adaptation SVM，195
DASVM）[14]适应机器（Domain Adaptation Machine，DAM）[15]的多源域适应
（Conditional Probability based Multi-source Domain Adaptation ，CPMDA）[16]机
器（Domain Selection Machine ，DSM)[5]构源域的多领域适应（Multi-domain
Adaptation with Heterogeneous Sources ，MDA-HS）[6]S_SVM 只能处理单源域问
题，将同构源域组合并为一个源域来训练 SVM 分类器。由此可以从互联网图像200
的 SIFT特征和行为视频的 STIP 特征中分别得到两个分类器。目标分类器通过融
合这两个分类器的结果得到。DASVM 是半监督的学习方法也无法解决多源问
题，在本章中，其目标分类器通过使用源域中带标注的图像以及目标域中未标注
的视频得到。与 S_SVM 类似，使用相同的融合策略习得 DASVM 方法分类器。
传统多源域适应方法 CPMDA，DAM 以及 DSM 无法直接处理异构源域问题，所205
以可以对于具有单一特征的源域进行多组加权算法，然后进决策值均值作为最终
决策值。
在本章的增量式学习设置中，源域数据被分为两部分：一部分未做学习源域
组分类器的初始数据集，另一部分作为增量数据连续的加入以更新分类器。具体
来说，每次增量学习阶段大约有 3000 个源域样本作为新数据增量式的加入。测210
试阶段在所有目标域中的视频上测评标注结果（包括现阶段新加入的视频以及之
前使用过的视频）。所有方法均使用平均准确率（Average Precision，AP）作为
评价标准。
结果分析
图 和 显示了本章方法与现有方法在 CCV数据库与 Kodak数据库215
的比较结果。同样表 展示了这些数据库上所有方法的 mAP 值。
从实验室结果中可以得出如下结论：
- 8 -
中国科技论文在线
1）在两个数据库上，本章的方法均取得了最好的实验结果。这说明了本章
中增量式学习对于正迁移是有促进作用的。CPMDA，DAM，DSM，MDA以及
本章中的方法普遍比单源域方法（S_SVM，DASVM）的效果要好。这一点清楚220
的反映了对不同的源域组分配不同的权重的有效性。不同源域对目标域的贡献不
同，由此，加权策略便显得尤为重要
2）本章中的方法比 MDA要好，这说明将权重视为隐变量有益于领域适应。
对此可能的解释为现实世界中的事件变化多样，单一固定的权重无法获取到不同
源域组与多种情况下视频的相关性。 225
3）本章中的方法同样优于 DSM，这说明所有使用使用相关关键字检索的源
域组对理解视频事件都有不同程度的贡献，单单只选择一两个源域组进行知识迁
移是不够的。
4）从单个事件的平均准确率来看，没有一种方法能够在所有事件类别上取
得完全的优势。这显示出源域中始终还有不相关数据阻碍知识迁移以获取好的目230
标分类器。本章的方法取得了更稳定的效果，这阐明将权重设置为隐变量能够有
效地处理源域中的噪声数据。
同时本章还研究了优化问题中不同约束在学习源域知识上的作用。表 显
示了比较结果。其中，第一列显示当所有组权重设置为相等时的标注效果。当所
有组都被“平等对待”时，标注结果明显下降。式（）中约束的有效性通过235
从目标函数中移除式（）和（）得到验证。从结果可以看出当任意一个约
束从优化函数中移除后，mAP 值大大下降了。这更证明了即便是在目标域中无
任何标注视频使，目标域样本之间的相关性同样能为最终模型提供有效的信息。
最后，评估了增量式学习在领域适应中的有效性。图 和图 分别给出了没
有增量学习和使用增量学习在两个数据上的结果。表 显示了本章中增量式学240
习的计算时间与 mAP 值。从表格中可以看到在 CCV数据库上增量学习的效果尤
为明显。这是由于 CCV数据库中所包含的视频远远多于 Kodak数据库中的，这
更接近于现实世界中的情况，也说明本章中的增量式学习方法更加适用于对用户
视频进行建模。
表 几种方法在 CCV 和 Kodak数据库上的实验结果比较 245
Method S_SVM
[13]
DASVM
[14]
DAM
[15]
CPMDA
[16]
DSM
[5]
MDA-HS
[6]
本文方法
CCV
Kodak
- 9 -
中国科技论文在线
图 几种方法在 CCV 数据库上的 MAP（%）
图 几种方法在 Kodak数据库上的 MAP（%） 250
表 优化函数中不同组成部分对标注准确率 mAP 的影响（%）
本文方法
CCV
Kodak 28．72
表 本章所使用的增量式学习效率验证
Kodak CCV
mAP(%) Time(min) mAP(%) Time(min)
Non-incremental
Incremental
图 CCV 数据库上对本章所使用的增量式学习效率在各个事件类别上的 AP（%） 255
- 10 -
中国科技论文在线
图 Kodak 数据库上对本章所使用的增量式学习效率在各个事件类别上的 AP（%）
5 结论
本文中给出了一个结合增量式学习算法以及隐权重变量策略的知识迁移框架。该框架通260
过对异构源域进行权衡并根据源域与目标域中的数据增量式地更新目标分类器以适应现实
世界中日益更新的用户数据。本章中的方法通过使用源域和目标域中的样本同时习得并更新
组权重和组分类器。实验结果证明了该方法的有效性。
致谢（可选）
应向对论文有帮助的有关人士或单位表示谢意。 265
[参考文献] (References)
[1] Schuldt, C. Laptev, I. Caputo, B. Recognizing human actions: a local svm approach[C], International
Conference on Pattern Recognition, Volume 3, 2004, 32-36
[2] Blank, M. Gorelick, L. Shechtman, E. Irani, M. Basri, R. Actions as space-time shapes[C], ICCV 2005, 270
1395-1402
[3] N. Ikizler-Cinbis, R. Cinbis, S. Sclaroff. Learnin actions from the web[C]. CVPR 2009, 995-1002
[4] Tang, K. Ramanathan, V. Fei-Fei Li. Koller, D. Shifting weights: Adapting object detectors from images to
video[C]. Advances in Neural Information Processing Systems. 2012, 647-655.
[5] L. Duan, D. Xu, S-F Chang, Exploiting web images for event recognition in consumer videos: A multiple 275
source domain adaptation approach[C], CVPR 2012, 1959-1966
[6] Chen, L. Duan, L. Xu, D. Event recognition in videos by learning from heterogeneous wbe sources[C]. CVPR
2013, 2666-2673
[7] T. Do, T. Artieres. Large margin training for hidden markov models with partially observed states[C]. ICML,
2009, 265-272 280
[8] Sriperumbudur, . Gretton, A. Fukumizu, K. Scholkopf, B. Lanckriet, space embeddings and
metrics on probability measures[J]. The Journal of Machine Learning Research. 2010, 1517-1561
[9] Gretton, A. Borgwardt, K. Rasch . Scholkopf, B. Smola, . A kernel method for the two-sample
proble[C]. NIPS, 2008
[10] . Borgwardt, A. Gretton, . Rasch, . Kriegel, B. Scholkopf, . Smola, Integrating structured 285
biological data by kernel maximum mean discrepancy[J]. Bioinformatics, 22, 2006, 49-57.
[11] L. Duan, D. Xu, . Tsang, J. Luo. Visual event recognition in videos by learning from web data[C].
International Conference on Computer Vision and Pattern Recognition, 2010, 1959-1966
[12] Y. Jiang, G. Ye, S. Chang, D. Ellis, A. Loui, Consumer video understanding: A benchmark database and an
evaluation of human and machine performance[C], ICMR,2011, 29 290
[13] D. Meyer, F, Leisch, K. Hornik. The support vector machine under test[J]. Neurocomputing, 55, 2003,
- 11 -
中国科技论文在线
169-186
[14] L. Bruzzone, M. Marconcini. Domain adaptation problems: a dasvm classification technique and a circular
validation strategy[J]. PAMI, 2010, 32, 770-787
[15] L. Duan, . Tsang, D. Xu, . Chua, Domain adaptation from multiple sources via auxiliary classifiers[C], 295
ICML, 2009, 289-296
[16] R. Chattopadhyay, Q. Sun, W. Fan, I. Davidson, S. Panchanathan, J. Ye. Multisource domain adaptation and
its application to early detection of fatigue[J], ACM Transactions on Knowledge Discovery from Data, 2012, 6,4,
18
300
