金融业隐私计算安全验证技术
研究报告
北京金融科技产业联盟
2023 年 12 月
编制委员会
编委会成员:
何 军 聂丽琴 杨晓辉
编写组成员:
张翼飞 石新蕾 卞 阳 杨天雅 王 超 胡静洁周建平 毛
娟 黄司辉 黄一珉 王湾湾 李 博陈嘉俊 张敬之 曹旭涛
王云河 靳 晨 张嘉熙单进勇 金银玉 蔡超超 陈浩栋 宋
雨筱 刘 尧张亚申 黄翠婷 陈 涛 康和意 杨 波 邱晓慧
胡师阳 李克鹏 陈 明 刘站奇 高志民 邵云峰李秉帅 蒋
美献 顾逸晖 昌文婷 袁鹏程 王 磊周雍恺 李定洲 张远
健 杨 柳 张佳辰 黄东庆于 博
编 审:黄本涛 郭 栋 刘宝龙
参编单位:
中国银行股份有限公司
上海富数科技有限公司
蓝象智联(杭州)科技有限公司
中国工商银行股份有限公司
深圳市洞见智慧科技有限公司
浙商银行股份有限公司
华控清交信息科技(北京)有限公司
北京数牍科技有限公司
北京冲量在线科技有限公司
同盾科技有限公司
北京银联金卡科技有限公司
腾讯云计算(北京)有限责任公司
华为技术有限公司
蚂蚁集团股份有限公司
中国银联股份有限公司
深圳致星科技有限公司
上海光之树科技有限公司
目 录
一、概述 ............................................................................................1
(一)研究对象 .............................................................................2
(二)研究目标与原则 .................................................................5
(三)研究内容与思路 .................................................................6
(四)研究意义 .............................................................................7
二、应用现状 ....................................................................................8
(一)数据安全相关法律法规日趋严格 .....................................8
(二)隐私计算国内外相关标准专项化 ...................................11
(三)金融领域隐私计算应用痛点 ...........................................20
三、隐私计算系统及产品安全验证技术 ......................................21
(一)安全风险 ...........................................................................21
(二)安全验证技术 ...................................................................39
(三)验证方式 ...........................................................................46
四、 未来发展趋势及建议 .............................................................49
参考文献 ..........................................................................................56
摘要:隐私计算从技术角度上可以有效解决数据融合应用与
数据隐私安全之间的矛盾,为数据安全保护提供了一种可行的技
术路径。隐私计算技术落地化、产品化后面临更复杂的产品、系统、
应用层面的安全风险,目前金融领域的隐私计算通用安全验 证技术
尚未有统一的研究,因此,本报告对隐私计算安全性验证技术进行研
究,分析多个层次的安全风险项,重点关注金融领域的隐私计算可实
现工具化的安全验证技术,梳理可验证方式,验 证隐私计算在金融应
用中是否满足协议一致性要求、输入输出数 据和中间数据是否满足加
密要求、通信信道是否安全,并以可视 化方式展示隐私计算内部流程,
使得整个过程变得更加透明可控, 保障金融领域隐私计算安全应用。
一、概述
多方数据融合利用能够发挥数据最大价值,释放数据作为数
字经济时代关键生产要素的潜能,而多方数据融合总是涉及数据
隐私安全问题,数据共享容易产生隐私数据和商业秘密泄露,诱
发金融企业利益损失、个人财产盗窃等安全事件,相关责任主体
面临违反隐私法律法规、遭受经济处罚的风险,严重时可能会影
响社会公共安全甚至国家安全。
数据信息安全是金融领域数据要素安全融合、互联互通的关
键所在,金融机构需在保证使用目的与方式可控前提下传递数据
的金融使用价值。隐私计算技术能够实现数据要素安全流通中隐
私安全、管控数据使用目的与方式,促进数据生态闭合。
隐私计算(Privacy-Preserving Computation),是指在提供隐
私保护的前提下,通过协作对多方的数据进行机器学习和数据计
算分析,实现数据价值挖掘的技术体系。隐私计算成为构建数据要
素流通基础设施的关键技术,能够实现数据安全融合,使“数据可
用不可见”“按用途用量使用”,从技术角度上可以根本解决数据融合
利用和数据隐私安全之间的矛盾,为数据安全保护提供了一种可行
解。但隐私计算自身不同算法协议能保证的安全程度不同,同时
隐私计算技术落地化、产品化后也面临更复杂的产品、系统、应用
层面的安全风险。包括:如何验证隐私计算 协议本身是安全的,如
何防止数据泄露;如何验证隐私计算的实
现与声明的计算协议是一致的,如何验证交互的数据未包含敏感
信息且无法推测出原始数据;隐私计算需要参与方之间的多轮通
信,在这期间通信信道是否安全;在有第三方的架构中,如何验
证第三方是否可信;产品能否抵抗参与方进行数据投毒、模型投
毒;隐私计算的结果数据是否泄露敏感信息等等。
隐私计算在金融领域应用的一大关键问题是应用方对其安
全性的认同。隐私计算安全性不仅包括通用的网络层、主机层的
安全性,还包括硬件安全、密码安全、算法安全、应用安全等系统/
产品应用的安全性,涵盖隐私计算系统/产品整个生命周期, 需
要全方位考虑。目前金融领域的隐私计算通用安全验证技术尚未有
统一的研究,因此,本报告对隐私计算系统/产品安全性验证技术
进行研究,分析多个层次的安全风险项,梳理可验证技术, 实践、
论证可验证方式,验证隐私计算在金融应用中是否满足协议一致性
要求、输入输出数据和中间数据是否满足加密要求、通信信道是否
安全,并以可视化方式展示隐私计算内部流程,使得整个过程变得
更加透明可控,推动隐私计算技术在多领域的广泛应用。
(一)研究对象
对现有学术成果、技术应用进行高度抽象,描述金融领域最大
范围隐私计算通用系统/产品的工程安全性要素及其所包含的整体
范围,形成具有通用性的隐私计算安全验证技术论证结果。
广义隐私计算是面向隐私信息全生命周期保护的计算理论 和
方法,涵盖信息所有者、信息转发者、信息接收者在信息采集、处
理、发布(含交换)、销毁等全生命周期过程的所有计算操作, 是
实现隐私保护前提下数据安全共享的一系列技术,技术体系如图
1 所示,包括但不限于:
1. 隐私计算技术
从技术应用方向来分,当前主流应用技术包括多方安全计算
(MPC)、联邦学习(FL)、可信计算(TEE),还包括同态加密、
零知识证明等辅助技术。按技术层次来分,隐私计算技术划分为
应用技术和安全保护技术。这些技术分离了数据的持有权和使用权,
实现多方数据在保护隐私的前提下联合计算,使数据需求在不接
触原始数据的情况下获得数据的增值价值,降低隐私泄露风险。
我们从技术特点、数据处理、安全基础三个角度对比分析隐私
计算的三大主流技术在安全性能方面的不同应用形式,如表1。
表 1 隐私计算技术路径对比
对比项 MP
C
FL TE
E
技术特点
侧重于基于特定规
则的多方安全数据
的通用安全数据加
密计算分析,提供
隐私求交、隐匿查
询、联合统计等应
用
侧重于多方数据的分布
式机器学习模型训练和
推理,提供特征工程、
模型训练和推理预测的
应用
侧重于多方数据的通用
安全数据加密计算分
析,提供可信信道、远
程证明等功能
数据处理
各方数据在各方本
地加密后交换,依
不交换原始数据,原始
数据在本地模型训练,
通过硬件提供安全的执
行环境,原始数据加密
赖纯密码学协议的
实现
只交互模型的中间计算
结果
后在“可信环境”中执
行,依赖特定硬件环境
实现
安全基础 密码学的安全证明 同态加密等安全机制 可信硬件
2. 基于数据限制发布的技术
基于数据限制发布的技术,有选择地发布原始数据、不发布
或者发布精度降低的敏感数据从而实现隐私保护,包括数据脱敏
以及各类去标识化技术(如掩码、抑制、泛化、截断、混淆、k-
匿名、l-多样性、t-贴近等)。这类技术保证对敏感数据及隐私的
披露风险在可容忍范围内,但是需要考虑隐私披露和可用性之间
的平衡,隐私保护的强度越强,丢失的信息就越多,数据的可用
性越低。
3. 基于数据失真的技术
基于数据失真的技术,通过添加噪音等方法,使敏感数据失
真的同时并保持某些数据或数据属性不变,仍然可用保持某些统
计方面的性质,包括随机扰动、合成数据技术等。数据失真是一
种能够抵御背景知识攻击的隐私保护方法,这类方法不依赖复杂
的密码技术,用户计算开销小,并可获得精准的查询结果。
4. 辅助融合技术
隐私计算最核心的是计算,但整个数据共享过程以及完整的系
统需要借助多个辅助技术支撑,包括区块链、可验证计算、内容跟
真实性检验及溯源技术(如数字水印)和访问控制技术等。
图 1 广义隐私计算技术体系
(二)研究目标与原则
这些技术虽不是完全实现数据的联合隐私计算,但能在数据共享
过程中有效保护个人信息,实现全流程可记录、可验证、可审计、
可控制的安全、可控的数据共享,为数据真实性、数据确权等问
题提供可行解决方案,如图 1 所示。
1. 研究目标
重点关注金融领域的隐私计算系统/产品可工具化实现的安
全验证技术,保障金融领域的隐私计算系统/产品应用、实施安
全性,为形成自动化安全验证工具的实施奠定基础。
2. 原则
本报告、制定过程遵循以下原则:
以现有大数据、数据安全、隐私保护相关的法律法规为准绳,
与已有标准规范内容保持一致;
覆盖金融领域的隐私计算系统/产品生命周期全过程;
以金融应用为导向,描述粒度能够面向未来金融领域的隐私
计算通用安全验证技术,指导工程实践和产品落地。
(三)研究内容与思路
本报告论证内容与思路包括如图 2 所示:
图 2 研究内容与思路
1. 调研
对现有大数据、数据安全和隐私保护相关法律法规政策,国
家、行业、团体标准进行调研,对隐私计算现有成熟学术成果、
技术应用情况进行调研,梳理目前隐私计算存在的安全问题;
2. 分析安全风险项
对金融领域的隐私计算技术系统/产品安全风险项进行分层
分析,包括网络层风险、主机层风险、硬件安全风险、基础密码 安
全风险、协议密码安全风险、算法安全风险。
3. 梳理安全验证技术
从基于TEE 的计算安全、区块链、基础性检测、通信数据解
析、日志分析、代码审计、可视化等多维度详细描述现有的安全
验证技术。
4. 提出验证方式
以覆盖金融领域的隐私计算系统/产品生命周期全过程的角
度出发,提出一系列隐私计算安全可验证的方式。
5. 实践安全验证项
对金融领域现有的隐私计算系统/产品的安全风险项进行安
全验证,验证数据在存储、流转、处理中是否符合安全要求。
(四)研究意义
本报告通过对隐私计算技术应用安全现状进行调研,梳理出
其安全体系方面的安全风险项和安全验证技术,提出在金融领域
隐私计算系统/产品的可验证项,对隐私计算在更多领域的应用
安全探索具有指导意义,可解决客户存在的验证落地和声明是否
一致的问题;有利于厂商业务拓展和场景落地,简化参与测评及
认证工作;完善了隐私计算安全检测方法,提升测评机构测评能力;
打通了多方数据存储、流转、处理中的安全性要素,推动金融领
域的隐私计算系统/产品在安全验证技术法律法规的制定, 规范
隐私计算技术在金融领域的市场应用。
二、应用现状
(一)数据安全相关法律法规日趋完善
随着金融行业数字化的持续发展,金融机构往往持有大量的
重要金融数据,数据的安全与风险防范一直是国家和相关监管部
门关注的重点。近年来,国内外对于数据监管的法律法规日趋严
格,我国数据立法进程不断加快,对金融数据的重视程度不断提
高。
2016 年 11 月 7 日十二届全国人大常委会第二十四次会议表
决通过《中华人民共和国网络安全法》,自 2017 年 6 月 1 日起施行,
强调收集的用户信息应严格保密,维护网络数据的完整性、保密性
和可用性,实行网络安全等级保护制度。2021 年 6 月 10 日十三届
全国人大常委会第二十九次会议通过《中华人民共和国数据安全
法》,自 2021 年 9 月 1 日起施行,强调数据安全与开发利用并重,
确立数据分类分级管理制度,多种手段保证数据交
易合法合规。2021 年 8 月 20 日十三届全国人大常委会第三十次
会议表决通过《中华人民共和国个人信息保护法》,自 2021 年
11 月 1 日起施行,强调个人信息在数据流通过程中的安全合规, 明
确了个人信息处理和跨境提供的规则、个人信息处理者的义务等内容。
《网络安全法》、《数据安全法》《个人信息保护法》一起,构建
了中国网络安全、数据安全、个人信息保护的基础性制度框架。
2021 年 11 月 14 日,国家互联网信息办公室公布《网络数据安全管理
条例(征求意见稿)》,对我国的网络数据安全与个人信息保护
进行了细化和补充。2022 年 9 月,中央网信办会同相关部门起草
了《关于修改〈中华人民共和国网络安全法〉的决定(征求意见
稿)》,明显强化了网络安全违法行为的处罚力度。2022 年 2 月 15
日起,国家互联网信息办公室等十三部门联合修订发布的《网络安
全审查办法》正式施行,将数据安全作为网络安全审查的重点考量。
可以预见的是,我国网络安全监管框架正不断完善,国家各
项法律法规对行业和企业都制定了更严格的标准。国际上对于数
据的隐私保护的相关法案也愈加严格,比如欧盟保护公民隐私的
《通用数据保护条例》(GDPR)于 2018 年生效,美国《加州消
费者隐私保护法案》(CCPA)于 2020 年生效,2022 年 5 月 10 日英
国公布《数据改革法案》, 2022 年中旬美国联邦层面通过/发布了
《美国数据隐私和保护法案》讨论稿、《促进数字隐私技术法
案》。
在金融领域,国家监管部门还发布了若干关于金融信息安全、
金融数据治理、消费者数据保护的规定规范,如:《信息安全技 术
金融信息服务安全规范》《金融数据安全 数据安全分级指南》
《个人金融信息保护技术规范》等。
这些法律法规的发布在数据隐私保护领域起到了重要的引导
与规范作用,但同时也给数据的隐私保护技术带来了前所未有 的挑
战。目前很多场景下数据的收集方不一定就是数据的使用方, 如果
数据在实体间的转移交换或是联合计算违反了数据隐私保护相关
规定,那么就可能会面临严厉的处罚,如表 2 所示。
表 2 数据安全相关法律法规
法律法规 主要内容 实施时间
《中华人民共和国
网络安全法》
强调收集的用户信息应严格保密,维护网络数
据的完整性、保密性和可用性,实行网络安全
等级保护制度。
2017 年 6
月 1 日
《中华人民共和国
数据安全法》
强调数据安全与开发利用并重,确立数据分类
分级管理制度,多种手段保证数据交易合法合
规。
2021 年 9
月 1 日
《中华人民共和国
个人信息保护法》
强调个人信息在数据流通过程中的安全合规,
明确了个人信息处理和跨境提供的规则、个人
信息处理者的义务等内容。
2021 年 11
月 1 日
《网络安全审查办
法》
将网络平台运营者开展数据处理活动影响或者
可能影响国家安全等情形纳入网络安全审查范
围,并明确要求掌握超过 100 万用户个人信息
的网络平台运营者赴国外上市必须申报网络安
全审查。
2022 年 2
月 15 日
《网络数据安全管
理条例(征求意见
稿)》
对数据存储、数据流通、数据使用等数据合规
问题进行约束,在数据分级、数据“出海”、大
数据杀熟、身份认证、信息泄露报备等方面
给予了详细的指导意见。
/
《通用数据保护条
例》(GDPR)
欧盟公民隐私保护相关法案 2018 年
《加州消费者隐私
保护法案》(CCP
A)
美国消费者隐私保护相关法案 2020 年
《数据改革法案
(Data reform bi
ll)》
旨在指导英国偏离欧盟隐私立法。将用于改革
英国现有的《通用数据保护条例》(GDPR)
和
《数据保护法案》。
2022 年 5
月 10 日
《美国数据隐私和
保护法案(讨论
稿)》
美国联邦数据隐私保护法案 /
《促进数字隐私技
术法案》
支持隐私增强技术研究和促进负责任数据使用
的拟议法案
/
(二)隐私计算相关标准逐渐细化
经过近几年隐私计算技术的快速发展及应用需求加大,隐私
计算技术的相关标准相继在国际、国内制定。前期的标准主要侧
重于技术层面,而从 2021 年开始,隐私计算的标准开始面向安
全层面、性能层面、应用层面的发展趋势。整理如表 3 所示。
1. 国内相关标准
国内方面,中国通信标准化协会于 2019 年 12 月发布了团体标
准《基于多方安全计算的数据流通产品技术要求与测试方法》,
2020 年 7 月发布的团体标准《基于联邦学习的数据流通产品技术
要求与测试方法》《基于可信执行环境的数据计算平台技术要求和
测试方法》规定了基于联邦学习、多方安全计算、可信执行环境的
数据流通产品必要的技术要求。针对这些隐私计算平台的相关基础
能力、计算能力、数据流通管理能力、安全性、性能等方面制定产
品标准。并于 2021 年发布团体标准《隐私计算联邦
学习产品性能要求和测试方法》和《隐私计算多方安全计算产品
性能要求和测试方法》,首次针对性能方面制定了相关测评规范。
2022 年 3 月份,开始《隐私计算联邦学习产品性能要求和测试方
法(大规模数据量)》《隐私计算多方安全计算产品性能要求和
测试方法(大规模数据量)》对原有的性能标准与安全标准更新,
新增对隐私计算安全分级。此外《隐私计算可信执行环境性能要求
与测试方法》《隐私计算可信执行环境安全性测试规范》也于 2022
年 3 月份开始编制,形成较为完整的隐私计算主流技术路线的性能
与安全标准体系。全国信息安全标准化技术委员会
(简称「信安标委」)2021 年立项国家标准《隐私计算技术应用
指南》《信息安全技术 多方数据融合计算安全指南》等。
此外针对不同行业的隐私计算应用标准也相继制定,在金融
行业方面,全国金融标准化技术委员会在 2020 年 11 月发布的金融行
业标准《多方安全计算金融应用技术规范》规定了多方安全计算技
术在金融应用的基础要求、安全要求、性能要求,2021 年中国支付清
算协会发布了《多方安全计算金融应用评估规范》为多方安全计算金
融应用规定了评估要求。《联邦学习金融应用技术规范》在 2022 年 1
月份在全国金融标准化技术委员会成功立项并开展行标编制,分别
从技术框架、技术要求、系统安全等方面规范联邦学习在金融领域
的应用。中国通信标准化协会于2021 年底也开始了《隐私计算面向
金融场景的应用规范》标准的制定。
2. 国际相关标准
在国际上,IEEE 标准 -2020《联邦学习架构和应用规范》
(Guide for Architectural Framework and Application of Federated
Machine Learning)在 2021 年 3 月发布,阐述了联邦学习的定义、
概念、分类、算法框架规范、使用模式和使用规范等内容。IEEE 标
准 2830-2021《基于可信执行环境的共享机器 学 习 技 术 框 架 和 要 求 》
( Technical Framework and Requirements of Trusted Execution
Environment based Shared Machine Learning)在 2022 年 1 月发布,
提出了基于可信执行环境的典型隐私计算技术架构,明确了隐私计
算整体技术架构的要求,规范了隐私计算的定义、技术架构、技术
流程、技术特性、安全要求等。IEEE 标准 2842-2021《多方安全计
算推荐实 践 》 (Recommended Practice for Secure Multiparty
Computation)于 2021 年 11 月正式发布,规范了多方安全计算的定
义,以及多方安全计算的基本要求、可选要求和安全模型、系统角
色以及工作流程、部署模式等。此外,IEEE 面向隐私计算安全要
求的标准自 2021 年下半年相继立项开始标准编制,如IEEE 的
P2986《联邦学习隐私与安全标准》于 2021 年 8 月份启动标准制定,
对联邦学习从安全性和隐私性角度开展分析,针对不同的攻击行为
对应的防御机制提供参考框架;IEEE 的 P3169
《隐私计算安全需求》于 2022 年上半年通过国际标准立项,将
对隐私计算技术本身潜在的安全隐患进行分析,并对隐私计算系
统防御的安全风险进行分级。
与此同时,其他国际标准化组织如 ISO 的多方安全计算系列
标准(《Secure Multiparty Computation - Part 1:General》
《 Secure Multiparty Computation - Part 2:Mechanisms Based on
Secret Sharing》),国际电信联盟 ITU《多方安全计算技术指南》
等标准也均分别在制定中。
表 3 国家标准
标准名称及描述 当前状态
GB/T 41388-2022《信息安全技术 可信执行环境 基本安全
规范》
定义了可信执行环境的整体技术架构、可信执行环境主
要功能构成及相关软硬件技术要求,适用于智能手机、平
板、行业终端等需要可信执行环境进行安全防护的领域。
已发布
GB/T 36618-2018《信息安全技术 金融信息服务安全规范》
规定了金融信息服务提供商提供金融信息服务时的基本
原则、服务过程要求、技术要求和管理要求。
已发布
《隐私计算技术应用指南》 编制中
《信息安全技术 多方数据融合计算安全指南》 编制中
表 4 金融行业标准(全国金融标准化技术委员会)
标准名称及描述 当前状态
JR/T 0196-2020《多方安全计算金融应用技术规范》
规定了多方安全计算技术金融应用的基础要求、安全要求、
性能要求等,适用于金融机构开展相关产品设计、软件开
发、技术应用等。《规范》的发布有助于实现在不泄露原始
数据、保障信息安全前提下推动多个主体间的数据共享与融
合应用,确保数据专事专用、最小够用,杜绝数据被误用、
滥用。
已发布
JR/T 0171-2020《个人金融信息保护技术规范》
规定了个人金融信息在收集、传输、存储、使用、删除、销
毁等生命周期各环节的安全防护要求,从安全技术和安全管
理两个方面,对个人金融信息保护提出了规范性要求。
已发布
表 5 CCSA 行业标准(中国通信标准化协会)
JR/T 0197-2020《金融数据安全 数据安全分级指南》
给出了金融数据安全分级的目标、原则和范围,以及数据安
全定级的要素、规则和定级过程。
已发布
《联邦学习金融应用技术规范》
规定了联邦学习金融应用的框架与流程、构建与应用过程、
联邦学习的总体原则等。
已立项
上述行业标准中都有包含有安全相关内容的章节,包括算
法安全、访问控制、通信保密、可核查性、真实性、安全分
级、数据安全、模型应用安全等内容。
标准名称及描述 当前状态
《多方数据共享服务数据安全技术实施指南》 在研
《隐私保护场景下安全多方计算技术指南》 报批稿
《基于可信执行环境的安全计算系统技术框架》 报批稿
《互联网广告 隐私计算平台技术要求》 征求意见稿
《隐私计算 跨平台互联互通》系列标准 征求意见稿
《隐私计算 产品安全要求和测试方法》系列标准、《隐私计算 产
品功能要求和测试方法》系列标准、《隐私计算 产品性能要求和测
试方法》系列标准
征求意见稿
《隐私计算应用一体机技术要求》 征求意见稿
《区块链辅助的隐私计算技术工具 评估要求与测试方法》 征求意见稿
《隐私计面向金融场景的应用规范》《隐私计算应用 面向通信场景
的应用规范》
征求意见稿
《基于安全多方计算的隐私保护技术指南》
本标准旨在制定基于安全多方计算的隐私保护技术的标准,利用安
全多方计算最小化数据流通中隐私数据泄露的风险,从而在保障数
据安全的前提下,促进数据的跨域流动,最大化发挥数据的价值。
报批稿
《共享学习系统技术要求》
提出共享学习系统的技术要求,包括共享学习定义、技术框架及流
程、技术特性、安全要求,用于指导共享学习系统的设计、开发、
测试、使用、运维管理等。
送审稿
其中与隐私计算安全最相关的《隐私计算 产品安全要求和
测试方法》的系列标准,包括《隐私计算 联邦学习产品安全要
表 7 ISO 国际标准
求和测试方法》《隐私计算 多方安全计算产品安全要求和测试
方法》和《隐私计算 可信执行环境产品安全要求和测试方
法》。
表 6 CCSA 团体标准(中国通信标准化协会)
标准名称 当前状态
《基于多方安全计算的数据流通产品 技术要求与测试方
法》
已发布
《基于联邦学习的数据流通产品 技术要求与测试方法》 已发布
《基于可信执行环境的数据流通产品 技术要求与测试方
法》
已发布
《隐私计算 多方安全计算/联邦学习/可信执行环境 产品
功能/性能/安全 要求和测试方法》系列标准
已发布
标准编号 标准名称及描述 当前状态
ISO/IEC 4922 《Secure Multi-Party Computation》 CD 阶段
ISO/IEC 19592-1 《 Information technology - Security techni ques -
Secret sharing - Part 1: General》定义了秘密共享
方案中涉及的各方、秘密共享方案上下文中使用
的术语、此类方案的参数和属
性。
已发布
ISO/IEC 19592-2 《 Information technology - Security techni ques -
Secret sharing - Part 2: Fundamenta l
mechanisms》
规定了加密秘密共享方案。
已发布
ISO/IEC 18033-6 《Information technology – Security techn iques–
Part 6: Homomorphic encryption 》本文档规定了
以下同态加密机制:指数 ElGamal
加密;Paillier 加密。
已发布
ISO/IEC 18033-8 《 Information technology – Security techn iques–
Part 8: Fully homomorphic encryptio n》
指定了加密机制来计算加密数据的函数,同时使
用全同态加密保持输入、中间数据和计算输出的
机密性。该文档提供了定义、符号和格式。它定
在研
义了安全模型、假设、消息空间、密文空间、密
钥空间和格式,以及适用于标准化的密码方案的
密码机制。
ISO/IEC 27565 《Guidance on privacy preservation based o
n zero knowledge proofs》
在研
ISO/IEC PWI 7748 《Guidance and practice for privacy preser
vation based on zero-knowledge proofs》
在研
ISO/IEC PWI 7709 《Security and privacy reference architect ure for
multi-party data fusion and minin
g》
在研
以上几项标准涉及关于多方安全计算、同态加密、秘密分
享、零知识证明等方面的基础性技术标准,是隐私计算的底层
技术支撑。
表 8 ITU-T 国际标准
标准编号 标准名称及描述 当前状态
ITU-T
《 Technical Framework for Shared Machine
Learning System》
定义了共享机器学习系统的角色、技术和安
全要求,提供了集中式和分散式共享机器学习系
统的技术架构、功能组件和处理流程。
已发布
ITU-T
《 Technical Guidelines for Secure Multi-Party
Computation》
建立了有关多方计算的技术导则(MPC),
并为信息通信技术(ICT)利益攸关方在数据协作
和大数据分析场景中使用 MPC 保护数据提供了技
术标准的基础。此外,建议书还描述了可用于 MPC
的应用,以及如何作为 ICT 利益攸关方开发 MPC
应
用的参考。
已发布
ITU-T 已发布的两项标准,分别规定了共享学习的技术框
架,以及安全多方计算的技术指南。
表 9 IEEE 国际标准
标准编号 标准名称及描述 当前状态
2830-2021
《 Standard for Technical Framework and Req
uirements of TEE-based Shared Machine Lear
ning》
本标准定义了机器学习的框架和架构,其中
使用从多个来源聚合并由受信任的第三方处理的
加密数据来训练模型。本标准规定了功能组件、
工作流程、安全要求、技术要求和协议。
2021 年发布
2842-2021
《Recommended Practice for Secure Multi-Pa rty
Computation》
数据已成为信息通信领域最重要的资产之
一。安全多方计算在平衡数据使用和数据保护方
面发挥着非常重要的作用。它可以在数据协作和
大数据分析相关领域建立信任和安全。本标准提
供了安全多方计算的技术框架,具体包括以下内
容: 安全多方计算概述;安全多方计算的技术
框架;安全多方计算的安全级别;以及基于安全
多方计算的用例。
2021 年发布
P2952
《Standard for Secure Computing Based on T
rusted Execution Environment》
本标准制定了基于可信执行环境(TEE)的
安全计算系统的技术框架,适用于指导基于 TEE
的安全计算系统的设计、开发、测试和维护。本
标准概述了基于 TEE 的安全计算系统,从隔离
性、保密性、兼容性、性能、可用性和安全性等
方面定义了通用安全计算平台的技术要求。最
后,本规范规定了安全计算技术的用例和场景。
已立项
-20
20
《Guide for Architectural Framework and Ap
plication of Federated Machine Learning》 本指南
提供了跨组织和设备的数据使用和模
型构建蓝图,同时满足适用的隐私、安全和监管
要求。它定义了联邦机器学习的架构框架和应用
2021 年发布
指南,包括联邦机器学习的描述和定义;联合机
器学习的类别和每个类别适用的应用场景;联邦
学习的性能评估;和相关的监管要求。
P3156 《 Standard for Requirements of Privacy-Pre serving
Computation Integrated Platforms》
2022 年立项
P2986
《 Recommended Practice for Privacy and Security
for Federated Machine Learning》
2020 年立项
P3117
《 Standard for Interworking Framework fo r
Privacy-Preserving Computation 》
2021 年立项
P3169
《Standard for Security Requirement of Pri vacy-
preserving computation》
2022 年立项
IEEE 的国际标准中,2830-2021 规定了基于 TEE 的共享学习的
技术框架,2842-2021 规定了安全多方计算的推荐实践,P2952 规定
了基于TEE 的安全计算标准, 规定了联邦学习的技术框架
与应用指南,P3156 规定了隐私计算一体机的技术要求, P3117
规定了隐私计算的互操作框架。
IEEE 国际标准中,与隐私计算安全最相关的是 IEEE
P2986,规定了联邦学习隐私与安全的推荐实践;以及 IEEE
P3169,规定了隐私计算的安全要求。
(三)金融领域隐私计算应用痛点
1.标准不够健全
目前金融领域已生效的标准仅有《多方安全计算金融应用技
术规范》和《移动终端支付可信环境技术规范》两部标准,目前
的标准不足以覆盖当下流行的隐私计算技术。
2.国内对于支撑隐私计算的底层技术缺乏相应标准
国际上,ISO 已经针对半同态加密,全同态加密,秘密共享
和零知识证明出台了相关技术标准,国内密标委 2021 年底发布
行业标准《多方安全计算密码技术研究》征求意见稿,介绍多方 安
全计算的技术原理、应用状况、标准制定等情况,更多底层技术的
相关标准还需国内标准制定机构及时跟进。
3.隐私计算技术应用安全的可验证性亟须解决
法规和政策一般要求数据必须是安全的,鲜有指定具体技术,
并不是说用了某项技术就合法合规。隐私计算技术应用安全的可 验
证性亟须解决。
4.隐私计算应用安全的研究成果较少
现有国内外标准中对隐私计算技术应用安全的研究还不是 很
完善。
5. 缺乏通用安全性验证技术
不同厂商采用的协议之间差异较大,缺少覆盖面足够广的统
一化验证技术及工具。
三、隐私计算系统及产品安全验证技术
(一)安全风险
隐私计算是一个多学科的技术融合,并不是一个单一的技术,
包含了多种隐私保护技术,涉及密码学、安全硬件、信息论、分 布
式计算等多个学科。隐私计算在实际应用过程中,也涉及来自 各个
层面的安全风险,为了便于通过安全体系进行阐述,对安全 风险进
行分层分析。
1.隐私计算应用安全风险
隐私计算应用的定位是对数据和隐私保护,识别出隐私计算
技术潜在的风险,有助于我们对风险进行管控和采取措施,也是
本文所研究的重点内容。隐私计算的安全体系,自底向上,可分 为硬
件安全、密码安全、MPC 协议安全、算法安全(含模型安全和数
据安全)、业务层安全。
(1) 硬件安全风险
可信执行环境(TEE Trusted Execution Environment)是以
硬件安全为代表的安全路线。TEE 的安全模型建立在对硬件的建
立完全的信任,然而基于硬件的安全性也并不是坚不可摧,也面
临着多方面的风险:
TEE 硬件设备的设计和生产过程中难免存在安全缺陷,自
2017 开始,相关安全缺陷陆续报出。在国际漏洞数据库 CVE
(Common Vulnerabilities and Exposures)中,绝大部分 TEE
相关的硬件漏洞都与本地物理访问相关,可能造成密钥泄露、数
据泄露、权限提升等问题。最近值得关注的有 CacheOut 和SGAxe
攻击(漏洞识别号 CVE-2020-0549),此外,国外基于 TEE 的环
境自身也面临着多项安全威胁,如 Intel SGX1(已知存在重大安全问
题,参见[1]、[2])、来自对基于硬件的可信执行环境的各类侧信
道攻击,从而推导其内部的机密数据内容等。
TEE 的安全有效性很大程度上依赖远程硬件认证服务的安全
和诚实。由于这一服务通常由硬件厂商或者平台服务商提供,会
带来中心化的信任问题。基于 TEE 的计算安全性需要一个没有商
业利益冲突的可信第三方作为信任根的背书。因此如何挑选中立
权威方或设计一套可信系统来提供这一信任服务将变得非常关 键。
(2) 基础密码安全风险
隐私计算使用了大量的密码学技术,近年来,相关密码技术
发展迅速。国密相关标准制定工作现在难以满足隐私计算使用过程
中的要求,这在一定程度上,阻碍了隐私计算的快速发展,为证明
密码算法的安全性增加了额外的工作,需要具备专业的密码安全评
估能力,配合相关的论文作为理论基础,来证明其安全性。密码的安
全性一般都基于安全性的假设,这些假设造成了密码算法在使用
上的诸多局限性,这些局限性往往造成错误使用密码算法的情况。
当下,面对密码大量使用的诉求,缺乏专业性的密码安全评估专家
以及评估流程。
密码安全随着时间的推移,其安全性是相对的,面对算法和
算力的增加,密码的安全强度也是一个挑战。在密码学中,通常
使用安全参数(Security Parameter)用来衡量一个攻击方
(adversary)攻破一个加解密机制(scheme)有多困难(hard)
的方式。直观的理解就是,安全参数越大,对应的破解加密系统 的
难度也就越大。
安全参数有两种类型:
①计算安全参数:决定了加密机制中的定义的计算的数值空
间(input size)大小,通常是用 bit 位数表示。关联计算复杂度。
①统计安全参数:通常是在攻击方 unbounded computation
power,即算力无限的情况下,攻击方以一定概率破解加密机制。
在当下,联邦学习密码学部件安全性:要求不低于 112bit
计算安全强度和不低于 30bit 的统计安全强度,为适应算力算法能
力增长的对抗,满足安全性,可能会提高通用的安全强度。 面向未来
的后量子时代,基于量子计算设计的量子并行性算
法,可以快速破解现有大部分的公钥加密系统,因为公钥加密算 法
的安全性依赖于大整数分解或离散对数难题,包括 RSA、EC- DSA、
ECDHE 等在内的公钥加密和签名方案受到影响。现在隐私计算采用
的关键密码学技术,其抗量子攻击的算法已经是主流趋势, 比如基
于格的同态加密、秘密分享等,在隐私计算场景下存在广 泛的应用。
此外,隐私计算中的随机数安全风险也不容忽视。随机数在隐
私计算算法领域具有广泛的应用需求,例如大集合中选择随机样本、
密码学中生成密钥和运行安全协议,测试计算机程序等。算法实现
中随机数一般由伪随机数生成器实现,由于伪随机生成器依赖于初始
状态、初始值可以预测和再生。因此程序是否拥有高质量的伪随机
数是至关重要的问题。密码学中的随机序列还需保证在未获取秘密信
息的情况下,序列是不可预测且无法从序列的少量元素中重新生成序
列,能防御攻击者重构密钥或从序列中获取密钥。
伪随机数生成器质量可以通过检测每个数都是随机的产生 且
与序列中其他所有数都相互独立来完成。例如:德国信息技术
安全研究所给出的随机数生成器的质量准则:
1) 随机数组成的随机矢量应该以很高的概率保证不包含完
全相同的连续元素。
2)基于统计测试生成的随机数与真实随机数不可区分。
3) 不能通过已知随机数序列计算或猜测之前或未来的随机
数或生成器状态。
4) 不能通过生成器的内部状态计算或猜测之前的随机数或
生成器状态。
(3) 协议密码安全风险
目前MPC 协议有 Garbled Circuit、Oblivious Transfer、Secret
Sharing、BGW、GMW、BMR 等,它指的是用户在无需进行
数据归集的情况下,完成数据协同计算,同时保护数据所有方的
原始数据隐私。在评估协议的安全性时,关注的是安全模型,有
半诚实安全模型和恶意安全模型。
满足半诚实模型时,双方都遵循协议规范,同时试图从接收
到的消息中推断出另一方输入的信息。满足恶意安全模型时,参
与方根本就不按照计算协议执行计算过程。参与方可采用任何
(恶意)方式与对方通信,且没有任何信任关系。结果可能是协
议执行不成功,双方得不到任何数据;或者协议执行成功,双方
仅知道计算结果。
对于通常相互信任且由于彼此业务需要的各方来说,采用半
诚实安全模型的 MPC 协议,这是一种相对合适的模式。在现实世界
中部署的大多数安全多方计算实例都是在半诚实的模型中运行的。
虽说任何半诚实的协议都可以被增强为恶意安全协议,允 许各方主
动篡改发送的消息,不过这样做会带来显著的性能开销, 导致实际
中无法使用。
(4) 算法安全风险
联邦学习融合了多方安全计算技术、AI 算法。虽然隐私计算
技术通过数据“不可见”实现了数据安全的保护,但正因为“不可
见”,也造成了一定的安全风险敞口,这里我们分别从数据安 全和模
型安全的角度,分别讨论几类常见的攻击和防御。
1)对数据安全的攻击
这里我们所指的破坏数据安全的攻击是一个广义的概念,不
仅指造成数据隐私的泄漏的攻击,也包括了通过污染数据达成攻
击目的的方式。具体来说,这类攻击包含:
数据重构 对于隐私保护的机器学习模型构建,最为常用的
一类技术即是由Google 于2016 年首次提出的联邦学习技术[4]。该
技术通过传递梯度的方式,避免了直接的明文数据传递,实现了
数据隐私保护多方联合建模。但国内外研究表明[5][6],梯度并不
是一个有效的安全载体,攻击者可以伪装成合法的联邦学习参与者,
并在获取到明文梯度后可以仅付出少量的计算成本就反推出用来计
算梯度的原始数据。另外,极端情况的使用,例如训练只使用一列,
只选 label,batch_size=1,二分类模型等,有可能推理出隐私信息;
使用方恶意频繁调用算法(用法用量), 如 PIR 中反复查询某个
人的特征,每次都预测张三的信用分,就有可能推理出隐私信息或
者模型系数等。
数据下毒 由于建模数据多由他人提供且数据“不可见”, 隐
私计算下的机器学习平台通常缺乏有效的机制对数据进行过 滤与
清洗,从而令攻击者可以通过简单的标签反转[7]、模型替换[8]、
数据篡改[9]等方式,来抑制模型的收敛、降低模型的性能甚至控
制模型对特定输入的响应模式。
模型后门注入 又称“特洛伊木马”攻击,与数据下毒类似, 攻
击者利用“不可见”的特性,通过篡改原始数据的方式,让模
型记住特定“触发器”的分布特性[10][11],使训练得到的模型 在面对
携带触发器的输入数据时,给出攻击者所期待的输出。 无意识记忆
Google 于一篇研究报告中指出[12],在多方联
合建模时,参与者常常会把一些分布外又无助于模型性能提升的
隐私数据于无意间加入训练当中,这类数据会于神经元中引入一
类被称之为“无意识记忆”的漏洞。攻击者可以利用最短路径搜算
算法,快速复原出构成无意识记忆的隐私数据。
2)对模型安全的攻击
通常这类攻击会通过欺骗模型或破坏模型隐私的方式,威胁
机器学习模型服务安全。此外,这类攻击通常在传统的机器学习
平台中也极为常见,但由于隐私计算下的机器学习平台数据和模
型“不可见”的特性,该类攻击对其威胁更为严重,如:
模型偷取 又称模型提取攻击。以金融领域为例,模型作为
银行等金融机构的核心资产,具有极高的商业价值。这类攻击允
许攻击者通过构造特定访问样本[13],在不具备或仅具备少量数
据的情况下,复制一个与目标模型性能相仿的模型,极大地威胁
公司的核心资产安全。
恶意样本 通过合成的恶意样本[14],攻击者欺骗模型做出
特定的响应。以预授信场景为例,恶意用户可以通过修改其部分
预授信信息,欺骗模型做出错误的判断,损害公司利益。于隐私
保护下机器学习平台服务中,由于数据被加密,这类攻击尤其难以
检测。
成员推断 成员推理是一类可以通过模型输出的后验概率检
测建模所使用数据的攻击[15]。这类攻击对医疗场景下的机器学
习应用下的用户隐私造成尤为严重的安全威胁,攻击者在隐私计
算技术的保护下,隐蔽地获取任意个体是否于某家医院参与治疗
或是否患病等十分私密的个人信息。
模型更新推理 对于一般的模型服务场景,经常需要定期的
更新模型以匹配最新的业务场景特性。德国研究机构 CISPA 的研
究表明[16],攻击者可以利用模型更新后带来的后验概率输出上
的前后差异,推理出用来更新模型的原始数据。
3)安全防御
数据安全防御方面,针对数据生命周期,需要对应数据使用
前与使用中,分别制定对应防御策略。
使用前——数据清洗与过滤。平台应提供相应的工具,在数
据资产发布时由平台提供方或第三方,对数据进行清洗和检测,
对下毒数据、木马数据等恶意数据进行示警,在数据通过隐私计算
技术加密前,就从源头上控制其可能带来潜在的风险。
使用中——强化隐私计算应用。平台应杜绝对非可证明安全
的数据形式变换方式的依赖,避免“梯度裸奔”等现象的出现。针对
包括模型梯度、嵌入向量等任何敏感信息出域,都必须借助同态加
密、秘密共享等经过学术界和专业机构验证的隐私计算在符合国家
标准的安全强度下予以保护。在特定模型场景下,还应
保证所使用算法能够提供可验证计算能力,防止攻击者于隐私计
算过程中篡改数据。
模型安全方面,除借助上述数据安全保护策略外,还应于模
型部署前和部署后提供如下防御。
部署前——模型检测。平台应提供模型安全检测工具,对所
有待部署模型进行检测,判断是否存在恶意后门。当发现后门后,
除对用户进行报警外,亦可选择性地通过模型遗忘、模型蒸馏等
方式提供模型后门清洗在内的善后能力。
部署后——访问控制。上述攻击的一大特点在于,都需要通
过构造大量合法或非合法的访问来获取模型相关的额外信息,以
辅助攻击者发起攻击。因此,一种最为简单有效的防御策略就是
基于访问控制来拒绝越界访问、陌生 IP 访问、非授权访问等非
法访问,限制部分用户的访问频次,这可以极大地增加攻击的攻
击成本。
平台应具备对数据和模型的访问、使用、授权等系统日志的
记录与审计能力。当平台受到攻击后,能够对攻击发起方的恶意
行为采集证据以供法律追责之用。
(5) 业务安全风险
1)安全假设应用错误
应用场景的安全假设使用错误可能带来应用安全风险。密码
和算法的安全性往往基于一定的假设和前提。比如半诚实模型下
的多方安全计算技术,其安全性基于所有的参与方不能违反协议
(比如发送错误的数据给其他参与方),当这些技术用于解决金
融领域相关问题时,技术服务方和应用方应该就技术成立的安全
条件和实际环境的匹配性达成共识,如果实际环境与技术安全性
假设不符,则相关产品在正式应用时就可能存在安全漏洞。
工业界大部分产品采用的算法实现是基于半诚实的安全假 设,
当然也有一些产品,为了支持更高等级的安全性,支持恶意参与
方的场景。同时为了实用性,多数产品都会在一定的可控条件下,
进行工程或者算法层面的效率优化,这都为安全验证工作带来了
很大挑战。
无论对半诚实模型和恶意模型来说,其验证都是需要理论的
证明,有理论上的背书,其验证才有据可依,随后验证算法流程
按照协议执行即可。但一些工程或者算法层面的优化,仍会给验
证带来一定的不确定性,这也应该是安全模型验证的重点。
2)隐私计算场景应用风险
隐私计算在不同场景中安全性的定义也是不同的,常见的应
用有:联合统计、联合建模、隐私集合求交(PSI)、匿踪查询
(PIR)等。尽管如此,各场景面临的安全风险实际上大体可分
为两大类,即算法本身的安全性和应用安全性,具体介绍如下:
联合统计安全性
底层多方安全计算协议的安全性,如安全模型是半诚实模型
还是恶意模型,是否抗共谋,协议的不诚实门限等。
应用时常见的风险有:联合统计的计算结果可否推断出原始
数据,联合统计的计算逻辑是否可进行归约,从而直接暴露原始
数据等(如 a+b-a 等价于b)。
联合建模安全性
建模算法协议的安全性,原始数据是否出本地,本地中间数
据是否被保护,全局中间数据是否被保护等。
应用时常见的风险有,在联合建模中,面临的一些攻击,如
对抗攻击,投毒攻击,后门攻击,标签推理攻击等。
隐私集合求交安全性
PSI 协议安全性,如安全模型是半诚实模型还是恶意模型,
是否抗共谋,协议的不诚实门限等。
应用时常见风险有:学术上的 PSI 技术通常是指定一方为结
果方,所以 PSI 协议上安全性的保证只到结果方获得结果,但在实
际应用中,参与方都需要知道最终的交集结果,如纵向联邦学习
中。常见的做法是结果方将结果同步其他参与方,此过程存在两
个风险,一是在半诚实敌手模型下,学术上很难给出针对最后额
外将交集结果信息同步至接收方的安全证明,二是结果方可能发
送假的结果。在有些业务中需要三方的数据进行融合应用,要求
只把三方的交集数据作为最终结果输出,并且不泄露两两之间的
交集,如果先两两之间进行求交,再对两两的中间结果进行求交,
则无法满足业务要求,存在泄露两方之间隐私的风险。
匿踪查询安全性
PIR 协议安全性,如安全模型是半诚实模型还是恶意模型,
是否抗共谋,协议的不诚实门限等
应用时常见风险有:很多 PIR 协议会采用分桶优化来提升查
询速度,本质上是对被查询数据做了分片,通过缩小待查数据的
空间规模来降低计算开销,这同时会造成桶内元素不可区分度的
线性下降,从而降低 PIR 协议查询过程的安全性;另一方面是数
据库的可信性问题,即被查询方提供的数据集为假。
2.通用的安全风险
(1)网络层风险
随着国内互联网快速发展,在网络层的安全性控制机制比较多,
方案也比较完善,目前网络攻击是指针对计算机信息系统、联网基
础设施、计算机网络或个人计算机设备的任何类型的进攻动作。这
些攻击包括破坏、揭露、修改、使软件或服务失去功能、在没有得到
授权的情况下窃取或访问任何一台计算机的数据。网络攻击分为主动
攻击和被动攻击以及高等持续性威胁等。
主动攻击会导致某些数据流的篡改和虚假数据流的产生。这
类攻击可分为篡改消息是指一个合法消息的某些部分被改变、删除,
消息被延迟或改变顺序;伪造指的是某个实体(人或系统) 发出
含有其他实体身份信息的数据信息,假扮成其他实体;终端拒绝服
务,会导致对通讯设备正常使用或管理被无条件地中断, 等等。
被动攻击中攻击者不对数据信息作任何修改,截取/窃听是
指在未经用户同意和认可的情况下攻击者获得了信息或相关数
据。通常包括窃听(包括操作记录、网络监听、破解弱加密、非
法访问数据、获取密码文件等)、欺骗(包括获取口令、恶意代
码、网络欺骗等)、流量分析(包括导致异常型、资源耗尽型、
欺骗型等)、数据流(包括缓冲区溢出、格式化字符串攻击、输
入验证攻击、同步漏洞攻击、信任漏洞攻击等)攻击方式。被动
攻击主要是收集信息而不是进行访问,数据的合法用户对这种活动
一般不会觉察到。
高等持续性威胁(APT)攻击是对特定目标进行长期持续
性网络攻击的攻击形式,属主动攻击的一类。APT 在发动攻击
之前需要对攻击对象的业务流程和目标系统进行精确的收集。在此
收 集的过程中,此攻击会主动挖掘被攻击对象受信系统和应用程
序的漏洞,利用这些漏洞组建攻击者所需的网络,并针对系统漏洞
进行攻击。
对于网络攻击潜在的风险,一般采取的解决方法主要是在服务
器前置部署相关的网络安全基础设施,包括建立 DMZ 区与内部服务
环境进行隔离,架设防火墙、负载均衡、数据防泄漏系统等。
(2)主机层风险
应用程序运行于各种操作系统和基础软件之上,品类和版本
繁多,比如:Linux,BSD,Windows 等操作系统,MySQL、redis、
sftp、ssh、apache、tomcat 等基础软件。在引入各类软件的同
时,也引入了软件的安全缺陷和安全风险,为应对各类软件带来的
安全风险,一方面,通过要安装的各类软件进行管理,建立安全情
报机制,快速识别出新的安全漏洞,以快速修复发现的问题, 将安
全防控机制,进行常态化,建立软件管理、安全情报管理、定期安全
扫描、病毒查杀、快速漏洞修复、安全补丁机制来确保主机层的安
全能力。
(二)安全验证技术
1. 基于 TEE 的计算安全验证技术
(1)远程验证机制
在基于TEE 的计算环境中,可以使用远程认证机制来远程证
明用户身份和平台可信性。远程认证机制主要包括可信认证报告
生成和可信认证过程两部分实现。
可信认证报告和可信认证过程的基础是 TEE 可信根中的背
书密钥(Endorsement Key)。背书密钥一般是一个非对称密钥,
与硬件有唯一性绑定关系。为了增强可信根的安全性,背书密钥一
般不会被直接参与到报告生成和认证过程中,而是派生出一对身份
认证密钥(Attestation Identity Key)。
可信认证报告核心是一个包含 TEE 运行状态和带有软硬件
度量值的原始证明报告。原始证明报告使用 AIK 签发后形成可信
认证报告。可信认证过程如上图所示,由三方交互完成,包括 TEE
执行节点所在的被验证方、客户端所在的验证方和 TEE 可信认证
中心。TEE 可信认证中心本身作为一个 CA 服务,负责可信报告
相关密钥证书的发放。验证方和被验证方都拥有认证中心的 CA
公钥证书,以验证 CA 所签发证书的合法性。被验证方向验证方
提供可信认证报告,由验证方完成报告的可信认证。
验证方获取可信报告后,首先验证 AIK 证书的有效性确保证明
报告的合法性,通过 AIK 签名验证证明报告的完整性。之后, 验
证方再根据可信策略验证报告本身,比对度量值等关键字段,
确认TEE 端计算环境的机密性以及代码的完整性,TEE 远程验证
机制如图 3 所示。
图 3 TEE 远程验证机制
(2)节点互信验证机制
TEE 节点互信指的是不同机密计算节点之间达成信任关联的
过程,如图 4 所示。
节点互信机制满足如下要求:
1) 系统应在节点通信发生之前,在节点识别之后,预先设定
需要互信的节点范围;
2) 系统应保证节点互信的信任凭据具备有效性时长或只在
会话内有效。
3) 节点互信应包含身份互信、通信安全互信、计算要素互信,
宜包含计算执行代码互信。
图 4 节点互信验证机制
节点互信的维度包括:
1) 身份互信:各个节点应具有独立身份,或具有所属组织的
身份。身份具备动态认证的特性。可采用通用的 PKI(Public Key
Infrastructure)、IBE(Identity Based Encryption)和CPK
(Combined Public Key)等认证体系构建;
2) 通信安全互信:节点之间应实现加密通信,通过安全连接
交换数据,处理请求。加密通信宜采取 TLS 协议或类似的加密
方案。同时,系统需要给出安全的密钥握手方案,比如 PKI 体
系或将节点公钥与白名单一起通过安全通道预同步到关联节点 的
方案。通讯密钥与节点身份认证密钥应分离;
3) 计算要素互信:各个节点之间应只在关联的任务计算必要
时进行交互通信。计算要素包括:计算任务的参与方信息、计算
节点信息、权限信息、计算参数、数据一致性信息。各方之间对
参与任务的各个要素需要互证一致;
4) 计算执行代码互信:计算节点之间可通过远程验证机制,
提供计算执行代码的一致性证明。
2. 基于区块链的全流程存证
区块链是一种去中心化的分布式账本。该技术由分布式数据
存储、点对点传输、共识机制、智能合约、加密算法等多种子技术
共同组成,具有可追溯性、防篡改性、不可伪造性等特性,可以有
效解决无第三方背书的情况下的信任问题。基于这些特性, 区块链
可以对数据从产生到处理、从交易到计算的全生命周期进行记录和
存证,保证过程的可验证性和可信性。
进一步来说,区块链技术能够对隐私计算任务的全流程进行
存证。各参与方可作为区块链上的节点,保存有数据共享中的目
录信息、权限控制信息、协调信息、存证信息及交易信息等,可
根据审计要求追溯任意历史的变更记录,从而解决隐私计算任务
存证的数据难验证、交易难溯源、多方难互信、多方协作难等问
题,使得隐私计算全流程可验证、可溯源、可信任、易实现多方
协作。
(1)共识机制
共识机制是区块链技术的重要组件。与中心化架构不同,在
区块链中各个参与节点都有平等的记录数据的能力,那么需要一
个共识机制来决定谁最终拥有数据的记账权,即让这些节点通过一
个规则同意这个特殊节点在很短的时间内完成了对交易的验 证和
确认。共识机制具有两个作用:1. 一致性:对区块链系统中所
有诚实参与节点保持账本一致性。2. 有效性:筛选出一个节点
来往链上写入数据,其他所有诚实节点把该发布的信息记录在自
己的区块中。目前常见的共识机制有:工作量证明 PoW
(Proof of Work)、权益证明 PoS(Proof of Stake)以及委托权
益证明 DPoS(Delegated Proof of Stake)。
工作量证明机制 PoW
当一笔交易发生时,就会产生一个区块,为了保持数据一致性,
每个区块数据只能由一个节点(有记账权的)进行记录。比特币
就是通过 PoW 机制(如图 5 所示)来确认这个记账节点。比特币
网络提出了这个 PoW 问题。其关键要素是工作量证明函数、区
块信息及难度值。工作量证明函数是这道题的计算方式, 区块
决定了这道题的输入数据,难度值决定了这道题所需要的计算量。
可以理解成节点为了获得记账权需要将不同的 Nonce 值代入到工
作量证明函数中,尝试进行 SHA256 哈希运算,直到找出满足条
件的 Nonce 值为止。计算得出满足条件的 Nonce 值的个数越多,
代表难度越大。
图 5 工作量证明机制 PoW
(2)分布式存储
区块链使用点对点传输技术进行分布式存储。假设黑客破解
和篡改了一个节点上的信息,并不能影响区块链的账本,因为篡
改者需要同时修改网络上超过半数的系统节点数据才能真正地 篡
改数据。这种篡改的代价极高,导致几乎不可能完成,从而造就
了区块链的安全性。
(3)智能合约
智能合约是存储在区块链上的数字合约,在满足确定的条款
和条件时会自动执行这些合约。智能合约工作时遵循简单的
“if/when... then...”语句,这些语句被写入区块链代码中。当满足
并验证预先确定的条件时,计算机节点将执行操作,这些操作可
能包括相应的各方发放资金、发送通知或开具凭单等。然
后,在交易完成时更新区块链。这意味着无法更改,只有获得许
可的节点才能看到结果。因为没有第三方的参与,减少了人为失
误或者合谋干预的风险。因为一旦更新了区块链,交易记录会被
所有节点共享,所以数据是无法被篡改及安全的。
(4)密码学
在区块链系统(如图 6 所示)中,运用了多种的密码学技术,
包括哈希算法、公钥私钥、数字证书与签名、零知识证明、同态
加密等,以此来保护整个区块链系统的安全。其中,数字签名技 术
可以证实某数据内容的完整性并确认其来源,即可证明数据的归属。
区块链交易记录经过加密,这使得它们很难被破解。此外, 由于每
条记录都与分布式账本上的前后记录相关联,黑客必须改变整个
链才能更改单个记录。
图 6 区块链系统
3. 基于区块链智能合约的计算合约
计算合约由数据、算力、算法等信息组合而成,体现数据用
途和用量的服务契约;计算合约允许各计算参与方在计算任务发
起时对使用的数据集、算法(即数据用途)和使用次数进行审阅。
在所有参与方达成一致后,平台方可开始执行计算任务。主要内
容包括:
1) 算法逻辑及其他约定:体现数据的用途、用量、时限等。
2) 电子签名:体现多方监督,抗抵赖,可具备一定的法律效
力。
计算合约的特点包括:
1) 数字化、可机读:不只是将纸质合同电子化,须实现条
款可自动执行。
2) 各方约定:以各方达成一致为前提,责任共担,分散风
险。
3) 数据使用透明化:确认数据加工、计算的算法逻辑(对
于保密部分可使用密码技术处理)。
4)涵盖计算任务全流程:具备不可篡改、可追溯等特性。
计算合约的执行流程:
1)任务准备:算法提供方基于算法形成合约模板;
2) 任务发起:任务发起方选择合约模板,完善合约内容;
所有参与方提供相关信息,审查并签署合约;
3) 任务执行:任务发起方执行合约,发起任务;调度方验
证任务,调度资源;计算方验证任务,完成计算,同时对计算过 程
进行存证
4) 任务结算:结果使用方对照合约,验证结果;调度方进
行任务结算和清算;
5)任务审计:对照合约、存证、日志等,进行任务审计。
4. 基础性检测
基础性检测技术,指隐私计算系统在数据流入和流出前进行的
一些系列数据安全核验动作,包括数据来源可信、授权可用、质量
检测、合规性审查等。
(1)数据来源检测
利用数字证书检测、硬件 token 验证等方式对数据提供方身份
进行认证,确保数据来源方身份可信。采用限制 IP 地址、端口
号等技术防止第三方的恶意接入,确保仅有经过许可的主体有权
限接入系统中。
(2)数据权限管控
依照最小授权原则,设计数据权限控制机制,对数据非法访
问进行识别与实时阻断,确保隔离区内的数据只有通过指定的访
问管控入口才可流入流出,防止绕过管控读写数据。
(3)数据质量检测
对数据的一致性、完整性、及时性和可用性等数据质量进行
确认的能力,确认数据质量满足合作需求,并确认输出结果符合
参与方的约定。
(4)数据合规性审查
事先对数据使用的目的、方式、范围、频率、权限、存储的
有效期、过期数据的处理策略等进行约定,并不定期采用人工或
自动拦截的方式进行合规性审查。
(5)异常输入告警
对大量相同数据重复流入、传输中断、校验不通过、长时间
没有数据流入和识别到敏感数据等数据的异常流入进行告警,并
对异常流入的文件名、异常信息描述等内容进行日志记录,为后
续处理提供参考。
5. 通信数据解析
通信数据解析技术,通过端口监测、流量分析等技术,监听
网络通信行为,抓取并解析通信数据,实现对隐私计算算法协议
运行一致性和关键信令执行正确性进行验证。
(1)访问控制
在网络边界或区域之间根据访问控制策略设置访问控制规 则,
默认情况下除允许通信外,受控接口拒绝所有通信;对源地 址、目
的地址、源端口、目的端口和协议等进行检查,以允许/ 拒绝数据
包进出;在关键网络节点处对进出网络的信息内容进行过滤,实
现对内容的访问控制。
(2)数据包解析
对隐私计算算法执行过程中侦听到的网络信息流及其所有 的
数据包进行解析,基于解析结果对隐私计算算法运行一致性和过
程数据保密性进行判别和验证。
(3)信令监控
侦听用户签约、授权等关键事件的日期、用户、事件类型和
成功与否等信令,后台定期对信令情况进行统计分析。
(4)运行状况监测
通过对网络链路、安全设备、网络设备和服务器等的运行状
况进行集中监测,能够正确和及时地了解系统的运行状态。
6.日志分析
日志分析技术,对隐私计算系统中关键操作和关键数据进行
日志采集和存储,对日志记录进行检索和统计分析。
(1)日志采集
采集应用系统多个维度数据日志,包括但不限于 API 调用日
志,安全计算日志,操作日志、技术中间件日志、业务服务日志、
操作系统日志、数据库日志等。
(2)日志分析
对采集的日志进行解析、聚合、关键数据提取等相关处理。
(3)日志存储
对全文日志文件或提取的关键数据提供存储能力,包括分布
式文件存储、大数据存储及关系型数据库存储能力。
(4)日志检索
提供日志检索功能,查询指定的异常日志或者操作日志。
7.代码审计
代码审计技术,通过对源代码进行白盒分析,发现其中对网
络或系统会产生威胁或存在潜在威胁的恶意代码。
(1)特征码扫描
进行恶意代码扫描时,扫描引擎会将系统中的文件与特征码
进行匹配,如果发现系统中的文件存在与某种恶意代码相同的特
征码,就认为存在恶意代码。
(2)恶意行为检测
通过对恶意代码的典型行为特征分析,如频繁连接网络、修
改注册表、内存消耗过大等,当某个程序运行时,检测发现其行
为违反了合法程序操作规则,或者符合恶意程序操作规则,则可
以判断其为恶意代码。
(3)沙箱技术
将经过加密、混淆或多态变形的恶意代码放入虚拟环境后将
自动解码并开始执行恶意操作,由于运行在可控的环境中,通过
配合其他方法能够检测出恶意代码的存在。
(4)代码分析
利用常见的代码分析工具掌握恶意代码样本程序的行为特
征,了解其运行方式及安全危害,方便准确检测和清除恶意代码。
8.可视化
利用常见的代码分析工具掌握恶意代码样本程序的行为特
征,了解其运行方式及安全危害,方便准确检测和清除恶意代码。
(1)流程可视化
提供算法流程透视窗和实时状态监控实时跟踪算法进度,通
过异常/错误日志打印功能,方便用户快速定位问题。
(2)运维可视化
通过设计数字大屏,直观展示节点状态、硬件资源、网络情
况等信息,方便运维人员实时监控系统运作健康情况,及时发现
异常风险。
(三)验证方式
隐私计算安全可验证的形式可包括:
1.文档审查
() 提供理论安全性证明材料,通常包括有论文及出处、
基于论文的改造、专家审查报告背书等,供检测人员审查和存档。
() 提供隐私计算系统设计文档,包括算法协议原理、数
据交互流程图、安全设计说明等,供检测人员审查和存档。
2.代码验证
(1) 提供系统关键步骤和关键数据的日志记录,包括数据
用法用量,删除、修改数据集,终止任务等异常操作信息,节点 证
书、时间戳等,供检测人员审查和存档。
(2) 提供算法关键部分实现代码实现截图,检测人员验证
其代码实现是否与所提供的算法原理说明、数据交互流程等文档
所述一致;
(3) 在厂商授权的前提下提供代码包,利用代码审计工具,
检测代码实现中是否存在安全威胁和高危漏洞。
3.平台演示
(1) 提供关于待测隐私计算平台操作流程、界面设计、功
能设计的讲解视频,帮助检测人员理解、审查和存档;
(2) 准备平台演示环境,按考察点逐一为检测人员提供即
时的平台操作演示,检测人员进行提问和功能细节查看;
(3) 提供测试环境下的外部访问地址,供检测人员按照平
台设计文档自行进行平台操作。
4.自动化安全验证
检测人员利用自动化安全验证工具,检查隐私计算在金融应
用中是否满足协议一致性要求,验证输入输出数据和中间数据是
否满足加密要求,深度解析隐私计算信令和数据通信包,并以可
视化方式进行展示隐私计算内部流程,使得整个过程变得更加透
明可控,识别异常风险并进行实时报警,审核各环节计算及数据
出入的处理逻辑,确认是否与安全性原理材料和设计文档描述一
致。
(1) 通信方监测:参与方事先提交一个通信方的白名单列
表,执行计算时,系统需通过端口监控所有通信均在白名单列表
当中。
(2) 通信量监测:需监测计算任务的通信量。对于每个隐
私计算任务,需事先给出一个通信量的预估,当监测到的通信超
过阈值时接入预警系统。
通信内容监测:拿明文数据到通信内容检索,看有没有在通
信内容中出现。
(3) 用法用量监测:记录每个计算任务的用法用量。若计
算任务超出规定的用法用量则接入预警系统。
(4) 敏感异常操作监测:
- 终止任务
- 持续尝试同一计算任务
- 频繁扫描数据源等情况
- 没有跑计算任务,却大量消耗计算资源等。
四、未来发展趋势及建议
隐私计算安全验证技术从技术角度约束隐私计算产品的安全
风险,降低应用方安全顾虑,建立市场信任,为隐私计算行业良
性、可持续发展提供助力,但目前相关工作和研究成果较少,
未来还需要做进一步探索和研究,主要包括以下几方面:
(一)挖掘隐私计算安全验证技术
目前隐私计算算法逻辑安全性和一致性问题仍然缺少可行 的
解决方法,进一步研究验证算法逻辑安全的安全验证技术。
(二)打造通用化隐私计算安全验证工具
一方面,单一的验证技术无法对隐私计算产品进行全方位的安
全验证,另一方面,尽管隐私计算产品涉及多种技术路线,最终都
是实现数据的安全保护。将多种技术组合打造通用化隐私计算安全
验证工具,对隐私计算过程中的关键路径采集、分析,并进行可视
化呈现,验证隐私计算全流程的数据安全、模型安全等, 是进一步
的工作方向。
(三)适配安全分类分级
隐私计算自身不同算法协议能保证的安全程度不同,不同应
用场景中的安全需求具有多样性。隐私计算产品的安全要求应该针
对数据保护需求、模型保护需求、场景适用性等划分安全等级, 对
应的安全验证工具也应该有相应的安全等级配置。在产品开发和
实际落地应用中,形成安全与性能、准确性的平衡。
(四)推动金融行业形成技术标准化共识
推动隐私计算安全验证、安全检测相关标准的研究,完善的
标准有助于产品规范,形成行业共识,结合互联互通等行业标准
化工作,逐步推进隐私计算安全验证通用化技术,为金融行业方
案设计、系统开发、产品验证、技术选型等方面提供参考。
参 考 文 献
[1] J. Van Bulck, M. Minkin, O. Weisse, D. Genkin, B. Kasikci, F. Piessens, M. Silberstein, T. F.
Wenisch, Y. Yarom, and R. Strackx. “Foreshadow: Extracting the keys to the intel SGX kingdom with
transient out-of- order execution”. In USENIX Security, pages 991–1008, 2018.
[2] BRASSER, F., MÜLLER, U., DMITRIENKO, A., KOSTIAINEN, K., CAPKUN, S., AND
SADEGHI, A.-R. “Software grand exposure: SGX cache attacks are practical”. In 11th USENIX
Workshop on Offensive Technologies (2017), WOOT '17, USENIX Association.
[3] O. Goldreich, S. Micali, and A. Wigderson.“How to play any mental game”. In STOC, pages 218–
229. ACM, 1987.
[4] McMahan B, Moore E, Ramage D, et al. “Communication-efficient learning of deep networks from
decentralized data[C] ”.Artificial Intelligence and Statistics. PMLR, 2017: 1273-1282.
[5] Geiping J, Bauermeister H, Dröge H, et al. “Inverting Gradients--How easy is it to break privacy in
federated learning?[J] ”. arXiv preprint arXiv:, 2020.
[6] Wang Z, Song M, Zhang Z, et al. “Beyond inferring class representatives: User-level privacy leakage
from federated learning[C] ”.IEEE INFOCOM 2019-IEEE Conference on Computer Communications.
IEEE, 2019: 2512-2520.
[7] Tolpegin V, Truex S, Gursoy M E, et al. “Data poisoning attacks against federated learning
systems[C] ”.European Symposium on Research in Computer Security. Springer, Cham, 2020: 480-501.
[8] Bagdasaryan E, Veit A, Hua Y, et al. “How to backdoor federated learning[C] ”.International
Conference on Artificial Intelligence and Statistics. PMLR, 2020: 2938-2948.
[9] Huang, Hai, et al. “Data Poisoning Attacks to Deep Learning Based Recommender Systems”.NDSS
2021, Fall.
[10] Azizi, Ahmadreza, et al. “T-Miner: A Generative Approach to Defend Against Trojan Attacks on
DNN-based Text Classification”.30th {USENIX} Security Symposium ({USENIX} Security 21). 2021.
[11] Severi G, Meyer J, Coull S, et al. “Explanation-Guided Backdoor Poisoning Attacks Against
Malware Classifiers[C] ”.30th {USENIX} Security Symposium ({USENIX} Security 21). 2021.
[12] Carlini N, Liu C, Erlingsson Ú, et al. “The secret sharer: Evaluating and testing unintended
memorization in neural networks[C]”. 28th {USENIX} Security Symposium ({USENIX} Security 19).
2019: 267-284.
[13] Chandrasekaran V, Chaudhuri K, Giacomelli I, et al. “Exploring connections between active
learning and model extraction[C] ”.29th {USENIX} Security Symposium ({USENIX} Security 20). 2020:
1309-1326.
[14] Ilyas A, Engstrom L, Athalye A, et al. “Black-box adversarial attacks with limited queries and
information[C] ”. International Conference on Machine Learning. PMLR, 2018: 2137-2146.
[15]Shokri R, Stronati M, Song C, et al.“Membership inference attacks against machine learning
models[C] ” . 2017 IEEE Symposium on Security and Privacy (SP). IEEE, 2017: 3-18.
[16]Salem A, Bhattacharya A, Backes M, et al. “Updates-leak: Data set inference and reconstruction