大数据财务分析
主讲：谢畅
爱岗敬业 诚实守信 坚持准则 提高技能
廉洁自律 客观公正 参与管理 强化服务
项目三 数据清洗与处理
任务一 数据清洗概述
数据清洗概述
爱岗敬业 诚实守信
一、什么是数据清洗？
数据分析结果的优劣主要依赖于数据的优劣。我们在网上获取的数据
往往存在着许多问题，如数据缺失、数据重复、数据异常等，直接对
这些数据进行统计分析，会导致分析结论偏离实际。因此，在数据分
析之前通常需要先对数据进行清洗。
数据清洗是对数据进行重复审查和校验的过程，目的在于通过预定的清
理规则将不符合要求的数据转化为满足质量要求的数据。
数据清洗概述
廉洁自律 客观公正
020
1
03
重复值处理：删除
缺失值处理：删除、填充
其他异常处理：数据中特殊字符
删除、数据格式更改、无法识别
数据处理、英文大小写转换等。
二、数据清洗主要内容
数据清洗概述
坚持准则 提高技能
一般在数据清洗之前，首先必须明确数据存在哪些问题，再针对各问题逐一击破
期间 营业收入 营业成本 税金及附加 销售费用 管理费用 财务费用
0 1月 80，000 40000 NaN ￥2000
1 2月 NaN NaN NaN NaN NaN NaN
2 3月 75,000 39000 NaN ￥3000
3 4月 75,000 39000 NaN ￥3000
4 5月 85000 45000 NaN ￥3400
5 6月 75000 45 000 NaN ￥4400 NaN
6 7月 75000 45 000 NaN ￥4400 NaN
通过观察以上
DataFrame,分析数据问
题如下：
1.重复行：行索引2和3、
5和6数据重复。
2.缺失值：NaN部分。
3.存在异常符号：￥、逗
号、空格。了解问题之
后，就可以进一步进行
数据清洗。
二、数据清洗主要内容
数据清洗概述
参与管理 强化服务
清洗规则：
1.一个清洗步骤就用一条清洗规则；
2.多拆分清洗步骤，每个步骤备份数
据，方便出问题时回退；
3.一般先做全局清洗（即对全部数
据），再做个别字段的清洗；
4.清洗的输出结果不要直接放在正式
数据流\正式文件中，先用测试环境\临时文
件充分验证后上正式环境。
三、数据清洗工具
数据清洗概述
爱岗敬业 诚实守信
为了提升清洗效率，在不影响正常要分析的数据前提下，将多个字段都存在的问题一次性清洗掉，
可以使用全局规则。全局清洗一般放在其他清洗规则前优先执行。
全局规则 规则描述
非法字符清洗
对表中所有记录中含有以下字符的内容进行删
除。非法字符包括：\/*?:<>|
空格清理 对表中所有记录中的空格都进行统一删除
-（仅有）替换为Null
将字段记录值仅含有‘ -’的内容进行删除，
存为空记录
-（仅有）替换为0
将字段记录值仅含有‘ -’的内容进行删除，
存为’0’
空格（仅有）替换为Null
将字段记录值仅含有空格的内容进行删除，存
为空记录
空格（仅有）替换为0
将字段记录值仅含有空格的内容进行替换，存
为‘0’
NULL，表示不存在，
是一种特殊的数据类型，
0,数字类型或整型，存
储的值为0，数据类型
为数字类型，如果替换
为NULL，则该单元格
不参与后续计算，替换
为0，则单元格参与后
续计算。
三、数据清洗工具
数据清洗概述
廉洁自律 客观公正
按字段清洗规则：工具提供了字符替换、字段切分、字段合并、缺失值填补
四种清洗规则。
三、数据清洗工具
字符替换：可以将选定字段的值进行替换。1
2
3
字段切分：将选定字段切分为多个字段，相
当于拆分列。
字段合并：将选定的多个字段合并为一个字
段，相当于合并列。
缺失值填补：将选定字段的缺失值进行自动填充，有均值
填补、中位数填补、丢失空值记录、填补为0的四种方式。
4
数据清洗概述
坚持准则 提高技能
四、任务实战-全局清洗规则
任务1：特殊字符清洗
使用全局清洗规则对整张表的数据空格进行清洗
B公司是一家销售办公用品、办公家具和办公电子设备的公司，有多家直营店
，每月月底，各直营店会向财务部提供本月的订单详情表。现在公司的财务数
据分析师手上有一份汇总多年的订单详情表。通过观察分析，表中有一些空值
和“-”，有的单元格还有特殊字段。对客户ID、产品名称等数据需要进一步
数据处理，才可以准确的进行分析。
数据清洗概述
参与管理 强化服务
四、任务实战-全局清洗规则
任务2：特殊字符清洗
将数据表的“*”清洗掉。
数据清洗概述
爱岗敬业 诚实守信
四、任务实战- 按字段清洗规则
任务3
格式内容清洗 将数据表中客户ID字段中的客户名称与客户ID进行
切分。
谢 谢 大 家
爱岗敬业 诚实守信
廉洁自律 客观公正
坚持准则 提高技能
参与管理 强化服务
幻灯片 1
幻灯片 2
幻灯片 3
幻灯片 4
幻灯片 5
幻灯片 6
幻灯片 7
幻灯片 8
幻灯片 9
幻灯片 10
幻灯片 11
幻灯片 12
