大数据处理
主讲人：
PowerPoint design
2025
任务
数据清洗
数据清洗
通过填补遗漏数据、消除异常数据、平滑噪声数据，以及纠正
不一致的数据，去掉数据中的噪音、填充空值、丢失值和处理不一
致数据。
改善数据质量，提高数据挖掘的精度和性能。
数据清洗-去除多余数据
从数据集中删除不需要的数据，包括重复数据和与分析内容不相关的数
据。
一般情况下，我们会尽可能多的收集数据，但不是所有的字段数据都能
应用到模型构建过程中，也不是将所有的字段属性都放到构建模型中，最终
模型的效果就一定好。实际上，字段属性越多，模型的构建就会越慢，多余
数据也会干扰模型构建的准确性，所以需要将多余的字段进行删除操作。在
进行该过程的时候，要注意备份原始数据。
数据清洗-逻辑错误清洗
通过简单的逻辑推理发现数据中的问题数据，防止分析结果走偏。
主要包含以下几个步骤：
数据去重
去除/替换不合理的值
去除/重构不可靠的字段值（修改矛盾的内容）
数据清洗-空缺值的处理
忽略该记录
去掉对应属性
手工填写空缺值
使用默认值
使用属性平均值
使用同类样本平均值
预测最可能的值
空缺值通过推断补全
任务描述
数据清洗的结果是对有着重复、错误或残缺等问题的数据进行对应方式
的处理，得到标准的、连续的数据，提供给数据统计、数据挖掘等使用。大
数据处理平台对上传的excel表格的数据进行数据清理，可以实现数据全局
清洗和局部清洗。具体功能包括数据去重、列删除、字符替换等。
任务要求
对采集到的电商平台评价数据进行清洗，要求同一个用户的评价只
保留一条，删除用户头像信息，将用户评价中的用户名称改成匿名用户，
匿名的VIP会员改成匿名vip用户。
任务实施
（1）登录大数据处理平台，选择“大数据处理”下的“数据清洗”，打开
数据清洗页面。点击【上传文件】，将任务一采集的唯品会的评论数据文件上
传到平台中。选择数据源为之前上传的数据源，数据显示选择“显示50行”。
任务实施
（2）在数据清洗规则页面点击【添加规则】，按任务要求配置清洗规则。
配置完成后点击【执行清洗】，可看见清洗执行结果。
任务实施
（3）执行完成后，可以通过页面下方“数据预览”查看清洗后数据。可以单
击“数据预览”下的【下载】，将执行清洗后的数据下载到excel表格中保存。
作业及思考
1、在以上任务的基础上，删除字段“商品价格”、“商品编号”、
“评论标签”和“#”，并将商品名称统一改成“2020款iPad”。
2、删除“匿名vip用户”的评论数据。
作业及思考-参考答案
1、 在“大数据处理”下的“数据清洗”页面中，将子任务一中下载的文件上
传。配置图示清洗规则，配置完成后，点击【执行清洗】。
作业及思考-参考答案
2、点击【添加规则】，选择“局部清洗”并选择“行删除”。单击规则右侧的
“加号”，勾选字段“用户名称”，并单击右上角【选择】。在后方输入“匿名vip
用户”，点击【执行清洗】，即可删除用户名称为匿名vip用户的行。
谢谢大家
AiPP 时间：
PowerPoint design
2025
