文本分类与聚类
目录
Contents
文本挖掘简介
文本分类
文本聚类
任务：垃圾短信分类
任务：新闻文本聚类
文本挖掘简介
文本挖掘是指从大量文本数据中自动地发现并提取有意义的信息和知识的过程。它结合NLP、
机器学习、统计学等多个领域的技术，对文本进行处理、分析和理解，以便从中获取有用的
信息。
文本挖掘可用于多个领域，包括情感分析、舆情监测、信息检索、文本分类、文本聚类、关
键词提取、实体识别、知识图谱构建等。
在行为分析领域，它可以帮助企业分析用户评论和社交媒体数据，了解消费者需求和偏好；
在金融领域，它可以进行新闻事件的快速分析和金融市场预测；在医疗领域，它可以帮助医
生从大量的医学文献中获取有效的治疗方法等。
文本挖掘简介
文本挖掘的主要包括文本预处理、特征提取、模型构建和评估。
• 在文本预处理阶段，需要对文本进行分词、去除停用词等操作，以减少维度和噪声。
• 在特征提取阶段，可以使用BOW模型、TF-IDF等方法将文本转化为数值特征。
• 在模型构建阶段，常使用机器学习算法（如朴素贝叶斯、SVM等）进行分类、聚类、
预测等任务。
• 在评估阶段，评估模型性能并根据反馈结果进行改进和优化。
文本挖掘也面临着一些挑战，如语义理解的复杂性、数据噪声和不完整性、特定领域的词等。
因此，在实际应用中，需要结合领域知识、合适的算法和大规模的文本数据来进行有效的文
本挖掘工作。
目录
Contents
文本挖掘简介
文本分类
文本聚类
任务：垃圾短信分类
任务：新闻文本聚类
文本分类的概念
文本挖掘的主要包括文本预处理、特征提取、模型构建和评估文本分类是将一段文本自动分
配到一个或多个预先定义的类别中。
这个过程涉及理解文本的内容和基于理解做出分类决策。
文本分类广泛应用于垃圾邮件识别、情感分析、新闻分类、客户意见分析、产品分类等领域。
文本分类算法
文本分类算法可以大致分为基于传统机器学习的文本分类算法和基于深度学习的文本分类算法。
朴素贝叶斯（Naive Bayes）
支持向量机（Support Vector Machine，
SVM）
决策树（Decision Tree）
随机森林（Random Forest）
逻辑斯谛回归（Logistic Regression）
K近邻（K-Nearest Neighbor，KNN）
基于传统机
器学习的文
本分类算法
卷积神经网络（Convolution Neural Network，CNN）
循环神经网络（Recurrent Neural Network，RNN）
长短期记忆（Long Short-Term Memory，LSTM）网络
门控循环单元（Gated Recurrent Unit，GRU）
Transformer
BERT（Bidirectional Encoder Representations from Transformers）
基于深度学
习的文本分
类算法
文本分类的应用
文本分类可以应用于多个领域和场景，文本分类常见的应用场景如下。
情感分析
新闻分类
文本垃圾过滤
主题分类
实体识别
事件预测
分类搜索
法律文书分类
自动摘要和归类
应用场景
中文文本分类的步骤
与英文文本分类相比，中文文本分类面临着一些特有的任务，如中文的分词问题、语义理解等。
中文文本分类的基本步骤如下。
数据收集 数据预处理 特征工程
模型选择和训练 模型评估 模型优化和调参
① 需要明确文本分类的目标和类别，例如新闻分类、情感分析等。根据文本分类的目
标和类别收集相应的中文文本数据。这些数据可以来自公开的数据集、爬虫抓取的网
页内容、社交媒体等。
③ 将文本转换成机器学习模型能够处理的数值形式，常使用BOW模型、TF-IDF方法、
Word2Vec模型等。每个训练样本由一个上下文词汇列表和一个目标词组成。上下文
词汇列表是目标词的上下文词，用于预测目标词。
④ 根据任务的具体需求选择适合的机器学习模型；使用训练数据集来训练模型，
根据需要通过交叉验证等方法来调整模型参数。
② 去除文本中的噪声信息，如HTML标签、特殊字符、无关的信息等；通过中文分
词工具将文本切分成词序列；移除常见的、意义不大的词，如“的”“了”“在”
等。
⑥ 根据模型评估的结果调整模型的参数，如学习率、网络结构、正则化参数等，
以提高模型的准确性和泛化能力；有时可以通过模型融合的方法，如集成学习、
Stacking等，进一步提升模型性能。
⑤ 使用准确率、精确率、召回率、F1值等指标评估模型的性能；使用测试数据集
来验证模型的泛化能力。
目录
Contents
文本挖掘简介
文本分类
文本聚类
任务：垃圾短信分类
任务：新闻文本聚类
文本聚类的概念
文本聚类是指将相似的文本分组或归类到同一个簇中。与文本分类不同，文本聚类不需要预
先定义的类别，而是通过计算文本之间的相似度或距离来确定它们之间的相似关系。
常用的文本聚类算法如下。
K-means算法 层次聚类算法 DBSCAN算法 LDA模型
① K-means算法是一种基于距离度量的划分聚类算法。它将数据点划分为K个簇，每
个簇具有相似的特征。K-means算法通过计算数据点与簇中心之间的距离来进行聚类，
并不断更新簇中心直到达到稳定状态。
③ DBSCAN算法是一种基于密度的聚类算法。该算法通过将高密度区域视为簇，
并基于相邻点的密度来扩展簇。DBSCAN算法可以识别任意形状的簇，并能够处理
噪声和离群点。
④ LDA模型是一种生成模型，通常用于主题建模。它假设每个文本可以包含多个
主题，并通过统计方法将文本和词语分配到不同的主题中。LDA模型可以将文本聚
类为具有相似主题的簇。
② 层次聚类算法基于树状结构对数据进行聚类。它可以采用自底向上的聚合策略或
自顶向下的分裂策略。层次聚类算法通过计算数据点或簇之间的相似度或距离来构
建聚类层次，最终形成一个聚类树。
文本聚类的应用
文本聚类是一种无监督学习方法，主要用于将文本数据进行分组，使得同一组内的文本在某种
程度上是相似的，而不同组的文本之间区别较大。
信息检索
文档组织与管理
主题发现与趋势分析
推荐系统
文本摘要
社交媒体分析
垃圾邮件过滤
生物信息学
客户反馈分析
教育资源分类
中文文本聚类的步骤
中文文本聚类是将中文文本数据根据内容的相似性自动分组的过程，它不依赖于预先定义的
标签或类别。
中文文本聚类的挑战主要包括中文的分词、词义多样性以及如何有效地度量文本间的相似度。
数据收集 数据预处理 特征提取
聚类算法选择 模型训练和聚类 结果评估和优化
① 确定数据来源，收集需要进行聚类的中文文本数据。数据可以来自网络、社交媒体、
新闻报道等多种渠道。
③ 将分词后的文本转换成向量形式，常用方法包括BOW模型、TF-IDF方法、
Word2Vec模型或其他预训练词向量模型。
④ 选择合适的聚类算法，根据所选算法设置适当的参数，如K-means算法的K值
（即聚类的数目）。
② 去除无用信息，如HTML标签、特殊符号、非中文文本内容等；使用中文分词工
具对文本进行分词，将连续的中文文本切分成独立的词；移除常见但对文本意义贡
献不大的词，例如“的”“了”“在”等。
⑥ 使用轮廓系数（Silhouette Coefficient）、Calinski-Harabasz Index等指标评估聚类
质量。根据评估结果调整聚类参数或尝试不同的聚类算法，以优化聚类效果。
⑤ 使用选定的聚类算法和参数在特征提取后的文本上进行训练，将文本聚集成不
同的组；分析聚类结果，评估聚类的效果，如检查每个聚类内的文本相似度和聚类
间的差异性。
目录
Contents
文本挖掘简介
文本分类
文本聚类
任务：垃圾短信分类
任务：新闻文本聚类
垃圾短信分类
尽管现在人们更多使用微信、微博、QQ等社交软件进行沟通，但短信依旧占据信息沟通的一
部分，运营商技术缺陷、商家的不良使用等原因造成的垃圾短信日益增多。
目前，某运营商已经积累大量的垃圾短信数据，共677291条数据，数据包括“短信ID”、“审
核结果”和“短信文本内容”3列，“审核结果”列中0表示非垃圾短信，1表示垃圾短信。
数据
短信ID 审核结果 短信文本内容
1 1 新春第一批限量春装到店啦！春暖花开淑女裙、冰蓝色公……
2 0 带给我们大常州一场壮观的视觉盛宴
3 0 有原因不明的泌尿系统结石等
4 0 跳减肥健美操、
5 1 一次价值×××元的项目；可充值×××元店内项目卡一张；可以参与……
6 0 此类皮肤特别容易长粉刺、黑头等
7 0 乌兰察布丰镇市法院成立爱心救助基金
8 1 （长期诚信在本市作各类……
9 1 《依林美容》“三八”妇女节倾情大放送活动开始啦！……
10 0 苏州和无锡两地警方成功破获了一起劫持女车主的案件
朴素贝叶斯模型
运用朴素贝叶斯模型，分别采用自定义函数和调用Python内置函数两种方法对短信内容进行分类。
垃圾短信分类包括以下步骤。
数据读取 数据预处理 词频统计 分类
① 读取短信数据，共有677291条数据。③ 分别统计垃圾与非垃圾短信的词频，随后绘制相应的词云图。由于原始数据量较
大，需要对数据进行采样，抽取两万条数据训练模型。
④ 调用Python内置函数实现朴素贝叶斯分类。② 对数据进行预处理，对其进行去重、脱敏和分词等操作。
模型评价
⑤ 对测试集进行预测，对比真实值与预测值，获得分类情况和准确率并进行结
果分析。
目录
Contents
文本挖掘简介
文本分类
文本聚类
任务：垃圾短信分类
任务：新闻文本聚类
新闻文本聚类
随着互联网的飞速发展，新闻传播的渠道日益多元化，社交媒体平台、新闻资讯类APP等成为
人们获取信息的主要途径。
然而，在海量的新闻数据中，新闻文本的整合对于信息的高效传播和精准推送至关重要。
根据新闻网站的新闻数据，该数据总共有15个类别标签，每个类别标签下分别有500条新
闻数据，对新闻文本数据进行聚类。
任务描述
新闻文本聚类
（1）读取数据、划分训练集与测试集
（2）对文本进行预处理，去除文本中无用的词，降低文本维度
（3）提取特征，将文本转为词频矩阵
（4）定义簇个数，导入训练数据集后通过调用训练模型，并保存聚类模型
（5）对模型进行评价，获得准确率并进行结果分析
任务分析
小结
小结
本章主要介绍了文本分类和文本聚类的基本概念，以及相对应的Python实现。
介绍了文本挖掘。
介绍了文本分类和文本聚类的算法和应用。
介绍了文本分类和文本聚类的步骤。
实现了文本分类和文本聚类对应的任务，分别是垃圾短信分类和新闻文本聚类。
更
多
企
业
资
讯
最
新
课
程
资
讯
广东泰迪智能科技股份有限公司
Thanks
