文 / 曾剑平
本文介绍了语义的相关概念、特征，指出语义分析技术在大数据挖掘中的重要性，并给出了示例。
一、什么是语义
在现实世界中，事物所代表的概念的含义，以及它与其他概念之间的关系，可以被认为是语义。
语义是对符号的解释，比如“苹果是一种水果，含有丰富的矿物质和维生素。”就解释了“苹果”这个字符串（符号、概念），“《互联网大数据处理技术与应用》是国内第一本系统讲述互联网大数据技术的专著，由曾剑平编著，于2017年由清华大学出版社出版”则描述了《互联网大数据处理技术与应用》这本书（概念）的含义。
语义的典型特征包括：语义的客观性和主观性、语义的清晰性和模糊性、以及语义的领域性等。其中，模糊性主要体现在语义边界上，例如“胖”所具有的语义是一个模糊概念，边界并不清晰，用简单的判断逻辑是无法定义的。领域性是指对于一些词语含义的理解，需要在某个具体的领域中才有确定的结果，可能存在同一事物在不同领域中有不同理解的情况。例如“苹果”在水果食品领域和手机通信领域就具有不同的含义。
二、大数据中的语义分析
大数据4V特征中的一个典型特征是Variety，它有多方面的含义，其中最主要的是指数据类型的多样化。在表示一本图书时，可以有数值型、日期型、文本型等多种形式。
在“大数据价值挖掘的难点和重点：非结构化数据处理”一文中我们介绍了结构化数据的表示方法，如下表示了两本书B1、B2：
B1: （互联网大数据处理技术与应用，曾剑平，清华大学出版社，2017，大数据类）
B2: （数学之美，吴军、人民邮电出版社，2014，数学类）
在图书推荐之类的大数据应用中，要决定把什么书推荐给客户，其中最基本的问题是计算两本书的相似度。就B1、B2这两本书来说，出版年份2017和2014之间的相似度就比较容易计算，但是“大数据类”和“数学类”简单依靠字符串就无法准确计算了，“互联网大数据处理技术与应用”和“数学之美”等文本型的就更难定了。而这些问题在大数据分析及应用中是非常普遍的，因此，语义分析计算对于大数据分析应用而言其重要性是不言而喻的，直接影响到最终的大数据价值体现。
由于词汇作为字符串所能提供的信息量非常少，在词汇级别上进行语义分析，通常需要借助一定的语义知识库或语料库，这种知识库可以采用如图所示的语义结构，该结构是基于Wiki百科提取得到的。
基于该结构，计算“数学”和“大数据”之间的语义相关度可以采用基于语义图结构的最短路径法、基于概念结点信息量的计算方法等，具体可以计算方法参考文献[1]。
由于词汇在关系型数据表达中也是非常常见的基本信息，因此，语义分析问题在结构化大数据中同样很重要。比如城市字段中存储的“北京”、“上海”“厦门”等，如何计算它们之间的相关度，在涉及地区的大数据挖掘等应用中是一项基本要求。除了采用各种方法构建的语义结构图外，基于word2vec的训练计算方法也是不错的选择。
相比于词汇的语义，句子级别的语义分析技术在大数据分析挖掘中就更为常见。典型的应用场景包括在新闻报道的文本中寻找事件的组成要素及其关系，在评论文本中识别评论信息，例如“手机的屏幕很大”这句话中“手机”和“屏幕”、“大”和“很”都是一种修饰关系，“屏幕”和“大”则是一种陈述关系。汉语中的实词在进入句子后，词与词之间有多少种语义关系以及各种语义关系的名称，目前汉语语法学界还没有统一的说法。但是目前经常提到的主要语义关系有施事、受事、与事、工具、结果、方位、时间、目的、方式、原因、同事、材料、数量、基准、范围、条件、领属等。正是由于语义关系的多样性，也使得语义分析研究任务丰富多彩。但是由于计算机处理和推理能力的限制，目前，在该领域研究中只针对很少部分的语义关系分析。
[1] 曾剑平. 《互联网大数据处理技术与应用》，清华大学出版社，2017。（第五章）
《互联网大数据处理技术与应用》微信公众号
授课教师可以在微信公众号“书圈”的图书专区申请样书
本书内容分为三个部分，第一部分为互联网大数据的概述；第二部分为互联网大数据的获取与存储，包括了静态或动态WEB页面内容获取技术、结构化或非结构化数据的存储、常见的开源系统等；第二部分为处理与分析技术，包括了文本数据预处理、数据内容的语义分析技术、文本内容分类技术、聚类分析、大数据中的隐私保护、大数据可视化等内容；第三部分为综合应用。
目 录
第1部分概述
第1章互联网大数据
1.1从IT走向DT
1.1.1信息化与Web时代
1.1.2大数据时代
1.2互联网大数据及其特点
1.3互联网大数据处理的相关技术
1.3.1技术体系构成
1.3.2相关技术研究
1.4互联网大数据技术的发展
1.5本书内容安排
思考题
第2部分互联网大数据的获取
第2章Web页面数据获取
2.1网络爬虫技术概述
2.2爬虫的内核技术
2.2.1Web服务器连接器
2.2.2页面解析器
2.2.3爬行策略搜索
2.3主题爬虫技术
2.3.1主题爬虫模块构成
2.3.2主题定义
2.3.3链接相关度估算
2.3.4内容相关度计算
2.4动态Web页面获取技术
2.4.1动态页面的分类
2.4.2动态页面的获取方法
2.4.3模拟浏览器的实现
2.4.4基于脚本解析的实现
2.5微博信息内容获取技术
2.6DeepWeb数据获取技术
2.6.1相关概念
2.6.2DeepWeb数据获取方法
2.7反爬虫技术与反反爬虫技术
2.7.1反爬虫技术
2.7.2反反爬虫技术
2.7.3爬虫技术的展望
思考题
第3章互联网大数据的提取技术
3.1Web页面内容提取技术
3.1.1Web页面内容提取的基本任务
3.1.2Web页面解析方法概述
3.1.3基于HTMLParser的页面解析
3.1.4基于Jsoup的页面解析
3.2基于统计的Web信息抽取方法
3.3其他互联网大数据的提取
3.4阿里云公众趋势分析中的信息提取应用
3.5互联网大数据提取的挑战性问题
思考题
第3部分互联网大数据的结构化处理与分析技术
第4章结构化处理技术
4.1互联网大数据中的文本信息特征
4.2中文文本的词汇切分
4.2.1词汇切分的一般流程
4.2.2基于词典的分词方法
4.2.3基于统计的分词方法
4.2.4歧义处理
4.3词性识别
4.3.1词性标注的难点
4.3.2基于规则的方法
4.3.3基于统计的方法
4.4新词识别
4.5停用词的处理
4.6英文中的词形规范化
4.7开源工具与平台
4.7.1开源工具及应用
4.7.2阿里分词器
思考题
第5章大数据语义分析技术
5.1语义及语义分析
5.2词汇级别的语义技术
5.2.1词汇的语义关系
5.2.2知识库资源
5.2.3词向量
5.2.4词汇的语义相关度计算
5.3句子级别的语义分析技术
5.4命名实体识别技术
5.4.1命名实体识别的研究内容
5.4.2人名识别方法
5.4.3地名识别方法
5.4.4时间识别方法
5.4.5基于机器学习的命名实体识别
5.5大数据语义分析技术的发展
思考题
第6章大数据分析的模型与算法
6.1大数据分析技术概述
6.2特征选择与特征提取
6.2.1特征选择
6.2.2特征提取
6.2.3基于深度学习的特征提取
6.3文本的向量空间模型
6.3.1向量空间模型的维
6.3.2向量空间模型的坐标
6.3.3向量空间模型中的运算
6.3.4文本型数据的逻辑存储结构
6.4文本的概率模型
6.4.1Ngram模型
6.4.2概率主题模型
6.5分类技术
6.5.1分类技术概要
6.5.2经典的分类技术
6.6聚类技术
6.7回归分析
6.7.1回归分析的基本思路
6.7.2线性回归
6.7.3加权线性回归
6.7.4逻辑回归
6.8大数据分析算法的并行化
6.8.1并行化框架
6.8.2矩阵相乘的并行化
6.8.3经典分析算法的并行化
6.9基于阿里云大数据平台的数据挖掘实例
6.9.1网络数据流量分析
6.9.2网络论坛话题分析
思考题
第7章大数据隐私保护
7.1隐私保护概述
7.2隐私保护模型
7.2.1隐私泄露场景
7.2.2k匿名及其演化
7.2.31多元化
7.3位置隐私保护
7.4社会网络隐私保护
思考题
第8章大数据技术平台
8.1概述
8.2大数据技术平台的分类
8.3大数据存储平台
8.3.1大数据存储需要考虑的因素
8.3.2HBase
8.3.3MongoDB
8.3.4Neo4j
8.3.5云数据库
8.3.6其他
8.4大数据可视化
8.4.1大数据可视化的挑战
8.4.2大数据可视化方法
8.4.3大数据可视化工具
8.5Hadoop
8.5.1Hadoop概述
8.5.2Hadoop生态圈及关键技术
8.5.3Hadoop的版本
8.6Spark
8.6.1Spark的概述
8.6.2Spark的生态圈
8.6.3SparkSQL
8.6.4Spark Streaming
8.6.5Spark机器学习
8.7阿里云大数据平台
8.7.1飞天系统
8.7.2大数据集成平台
思考题
第4部分综 合 应 用
第9章基于阿里云大数据技术的个性化新闻推荐
9.1目的与任务
9.2系统架构
9.3存储设计
9.3.1RDS
9.3.2OSS
9.3.3OTS
9.3.4MaxCompute
9.4软件架构
9.4.1ECS
9.4.2爬虫
9.4.3模型训练
9.4.4分类过程
9.4.5开源代码
9.5阿里云大数据的应用开发
9.5.1开发环境
9.5.2部署
9.5.3运行与测试
思考题
联系客服
