概率图模型之条件随机场（CRF）

2010-11-22 16:36:43| 分类： 技术仓库 | 标签： |字号大中小 订阅

转自http://cid-2d7821b3af3c6073.spaces.live.com/Blog/cns!2D7821B3AF3C6073!178.entry
概率图模型之条件随机场（CRF）

CRF及其应用

条件随机域模型是一种无向图模型，它是在给定需要标记的观察序列的条件下，计算整个标记序列的联合概率分布，而不是在给定当前状态条件下，定义下一个状态的状态分布。即给定观察序列O,求最佳序列S。

1 链式条件随机场模型的图结构

2 条件随机场模型的分解式

2 原理：

（1）目标函数：基于最大熵原则进行建模，定义样本条件熵

（2）约束条件：

以团为单位定义特征

约束特征的样本期望与模型期望相同：

另外：

（3）求解：运用拉格朗日乘数法，求解出条件随机场的分布形式如下：

4 与其他算法的比较

优点：

（1）CRF没有HMM那样严格的独立性假设条件，因而可以容纳任意的上下文信息。特征设计灵活（与ME一样） ————与HMM比较

（2）同时，由于CRF计算全局最优输出节点的条件概率，它还克服了最大熵马尔可夫模型标记偏置（Label-bias）的缺点。 ­­————与MEMM比较

（3）CRF是在给定需要标记的观察序列的条件下，计算整个标记序列的联合概率分布，而不是在给定当前状态条件下，定义下一个状态的状态分布。

­­ ————与ME比较

缺点：训练代价大、复杂度高

5 应用

常见的序列标注问题，如分词、词性标注等等。