CRF中的f(x,y)是什么

CRF中假设P(x,y)正比于exp(w内积f(x,y))

w是被训练得到的参数,可正可负。物理含义是:


f(x,y),其中x表示观测序列比如一句话,y表示状态序列比如对这句话的词性标注,

我的理解f(x,y)是根据数据集抽取出来的一系列特征,主要分为tag和word之间的特征(比如单词the被标记为D这一事件在(x,y)中出现的次数为2),和tag与tag之间的特征(比如tag D后面接N这一事件在(x,y)中出现的次数为2)

f(x,y)的具体展开如下:






  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
BiLSTM-CRF 是一种结合了双向长短时记忆网络(BiLSTM)和条件随机场(CRF)的序列标注模型,常用于自然语言处理的命名实体识别和分词任务。 BiLSTM 是一种递归神经网络,它能够通过前向和后向两个方向的信息流动,捕捉到输入序列的上下文信息。BiLSTM 的输入是一个序列 $x = [x_1, x_2, \cdots, x_n]$,其 $n$ 是序列的长度,$x_i$ 是序列第 $i$ 个元素的特征表示。BiLSTM 的输出是一个序列 $h = [h_1, h_2, \cdots, h_n]$,其 $h_i$ 是序列第 $i$ 个元素的隐藏状态表示,它包含了从序列起始到当前位置 $i$ 的所有上下文信息。具体地,BiLSTM 的计算过程可以分为前向传播和后向传播两个阶段: - 前向传播:从序列起始位置 $i=1$ 开始,依次计算每个位置的前向隐藏状态 $h_i^{f}$,计算方式为: $$ h_i^{f} = \text{LSTM}_f(x_i, h_{i-1}^{f}) $$ 其,$\text{LSTM}_f$ 表示前向 LSTM 层,$x_i$ 是输入序列第 $i$ 个元素的特征表示,$h_{i-1}^{f}$ 是前向 LSTM 层在位置 $i-1$ 的隐藏状态。 - 后向传播:从序列末尾位置 $i=n$ 开始,依次计算每个位置的后向隐藏状态 $h_i^{b}$,计算方式为: $$ h_i^{b} = \text{LSTM}_b(x_i, h_{i+1}^{b}) $$ 其,$\text{LSTM}_b$ 表示后向 LSTM 层,$h_{i+1}^{b}$ 是后向 LSTM 层在位置 $i+1$ 的隐藏状态。 最终,将前向和后向隐藏状态拼接起来,得到每个位置的 BiLSTM 输出: $$ h_i = [h_i^{f}; h_i^{b}] $$ CRF 是一种条件随机场,它是一种基于图模型的分类器,常用于序列标注问题CRF 的输入是一个序列 $h = [h_1, h_2, \cdots, h_n]$,其 $h_i$ 是序列第 $i$ 个元素的特征表示。CRF 的输出是一个标注序列 $y = [y_1, y_2, \cdots, y_n]$,其 $y_i$ 是序列第 $i$ 个元素的标注结果。CRF 模型的目标是学习一个条件概率分布 $p(y|h)$,使得给定输入序

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值