Kaldi模型信息分析

最新推荐文章于 2024-06-11 10:27:21 发布
最新推荐文章于 2024-06-11 10:27:21 发布
阅读量2.1k 收藏 1
点赞数
分类专栏： 语音
【博客公式均自己亲自推导和撰写，请转载请注明出处，文章如有侵权、未引用出处等请及时联系whaozl@126.com 或 留言评论】【很多已会但是会忘,写纯粹是为了多总结多向前看看和向后看看】
本文链接：https://blog.csdn.net/zhulinniao/article/details/108800401
版权

Kaldi模型信息分析

调试方便准备

在当前egs/s5目录下新建一个文件命名为path2.sh，内容比path.sh少最后一行export LC_ALL=C，用于避免数据乱码

export KALDI_ROOT=`pwd`/../../..
[ -f $KALDI_ROOT/tools/env.sh ] && . $KALDI_ROOT/tools/env.sh
export PATH=$PWD/utils/:$KALDI_ROOT/tools/openfst/bin:$PWD:$PATH
[ ! -f $KALDI_ROOT/tools/config/common_path.sh ] && echo >&2 "The standard file $KALDI_ROOT/tools/config/common_path.sh is not present -> Exit!" && exit 1
. $KALDI_ROOT/tools/config/common_path.sh

然后直接执行，后面就可以愉快的玩耍命令：

. ./path2.sh

1 mono模型

1.1 gmm-info

hmm-info不需要再观察，因为和gmm-info输出的差不多

gmm-info exp/mono/final.mdl

number of phones 217
number of pdfs 206
number of transition-ids 1314
number of transition-states 653
feature dimension 39
number of gaussians 990

注意到，这里特征维度是39维，关于特征相关的分析见GMM音素对齐【底部】

1.2 hmm-info

hmm-info exp/mono/final.mdl

number of phones 217
number of pdfs 206
number of transition-ids 1314
number of transition-states 653

1.3 am-info

这个命令和hmm-info输出是差不多的。

am-info exp/mono/final.mdl

number of phones 217
number of pdfs 206
number of transition-ids 1314
number of transition-states 653

1.4 gmm-copy

# 查看gmm拓扑结构
gmm-copy --binary=false exp/mono/final.mdl -|head -n 100

# 查看pdf-id最小值为0
gmm-copy --binary=false exp/mono/final.mdl -|awk 'NF==3{print $3}' | sort -h | head -n 1

#查看pdf-id最大值为205(下标从0开始)=> 对应number of pdfs 206
gmm-copy --binary=false exp/mono/final.mdl -|awk 'NF==3{print $3}' | sort -h | tail -n 1

这方面理解可参考理解HCLG

  • 【1】分析transition-states为什么是653
    每一个transition-state上都会带有一个phone-hmm-state的信息，因此一个transition-state可以表示一个不同的hmm-state
    因此： phone-id=1是5个有效state(0,1,2,3,4因为5没有产生组合) + 其他phone-id(0,1,2因为3没有产生组合) x 216个 = 653，这样也就证明了这个单音素模型
  • 【2】下方的 <Triples> 653
    transition-states组合有653个，如1 3 3 表示
  • 【3】分析transition-id为什么1314
    如下显示结果，phone-id=1的，共5个state(0,1,2,3,4,5)，(0,1,2,3)分别有4个Transition, (4)只有2个Transition,(5)没有。
    因此：( phone-id=1的4 + 4 + 4 + 4 + 2 ) + (phone-id=其他的653-phone-id=1的5个state=653-5)x2= 1314个transition-ids
# phone-id=1的5个有效hmm-state分别包含的Transition数量
state 0 --> 4 个<Transition>
state 1 --> 4 个<Transition>
state 2 --> 4 个<Transition>
state 3 --> 4 个<Transition>
state 4 --> 2 个<Transition>

# phone-id!=1的3个有效hmm-state分别包含的Transition数量
state 0 --> 2 个<Transition>
state 1 --> 2 个<Transition>
state 2 --> 2 个<Transition>

<TransitionModel> 
<Topology> 
<TopologyEntry> 
<ForPhones> 
2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 
</ForPhones> 
<State> 0 <PdfClass> 0 <Transition> 0 0.75 <Transition> 1 0.25 </State> 
<State> 1 <PdfClass> 1 <Transition> 1 0.75 <Transition> 2 0.25 </State> 
<State> 2 <PdfClass> 2 <Transition> 2 0.75 <Transition> 3 0.25 </State> 
<State> 3 </State> 
</TopologyEntry> 
<TopologyEntry> 
<ForPhones> 
1 
</ForPhones> 
<State> 0 <PdfClass> 0 <Transition> 0 0.25 <Transition> 1 0.25 <Transition> 2 0.25 <Transition> 3 0.25 </State> 
<State> 1 <PdfClass> 1 <Transition> 1 0.25 <Transition> 2 0.25 <Transition> 3 0.25 <Transition> 4 0.25 </State> 
<State> 2 <PdfClass> 2 <Transition> 1 0.25 <Transition> 2 0.25 <Transition> 3 0.25 <Transition> 4 0.25 </State> 
<State> 3 <PdfClass> 3 <Transition> 1 0.25 <Transition> 2 0.25 <Transition> 3 0.25 <Transition> 4 0.25 </State> 
<State> 4 <PdfClass> 4 <Transition> 4 0.75 <Transition> 5 0.25 </State> 
<State> 5 </State> 
</TopologyEntry> 
</Topology> 
<Triples> 653 
1 0 0 
1 1 1 
1 2 2 
1 3 3 
1 4 4 
2 0 5 
2 1 6 
2 2 7 
3 0 5 
3 1 6 
3 2 7 
...

1.5 copy-transition-model

这个命令只能输出节点的信息(因为nnet3和chain模型只有节点是属于hmm的)，如上面所示

copy-transition-model --binary=false exp/mono/final.mdl -|head -n 100

2 三音素triphone模型

gmm-info exp/tri2/final.mdl

number of phones 217
number of pdfs 1960
number of transition-ids 11550
number of transition-states 5771
feature dimension 39
number of gaussians 20029

gmm-copy --binary=false exp/tri2/final.mdl -|head -n 100

#查看pdf-id最大值为1959(下标从0开始)=> 对应number of pdfs 1960
gmm-copy --binary=false exp/mono/final.mdl -|awk 'NF==3{print $3}' | sort -h | tail -n 1

这里分析，[5771-18(phone-id=1的8条边)]x2 + 18 = 11524，还差26个，不太清楚**

  • 【分析transition-states为什么是653】
    phone-id=1是5个有效hmm-state(0,1,2,3,4因为5没有产生组合) + 其他phone-id(0,1,2因为3没有产生组合) x 216个= 653，这样也就证明了不是的单音素，是三音素模型，(5771 - 5)/3=1922个，说明静音没有放在三音素上下文中，剩下其他216个phone，构建出1922个三音素，平均每个phone有8.8个三音素，由状态决策树绑定共享
<TransitionModel> 
<Topology> 
<TopologyEntry> 
<ForPhones> 
2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 
</ForPhones> 
<State> 0 <PdfClass> 0 <Transition> 0 0.75 <Transition> 1 0.25 </State> 
<State> 1 <PdfClass> 1 <Transition> 1 0.75 <Transition> 2 0.25 </State> 
<State> 2 <PdfClass> 2 <Transition> 2 0.75 <Transition> 3 0.25 </State> 
<State> 3 </State> 
</TopologyEntry> 
<TopologyEntry> 
<ForPhones> 
1 
</ForPhones> 
<State> 0 <PdfClass> 0 <Transition> 0 0.25 <Transition> 1 0.25 <Transition> 2 0.25 <Transition> 3 0.25 </State> 
<State> 1 <PdfClass> 1 <Transition> 1 0.25 <Transition> 2 0.25 <Transition> 3 0.25 <Transition> 4 0.25 </State> 
<State> 2 <PdfClass> 2 <Transition> 1 0.25 <Transition> 2 0.25 <Transition> 3 0.25 <Transition> 4 0.25 </State> 
<State> 3 <PdfClass> 3 <Transition> 1 0.25 <Transition> 2 0.25 <Transition> 3 0.25 <Transition> 4 0.25 </State> 
<State> 4 <PdfClass> 4 <Transition> 4 0.75 <Transition> 5 0.25 </State> 
<State> 5 </State> 
</TopologyEntry> 
</Topology> 
<Triples> 5771 
1 0 0 
1 1 69 
1 2 70 
1 3 71 
1 4 68 
2 0 770 
2 0 1012 
2 0 1128 
2 0 1203 
2 0 1204 
2 0 1359

3 chain模型

3.1 hmm-info

因为是nnet3模型，肯定是用不了gmm-info了。只能用hmm-info来观察，因为final.mdl里面有TransitionModel节点

hmm-info exp/chain/tdnn_1a_sp/final.mdl

number of phones 217
number of pdfs 4064
number of transition-ids 8692
number of transition-states 4346

3.2 nnet3-am-copy

nnet3-am-copy --binary=false --prepare-for-test=true exp/chain/tdnn_1a_sp/final.mdl -|head -n 100

这样就能输出HMM部分的信息，虽然用这个命令也可以得到一些网络信息但是较为不详细用下面的。

<TransitionModel> 
<Topology> 
<TopologyEntry> 
<ForPhones> 
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 
</ForPhones> 
<State> 0 <ForwardPdfClass> 0 <SelfLoopPdfClass> 1 <Transition> 0 0.5 <Transition> 1 0.5 </State> 
<State> 1 </State> 
</TopologyEntry> 
</Topology> 
<Tuples> 4346 
1 0 0 109 
2 0 396 768 
2 0 472 540 
2 0 472 768 
2 0 498 445 
2 0 895 1685 
2 0 1135 967 
2 0 1166 2462 
2 0 1170 2505 
2 0 1589 2505 
2 0 1669 912 
2 0 1669 967

3.3 nnet3-am-info

可观察出网络的基本信息和参数量

nnet3-am-info exp/chain/tdnn_1a_sp/final.mdl

input-dim: 40
ivector-dim: -1
num-pdfs: 4064
prior-dimension: 0
# Nnet info follows.
left-context: 18
right-context: 13
num-parameters: 1370048
modulus: 1
input-node name=input dim=40
component-node name=lda component=lda input=Append(Offset(input, -2), Offset(input, -1), input, Offset(input, 1)) input-dim=400 output-dim=400
component-node name=tdnn1.affine component=tdnn1.affine input=lda input-dim=400 output-dim=1280
component-node name=tdnn1.relu component=tdnn1.relu input=tdnn1.affine input-dim=1280 output-dim=1280
component-node name=tdnn1.batchnorm component=tdnn1.batchnorm input=tdnn1.relu input-dim=1280 output-dim=1280
component-node name=tdnn2.affine component=tdnn2.affine input=Append(Offset(tdnn1.batchnorm, -1), tdnn1.batchnorm Offset(tdnn1.batchnorm, 2)) input-dim=3840 output-dim=1280
component-node name=tdnn2.relu component=tdnn2.relu input=tdnn2.affine input-dim=1280 output-dim=1280
component-node name=tdnn2.batchnorm component=tdnn2.batchnorm input=tdnn2.relu input-dim=1280 output-dim=1280
...
component-node name=output-xent.affine component=output-xent.affine input=prefinal-xent.batchnorm input-dim=1280 output-dim=4064
component-node name=output-xent.log-softmax component=output-xent.log-softmax input=output-xent.affine input-dim=4064 output-dim=4064
...

3.4 copy-transition-model

这个命令只能输出节点的信息(因为nnet3和chain模型只有节点是属于hmm的)，如上面所示

copy-transition-model --binary=false exp/chain/tdnn_1a_sp/final.mdl -|head -n 100

从结果可以看出，chain模型中HMM，所有phone都只有1个hmm-state，而且每个hmm-state都只有2个Transition

<TransitionModel> 
<Topology> 
<TopologyEntry> 
<ForPhones> 
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 
</ForPhones> 
<State> 0 <ForwardPdfClass> 0 <SelfLoopPdfClass> 1 <Transition> 0 0.5 <Transition> 1 0.5 </State> 
<State> 1 </State> 
</TopologyEntry> 
</Topology> 
<Tuples> 4346 
1 0 0 109 
2 0 396 768 
2 0 472 540 
2 0 472 768 
2 0 498 445 
2 0 895 1685

4 mono的tree分析

4.1 tree-info

tree-info exp/mono/tree

num-pdfs 206
context-width 1
central-position 0

tree-info exp/tri1/tree
num-pdfs 1952
context-width 3
central-position 1

tree-info exp/chain/tdnn_1a_sp/tree
num-pdfs 4064
context-width 2
central-position 1

【特别注意】从这里可以看出来chain模型用到的音素上下文确实是bi-context-phone的，因为context-width=2

4.2 copy-tree

以txt形式查看树的结构，在了解结构之后，可以尝试缩减pdf-id的个数，以降低模型大小，提高nnet3容量

copy-tree --binary=false exp/mono/tree - | head -n 100

【特别注意】

  • 【1】SE(SplitEventMap)表示分裂节点(即 phone=? \text{phone=?} phone=?)，后面紧跟的数字可为{-1,0,1,2},-1表示将都达到pdf-class的编号分叉，{0,1,2}分别表示{左上下文音素, 中心音素, 右上下文音素}
  • 【2】TE(TableEventMap)表示叶子节点查找表(即 pdf-Class=? \text{pdf-Class=?} pdf-Class=?)，即叶子节点的父亲，后面第1个数字和SE一样，第2个数字表示其即将划分的叶子节点个数(即hmm-state的个数)，其分支上的值一般会为0、1、2(静音会有3、4、5)
  • 【3】CE(ConstantEventMap)表示叶子节点，即hmm-state对应的pdf-Class(带一个pdf-id编号 两个圆形框)


    这里就只展示和下面展示的tree图表达意思相同的几个节点值：
  • 【1】下文tree第1个图分析结果
SE 0 [ 175 176 177 178 179 180 181 182 183 ]
{ SE 0 [ 175 176 177 178 ]
{ TE -1 3 ( CE 167 CE 168 CE 169 ) 
TE -1 3 ( CE 170 CE 171 CE 172 ) 
} 
SE 0 [ 184 185 186 187 188 ]
{ TE -1 3 ( CE 173 CE 174 CE 175 ) 
TE -1 3 ( CE 176 CE 177 CE 178 ) 
} 
}
  • 【2】下文tree第2个图分析结果，这里面包含静音sil
{ SE 0 [ 1 ]
{ TE -1 5 ( CE 0 CE 1 CE 2 CE 3 CE 4 ) 
TE -1 3 ( CE 5 CE 6 CE 7 ) 
} 
SE 0 [ 7 ]
{ TE -1 3 ( CE 8 CE 9 CE 10 ) 
TE -1 3 ( CE 11 CE 12 CE 13 ) 
} 
}
  • 【3】下文tree第3个图分析结果
{ SE 0 [ 209 210 211 212 213 ]
{ TE -1 3 ( CE 191 CE 192 CE 193 ) 
TE -1 3 ( CE 194 CE 195 CE 196 ) 
} 
TE 0 218 ( NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL TE -1 3 ( CE 197 CE 198 CE 199 ) 
TE -1 3 ( CE 200 CE 201 CE 202 ) 
TE -1 3 ( CE 203 CE 204 CE 205 ) 
) 
}

4.3 draw-tree

这部分可参考kaldi的WFST、决策树可视化理解【tree可视化】，这里只展示了部分tree图，phone-id=1是(0,1,2,3,4)共5个有效hmm-state状态，其他都是(0,1,2)三个hmm-state有效状态

draw-tree phones.txt tree|dot -Tpdf >tree.pdf

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5 总结一下

在看下面这些之前，可以去看一下理解HCLG比如什么是transition-state

5.1 数量关系表

这里的phone-id是独立phone，不包含上下文音素的总数。

模型phone-id数量pdf-id数量transition-id数量transition-state数量context-widthcontext-position
mono217206131465310
tri1217195211312565231
tri2217196011550577131
tri3a217204011832591231
tri4a217207212074603331
tri5a217292016442821731
nnet3-tdnn217304811518575531
chain-tdnn21740648692434621

从这里可以看出，chain模型的音素上下文是取 [左上下文+中心音素] = biphone \text{[左上下文+中心音素]}=\text{biphone} [左上下文+中心音素]=biphone，而比如tri2用的 [左上下文+中心音素-右上下文] = triphone \text{[左上下文+中心音素-右上下文]}=\text{triphone} [左上下文+中心音素-右上下文]=triphone

train_set=train_sp
ali_dir=exp/tri5a_sp_ali
lang=data/lang_chain
#5000是build-tree程序中的--max-leaves(Maximum number of leaves to be used in tree-buliding)
treedir=exp/chain/tri6_7d_tree_sp
steps/nnet3/chain/build_tree.sh --frame-subsampling-factor 3 \
--context-opts "--context-width=2 --central-position=1" \
--cmd "$train_cmd" 5000 data/$train_set $lang $ali_dir $treedir

因为mono模型是没有用状态决策树绑定的，delta模型有，会发现：

# 这里的2500其实是里面的build-tree --verbose=1 --max-leaves=$numleaves参数
steps/train_deltas.sh --cmd "$train_cmd" 2500 20000 data/train data/lang exp/mono_ali exp/tri1

5.2 transition-state和hmm-state关系

transition-state-num = hmm-state-num a l l - p h o n e = hmm-state-num sil × 5 + hmm-state-num o t h e r - p h o n e × 3 ≈ hmm-state-num × 3 ≥ pdf-id-num  × 3 \begin{aligned} \text{transition-state-num}&=\text{hmm-state-num}_{all\text{-}phone} \\ &=\text{hmm-state-num}_{\text{sil}}\times 5+\text{hmm-state-num}_{other\text{-}phone}\times 3 \\ &\approx\text{hmm-state-num} \times 3 \\ &\ge \text{pdf-id-num} \ \times 3 \end{aligned} transition-state-num​=hmm-state-numall-phone​=hmm-state-numsil​×5+hmm-state-numother-phone​×3≈hmm-state-num×3≥pdf-id-num ×3​

  • 【1】sil表示静音，静音有5个hmm-state，ohter-phone表示非静音一般有3个hmm-state
  • 【2】phone可以表示单音素(如ii) 或 上下文相关的三音素(如a1+ii-van4)
  • 【3】会发现 transition-sate-num 约是 hmm-state-num 的 3 倍

5.3 transition-id和hmm-state关系

transition-id-num = hmm-stateToTransition-num a l l - p h o n e = hmm-stateToTransition-num sil + hmm-state-num o t h e r - p h o n e × 3 × 2 = { 4 × 4 + 2 } + hmm-state-num o t h e r - p h o n e × 3 × 2 \begin{aligned} \text{transition-id-num}&=\text{hmm-stateToTransition-num}_{all\text{-}phone} \\ &=\text{hmm-stateToTransition-num}_{\text{sil}}+\text{hmm-state-num}_{other\text{-}phone}\times 3 \times 2 \\ &= \left\{ 4 \times 4 + 2 \right\}+\text{hmm-state-num}_{other\text{-}phone}\times 3 \times 2 \\ \end{aligned} transition-id-num​=hmm-stateToTransition-numall-phone​=hmm-stateToTransition-numsil​+hmm-state-numother-phone​×3×2={4×4+2}+hmm-state-numother-phone​×3×2​

  • 【1】静音phone有5个hmm-state，其中 hmm-state 0 − 3 \text{hmm-state}_{0-3} hmm-state0−3​存在4个Transition， hmm-state 4 \text{hmm-state}_4 hmm-state4​有2个Transition，因此 { 4 × 4 + 2 } \left\{ 4 \times 4 + 2 \right\} {4×4+2}
  • 【2】非静音phone都有3个hmm-state，每个hmm-state存在2个Transition(两条边)
<ForPhones>非静音phone</ForPhones> 
<State> 0 <PdfClass> 0 <Transition> 0 0.75 <Transition> 1 0.25 </State> 
<State> 1 <PdfClass> 1 <Transition> 1 0.75 <Transition> 2 0.25 </State> 
<State> 2 <PdfClass> 2 <Transition> 2 0.75 <Transition> 3 0.25 </State> 
<State> 3 </State> 
</TopologyEntry> 
<TopologyEntry> 
<ForPhones> 1 </ForPhones> 
<State> 0 <PdfClass> 0 <Transition> 0 0.25 <Transition> 1 0.25 <Transition> 2 0.25 <Transition> 3 0.25 </State> 
<State> 1 <PdfClass> 1 <Transition> 1 0.25 <Transition> 2 0.25 <Transition> 3 0.25 <Transition> 4 0.25 </State> 
<State> 2 <PdfClass> 2 <Transition> 1 0.25 <Transition> 2 0.25 <Transition> 3 0.25 <Transition> 4 0.25 </State> 
<State> 3 <PdfClass> 3 <Transition> 1 0.25 <Transition> 2 0.25 <Transition> 3 0.25 <Transition> 4 0.25 </State> 
<State> 4 <PdfClass> 4 <Transition> 4 0.75 <Transition> 5 0.25 </State> 
<State> 5 </State>

5.4 pdf-id和hmm-state关系

一个hmm-state是对应一个pdf-id，但是考虑到状态决策树绑定，有一些hmm-state会共享同一个pdf-id，实际实际的hmm-state数量会远远大于pdf-id数量。
hmm-state-num ≥ pdf-id-num \begin{aligned} \text{hmm-state-num} \ge \text{pdf-id-num} \end{aligned} hmm-state-num≥pdf-id-num​

5.5 chain模型的这些关系

transition-state-num = hmm-state-num a l l - p h o n e = hmm-state-num all-phone × 1 transition-id-num = hmm-state-num a l l - p h o n e = hmm-state-num all-phone × 2 \begin{aligned} \text{transition-state-num}&=\text{hmm-state-num}_{all\text{-}phone} \\ &=\text{hmm-state-num}_{\text{all\text{-}phone}}\times 1 \\ \\ \text{transition-id-num}&=\text{hmm-state-num}_{all\text{-}phone} \\ &=\text{hmm-state-num}_{\text{all\text{-}phone}}\times 2 \\ \end{aligned} transition-state-numtransition-id-num​=hmm-state-numall-phone​=hmm-state-numall-phone​×1=hmm-state-numall-phone​=hmm-state-numall-phone​×2​

copy-transition-model --binary=false exp/chain/tdnn_1a_sp/final.mdl -|head -n 100
  • 【1】从结果可以看出，chain模型中HMM，所有phone都只有1个有效hmm-state，因此导致对应一个transition-state
  • 【2】每个有效hmm-state都只有2个Transition，因此对应2个transition-id(两条边)
<TransitionModel> 
<Topology> 
<TopologyEntry> 
<ForPhones> 
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 
</ForPhones> 
<State> 0 <ForwardPdfClass> 0 <SelfLoopPdfClass> 1 <Transition> 0 0.5 <Transition> 1 0.5 </State> 
<State> 1 </State> 
</TopologyEntry> 
</Topology> 
<Tuples> 4346 
1 0 0 109 
2 0 396 768 
2 0 472 540 
2 0 472 768 
2 0 498 445 
2 0 895 1685

各种模型配置可以见aishell1的egs

References

kaldi声学模型中hmm-info 结果分析

zhulinniao
关注
专栏目录
语音助手之Kaldi实践
程序员光剑
08-11 567
随着互联网的普及和传播，越来越多的人通过手机、平板电脑等设备使用语音交互。语音助手可以帮助用户更便捷地沟通、控制智能设备，从而实现信息处理效率的提升。近年来，基于深度学习和神经网络的语音识别技术在各个领域都取得了很大的成功，特别是在安卓系统上，谷歌推出的可穿戴助手ASR技术已经取得了不俗的成果。随着语音助手的普及，如何将这些语音技术应用到实际生产环境中并取得良好的效果，成为需要解决的重要课题。本文将介绍基于开源工具Kaldi的语音助手项目开发过程。
kaldi源码分析(零)--kaldi的安装
会飞的鱼
09-11 677
文章目录kaldi安装 kaldi安装 sudo apt-get update sudo apt-get upgrade sudo apt-get install git sudo apt-get install -y git wget libatlas-dev libatlas-base-dev gfortran g++ zlib1g-dev autoconf automake gcc lib...
kaldi自由说训练好的模型
07-08
利用从网上下载的kaldi源码和语音数据，训练好的支持自由说的模型，是模型，模型，模型！ 不是源码，也不是其他的语音资源文件，需要的朋友可以下载下来，结合kaldi中eg5/aishell/s5的例子使用！
【Kaldi例子】Kaldi经典声学建模
qq_39573785的博客
01-12 3460
基本概念 在经典语音识别框架中，一个声学模型就是一组HMM。对于语音识别框架中的声学模型中的每个HMM，都定义该HMM中有多少个状态，以及以各个状态起始的马尔可夫链的初始概率、个状态间的转移概率和每个状态的概率分布函数。 在语音识别实践中，一般令初始概率恒为1，把状态间的转移概率预设为固定值，不在训练过程中更新状态转移概率。声学模型包含的信息主要是状态定义和各状态的观察概率分布。如果使用高斯混合模型对观察概率分布建模，那就是GMM-HMM模型，如果用神经网络模型对观察概率分布建模，那就是NN-HMM。 HM
kaldi模型的学习
Albert_weiku的博客
10-18 879
kaldi模型的安装 最近正在学习安装语音识别，就此对语音识别最为常用的kaldi模型的安装过程和大家分享一下，感谢CSDN中的大神写的博客！！ 一.简介 Kaldi是使用C++编写的语音识别工具包，Apache License v2.0许可。主要供语音识别研究人员使用。Kaldi的目标和范围与HTK类似。目标是拥有易于修改和扩展的现代而灵活的代码。有着极强的可扩展性，飞桨中Deepspeech等就是基于kaldi开发的 二、kaldi的安装 1、下载kaldi 一般的训练模型不要在Windows上尝试，配
AIBigKaldi（十四）| Kaldi的特征转换模型（源码解析）
aibigtruth的博客
01-23 561
本文来自公众号“AI大道理”。 三音子模型词错误率为：36.03%，对比单音素模型词错误率为50.58%。 可见三音素模型识别率已经有了提高。 能否继续优化模型？又要从哪些方面入手进行优化呢？ 特征变换带来一定的改善。 语音识别中，为了增强音频特征的鲁棒性，需要提取区分能力较强的特征向量，常用的方法是PCA和LDA算法。 以kaldi的thchs30为例。 总过程 特征变换 特征变换是指将一帧声学特征经过某种运算转化为另外一帧特征...
kaldi中查看深度学习模型参数
jiangyupu的博客
05-13 1020
cd path/of/kaldi/src/nnetbin/ ./nnet-info path/of/final.nnet
kaldi最新源码
12-26
Kaldi采用数据驱动的框架，支持多种模型类型，如HMM-GMM（隐马尔科夫模型-高斯混合模型）、DNN-HMM（深度神经网络-隐马尔科夫模型）和Transformer-LSTM（变换器-长短期记忆网络）。其中，DNN-HMM是现代语音识别系统...
kaldi入门资料整理
03-01
Kaldi的核心在于其声学模型，它支持包括线性判别分析（LDA）、高斯混合模型（GMM）、深度神经网络（DNN）等多种标准机器学习训练模型。Kaldi还支持说话人自适应技术，如特征空间最大似然线性回归（fMLLR）和最大似然...
Kaldi的全部资料v07
03-18
4. **LDA/MLLT/SAT**：线性判别分析（LDA）、最大似然线性回归（MLLR）和说话人适应训练（SAT），优化特征空间，提高模型的鲁棒性。 **三、Kaldi的训练流程** Kaldi的训练通常分为以下几个步骤： 1. **数据预处理...
kaldi中已经训练好的模型
qq_40212975的博客
06-22 846
http://kaldi-asr.org/models/m10
Kaldi中实现模型的可视化
qq_32172681的博客
02-12 565
初学kaldi语音识别，在Linux上查看文件不像Windows那么简单易行。在kaldi的egs文件夹中有许多的示例程序，当你成功跑完之后，在相应的示例程序目录下有exp文件夹，这里面包括示例训练出来的一些模型文件。 跑完Thchs30之后，exp目录，在mono目录下有final.mal，想看看这文件中是什么内容，但就是打不开，试了好多查看文件软件，在网上也查阅了很多关于.m...
AIBigKaldi（十五）| Kaldi的说话人自适应模型（源码解析）
aibigtruth的博客
02-15 763
本文来自公众号“AI大道理”。 单音素模型词错误率为50.58%，三音子模型词错误率为36.03%，lda-mllt模型词错误率为32.12%。 可见lda-mllt模型识别率继续有了一定的提高。 能否继续优化模型？又要从哪些方面入手进行优化呢？ 说话人自适应技术将继续改善现有模型。 以kaldi的thchs30为例。 总过程 7 说话人自适应模型 特征最大似然线性回归（fMLLT）用于说话人特定的特征变换。 STC输出一个矩阵，fMLLT输出的是按...
【语音识别】详解kaldi的数据和模型文件——librispeech
tobefans的博客
06-24 3134
第一次编译kaldi很可能会缺各种东西，最好有管理员权限来安装。
详细解析Ubuntu22 部署Kaldi大模型
最新发布
lstef的博客
06-11 1015
包含Kaldi的核心源代码，提供了实现语音识别所需的基础功能，例如声学建模、特征提取、解码器等。包含与Kaldi相关的工具和第三方依赖项。这些工具可以用于数据预处理、特征提取、模型训练等。例如，sph2pipe工具用于处理SPH音频格式，sox工具用于音频格式转换和处理：包含一些示例和教程，用于演示如何使用Kaldi构建语音识别系统。这些示例通常包括数据准备、特征提取、模型训练和解码等步骤，帮助用户理解和使用Kaldi。：包含用于构建 Kaldi 的 CMake 脚本和相关文件。
kaldi 学习笔记-三音素训练1(Decision Tree)
fengzhou_的博客
09-22 5346
介绍kaldi三音素训练大致流程，本文主要介绍决策树（Decision Tree）部分。
Kaldi决策树状态绑定学习笔记（一）
许开拓的专栏
04-08 7425
Kaldi决策树状态绑定学习笔记（一）——如何累积相关统计量？在这个笔记中，我会首先介绍与决策树相关的几个数据结构和统计量，然后介绍累积统计量的主程序和主要函数。
kaldi训练模型的过程
Championvas的博客
07-23 4874
整理一下训练新模型的过程： 1.进 入 到 kaldi-trunk/egs目录下创建XX（看你心情随便命名）文件夹，然后在文件夹里创建一个audio文件夹，在audio文件夹内在创建两个文件夹train和test。然后把所有的音频文件（.wav文件）放到train和test内（根据你的需求选择测试集和训练集，我是两个文件夹里面都是放的一样的） 2.在XX文件夹下面创建一个文件夹data，在data...
kaldi的网络可视化
zhulinniao
07-23 550
kald的网络可视化1 nnet3-am-copy转换kaldi-onnx安装2 kaldi-onnx转换3 final.onnx查看3.1 模型前缀分析3.2 模型后缀分析Reference 1 nnet3-am-copy转换 src/nnet3bin/nnet3-am-copy --binary=false --prepare-for-test=true final.mdl final_test.mdl kaldi-onnx安装 git clone https://github.com/XiaoMi
使用Kaldi处理自定义数据集指南
这通常需要深入理解语音识别的基本原理，分析模型的输出，找出问题所在，并通过调整参数或改进数据预处理来改善性能。 Kaldi是一个强大的开源工具包，它的特点是模块化设计，方便用户定制和扩展。通过阅读Kaldi的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值