ELMo运用到下游任务中

1.通过allennlp来跑elmo

其中需要下载训练好的参数和模型：options_file和weight_file可在官网下载，其中cuda_service是设置GPU的参数。

（1）在12号节点上（centos）失败的尝试

我在centos运行此程序时，在第一行import就报错了，原因是说glibc_2.14 not found，我看了下本机上最高的glibc版本是2.12（因为centos太老的缘故），故而想要升级glibc。但是在安装之前configure时一直报error，说是gcc的版本不对，我本机上的版本是7.3.0，于是乎我升级为了最新的9.1.0（花了接近一个小时make -j4），但是仍旧在configure时说gcc的版本不对。我又去逛了下论坛，大家警告说不要轻易升级glibc，不然很容易崩溃。我当时先暂时打住了，在下文中又遇到glibc 2.17 not found错误，忍不住又去升级了下，最终差点把机器搞挂...

 

（2）在18号节点上（Ubuntu）成功的尝试

我用官网的small试了一下，最终elmo_embedding是一个2*3*4*256维向量，2为batch_size，3为LSTM内部层各个状态，4为句子对齐的长度，256为向量维度

1)batch_to_embeddings的用法

 句子的对齐关系

2）embed_sentences()的用法

为了对三层LSTM的中间值取平均值，可用：

3）embed_sentence的用法

 

2.通过tensorflow_hub来跑elmo

其实上面的代码是基于这个

 

这个看上去像是句向量的形式

（1）失败的尝试

在导入tensorflow_hub时报错，师兄说是必须要TensorFlow在1.7.0版本以上才行，我正好是1.6.0

故而升级到1.8.0，使用命令pip install tensorflow==1.8.0，再跑程序，又报了这个错误

重新回到我之前的1.6.0版本，同样又报了这个错误，我原来的能跑通的程序都跑不了了...我的内心是崩溃的...

又参考了一篇博文解答报错glibc_2.17 not found的原因，说是因为升级gcc时，生成的动态库没有替换老版本gcc的动态库导致的，将gcc最新版本的动态库替换系统中老版本的动态库即可解决。

于是

cd /usr/lib64
cp /root/gcc-9.1.0/build/stage1-x86_64-pc-linux-gnu/libstdc++-v3/src/.libs/libstdc++.so.6.0.26 ./

然后删除掉之前的动态链接库，有这么多...

然后将默认库的软连接指向最新动态库：ln -s libstdc++.so.6.0.22 libstdc++.so.6

再用以下命令检查动态库：strings /usr/lib64/libstdc++.so.6 | grep GLIBC

我发现我把libstdc++.so.*的所有版本都试了，里面的glibc基本都是在2.2.5，然后就是3.*，没有2.12-2.17这个区域的,还是没有成功，于是乎我又按照前面编译glibc.2.14的步骤来编译glibc.2.17，在configure的时候报了一个错误，LD_LIBRARY_PATH shouldn’t contain the current directory when building glibc，于是用命令LD_LIBRARY_PATH= 将变量设置为空，编译安装成功后重新添加 LD_LIBRARY_PATH。之后就是进行make操作了,结果突然就报了很严重的错误...差点机器都要被我毁掉，最后执行了这些操作才复原，还删除了/usr/local下的glibc-2.17，才使得ls等命令重新正常使用。

LD_PRELOAD=/lib64/libc-2.12.so ln -s /usr/local/glibc-2.17/lib/libc-2.17.so /lib64/libc.so.6
export LD_PRELOAD=/lib64/libc-2.12.so

真的万分惊险，12号还有许多同学的资料在上面，如果我把12号搞挂了那就凉凉了...

（2）成功的尝试

，在qqp_baseline基础上直接加上如上embedding class，报了错，应该是输入形式的问题

将输入的格式从索引变成了string形式，以便传入hub定义的elmo之中

接下来，又在input layer 报了这个错

看了帖子，说是在顺序模型中一般不用input层，故而去掉

然后，又报了这个错误

将顺序模型改为和示例当中一样的结构

然后又报错

这是因为LSTM的输入必须是三维输入(batch_size, timesteps, data_dim)，可以参见

然后我用tf.reshape()变换了下性状，还是报错

是不是在下游任务中再用LSTM维度确实难搞，我见GitHub上好像把下游任务用在elmo上都是直接加dense层，如下，参见

于是我干脆也把baseline_qqp和elmo_qqp全部更换为此种结构

以下是baseline的结果，比之前用LSTM要低很多

以下是elmo的结果：（训练时间长达6个多小时）

3.ELMo应用到下游任务

最近想把ELMo词向量运用到下游任务之中，与glove的baseline比较下结果。

主要有两种做法

(1)在原架构基础上，将train_x和test_x替换为elmo的向量表示，直接输入到第一层，可以参考这个

(2)在原架构基础上，加一个elmoEmbedding层，在此层当中生成动态词向量表示，可以参考这个

 

我的模型主要是想参考做法1，得到动态的词向量表示[x_t , x_t + x_t_plus , x_t - x_t_sub]或是[x_t ,x_t , x_t]，然后再在LSTM中去改inputs的一些操作，进行分段截取操作。

 

4.ELMo作者的一些说明

（1）elmo是从字符卷积来的，所以主创强调它实际上不是word embedding，而是character-based，详见博客

 

 

（2）elmo的使用，网络参数可以微调

最后一句话想说——但它是为了embed句子而构建的，后面链接给的是论文

 

5.Elmo的缺点（详见）

（1）不真正双向：对于一个序列，前向遍历一遍获得左边的LSTM，后向遍历一遍获得右边的LSTM，最后得到的隐层向量直接拼接得到结果向量，并且在最后的Loss function中也是前向和后向的loss function直接相加，并非完全同时的双向计算。

（2）自己能看见自己