百度PGL图神经网络7日打卡营Task3：GCN+GAT

最新推荐文章于 2022-06-20 16:46:07 发布

zpc1219

最新推荐文章于 2022-06-20 16:46:07 发布

阅读量1.8k

点赞数

分类专栏：技术文章标签：神经网络

原文链接：https://aistudio.baidu.com/aistudio/education/group/info/1956

版权

技术专栏收录该内容

17 篇文章 0 订阅

订阅专栏

第三课：图神经网络算法（一）

本次作业内容：实现GCN模型和GAT 模型的send和recv 函数。

# 安装依赖
# !pip install paddlepaddle==1.8.5
!pip install pgl -q

1. GCN模型

paddle官网查看相关API的用法。

注：这里我们给出的是简化版本的 GCN 模型，完整的 GCN 代码可查看: https://github.com/PaddlePaddle/PGL/blob/main/pgl/layers/conv.py#L27

GCN部分原理推导可以见我的博客：
https://blog.csdn.net/zpc1219/article/details/110310954

%%writefile userdef_gcn.py
import paddle.fluid as fluid

def gcn_layer(gw, feature, hidden_size, activation, name, norm=None):

    # send函数
    def send_func(src_feat, dst_feat, edge_feat):
        '''
         请完成填空
         提示：
             src_feat 为源节点特征
             src_feat 
               { 
                   "h":  Tensor形状为 [边数目, hidden_size]
               }

             dst_feat 为目标节点特征
             dst_feat
               { 
                   "h":  Tensor形状为 [边数目, hidden_size]
                }
            由于本题目没有边特征，edge_feat为 None
        '''
        # 问题1：下列两个feature，我们选择哪个

        ans1 = "A" # "A" or "B" 
        if ans1 == "A":
            feat = src_feat["h"]
        elif ans1 == "B":
            feat = dst_feat["h"]
        return feat

    # recv函数
    def recv_func(msg):
        '''
        请完成填空
        提示：
            1. 使用到的函数：fluid.layers.sequence_pool(x, pool_type)
            2. 接受到的消息是一个变长Tensor，在Paddle里被称为LodTensor
                例如: 
                msg = [ 
                        [1, 2],      # 节点0 接受的特征
                        [1],         # 节点1 接受的特征
                        [2, 3, 4]    # 节点2 接受的特征
                    ]
                
                对于不定长Tensor，我们可以使用一系列的sequence操作。例如sequence_pool
                例如： 对上述msg进行sequence_pool求和的操作, 我们会得到

                    msg = [ 
                        [3],      # 节点0 接受的特征
                        [1],         # 节点1 接受的特征
                        [9]    # 节点2 接受的特征
                    ]
        '''
        # 问题2：在 GCN里面，我们的 Recv 函数是
        
        ans = "A"  # "A" or "B" or "C"
        if ans == "A":
            return fluid.layers.sequence_pool(msg, "sum")
        elif ans == "B":
            return fluid.layers.sequence_pool(msg, "average")
        elif ans == "C":
            return fluid.layers.sequence_pool(msg, "max")
    
    #####增加是否归一化
    if norm is not None:
        feature = feature * norm

    # 消息传递机制执行过程
    msg = gw.send(send_func, nfeat_list=[("h", feature)]) 
    output = gw.recv(msg, recv_func)

    # 通过以activation为激活函数的全连接输出层
    output = fluid.layers.fc(output,
                            size=hidden_size,
                            bias_attr=False,
                            act=activation,
                            name=name)
    
    
    return output

Overwriting userdef_gcn.py

注意：改进有三点：
1、在上格代码中，先将输入特征利用norm先做了了归一化操作；
2、在check_on_cora.py文件中将输入特征normalize函数操作删除了；
3、将gcn结构改为论文中的二层结构，同时删除了fc层。
其余基本不变。精度有了突破，不过不稳定，以下算较好结果了——0.835。

# (GPU版) 可以自己调整超参数，比如学习率，epoch数，看看结果变化如何
!python check_on_cora.py  --epoch 200 --hidden_size 16 --learning_rate 0.01 --dropout 0.5 --use_cuda

W1126 12:23:35.544952  9724 device_context.cc:252] Please NOTE: device: 0, CUDA Capability: 70, Driver API Version: 10.1, Runtime API Version: 9.0
W1126 12:23:35.549013  9724 device_context.cc:260] device: 0, cuDNN Version: 7.6.
开始训练 Cora数据集 200 Epoch
Epoch 0 训练集 Loss: 1.947022 训练集 准确率: 0.100000 验证集 Loss: 1.921164 验证集 准确率: 0.453333 
Epoch 1 训练集 Loss: 1.909883 训练集 准确率: 0.585714 验证集 Loss: 1.893968 验证集 准确率: 0.533333 
Epoch 2 训练集 Loss: 1.875969 训练集 准确率: 0.621429 验证集 Loss: 1.862653 验证集 准确率: 0.546667 
Epoch 3 训练集 Loss: 1.839126 训练集 准确率: 0.700000 验证集 Loss: 1.827943 验证集 准确率: 0.600000 
Epoch 4 训练集 Loss: 1.797638 训练集 准确率: 0.685714 验证集 Loss: 1.791268 验证集 准确率: 0.646667 
Epoch 5 训练集 Loss: 1.725587 训练集 准确率: 0.650000 验证集 Loss: 1.753690 验证集 准确率: 0.633333 
Epoch 6 训练集 Loss: 1.698047 训练集 准确率: 0.692857 验证集 Loss: 1.715406 验证集 准确率: 0.623333 
Epoch 7 训练集 Loss: 1.643610 训练集 准确率: 0.692857 验证集 Loss: 1.674552 验证集 准确率: 0.643333 
Epoch 8 训练集 Loss: 1.574867 训练集 准确率: 0.742857 验证集 Loss: 1.631700 验证集 准确率: 0.660000 
Epoch 9 训练集 Loss: 1.537067 训练集 准确率: 0.671429 验证集 Loss: 1.587744 验证集 准确率: 0.676667 
Epoch 10 训练集 Loss: 1.468948 训练集 准确率: 0.700000 验证集 Loss: 1.542411 验证集 准确率: 0.693333 
Epoch 11 训练集 Loss: 1.448409 训练集 准确率: 0.714286 验证集 Loss: 1.497292 验证集 准确率: 0.703333 
Epoch 12 训练集 Loss: 1.329191 训练集 准确率: 0.771429 验证集 Loss: 1.452048 验证集 准确率: 0.703333 
Epoch 13 训练集 Loss: 1.266390 训练集 准确率: 0.814286 验证集 Loss: 1.407062 验证集 准确率: 0.703333 
Epoch 14 训练集 Loss: 1.210795 训练集 准确率: 0.792857 验证集 Loss: 1.362788 验证集 准确率: 0.706667 
Epoch 15 训练集 Loss: 1.206231 训练集 准确率: 0.814286 验证集 Loss: 1.319691 验证集 准确率: 0.716667 
Epoch 16 训练集 Loss: 1.166087 训练集 准确率: 0.764286 验证集 Loss: 1.277834 验证集 准确率: 0.723333 
Epoch 17 训练集 Loss: 1.096595 训练集 准确率: 0.785714 验证集 Loss: 1.237934 验证集 准确率: 0.723333 
Epoch 18 训练集 Loss: 1.070624 训练集 准确率: 0.814286 验证集 Loss: 1.200047 验证集 准确率: 0.736667 
Epoch 19 训练集 Loss: 1.030137 训练集 准确率: 0.814286 验证集 Loss: 1.163863 验证集 准确率: 0.746667 
Epoch 20 训练集 Loss: 0.987095 训练集 准确率: 0.785714 验证集 Loss: 1.129489 验证集 准确率: 0.750000 
Epoch 21 训练集 Loss: 0.967549 训练集 准确率: 0.807143 验证集 Loss: 1.096359 验证集 准确率: 0.760000 
Epoch 22 训练集 Loss: 0.931311 训练集 准确率: 0.850000 验证集 Loss: 1.064856 验证集 准确率: 0.766667 
Epoch 23 训练集 Loss: 0.871500 训练集 准确率: 0.842857 验证集 Loss: 1.034889 验证集 准确率: 0.773333 
Epoch 24 训练集 Loss: 0.844623 训练集 准确率: 0.828571 验证集 Loss: 1.007071 验证集 准确率: 0.776667 
Epoch 25 训练集 Loss: 0.819506 训练集 准确率: 0.821429 验证集 Loss: 0.981427 验证集 准确率: 0.783333 
Epoch 26 训练集 Loss: 0.756960 训练集 准确率: 0.878571 验证集 Loss: 0.957358 验证集 准确率: 0.783333 
Epoch 27 训练集 Loss: 0.703587 训练集 准确率: 0.864286 验证集 Loss: 0.934448 验证集 准确率: 0.783333 
Epoch 28 训练集 Loss: 0.737993 训练集 准确率: 0.864286 验证集 Loss: 0.912537 验证集 准确率: 0.790000 
Epoch 29 训练集 Loss: 0.711578 训练集 准确率: 0.878571 验证集 Loss: 0.891959 验证集 准确率: 0.786667 
Epoch 30 训练集 Loss: 0.720673 训练集 准确率: 0.885714 验证集 Loss: 0.873906 验证集 准确率: 0.793333 
Epoch 31 训练集 Loss: 0.675740 训练集 准确率: 0.885714 验证集 Loss: 0.856436 验证集 准确率: 0.790000 
Epoch 32 训练集 Loss: 0.591483 训练集 准确率: 0.928571 验证集 Loss: 0.840061 验证集 准确率: 0.796667 
Epoch 33 训练集 Loss: 0.608023 训练集 准确率: 0.914286 验证集 Loss: 0.823521 验证集 准确率: 0.803333 
Epoch 34 训练集 Loss: 0.582400 训练集 准确率: 0.900000 验证集 Loss: 0.808843 验证集 准确率: 0.803333 
Epoch 35 训练集 Loss: 0.562715 训练集 准确率: 0.921429 验证集 Loss: 0.795013 验证集 准确率: 0.803333 
Epoch 36 训练集 Loss: 0.517546 训练集 准确率: 0.935714 验证集 Loss: 0.782038 验证集 准确率: 0.810000 
Epoch 37 训练集 Loss: 0.491898 训练集 准确率: 0.928571 验证集 Loss: 0.769776 验证集 准确率: 0.810000 
Epoch 38 训练集 Loss: 0.514969 训练集 准确率: 0.921429 验证集 Loss: 0.758280 验证集 准确率: 0.820000 
Epoch 39 训练集 Loss: 0.550304 训练集 准确率: 0.935714 验证集 Loss: 0.747695 验证集 准确率: 0.830000 
Epoch 40 训练集 Loss: 0.481701 训练集 准确率: 0.957143 验证集 Loss: 0.737593 验证集 准确率: 0.826667 
Epoch 41 训练集 Loss: 0.473739 训练集 准确率: 0.935714 验证集 Loss: 0.728431 验证集 准确率: 0.820000 
Epoch 42 训练集 Loss: 0.425716 训练集 准确率: 0.957143 验证集 Loss: 0.719741 验证集 准确率: 0.820000 
Epoch 43 训练集 Loss: 0.446970 训练集 准确率: 0.935714 验证集 Loss: 0.711419 验证集 准确率: 0.823333 
Epoch 44 训练集 Loss: 0.482197 训练集 准确率: 0.914286 验证集 Loss: 0.702800 验证集 准确率: 0.830000 
Epoch 45 训练集 Loss: 0.408487 训练集 准确率: 0.928571 验证集 Loss: 0.694978 验证集 准确率: 0.830000 
Epoch 46 训练集 Loss: 0.415484 训练集 准确率: 0.928571 验证集 Loss: 0.687621 验证集 准确率: 0.830000 
Epoch 47 训练集 Loss: 0.442302 训练集 准确率: 0.935714 验证集 Loss: 0.680780 验证集 准确率: 0.833333 
Epoch 48 训练集 Loss: 0.408205 训练集 准确率: 0.942857 验证集 Loss: 0.674888 验证集 准确率: 0.830000 
Epoch 49 训练集 Loss: 0.374610 训练集 准确率: 0.957143 验证集 Loss: 0.669510 验证集 准确率: 0.826667 
Epoch 50 训练集 Loss: 0.369446 训练集 准确率: 0.928571 验证集 Loss: 0.665051 验证集 准确率: 0.826667 
Epoch 51 训练集 Loss: 0.350093 训练集 准确率: 0.978571 验证集 Loss: 0.661041 验证集 准确率: 0.823333 
Epoch 52 训练集 Loss: 0.336716 训练集 准确率: 0.964286 验证集 Loss: 0.656865 验证集 准确率: 0.820000 
Epoch 53 训练集 Loss: 0.345001 训练集 准确率: 0.964286 验证集 Loss: 0.652876 验证集 准确率: 0.816667 
Epoch 54 训练集 Loss: 0.368147 训练集 准确率: 0.942857 验证集 Loss: 0.649163 验证集 准确率: 0.816667 
Epoch 55 训练集 Loss: 0.356882 训练集 准确率: 0.971429 验证集 Loss: 0.645461 验证集 准确率: 0.816667 
Epoch 56 训练集 Loss: 0.326995 训练集 准确率: 0.985714 验证集 Loss: 0.642647 验证集 准确率: 0.816667 
Epoch 57 训练集 Loss: 0.319600 训练集 准确率: 0.985714 验证集 Loss: 0.640318 验证集 准确率: 0.816667 
Epoch 58 训练集 Loss: 0.346406 训练集 准确率: 0.957143 验证集 Loss: 0.638360 验证集 准确率: 0.820000 
Epoch 59 训练集 Loss: 0.304532 训练集 准确率: 0.978571 验证集 Loss: 0.637295 验证集 准确率: 0.820000 
Epoch 60 训练集 Loss: 0.313920 训练集 准确率: 0.964286 验证集 Loss: 0.637234 验证集 准确率: 0.816667 
Epoch 61 训练集 Loss: 0.265655 训练集 准确率: 0.978571 验证集 Loss: 0.638346 验证集 准确率: 0.816667 
Epoch 62 训练集 Loss: 0.326324 训练集 准确率: 0.957143 验证集 Loss: 0.640749 验证集 准确率: 0.820000 
Epoch 63 训练集 Loss: 0.300450 训练集 准确率: 0.957143 验证集 Loss: 0.645050 验证集 准确率: 0.823333 
Epoch 64 训练集 Loss: 0.275727 训练集 准确率: 0.978571 验证集 Loss: 0.648889 验证集 准确率: 0.820000 
Epoch 65 训练集 Loss: 0.309134 训练集 准确率: 0.971429 验证集 Loss: 0.648967 验证集 准确率: 0.820000 
Epoch 66 训练集 Loss: 0.288028 训练集 准确率: 0.978571 验证集 Loss: 0.647979 验证集 准确率: 0.820000 
Epoch 67 训练集 Loss: 0.251023 训练集 准确率: 0.978571 验证集 Loss: 0.646393 验证集 准确率: 0.820000 
Epoch 68 训练集 Loss: 0.286188 训练集 准确率: 0.964286 验证集 Loss: 0.644283 验证集 准确率: 0.823333 
Epoch 69 训练集 Loss: 0.262163 训练集 准确率: 0.964286 验证集 Loss: 0.641136 验证集 准确率: 0.820000 
Epoch 70 训练集 Loss: 0.274379 训练集 准确率: 0.978571 验证集 Loss: 0.637561 验证集 准确率: 0.823333 
Epoch 71 训练集 Loss: 0.243261 训练集 准确率: 0.978571 验证集 Loss: 0.634322 验证集 准确率: 0.823333 
Epoch 72 训练集 Loss: 0.251113 训练集 准确率: 0.971429 验证集 Loss: 0.631491 验证集 准确率: 0.826667 
Epoch 73 训练集 Loss: 0.223485 训练集 准确率: 0.978571 验证集 Loss: 0.629488 验证集 准确率: 0.826667 
Epoch 74 训练集 Loss: 0.260886 训练集 准确率: 0.971429 验证集 Loss: 0.628882 验证集 准确率: 0.830000 
Epoch 75 训练集 Loss: 0.264599 训练集 准确率: 0.971429 验证集 Loss: 0.628338 验证集 准确率: 0.830000 
Epoch 76 训练集 Loss: 0.253950 训练集 准确率: 0.964286 验证集 Loss: 0.628541 验证集 准确率: 0.830000 
Epoch 77 训练集 Loss: 0.234953 训练集 准确率: 0.985714 验证集 Loss: 0.628909 验证集 准确率: 0.830000 
Epoch 78 训练集 Loss: 0.253211 训练集 准确率: 0.978571 验证集 Loss: 0.628937 验证集 准确率: 0.830000 
Epoch 79 训练集 Loss: 0.231160 训练集 准确率: 0.971429 验证集 Loss: 0.627875 验证集 准确率: 0.830000 
Epoch 80 训练集 Loss: 0.252182 训练集 准确率: 0.985714 验证集 Loss: 0.627401 验证集 准确率: 0.826667 
Epoch 81 训练集 Loss: 0.286013 训练集 准确率: 0.971429 验证集 Loss: 0.628507 验证集 准确率: 0.826667 
Epoch 82 训练集 Loss: 0.248696 训练集 准确率: 0.971429 验证集 Loss: 0.631395 验证集 准确率: 0.823333 
Epoch 83 训练集 Loss: 0.228853 训练集 准确率: 0.971429 验证集 Loss: 0.634095 验证集 准确率: 0.816667 
Epoch 84 训练集 Loss: 0.240164 训练集 准确率: 0.950000 验证集 Loss: 0.635130 验证集 准确率: 0.813333 
Epoch 85 训练集 Loss: 0.233141 训练集 准确率: 0.978571 验证集 Loss: 0.636746 验证集 准确率: 0.813333 
Epoch 86 训练集 Loss: 0.238137 训练集 准确率: 0.957143 验证集 Loss: 0.636802 验证集 准确率: 0.813333 
Epoch 87 训练集 Loss: 0.187806 训练集 准确率: 0.985714 验证集 Loss: 0.637713 验证集 准确率: 0.823333 
Epoch 88 训练集 Loss: 0.226371 训练集 准确率: 0.978571 验证集 Loss: 0.636640 验证集 准确率: 0.823333 
Epoch 89 训练集 Loss: 0.207650 训练集 准确率: 0.978571 验证集 Loss: 0.633814 验证集 准确率: 0.823333 
Epoch 90 训练集 Loss: 0.217609 训练集 准确率: 0.992857 验证集 Loss: 0.629967 验证集 准确率: 0.826667 
Epoch 91 训练集 Loss: 0.211276 训练集 准确率: 0.964286 验证集 Loss: 0.624590 验证集 准确率: 0.826667 
Epoch 92 训练集 Loss: 0.204605 训练集 准确率: 0.971429 验证集 Loss: 0.620873 验证集 准确率: 0.830000 
Epoch 93 训练集 Loss: 0.188240 训练集 准确率: 0.978571 验证集 Loss: 0.618519 验证集 准确率: 0.830000 
Epoch 94 训练集 Loss: 0.222671 训练集 准确率: 0.971429 验证集 Loss: 0.616922 验证集 准确率: 0.833333 
Epoch 95 训练集 Loss: 0.225118 训练集 准确率: 0.985714 验证集 Loss: 0.616141 验证集 准确率: 0.830000 
Epoch 96 训练集 Loss: 0.209117 训练集 准确率: 0.985714 验证集 Loss: 0.616124 验证集 准确率: 0.830000 
Epoch 97 训练集 Loss: 0.219979 训练集 准确率: 0.978571 验证集 Loss: 0.616408 验证集 准确率: 0.826667 
Epoch 98 训练集 Loss: 0.193696 训练集 准确率: 0.985714 验证集 Loss: 0.616374 验证集 准确率: 0.826667 
Epoch 99 训练集 Loss: 0.192948 训练集 准确率: 0.992857 验证集 Loss: 0.617100 验证集 准确率: 0.816667 
Epoch 100 训练集 Loss: 0.204769 训练集 准确率: 0.957143 验证集 Loss: 0.620144 验证集 准确率: 0.816667 
Epoch 101 训练集 Loss: 0.193489 训练集 准确率: 0.971429 验证集 Loss: 0.624933 验证集 准确率: 0.813333 
Epoch 102 训练集 Loss: 0.219696 训练集 准确率: 0.978571 验证集 Loss: 0.629595 验证集 准确率: 0.816667 
Epoch 103 训练集 Loss: 0.209470 训练集 准确率: 0.992857 验证集 Loss: 0.633308 验证集 准确率: 0.820000 
Epoch 104 训练集 Loss: 0.219734 训练集 准确率: 0.978571 验证集 Loss: 0.635819 验证集 准确率: 0.823333 
Epoch 105 训练集 Loss: 0.187219 训练集 准确率: 0.978571 验证集 Loss: 0.638367 验证集 准确率: 0.823333 
Epoch 106 训练集 Loss: 0.245666 训练集 准确率: 0.971429 验证集 Loss: 0.638094 验证集 准确率: 0.816667 
Epoch 107 训练集 Loss: 0.200607 训练集 准确率: 0.978571 验证集 Loss: 0.637339 验证集 准确率: 0.820000 
Epoch 108 训练集 Loss: 0.178044 训练集 准确率: 0.992857 验证集 Loss: 0.636266 验证集 准确率: 0.823333 
Epoch 109 训练集 Loss: 0.168272 训练集 准确率: 0.992857 验证集 Loss: 0.635642 验证集 准确率: 0.823333 
Epoch 110 训练集 Loss: 0.175405 训练集 准确率: 0.978571 验证集 Loss: 0.635290 验证集 准确率: 0.823333 
Epoch 111 训练集 Loss: 0.178768 训练集 准确率: 0.971429 验证集 Loss: 0.635045 验证集 准确率: 0.823333 
Epoch 112 训练集 Loss: 0.204103 训练集 准确率: 0.971429 验证集 Loss: 0.632559 验证集 准确率: 0.823333 
Epoch 113 训练集 Loss: 0.194992 训练集 准确率: 0.978571 验证集 Loss: 0.629903 验证集 准确率: 0.826667 
Epoch 114 训练集 Loss: 0.162507 训练集 准确率: 0.985714 验证集 Loss: 0.628497 验证集 准确率: 0.826667 
Epoch 115 训练集 Loss: 0.198857 训练集 准确率: 0.985714 验证集 Loss: 0.625462 验证集 准确率: 0.826667 
Epoch 116 训练集 Loss: 0.190820 训练集 准确率: 0.964286 验证集 Loss: 0.622047 验证集 准确率: 0.826667 
Epoch 117 训练集 Loss: 0.205658 训练集 准确率: 0.978571 验证集 Loss: 0.619519 验证集 准确率: 0.820000 
Epoch 118 训练集 Loss: 0.209261 训练集 准确率: 0.964286 验证集 Loss: 0.616449 验证集 准确率: 0.816667 
Epoch 119 训练集 Loss: 0.200409 训练集 准确率: 0.985714 验证集 Loss: 0.615593 验证集 准确率: 0.813333 
Epoch 120 训练集 Loss: 0.206577 训练集 准确率: 0.971429 验证集 Loss: 0.619572 验证集 准确率: 0.810000 
Epoch 121 训练集 Loss: 0.190661 训练集 准确率: 0.971429 验证集 Loss: 0.622700 验证集 准确率: 0.813333 
Epoch 122 训练集 Loss: 0.179468 训练集 准确率: 0.978571 验证集 Loss: 0.627527 验证集 准确率: 0.816667 
Epoch 123 训练集 Loss: 0.200144 训练集 准确率: 0.971429 验证集 Loss: 0.630922 验证集 准确率: 0.823333 
Epoch 124 训练集 Loss: 0.179505 训练集 准确率: 0.964286 验证集 Loss: 0.632699 验证集 准确率: 0.826667 
Epoch 125 训练集 Loss: 0.208422 训练集 准确率: 0.985714 验证集 Loss: 0.633433 验证集 准确率: 0.823333 
Epoch 126 训练集 Loss: 0.174382 训练集 准确率: 0.985714 验证集 Loss: 0.632836 验证集 准确率: 0.820000 
Epoch 127 训练集 Loss: 0.191959 训练集 准确率: 0.964286 验证集 Loss: 0.631394 验证集 准确率: 0.823333 
Epoch 128 训练集 Loss: 0.164599 训练集 准确率: 0.971429 验证集 Loss: 0.627701 验证集 准确率: 0.826667 
Epoch 129 训练集 Loss: 0.153395 训练集 准确率: 0.985714 验证集 Loss: 0.626297 验证集 准确率: 0.826667 
Epoch 130 训练集 Loss: 0.183845 训练集 准确率: 0.971429 验证集 Loss: 0.625536 验证集 准确率: 0.830000 
Epoch 131 训练集 Loss: 0.205717 训练集 准确率: 0.978571 验证集 Loss: 0.624905 验证集 准确率: 0.830000 
Epoch 132 训练集 Loss: 0.200755 训练集 准确率: 0.957143 验证集 Loss: 0.622500 验证集 准确率: 0.833333 
Epoch 133 训练集 Loss: 0.167051 训练集 准确率: 0.992857 验证集 Loss: 0.620325 验证集 准确率: 0.830000 
Epoch 134 训练集 Loss: 0.155025 训练集 准确率: 0.992857 验证集 Loss: 0.618949 验证集 准确率: 0.830000 
Epoch 135 训练集 Loss: 0.140771 训练集 准确率: 0.992857 验证集 Loss: 0.617581 验证集 准确率: 0.826667 
Epoch 136 训练集 Loss: 0.156349 训练集 准确率: 0.978571 验证集 Loss: 0.616089 验证集 准确率: 0.826667 
Epoch 137 训练集 Loss: 0.146876 训练集 准确率: 0.992857 验证集 Loss: 0.614864 验证集 准确率: 0.830000 
Epoch 138 训练集 Loss: 0.181889 训练集 准确率: 0.971429 验证集 Loss: 0.614934 验证集 准确率: 0.836667 
Epoch 139 训练集 Loss: 0.148662 训练集 准确率: 0.971429 验证集 Loss: 0.615773 验证集 准确率: 0.836667 
Epoch 140 训练集 Loss: 0.169984 训练集 准确率: 0.978571 验证集 Loss: 0.618295 验证集 准确率: 0.830000 
Epoch 141 训练集 Loss: 0.140758 训练集 准确率: 0.985714 验证集 Loss: 0.622462 验证集 准确率: 0.823333 
Epoch 142 训练集 Loss: 0.146443 训练集 准确率: 0.985714 验证集 Loss: 0.625267 验证集 准确率: 0.823333 
Epoch 143 训练集 Loss: 0.150468 训练集 准确率: 0.985714 验证集 Loss: 0.626563 验证集 准确率: 0.823333 
Epoch 144 训练集 Loss: 0.162749 训练集 准确率: 0.992857 验证集 Loss: 0.625820 验证集 准确率: 0.823333 
Epoch 145 训练集 Loss: 0.172493 训练集 准确率: 0.978571 验证集 Loss: 0.627674 验证集 准确率: 0.823333 
Epoch 146 训练集 Loss: 0.161146 训练集 准确率: 0.985714 验证集 Loss: 0.628704 验证集 准确率: 0.823333 
Epoch 147 训练集 Loss: 0.162306 训练集 准确率: 1.000000 验证集 Loss: 0.629066 验证集 准确率: 0.823333 
Epoch 148 训练集 Loss: 0.176148 训练集 准确率: 0.971429 验证集 Loss: 0.630313 验证集 准确率: 0.823333 
Epoch 149 训练集 Loss: 0.157360 训练集 准确率: 0.992857 验证集 Loss: 0.630770 验证集 准确率: 0.823333 
Epoch 150 训练集 Loss: 0.140198 训练集 准确率: 0.985714 验证集 Loss: 0.632015 验证集 准确率: 0.823333 
Epoch 151 训练集 Loss: 0.143850 训练集 准确率: 0.992857 验证集 Loss: 0.633367 验证集 准确率: 0.820000 
Epoch 152 训练集 Loss: 0.148136 训练集 准确率: 0.985714 验证集 Loss: 0.633757 验证集 准确率: 0.823333 
Epoch 153 训练集 Loss: 0.165814 训练集 准确率: 0.978571 验证集 Loss: 0.633777 验证集 准确率: 0.826667 
Epoch 154 训练集 Loss: 0.148219 训练集 准确率: 0.985714 验证集 Loss: 0.634320 验证集 准确率: 0.826667 
Epoch 155 训练集 Loss: 0.166988 训练集 准确率: 0.985714 验证集 Loss: 0.635541 验证集 准确率: 0.826667 
Epoch 156 训练集 Loss: 0.136139 训练集 准确率: 0.992857 验证集 Loss: 0.636752 验证集 准确率: 0.826667 
Epoch 157 训练集 Loss: 0.143799 训练集 准确率: 0.978571 验证集 Loss: 0.636399 验证集 准确率: 0.826667 
Epoch 158 训练集 Loss: 0.155453 训练集 准确率: 0.971429 验证集 Loss: 0.636256 验证集 准确率: 0.826667 
Epoch 159 训练集 Loss: 0.129396 训练集 准确率: 0.985714 验证集 Loss: 0.636223 验证集 准确率: 0.826667 
Epoch 160 训练集 Loss: 0.168148 训练集 准确率: 0.971429 验证集 Loss: 0.636412 验证集 准确率: 0.826667 
Epoch 161 训练集 Loss: 0.166651 训练集 准确率: 0.985714 验证集 Loss: 0.636650 验证集 准确率: 0.826667 
Epoch 162 训练集 Loss: 0.137315 训练集 准确率: 0.992857 验证集 Loss: 0.634817 验证集 准确率: 0.823333 
Epoch 163 训练集 Loss: 0.169661 训练集 准确率: 0.978571 验证集 Loss: 0.633936 验证集 准确率: 0.823333 
Epoch 164 训练集 Loss: 0.154827 训练集 准确率: 0.978571 验证集 Loss: 0.631319 验证集 准确率: 0.823333 
Epoch 165 训练集 Loss: 0.191395 训练集 准确率: 0.985714 验证集 Loss: 0.627609 验证集 准确率: 0.823333 
Epoch 166 训练集 Loss: 0.184103 训练集 准确率: 0.985714 验证集 Loss: 0.627217 验证集 准确率: 0.823333 
Epoch 167 训练集 Loss: 0.144261 训练集 准确率: 0.992857 验证集 Loss: 0.625796 验证集 准确率: 0.823333 
Epoch 168 训练集 Loss: 0.155512 训练集 准确率: 0.978571 验证集 Loss: 0.625566 验证集 准确率: 0.823333 
Epoch 169 训练集 Loss: 0.173114 训练集 准确率: 0.985714 验证集 Loss: 0.626257 验证集 准确率: 0.826667 
Epoch 170 训练集 Loss: 0.150930 训练集 准确率: 0.992857 验证集 Loss: 0.628171 验证集 准确率: 0.826667 
Epoch 171 训练集 Loss: 0.163395 训练集 准确率: 0.985714 验证集 Loss: 0.629259 验证集 准确率: 0.823333 
Epoch 172 训练集 Loss: 0.118672 训练集 准确率: 0.985714 验证集 Loss: 0.631156 验证集 准确率: 0.820000 
Epoch 173 训练集 Loss: 0.124006 训练集 准确率: 0.992857 验证集 Loss: 0.632719 验证集 准确率: 0.820000 
Epoch 174 训练集 Loss: 0.124789 训练集 准确率: 0.978571 验证集 Loss: 0.634942 验证集 准确率: 0.823333 
Epoch 175 训练集 Loss: 0.149321 训练集 准确率: 0.992857 验证集 Loss: 0.636551 验证集 准确率: 0.820000 
Epoch 176 训练集 Loss: 0.133540 训练集 准确率: 0.992857 验证集 Loss: 0.636984 验证集 准确率: 0.823333 
Epoch 177 训练集 Loss: 0.128264 训练集 准确率: 0.978571 验证集 Loss: 0.638107 验证集 准确率: 0.823333 
Epoch 178 训练集 Loss: 0.145250 训练集 准确率: 0.978571 验证集 Loss: 0.637281 验证集 准确率: 0.823333 
Epoch 179 训练集 Loss: 0.138688 训练集 准确率: 0.985714 验证集 Loss: 0.636250 验证集 准确率: 0.823333 
Epoch 180 训练集 Loss: 0.154336 训练集 准确率: 0.978571 验证集 Loss: 0.634429 验证集 准确率: 0.826667 
Epoch 181 训练集 Loss: 0.144218 训练集 准确率: 0.992857 验证集 Loss: 0.631946 验证集 准确率: 0.823333 
Epoch 182 训练集 Loss: 0.148674 训练集 准确率: 0.992857 验证集 Loss: 0.628420 验证集 准确率: 0.823333 
Epoch 183 训练集 Loss: 0.137099 训练集 准确率: 0.971429 验证集 Loss: 0.627877 验证集 准确率: 0.823333 
Epoch 184 训练集 Loss: 0.138872 训练集 准确率: 0.992857 验证集 Loss: 0.628717 验证集 准确率: 0.826667 
Epoch 185 训练集 Loss: 0.139834 训练集 准确率: 0.964286 验证集 Loss: 0.630908 验证集 准确率: 0.826667 
Epoch 186 训练集 Loss: 0.146014 训练集 准确率: 0.985714 验证集 Loss: 0.633475 验证集 准确率: 0.823333 
Epoch 187 训练集 Loss: 0.159858 训练集 准确率: 0.971429 验证集 Loss: 0.637158 验证集 准确率: 0.823333 
Epoch 188 训练集 Loss: 0.125071 训练集 准确率: 0.971429 验证集 Loss: 0.639677 验证集 准确率: 0.823333 
Epoch 189 训练集 Loss: 0.144885 训练集 准确率: 0.978571 验证集 Loss: 0.642604 验证集 准确率: 0.823333 
Epoch 190 训练集 Loss: 0.159078 训练集 准确率: 0.978571 验证集 Loss: 0.644129 验证集 准确率: 0.826667 
Epoch 191 训练集 Loss: 0.124080 训练集 准确率: 0.992857 验证集 Loss: 0.645692 验证集 准确率: 0.826667 
Epoch 192 训练集 Loss: 0.124305 训练集 准确率: 0.992857 验证集 Loss: 0.643278 验证集 准确率: 0.823333 
Epoch 193 训练集 Loss: 0.158681 训练集 准确率: 0.978571 验证集 Loss: 0.640486 验证集 准确率: 0.823333 
Epoch 194 训练集 Loss: 0.165814 训练集 准确率: 0.985714 验证集 Loss: 0.638169 验证集 准确率: 0.816667 
Epoch 195 训练集 Loss: 0.148009 训练集 准确率: 0.985714 验证集 Loss: 0.637456 验证集 准确率: 0.813333 
Epoch 196 训练集 Loss: 0.132581 训练集 准确率: 0.992857 验证集 Loss: 0.637414 验证集 准确率: 0.813333 
Epoch 197 训练集 Loss: 0.158742 训练集 准确率: 0.985714 验证集 Loss: 0.636720 验证集 准确率: 0.816667 
Epoch 198 训练集 Loss: 0.172351 训练集 准确率: 0.985714 验证集 Loss: 0.638507 验证集 准确率: 0.816667 
Epoch 199 训练集 Loss: 0.133160 训练集 准确率: 0.978571 验证集 Loss: 0.638789 验证集 准确率: 0.820000 
Cora数据集 结果
最好验证集 第 138 Epoch 准确率 0.836667
对应测试集合 准确率: 0.835000

# (CPU版)可以自己调整超参数，比如学习率，epoch数，看看结果变化如何
!python check_on_cora.py  --epoch 200 --hidden_size 16 --learning_rate 0.01 --dropout 0.5

开始训练 Cora数据集 200 Epoch
Epoch 0 训练集 Loss: 1.945207 训练集 准确率: 0.121429 验证集 Loss: 1.915915 验证集 准确率: 0.416667 
Epoch 1 训练集 Loss: 1.909071 训练集 准确率: 0.428571 验证集 Loss: 1.882888 验证集 准确率: 0.456667 
Epoch 2 训练集 Loss: 1.857977 训练集 准确率: 0.471429 验证集 Loss: 1.843995 验证集 准确率: 0.483333 
Epoch 3 训练集 Loss: 1.798833 训练集 准确率: 0.514286 验证集 Loss: 1.802630 验证集 准确率: 0.493333 
Epoch 4 训练集 Loss: 1.748613 训练集 准确率: 0.571429 验证集 Loss: 1.761611 验证集 准确率: 0.496667 
Epoch 5 训练集 Loss: 1.695515 训练集 准确率: 0.564286 验证集 Loss: 1.719238 验证集 准确率: 0.500000 
Epoch 6 训练集 Loss: 1.632945 训练集 准确率: 0.585714 验证集 Loss: 1.676339 验证集 准确率: 0.496667 
Epoch 7 训练集 Loss: 1.580997 训练集 准确率: 0.578571 验证集 Loss: 1.633098 验证集 准确率: 0.510000 
Epoch 8 训练集 Loss: 1.513999 训练集 准确率: 0.578571 验证集 Loss: 1.589096 验证集 准确率: 0.520000 
Epoch 9 训练集 Loss: 1.509756 训练集 准确率: 0.614286 验证集 Loss: 1.544608 验证集 准确率: 0.536667 
Epoch 10 训练集 Loss: 1.392751 训练集 准确率: 0.614286 验证集 Loss: 1.499868 验证集 准确率: 0.560000 
Epoch 11 训练集 Loss: 1.355650 训练集 准确率: 0.635714 验证集 Loss: 1.456266 验证集 准确率: 0.593333 
Epoch 12 训练集 Loss: 1.294412 训练集 准确率: 0.685714 验证集 Loss: 1.413324 验证集 准确率: 0.633333 
Epoch 13 训练集 Loss: 1.275698 训练集 准确率: 0.714286 验证集 Loss: 1.370665 验证集 准确率: 0.660000 
Epoch 14 训练集 Loss: 1.170797 训练集 准确率: 0.728571 验证集 Loss: 1.328928 验证集 准确率: 0.683333 
Epoch 15 训练集 Loss: 1.209640 训练集 准确率: 0.757143 验证集 Loss: 1.288208 验证集 准确率: 0.690000 
Epoch 16 训练集 Loss: 1.176616 训练集 准确率: 0.764286 验证集 Loss: 1.248826 验证集 准确率: 0.723333 
Epoch 17 训练集 Loss: 1.057200 训练集 准确率: 0.807143 验证集 Loss: 1.210655 验证集 准确率: 0.746667 
Epoch 18 训练集 Loss: 0.973011 训练集 准确率: 0.857143 验证集 Loss: 1.173319 验证集 准确率: 0.753333 
Epoch 19 训练集 Loss: 0.960033 训练集 准确率: 0.864286 验证集 Loss: 1.137148 验证集 准确率: 0.763333 
Epoch 20 训练集 Loss: 0.933024 训练集 准确率: 0.864286 验证集 Loss: 1.102111 验证集 准确率: 0.776667 
Epoch 21 训练集 Loss: 0.892454 训练集 准确率: 0.871429 验证集 Loss: 1.068869 验证集 准确率: 0.780000 
Epoch 22 训练集 Loss: 0.891226 训练集 准确率: 0.885714 验证集 Loss: 1.037291 验证集 准确率: 0.793333 
Epoch 23 训练集 Loss: 0.807173 训练集 准确率: 0.892857 验证集 Loss: 1.007278 验证集 准确率: 0.790000 
Epoch 24 训练集 Loss: 0.762392 训练集 准确率: 0.871429 验证集 Loss: 0.978982 验证集 准确率: 0.800000 
Epoch 25 训练集 Loss: 0.790831 训练集 准确率: 0.878571 验证集 Loss: 0.952615 验证集 准确率: 0.800000 
Epoch 26 训练集 Loss: 0.708729 训练集 准确率: 0.921429 验证集 Loss: 0.927922 验证集 准确率: 0.806667 
Epoch 27 训练集 Loss: 0.708332 训练集 准确率: 0.921429 验证集 Loss: 0.904493 验证集 准确率: 0.803333 
Epoch 28 训练集 Loss: 0.658793 训练集 准确率: 0.928571 验证集 Loss: 0.882653 验证集 准确率: 0.803333 
Epoch 29 训练集 Loss: 0.651666 训练集 准确率: 0.907143 验证集 Loss: 0.862105 验证集 准确率: 0.803333 
Epoch 30 训练集 Loss: 0.637687 训练集 准确率: 0.928571 验证集 Loss: 0.842777 验证集 准确率: 0.810000 
Epoch 31 训练集 Loss: 0.596285 训练集 准确率: 0.935714 验证集 Loss: 0.824848 验证集 准确率: 0.810000 
Epoch 32 训练集 Loss: 0.582946 训练集 准确率: 0.907143 验证集 Loss: 0.808419 验证集 准确率: 0.820000 
Epoch 33 训练集 Loss: 0.599338 训练集 准确率: 0.942857 验证集 Loss: 0.793047 验证集 准确率: 0.826667 
Epoch 34 训练集 Loss: 0.615182 训练集 准确率: 0.921429 验证集 Loss: 0.778520 验证集 准确率: 0.826667 
Epoch 35 训练集 Loss: 0.530013 训练集 准确率: 0.907143 验证集 Loss: 0.765205 验证集 准确率: 0.830000 
Epoch 36 训练集 Loss: 0.534216 训练集 准确率: 0.957143 验证集 Loss: 0.752507 验证集 准确率: 0.830000 
Epoch 37 训练集 Loss: 0.489571 训练集 准确率: 0.921429 验证集 Loss: 0.740550 验证集 准确率: 0.830000 
Epoch 38 训练集 Loss: 0.489095 训练集 准确率: 0.921429 验证集 Loss: 0.729952 验证集 准确率: 0.830000 
Epoch 39 训练集 Loss: 0.504022 训练集 准确率: 0.921429 验证集 Loss: 0.720567 验证集 准确率: 0.826667 
Epoch 40 训练集 Loss: 0.443249 训练集 准确率: 0.935714 验证集 Loss: 0.712146 验证集 准确率: 0.826667 
Epoch 41 训练集 Loss: 0.436834 训练集 准确率: 0.957143 验证集 Loss: 0.704331 验证集 准确率: 0.826667 
Epoch 42 训练集 Loss: 0.432077 训练集 准确率: 0.957143 验证集 Loss: 0.697304 验证集 准确率: 0.823333 
Epoch 43 训练集 Loss: 0.417816 训练集 准确率: 0.950000 验证集 Loss: 0.691519 验证集 准确率: 0.823333 
Epoch 44 训练集 Loss: 0.405740 训练集 准确率: 0.971429 验证集 Loss: 0.686002 验证集 准确率: 0.823333 
Epoch 45 训练集 Loss: 0.441738 训练集 准确率: 0.914286 验证集 Loss: 0.680044 验证集 准确率: 0.816667 
Epoch 46 训练集 Loss: 0.405291 训练集 准确率: 0.950000 验证集 Loss: 0.674793 验证集 准确率: 0.816667 
Epoch 47 训练集 Loss: 0.388794 训练集 准确率: 0.964286 验证集 Loss: 0.669678 验证集 准确率: 0.816667 
Epoch 48 训练集 Loss: 0.405234 训练集 准确率: 0.928571 验证集 Loss: 0.664693 验证集 准确率: 0.816667 
Epoch 49 训练集 Loss: 0.359495 训练集 准确率: 0.950000 验证集 Loss: 0.659971 验证集 准确率: 0.816667 
Epoch 50 训练集 Loss: 0.371291 训练集 准确率: 0.928571 验证集 Loss: 0.655203 验证集 准确率: 0.816667 
Epoch 51 训练集 Loss: 0.337168 训练集 准确率: 0.978571 验证集 Loss: 0.650933 验证集 准确率: 0.823333 
Epoch 52 训练集 Loss: 0.386035 训练集 准确率: 0.928571 验证集 Loss: 0.645679 验证集 准确率: 0.816667 
Epoch 53 训练集 Loss: 0.330445 训练集 准确率: 0.950000 验证集 Loss: 0.641610 验证集 准确率: 0.816667 
Epoch 54 训练集 Loss: 0.330846 训练集 准确率: 0.957143 验证集 Loss: 0.638254 验证集 准确率: 0.820000 
Epoch 55 训练集 Loss: 0.327507 训练集 准确率: 0.950000 验证集 Loss: 0.635717 验证集 准确率: 0.823333 
Epoch 56 训练集 Loss: 0.305082 训练集 准确率: 0.971429 验证集 Loss: 0.634017 验证集 准确率: 0.823333 
Epoch 57 训练集 Loss: 0.298482 训练集 准确率: 0.964286 验证集 Loss: 0.632597 验证集 准确率: 0.823333 
Epoch 58 训练集 Loss: 0.334769 训练集 准确率: 0.964286 验证集 Loss: 0.631280 验证集 准确率: 0.823333 
Epoch 59 训练集 Loss: 0.309920 训练集 准确率: 0.971429 验证集 Loss: 0.630856 验证集 准确率: 0.820000 
Epoch 60 训练集 Loss: 0.310358 训练集 准确率: 0.971429 验证集 Loss: 0.630961 验证集 准确率: 0.823333 
Epoch 61 训练集 Loss: 0.297778 训练集 准确率: 0.964286 验证集 Loss: 0.631527 验证集 准确率: 0.823333 
Epoch 62 训练集 Loss: 0.341801 训练集 准确率: 0.935714 验证集 Loss: 0.631677 验证集 准确率: 0.823333 
Epoch 63 训练集 Loss: 0.317814 训练集 准确率: 0.964286 验证集 Loss: 0.631016 验证集 准确率: 0.823333 
Epoch 64 训练集 Loss: 0.304579 训练集 准确率: 0.935714 验证集 Loss: 0.630003 验证集 准确率: 0.823333 
Epoch 65 训练集 Loss: 0.323324 训练集 准确率: 0.971429 验证集 Loss: 0.629121 验证集 准确率: 0.823333 
Epoch 66 训练集 Loss: 0.245054 训练集 准确率: 0.978571 验证集 Loss: 0.628437 验证集 准确率: 0.823333 
Epoch 67 训练集 Loss: 0.282070 训练集 准确率: 0.950000 验证集 Loss: 0.626801 验证集 准确率: 0.823333 
Epoch 68 训练集 Loss: 0.275414 训练集 准确率: 0.957143 验证集 Loss: 0.625585 验证集 准确率: 0.823333 
Epoch 69 训练集 Loss: 0.282072 训练集 准确率: 0.971429 验证集 Loss: 0.625612 验证集 准确率: 0.823333 
Epoch 70 训练集 Loss: 0.257049 训练集 准确率: 0.950000 验证集 Loss: 0.625337 验证集 准确率: 0.823333 
Epoch 71 训练集 Loss: 0.272484 训练集 准确率: 0.964286 验证集 Loss: 0.625316 验证集 准确率: 0.823333 
Epoch 72 训练集 Loss: 0.288386 训练集 准确率: 0.950000 验证集 Loss: 0.624037 验证集 准确率: 0.823333 
Epoch 73 训练集 Loss: 0.287205 训练集 准确率: 0.942857 验证集 Loss: 0.622141 验证集 准确率: 0.823333 
Epoch 74 训练集 Loss: 0.225781 训练集 准确率: 0.978571 验证集 Loss: 0.620383 验证集 准确率: 0.823333 
Epoch 75 训练集 Loss: 0.284719 训练集 准确率: 0.957143 验证集 Loss: 0.617715 验证集 准确率: 0.820000 
Epoch 76 训练集 Loss: 0.242006 训练集 准确率: 0.978571 验证集 Loss: 0.615218 验证集 准确率: 0.820000 
Epoch 77 训练集 Loss: 0.222305 训练集 准确率: 0.985714 验证集 Loss: 0.614094 验证集 准确率: 0.820000 
Epoch 78 训练集 Loss: 0.248825 训练集 准确率: 0.964286 验证集 Loss: 0.613451 验证集 准确率: 0.820000 
Epoch 79 训练集 Loss: 0.264780 训练集 准确率: 0.964286 验证集 Loss: 0.613010 验证集 准确率: 0.820000 
Epoch 80 训练集 Loss: 0.232629 训练集 准确率: 0.971429 验证集 Loss: 0.613343 验证集 准确率: 0.820000 
Epoch 81 训练集 Loss: 0.261168 训练集 准确率: 0.985714 验证集 Loss: 0.614239 验证集 准确率: 0.823333 
Epoch 82 训练集 Loss: 0.221157 训练集 准确率: 0.985714 验证集 Loss: 0.615900 验证集 准确率: 0.830000 
Epoch 83 训练集 Loss: 0.248913 训练集 准确率: 0.978571 验证集 Loss: 0.617847 验证集 准确率: 0.823333 
Epoch 84 训练集 Loss: 0.241962 训练集 准确率: 0.992857 验证集 Loss: 0.619535 验证集 准确率: 0.823333 
Epoch 85 训练集 Loss: 0.253056 训练集 准确率: 0.964286 验证集 Loss: 0.619509 验证集 准确率: 0.826667 
Epoch 86 训练集 Loss: 0.234645 训练集 准确率: 0.971429 验证集 Loss: 0.618513 验证集 准确率: 0.826667 
Epoch 87 训练集 Loss: 0.213835 训练集 准确率: 0.978571 验证集 Loss: 0.616489 验证集 准确率: 0.826667 
Epoch 88 训练集 Loss: 0.238910 训练集 准确率: 0.971429 验证集 Loss: 0.615584 验证集 准确率: 0.826667 
Epoch 89 训练集 Loss: 0.263628 训练集 准确率: 0.964286 验证集 Loss: 0.614356 验证集 准确率: 0.826667 
Epoch 90 训练集 Loss: 0.189565 训练集 准确率: 0.971429 验证集 Loss: 0.613454 验证集 准确率: 0.830000 
Epoch 91 训练集 Loss: 0.257664 训练集 准确率: 0.957143 验证集 Loss: 0.611346 验证集 准确率: 0.830000 
Epoch 92 训练集 Loss: 0.209594 训练集 准确率: 0.985714 验证集 Loss: 0.609941 验证集 准确率: 0.830000 
Epoch 93 训练集 Loss: 0.221215 训练集 准确率: 0.971429 验证集 Loss: 0.610464 验证集 准确率: 0.823333 
Epoch 94 训练集 Loss: 0.207973 训练集 准确率: 0.971429 验证集 Loss: 0.612048 验证集 准确率: 0.823333 
Epoch 95 训练集 Loss: 0.227400 训练集 准确率: 0.957143 验证集 Loss: 0.613626 验证集 准确率: 0.820000 
Epoch 96 训练集 Loss: 0.210732 训练集 准确率: 0.992857 验证集 Loss: 0.616354 验证集 准确率: 0.823333 
Epoch 97 训练集 Loss: 0.214943 训练集 准确率: 0.985714 验证集 Loss: 0.619360 验证集 准确率: 0.823333 
Epoch 98 训练集 Loss: 0.223102 训练集 准确率: 0.978571 验证集 Loss: 0.621906 验证集 准确率: 0.823333 
Epoch 99 训练集 Loss: 0.227142 训练集 准确率: 0.971429 验证集 Loss: 0.624342 验证集 准确率: 0.823333 
Epoch 100 训练集 Loss: 0.223013 训练集 准确率: 0.978571 验证集 Loss: 0.626706 验证集 准确率: 0.823333 
Epoch 101 训练集 Loss: 0.209464 训练集 准确率: 0.971429 验证集 Loss: 0.628680 验证集 准确率: 0.826667 
Epoch 102 训练集 Loss: 0.276336 训练集 准确率: 0.935714 验证集 Loss: 0.626194 验证集 准确率: 0.826667 
Epoch 103 训练集 Loss: 0.207124 训练集 准确率: 0.978571 验证集 Loss: 0.623762 验证集 准确率: 0.830000 
Epoch 104 训练集 Loss: 0.200278 训练集 准确率: 0.985714 验证集 Loss: 0.622410 验证集 准确率: 0.830000 
Epoch 105 训练集 Loss: 0.199123 训练集 准确率: 0.985714 验证集 Loss: 0.620693 验证集 准确率: 0.830000 
Epoch 106 训练集 Loss: 0.205277 训练集 准确率: 0.985714 验证集 Loss: 0.619267 验证集 准确率: 0.826667 
Epoch 107 训练集 Loss: 0.209634 训练集 准确率: 0.978571 验证集 Loss: 0.618636 验证集 准确率: 0.823333 
Epoch 108 训练集 Loss: 0.183146 训练集 准确率: 0.978571 验证集 Loss: 0.618221 验证集 准确率: 0.823333 
Epoch 109 训练集 Loss: 0.192420 训练集 准确率: 0.992857 验证集 Loss: 0.617698 验证集 准确率: 0.823333 
Epoch 110 训练集 Loss: 0.213023 训练集 准确率: 0.971429 验证集 Loss: 0.617777 验证集 准确率: 0.826667 
Epoch 111 训练集 Loss: 0.182953 训练集 准确率: 0.985714 验证集 Loss: 0.618428 验证集 准确率: 0.826667 
Epoch 112 训练集 Loss: 0.226487 训练集 准确率: 0.971429 验证集 Loss: 0.618236 验证集 准确率: 0.830000 
Epoch 113 训练集 Loss: 0.180718 训练集 准确率: 0.978571 验证集 Loss: 0.618175 验证集 准确率: 0.830000 
Epoch 114 训练集 Loss: 0.219377 训练集 准确率: 0.985714 验证集 Loss: 0.617823 验证集 准确率: 0.830000 
Epoch 115 训练集 Loss: 0.181309 训练集 准确率: 0.971429 验证集 Loss: 0.616896 验证集 准确率: 0.830000 
Epoch 116 训练集 Loss: 0.171255 训练集 准确率: 0.978571 验证集 Loss: 0.615107 验证集 准确率: 0.833333 
Epoch 117 训练集 Loss: 0.149341 训练集 准确率: 0.985714 验证集 Loss: 0.613334 验证集 准确率: 0.833333 
Epoch 118 训练集 Loss: 0.205937 训练集 准确率: 0.978571 验证集 Loss: 0.612512 验证集 准确率: 0.833333 
Epoch 119 训练集 Loss: 0.188139 训练集 准确率: 0.971429 验证集 Loss: 0.612035 验证集 准确率: 0.830000 
Epoch 120 训练集 Loss: 0.194184 训练集 准确率: 0.971429 验证集 Loss: 0.611311 验证集 准确率: 0.830000 
Epoch 121 训练集 Loss: 0.230981 训练集 准确率: 0.964286 验证集 Loss: 0.611989 验证集 准确率: 0.823333 
Epoch 122 训练集 Loss: 0.201268 训练集 准确率: 0.985714 验证集 Loss: 0.610690 验证集 准确率: 0.816667 
Epoch 123 训练集 Loss: 0.178374 训练集 准确率: 0.964286 验证集 Loss: 0.610561 验证集 准确率: 0.816667 
Epoch 124 训练集 Loss: 0.187166 训练集 准确率: 0.992857 验证集 Loss: 0.608737 验证集 准确率: 0.820000 
Epoch 125 训练集 Loss: 0.163948 训练集 准确率: 0.985714 验证集 Loss: 0.606595 验证集 准确率: 0.826667 
Epoch 126 训练集 Loss: 0.174460 训练集 准确率: 0.985714 验证集 Loss: 0.605086 验证集 准确率: 0.826667 
Epoch 127 训练集 Loss: 0.181973 训练集 准确率: 0.985714 验证集 Loss: 0.602732 验证集 准确率: 0.830000 
Epoch 128 训练集 Loss: 0.149904 训练集 准确率: 0.985714 验证集 Loss: 0.600095 验证集 准确率: 0.830000 
Epoch 129 训练集 Loss: 0.177799 训练集 准确率: 0.971429 验证集 Loss: 0.599139 验证集 准确率: 0.830000 
Epoch 130 训练集 Loss: 0.212613 训练集 准确率: 0.978571 验证集 Loss: 0.598638 验证集 准确率: 0.830000 
Epoch 131 训练集 Loss: 0.207252 训练集 准确率: 0.971429 验证集 Loss: 0.598780 验证集 准确率: 0.830000 
Epoch 132 训练集 Loss: 0.141887 训练集 准确率: 0.985714 验证集 Loss: 0.600060 验证集 准确率: 0.830000 
Epoch 133 训练集 Loss: 0.194722 训练集 准确率: 0.978571 验证集 Loss: 0.601727 验证集 准确率: 0.830000 
Epoch 134 训练集 Loss: 0.161357 训练集 准确率: 0.985714 验证集 Loss: 0.602991 验证集 准确率: 0.830000 
Epoch 135 训练集 Loss: 0.141964 训练集 准确率: 0.978571 验证集 Loss: 0.604347 验证集 准确率: 0.830000 
Epoch 136 训练集 Loss: 0.168158 训练集 准确率: 0.985714 验证集 Loss: 0.606209 验证集 准确率: 0.833333 
Epoch 137 训练集 Loss: 0.167786 训练集 准确率: 0.985714 验证集 Loss: 0.608311 验证集 准确率: 0.830000 
Epoch 138 训练集 Loss: 0.171742 训练集 准确率: 0.985714 验证集 Loss: 0.611862 验证集 准确率: 0.830000 
Epoch 139 训练集 Loss: 0.147813 训练集 准确率: 0.992857 验证集 Loss: 0.615852 验证集 准确率: 0.833333 
Epoch 140 训练集 Loss: 0.176889 训练集 准确率: 0.978571 验证集 Loss: 0.620137 验证集 准确率: 0.830000 
Epoch 141 训练集 Loss: 0.156755 训练集 准确率: 0.985714 验证集 Loss: 0.623873 验证集 准确率: 0.826667 
Epoch 142 训练集 Loss: 0.190607 训练集 准确率: 0.985714 验证集 Loss: 0.625995 验证集 准确率: 0.826667 
Epoch 143 训练集 Loss: 0.143912 训练集 准确率: 0.992857 验证集 Loss: 0.627690 验证集 准确率: 0.830000 
Epoch 144 训练集 Loss: 0.181341 训练集 准确率: 0.971429 验证集 Loss: 0.628766 验证集 准确率: 0.830000 
Epoch 145 训练集 Loss: 0.190155 训练集 准确率: 0.964286 验证集 Loss: 0.628772 验证集 准确率: 0.830000 
Epoch 146 训练集 Loss: 0.165634 训练集 准确率: 0.985714 验证集 Loss: 0.626705 验证集 准确率: 0.826667 
Epoch 147 训练集 Loss: 0.144590 训练集 准确率: 0.971429 验证集 Loss: 0.623570 验证集 准确率: 0.823333 
Epoch 148 训练集 Loss: 0.178411 训练集 准确率: 0.978571 验证集 Loss: 0.618430 验证集 准确率: 0.823333 
Epoch 149 训练集 Loss: 0.162200 训练集 准确率: 0.985714 验证集 Loss: 0.614952 验证集 准确率: 0.820000 
Epoch 150 训练集 Loss: 0.181478 训练集 准确率: 0.992857 验证集 Loss: 0.612196 验证集 准确率: 0.820000 
Epoch 151 训练集 Loss: 0.172405 训练集 准确率: 0.964286 验证集 Loss: 0.609570 验证集 准确率: 0.820000 
Epoch 152 训练集 Loss: 0.197589 训练集 准确率: 0.985714 验证集 Loss: 0.608578 验证集 准确率: 0.823333 
Epoch 153 训练集 Loss: 0.151034 训练集 准确率: 0.992857 验证集 Loss: 0.608007 验证集 准确率: 0.820000 
Epoch 154 训练集 Loss: 0.171322 训练集 准确率: 0.992857 验证集 Loss: 0.609378 验证集 准确率: 0.820000 
Epoch 155 训练集 Loss: 0.173648 训练集 准确率: 0.971429 验证集 Loss: 0.613150 验证集 准确率: 0.820000 
Epoch 156 训练集 Loss: 0.158319 训练集 准确率: 0.985714 验证集 Loss: 0.618035 验证集 准确率: 0.823333 
Epoch 157 训练集 Loss: 0.168144 训练集 准确率: 0.992857 验证集 Loss: 0.620728 验证集 准确率: 0.820000 
Epoch 158 训练集 Loss: 0.183701 训练集 准确率: 0.978571 验证集 Loss: 0.623136 验证集 准确率: 0.823333 
Epoch 159 训练集 Loss: 0.129452 训练集 准确率: 0.992857 验证集 Loss: 0.625129 验证集 准确率: 0.823333 
Epoch 160 训练集 Loss: 0.174542 训练集 准确率: 0.985714 验证集 Loss: 0.628240 验证集 准确率: 0.826667 
Epoch 161 训练集 Loss: 0.168090 训练集 准确率: 0.978571 验证集 Loss: 0.630316 验证集 准确率: 0.826667 
Epoch 162 训练集 Loss: 0.123775 训练集 准确率: 0.992857 验证集 Loss: 0.631602 验证集 准确率: 0.826667 
Epoch 163 训练集 Loss: 0.144589 训练集 准确率: 0.992857 验证集 Loss: 0.633025 验证集 准确率: 0.826667 
Epoch 164 训练集 Loss: 0.167004 训练集 准确率: 0.985714 验证集 Loss: 0.633064 验证集 准确率: 0.823333 
Epoch 165 训练集 Loss: 0.182091 训练集 准确率: 0.978571 验证集 Loss: 0.630574 验证集 准确率: 0.820000 
Epoch 166 训练集 Loss: 0.146859 训练集 准确率: 0.985714 验证集 Loss: 0.628859 验证集 准确率: 0.820000 
Epoch 167 训练集 Loss: 0.176186 训练集 准确率: 0.971429 验证集 Loss: 0.626528 验证集 准确率: 0.820000 
Epoch 168 训练集 Loss: 0.168664 训练集 准确率: 0.985714 验证集 Loss: 0.624469 验证集 准确率: 0.820000 
Epoch 169 训练集 Loss: 0.119501 训练集 准确率: 0.985714 验证集 Loss: 0.623139 验证集 准确率: 0.820000 
Epoch 170 训练集 Loss: 0.143707 训练集 准确率: 0.985714 验证集 Loss: 0.623482 验证集 准确率: 0.826667 
Epoch 171 训练集 Loss: 0.181452 训练集 准确率: 0.978571 验证集 Loss: 0.623537 验证集 准确率: 0.826667 
Epoch 172 训练集 Loss: 0.130651 训练集 准确率: 0.985714 验证集 Loss: 0.624844 验证集 准确率: 0.826667 
Epoch 173 训练集 Loss: 0.146383 训练集 准确率: 0.985714 验证集 Loss: 0.627105 验证集 准确率: 0.823333 
Epoch 174 训练集 Loss: 0.158571 训练集 准确率: 0.978571 验证集 Loss: 0.629886 验证集 准确率: 0.823333 
Epoch 175 训练集 Loss: 0.132081 训练集 准确率: 0.985714 验证集 Loss: 0.631492 验证集 准确率: 0.823333 
Epoch 176 训练集 Loss: 0.168207 训练集 准确率: 0.985714 验证集 Loss: 0.633127 验证集 准确率: 0.823333 
Epoch 177 训练集 Loss: 0.143098 训练集 准确率: 0.978571 验证集 Loss: 0.632880 验证集 准确率: 0.823333 
Epoch 178 训练集 Loss: 0.144094 训练集 准确率: 0.978571 验证集 Loss: 0.634151 验证集 准确率: 0.823333 
Epoch 179 训练集 Loss: 0.152955 训练集 准确率: 0.985714 验证集 Loss: 0.632861 验证集 准确率: 0.823333 
Epoch 180 训练集 Loss: 0.160085 训练集 准确率: 0.985714 验证集 Loss: 0.630205 验证集 准确率: 0.823333 
Epoch 181 训练集 Loss: 0.124987 训练集 准确率: 0.992857 验证集 Loss: 0.629220 验证集 准确率: 0.820000 
Epoch 182 训练集 Loss: 0.154626 训练集 准确率: 0.978571 验证集 Loss: 0.630222 验证集 准确率: 0.820000 
Epoch 183 训练集 Loss: 0.153659 训练集 准确率: 0.978571 验证集 Loss: 0.631460 验证集 准确率: 0.820000 
Epoch 184 训练集 Loss: 0.162778 训练集 准确率: 0.971429 验证集 Loss: 0.627695 验证集 准确率: 0.816667 
Epoch 185 训练集 Loss: 0.172594 训练集 准确率: 0.978571 验证集 Loss: 0.622890 验证集 准确率: 0.820000 
Epoch 186 训练集 Loss: 0.160161 训练集 准确率: 0.978571 验证集 Loss: 0.619284 验证集 准确率: 0.820000 
Epoch 187 训练集 Loss: 0.168277 训练集 准确率: 0.971429 验证集 Loss: 0.616844 验证集 准确率: 0.830000 
Epoch 188 训练集 Loss: 0.153898 训练集 准确率: 0.971429 验证集 Loss: 0.615564 验证集 准确率: 0.823333 
Epoch 189 训练集 Loss: 0.167207 训练集 准确率: 0.985714 验证集 Loss: 0.618260 验证集 准确率: 0.826667 
Epoch 190 训练集 Loss: 0.170991 训练集 准确率: 0.978571 验证集 Loss: 0.620446 验证集 准确率: 0.826667 
Epoch 191 训练集 Loss: 0.153909 训练集 准确率: 0.978571 验证集 Loss: 0.623469 验证集 准确率: 0.826667 
Epoch 192 训练集 Loss: 0.157571 训练集 准确率: 0.978571 验证集 Loss: 0.623656 验证集 准确率: 0.823333 
Epoch 193 训练集 Loss: 0.175783 训练集 准确率: 0.978571 验证集 Loss: 0.624466 验证集 准确率: 0.823333 
Epoch 194 训练集 Loss: 0.166978 训练集 准确率: 0.978571 验证集 Loss: 0.623682 验证集 准确率: 0.830000 
Epoch 195 训练集 Loss: 0.145437 训练集 准确率: 0.992857 验证集 Loss: 0.623752 验证集 准确率: 0.830000 
Epoch 196 训练集 Loss: 0.137848 训练集 准确率: 0.978571 验证集 Loss: 0.625344 验证集 准确率: 0.830000 
Epoch 197 训练集 Loss: 0.154725 训练集 准确率: 0.985714 验证集 Loss: 0.626195 验证集 准确率: 0.823333 
Epoch 198 训练集 Loss: 0.109101 训练集 准确率: 0.992857 验证集 Loss: 0.628476 验证集 准确率: 0.826667 
Epoch 199 训练集 Loss: 0.133775 训练集 准确率: 0.992857 验证集 Loss: 0.630481 验证集 准确率: 0.826667 
Cora数据集 结果
最好验证集 第 116 Epoch 准确率 0.833333
对应测试集合 准确率: 0.835000

2. GAT模型

GAT模型进一步考虑了邻节点对当前节点的重要程度。建议：使用 GPU 来跑，速度比较快。

完成Single-Head GAT的消息传递机制

单头GAT的计算公式如下：

下面我们要做的，就是按照公式，一步步地实现我们的单头 GAT中的 send和recv 函数。

其中：

在 send 函数中完成 LeakyReLU部分的计算；
在 recv 函数中，对接受到的 logits 信息进行 softmax 操作，形成归一化的分数(公式当中的 alpha)，再与结果进行加权求和。

%%writefile demo_gat.py

from pgl.utils import paddle_helper
import paddle.fluid as fluid

def single_head_gat(graph_wrapper, node_feature, hidden_size, name):
    # 实现单头GAT

    def send_func(src_feat, dst_feat, edge_feat):
        ##################################
        # 按照提示一步步理解代码吧，你只需要填###的地方

        # 1. 将源节点特征与目标节点特征concat 起来，对应公式当中的 concat 符号，可能用到的 API: fluid.layers.concat
        Wh = fluid.layers.concat([src_feat["Wh"],dst_feat["Wh"]], -1)#[src_feat["Wh"],src_feat["Wh"]]感觉和[src_feat["Wh"],dst_feat["Wh"]]没什么区别，运行结果准确率基本差不多
        
        # 2. 将上述 Wh 结果通过全连接层，也就对应公式中的a^T

        alpha = fluid.layers.fc(Wh, 
                            size=1, 
                            name=name + "_alpha", 
                            bias_attr=False)

        # 3. 将计算好的 alpha 利用 LeakyReLU 函数激活，可能用到的 API: fluid.layers.leaky_relu
        alpha = fluid.layers.leaky_relu(alpha, 0.2)
        
        ##################################
        return {"alpha": alpha, "Wh": src_feat["Wh"]}
    
    def recv_func(msg):
        ##################################
        # 按照提示一步步理解代码吧，你只需要填###的地方

        # 1. 对接收到的 logits 信息进行 softmax 操作，形成归一化分数，可能用到的 API: paddle_helper.sequence_softmax
        alpha = msg["alpha"]
        norm_alpha = paddle_helper.sequence_softmax(alpha)
        
        #增加邻域采样降低过拟合
        norm_alpha = fluid.layers.dropout(norm_alpha, 0.6, dropout_implementation='upscale_in_train')
        # 2. 对 msg["Wh"]，也就是节点特征，用上述结果进行加权
        output = norm_alpha * msg["Wh"]

        # 3. 对加权后的结果进行相加的邻居聚合，可能用到的API: fluid.layers.sequence_pool
        output = fluid.layers.sequence_pool(output, pool_type="sum")
        ##################################
        return output
    
    # 这一步，其实对应了求解公式当中的Whi, Whj，相当于对node feature加了一个全连接层

    Wh = fluid.layers.fc(node_feature, hidden_size, bias_attr=False, name=name + "_hidden")
    # 消息传递机制执行过程
    message = graph_wrapper.send(send_func, nfeat_list=[("Wh", Wh)])
    output = graph_wrapper.recv(message, recv_func)
    output = fluid.layers.elu(output)
    return output

def gat(graph_wrapper, node_feature, hidden_size, n_heads=8):
    # 完整多头GAT

    # 这里配置多个头，每个头的输出concat在一起，构成多头GAT
    heads_output = []
    # 可以调整头数 (8 head x 8 hidden_size)的效果较好 
    #n_heads = 8
    for head_no in range(n_heads):
        # 请完成单头的GAT的代码
        single_output = single_head_gat(graph_wrapper, 
                            node_feature, 
                            hidden_size, 
                            name="head_%s" % (head_no) )
        heads_output.append(single_output)
    
    output = fluid.layers.concat(heads_output, -1)
    return output

Overwriting demo_gat.py

注意：改进有三处：
1、在recv_func函数中添加了dropout操作，降低过拟合
2、在check_on_cora.py文件中，根据论文设置将单层GAT改成了二层GAT。
3、将gat函数中的n_heads变量纳入到了形参列表中，以适配两层GAT设置。
其余改变类同gcn，较好准确率为0.8400。

# (GPU版) 可以自己调整超参数，比如学习率，epoch数，看看结果变化如何
!python check_on_cora.py --use_demo_gat --epoch 300 --hidden_size 8 --learning_rate 0.005 --dropout 0.6 --use_cuda

W1126 16:51:51.852530 27860 device_context.cc:252] Please NOTE: device: 0, CUDA Capability: 70, Driver API Version: 10.1, Runtime API Version: 9.0
W1126 16:51:51.856740 27860 device_context.cc:260] device: 0, cuDNN Version: 7.6.
开始训练 Cora数据集 300 Epoch
Epoch 0 训练集 Loss: 1.944047 训练集 准确率: 0.207143 验证集 Loss: 1.935655 验证集 准确率: 0.553333 
Epoch 1 训练集 Loss: 1.935451 训练集 准确率: 0.357143 验证集 Loss: 1.926302 验证集 准确率: 0.553333 
Epoch 2 训练集 Loss: 1.921622 训练集 准确率: 0.514286 验证集 Loss: 1.917200 验证集 准确率: 0.550000 
Epoch 3 训练集 Loss: 1.912967 训练集 准确率: 0.528571 验证集 Loss: 1.908038 验证集 准确率: 0.550000 
Epoch 4 训练集 Loss: 1.898338 训练集 准确率: 0.485714 验证集 Loss: 1.898582 验证集 准确率: 0.543333 
Epoch 5 训练集 Loss: 1.896662 训练集 准确率: 0.514286 验证集 Loss: 1.888958 验证集 准确率: 0.526667 
Epoch 6 训练集 Loss: 1.873068 训练集 准确率: 0.564286 验证集 Loss: 1.879110 验证集 准确率: 0.530000 
Epoch 7 训练集 Loss: 1.867822 训练集 准确率: 0.542857 验证集 Loss: 1.869146 验证集 准确率: 0.523333 
Epoch 8 训练集 Loss: 1.849047 训练集 准确率: 0.571429 验证集 Loss: 1.858812 验证集 准确率: 0.533333 
Epoch 9 训练集 Loss: 1.824133 训练集 准确率: 0.557143 验证集 Loss: 1.847989 验证集 准确率: 0.530000 
Epoch 10 训练集 Loss: 1.834973 训练集 准确率: 0.557143 验证集 Loss: 1.837007 验证集 准确率: 0.533333 
Epoch 11 训练集 Loss: 1.804683 训练集 准确率: 0.585714 验证集 Loss: 1.825615 验证集 准确率: 0.533333 
Epoch 12 训练集 Loss: 1.774166 训练集 准确率: 0.535714 验证集 Loss: 1.813634 验证集 准确率: 0.530000 
Epoch 13 训练集 Loss: 1.773692 训练集 准确率: 0.600000 验证集 Loss: 1.801330 验证集 准确率: 0.530000 
Epoch 14 训练集 Loss: 1.749494 训练集 准确率: 0.578571 验证集 Loss: 1.788638 验证集 准确率: 0.523333 
Epoch 15 训练集 Loss: 1.760334 训练集 准确率: 0.550000 验证集 Loss: 1.775880 验证集 准确率: 0.530000 
Epoch 16 训练集 Loss: 1.720836 训练集 准确率: 0.542857 验证集 Loss: 1.762830 验证集 准确率: 0.530000 
Epoch 17 训练集 Loss: 1.728099 训练集 准确率: 0.528571 验证集 Loss: 1.749520 验证集 准确率: 0.533333 
Epoch 18 训练集 Loss: 1.697703 训练集 准确率: 0.550000 验证集 Loss: 1.736162 验证集 准确率: 0.540000 
Epoch 19 训练集 Loss: 1.705808 训练集 准确率: 0.542857 验证集 Loss: 1.722863 验证集 准确率: 0.543333 
Epoch 20 训练集 Loss: 1.692625 训练集 准确率: 0.592857 验证集 Loss: 1.709772 验证集 准确率: 0.543333 
Epoch 21 训练集 Loss: 1.646938 训练集 准确率: 0.564286 验证集 Loss: 1.696611 验证集 准确率: 0.550000 
Epoch 22 训练集 Loss: 1.620509 训练集 准确率: 0.550000 验证集 Loss: 1.683201 验证集 准确率: 0.556667 
Epoch 23 训练集 Loss: 1.584893 训练集 准确率: 0.557143 验证集 Loss: 1.669453 验证集 准确率: 0.566667 
Epoch 24 训练集 Loss: 1.569448 训练集 准确率: 0.585714 验证集 Loss: 1.655498 验证集 准确率: 0.570000 
Epoch 25 训练集 Loss: 1.593354 训练集 准确率: 0.550000 验证集 Loss: 1.641401 验证集 准确率: 0.570000 
Epoch 26 训练集 Loss: 1.563957 训练集 准确率: 0.607143 验证集 Loss: 1.627311 验证集 准确率: 0.576667 
Epoch 27 训练集 Loss: 1.541743 训练集 准确率: 0.542857 验证集 Loss: 1.613232 验证集 准确率: 0.583333 
Epoch 28 训练集 Loss: 1.532885 训练集 准确率: 0.614286 验证集 Loss: 1.599276 验证集 准确率: 0.590000 
Epoch 29 训练集 Loss: 1.532137 训练集 准确率: 0.621429 验证集 Loss: 1.585405 验证集 准确率: 0.596667 
Epoch 30 训练集 Loss: 1.524398 训练集 准确率: 0.557143 验证集 Loss: 1.571678 验证集 准确率: 0.610000 
Epoch 31 训练集 Loss: 1.486646 训练集 准确率: 0.600000 验证集 Loss: 1.558271 验证集 准确率: 0.613333 
Epoch 32 训练集 Loss: 1.509026 训练集 准确率: 0.614286 验证集 Loss: 1.545131 验证集 准确率: 0.623333 
Epoch 33 训练集 Loss: 1.429197 训练集 准确率: 0.621429 验证集 Loss: 1.531910 验证集 准确率: 0.630000 
Epoch 34 训练集 Loss: 1.384649 训练集 准确率: 0.642857 验证集 Loss: 1.518648 验证集 准确率: 0.646667 
Epoch 35 训练集 Loss: 1.412343 训练集 准确率: 0.692857 验证集 Loss: 1.505452 验证集 准确率: 0.656667 
Epoch 36 训练集 Loss: 1.390723 训练集 准确率: 0.650000 验证集 Loss: 1.492563 验证集 准确率: 0.660000 
Epoch 37 训练集 Loss: 1.404233 训练集 准确率: 0.650000 验证集 Loss: 1.480017 验证集 准确率: 0.663333 
Epoch 38 训练集 Loss: 1.415792 训练集 准确率: 0.692857 验证集 Loss: 1.467968 验证集 准确率: 0.670000 
Epoch 39 训练集 Loss: 1.342308 训练集 准确率: 0.721429 验证集 Loss: 1.456056 验证集 准确率: 0.673333 
Epoch 40 训练集 Loss: 1.311728 训练集 准确率: 0.678571 验证集 Loss: 1.444186 验证集 准确率: 0.686667 
Epoch 41 训练集 Loss: 1.365565 训练集 准确率: 0.721429 验证集 Loss: 1.432388 验证集 准确率: 0.693333 
Epoch 42 训练集 Loss: 1.361062 训练集 准确率: 0.700000 验证集 Loss: 1.420799 验证集 准确率: 0.703333 
Epoch 43 训练集 Loss: 1.356971 训练集 准确率: 0.735714 验证集 Loss: 1.409515 验证集 准确率: 0.720000 
Epoch 44 训练集 Loss: 1.270537 训练集 准确率: 0.707143 验证集 Loss: 1.398439 验证集 准确率: 0.733333 
Epoch 45 训练集 Loss: 1.241593 训练集 准确率: 0.764286 验证集 Loss: 1.387439 验证集 准确率: 0.743333 
Epoch 46 训练集 Loss: 1.282021 训练集 准确率: 0.757143 验证集 Loss: 1.376764 验证集 准确率: 0.756667 
Epoch 47 训练集 Loss: 1.286180 训练集 准确率: 0.735714 验证集 Loss: 1.366399 验证集 准确率: 0.773333 
Epoch 48 训练集 Loss: 1.247187 训练集 准确率: 0.771429 验证集 Loss: 1.356157 验证集 准确率: 0.773333 
Epoch 49 训练集 Loss: 1.202265 训练集 准确率: 0.771429 验证集 Loss: 1.346056 验证集 准确率: 0.780000 
Epoch 50 训练集 Loss: 1.154500 训练集 准确率: 0.814286 验证集 Loss: 1.335893 验证集 准确率: 0.780000 
Epoch 51 训练集 Loss: 1.182851 训练集 准确率: 0.835714 验证集 Loss: 1.325753 验证集 准确率: 0.793333 
Epoch 52 训练集 Loss: 1.167150 训练集 准确率: 0.771429 验证集 Loss: 1.315558 验证集 准确率: 0.793333 
Epoch 53 训练集 Loss: 1.215255 训练集 准确率: 0.800000 验证集 Loss: 1.305632 验证集 准确率: 0.790000 
Epoch 54 训练集 Loss: 1.210022 训练集 准确率: 0.828571 验证集 Loss: 1.295764 验证集 准确率: 0.796667 
Epoch 55 训练集 Loss: 1.121710 训练集 准确率: 0.792857 验证集 Loss: 1.285668 验证集 准确率: 0.803333 
Epoch 56 训练集 Loss: 1.251730 训练集 准确率: 0.771429 验证集 Loss: 1.275811 验证集 准确率: 0.813333 
Epoch 57 训练集 Loss: 1.110941 训练集 准确率: 0.800000 验证集 Loss: 1.266384 验证集 准确率: 0.816667 
Epoch 58 训练集 Loss: 1.121379 训练集 准确率: 0.821429 验证集 Loss: 1.257182 验证集 准确率: 0.816667 
Epoch 59 训练集 Loss: 1.120352 训练集 准确率: 0.807143 验证集 Loss: 1.248480 验证集 准确率: 0.823333 
Epoch 60 训练集 Loss: 1.209054 训练集 准确率: 0.778571 验证集 Loss: 1.240016 验证集 准确率: 0.823333 
Epoch 61 训练集 Loss: 1.156989 训练集 准确率: 0.800000 验证集 Loss: 1.231807 验证集 准确率: 0.823333 
Epoch 62 训练集 Loss: 1.116941 训练集 准确率: 0.764286 验证集 Loss: 1.223590 验证集 准确率: 0.823333 
Epoch 63 训练集 Loss: 1.150593 训练集 准确率: 0.764286 验证集 Loss: 1.215399 验证集 准确率: 0.826667 
Epoch 64 训练集 Loss: 1.097804 训练集 准确率: 0.835714 验证集 Loss: 1.207297 验证集 准确率: 0.826667 
Epoch 65 训练集 Loss: 1.121960 训练集 准确率: 0.814286 验证集 Loss: 1.199352 验证集 准确率: 0.830000 
Epoch 66 训练集 Loss: 1.119369 训练集 准确率: 0.814286 验证集 Loss: 1.191669 验证集 准确率: 0.826667 
Epoch 67 训练集 Loss: 1.069426 训练集 准确率: 0.800000 验证集 Loss: 1.184218 验证集 准确率: 0.830000 
Epoch 68 训练集 Loss: 1.119380 训练集 准确率: 0.778571 验证集 Loss: 1.176712 验证集 准确率: 0.830000 
Epoch 69 训练集 Loss: 1.105518 训练集 准确率: 0.785714 验证集 Loss: 1.169219 验证集 准确率: 0.833333 
Epoch 70 训练集 Loss: 1.028590 训练集 准确率: 0.835714 验证集 Loss: 1.161565 验证集 准确率: 0.833333 
Epoch 71 训练集 Loss: 0.982845 训练集 准确率: 0.835714 验证集 Loss: 1.153759 验证集 准确率: 0.833333 
Epoch 72 训练集 Loss: 1.083122 训练集 准确率: 0.850000 验证集 Loss: 1.145866 验证集 准确率: 0.833333 
Epoch 73 训练集 Loss: 1.129214 训练集 准确率: 0.771429 验证集 Loss: 1.138267 验证集 准确率: 0.833333 
Epoch 74 训练集 Loss: 0.959385 训练集 准确率: 0.850000 验证集 Loss: 1.130631 验证集 准确率: 0.830000 
Epoch 75 训练集 Loss: 0.965762 训练集 准确率: 0.835714 验证集 Loss: 1.122813 验证集 准确率: 0.830000 
Epoch 76 训练集 Loss: 1.021643 训练集 准确率: 0.850000 验证集 Loss: 1.115183 验证集 准确率: 0.826667 
Epoch 77 训练集 Loss: 1.055196 训练集 准确率: 0.835714 验证集 Loss: 1.107827 验证集 准确率: 0.826667 
Epoch 78 训练集 Loss: 0.910611 训练集 准确率: 0.864286 验证集 Loss: 1.100114 验证集 准确率: 0.826667 
Epoch 79 训练集 Loss: 1.005805 训练集 准确率: 0.821429 验证集 Loss: 1.092727 验证集 准确率: 0.826667 
Epoch 80 训练集 Loss: 1.007913 训练集 准确率: 0.821429 验证集 Loss: 1.085222 验证集 准确率: 0.826667 
Epoch 81 训练集 Loss: 1.031954 训练集 准确率: 0.842857 验证集 Loss: 1.078028 验证集 准确率: 0.830000 
Epoch 82 训练集 Loss: 1.029269 训练集 准确率: 0.835714 验证集 Loss: 1.071335 验证集 准确率: 0.830000 
Epoch 83 训练集 Loss: 0.965625 训练集 准确率: 0.850000 验证集 Loss: 1.064705 验证集 准确率: 0.826667 
Epoch 84 训练集 Loss: 0.926843 训练集 准确率: 0.821429 验证集 Loss: 1.057848 验证集 准确率: 0.826667 
Epoch 85 训练集 Loss: 0.875863 训练集 准确率: 0.857143 验证集 Loss: 1.050975 验证集 准确率: 0.826667 
Epoch 86 训练集 Loss: 0.881908 训练集 准确率: 0.892857 验证集 Loss: 1.044107 验证集 准确率: 0.826667 
Epoch 87 训练集 Loss: 0.973999 训练集 准确率: 0.807143 验证集 Loss: 1.037301 验证集 准确率: 0.826667 
Epoch 88 训练集 Loss: 0.970190 训练集 准确率: 0.828571 验证集 Loss: 1.030526 验证集 准确率: 0.826667 
Epoch 89 训练集 Loss: 0.905375 训练集 准确率: 0.850000 验证集 Loss: 1.023854 验证集 准确率: 0.830000 
Epoch 90 训练集 Loss: 0.864114 训练集 准确率: 0.857143 验证集 Loss: 1.017269 验证集 准确率: 0.833333 
Epoch 91 训练集 Loss: 0.947545 训练集 准确率: 0.850000 验证集 Loss: 1.010674 验证集 准确率: 0.836667 
Epoch 92 训练集 Loss: 1.024313 训练集 准确率: 0.771429 验证集 Loss: 1.004607 验证集 准确率: 0.833333 
Epoch 93 训练集 Loss: 1.024420 训练集 准确率: 0.771429 验证集 Loss: 0.998791 验证集 准确率: 0.833333 
Epoch 94 训练集 Loss: 0.987290 训练集 准确率: 0.835714 验证集 Loss: 0.993280 验证集 准确率: 0.833333 
Epoch 95 训练集 Loss: 0.822984 训练集 准确率: 0.814286 验证集 Loss: 0.987787 验证集 准确率: 0.833333 
Epoch 96 训练集 Loss: 0.958374 训练集 准确率: 0.800000 验证集 Loss: 0.982360 验证集 准确率: 0.830000 
Epoch 97 训练集 Loss: 0.795315 训练集 准确率: 0.828571 验证集 Loss: 0.976801 验证集 准确率: 0.830000 
Epoch 98 训练集 Loss: 0.854245 训练集 准确率: 0.842857 验证集 Loss: 0.971075 验证集 准确率: 0.830000 
Epoch 99 训练集 Loss: 0.877922 训练集 准确率: 0.800000 验证集 Loss: 0.965424 验证集 准确率: 0.830000 
Epoch 100 训练集 Loss: 0.928603 训练集 准确率: 0.807143 验证集 Loss: 0.959882 验证集 准确率: 0.826667 
Epoch 101 训练集 Loss: 0.871744 训练集 准确率: 0.828571 验证集 Loss: 0.954592 验证集 准确率: 0.826667 
Epoch 102 训练集 Loss: 0.893109 训练集 准确率: 0.835714 验证集 Loss: 0.949402 验证集 准确率: 0.830000 
Epoch 103 训练集 Loss: 0.833918 训练集 准确率: 0.850000 验证集 Loss: 0.944378 验证集 准确率: 0.830000 
Epoch 104 训练集 Loss: 0.783181 训练集 准确率: 0.892857 验证集 Loss: 0.939328 验证集 准确率: 0.830000 
Epoch 105 训练集 Loss: 0.836599 训练集 准确率: 0.842857 验证集 Loss: 0.934406 验证集 准确率: 0.830000 
Epoch 106 训练集 Loss: 0.766269 训练集 准确率: 0.857143 验证集 Loss: 0.929485 验证集 准确率: 0.826667 
Epoch 107 训练集 Loss: 0.872292 训练集 准确率: 0.814286 验证集 Loss: 0.924970 验证集 准确率: 0.826667 
Epoch 108 训练集 Loss: 0.772765 训练集 准确率: 0.850000 验证集 Loss: 0.920378 验证集 准确率: 0.823333 
Epoch 109 训练集 Loss: 0.867960 训练集 准确率: 0.835714 验证集 Loss: 0.915701 验证集 准确率: 0.826667 
Epoch 110 训练集 Loss: 0.709852 训练集 准确率: 0.857143 验证集 Loss: 0.911012 验证集 准确率: 0.830000 
Epoch 111 训练集 Loss: 0.856345 训练集 准确率: 0.842857 验证集 Loss: 0.906681 验证集 准确率: 0.830000 
Epoch 112 训练集 Loss: 0.795144 训练集 准确率: 0.850000 验证集 Loss: 0.902406 验证集 准确率: 0.830000 
Epoch 113 训练集 Loss: 0.826797 训练集 准确率: 0.828571 验证集 Loss: 0.898409 验证集 准确率: 0.836667 
Epoch 114 训练集 Loss: 0.798908 训练集 准确率: 0.828571 验证集 Loss: 0.894781 验证集 准确率: 0.836667 
Epoch 115 训练集 Loss: 0.801037 训练集 准确率: 0.850000 验证集 Loss: 0.890910 验证集 准确率: 0.833333 
Epoch 116 训练集 Loss: 0.775534 训练集 准确率: 0.857143 验证集 Loss: 0.886943 验证集 准确率: 0.836667 
Epoch 117 训练集 Loss: 0.818650 训练集 准确率: 0.842857 验证集 Loss: 0.883373 验证集 准确率: 0.836667 
Epoch 118 训练集 Loss: 0.786697 训练集 准确率: 0.800000 验证集 Loss: 0.880007 验证集 准确率: 0.836667 
Epoch 119 训练集 Loss: 0.771482 训练集 准确率: 0.864286 验证集 Loss: 0.876743 验证集 准确率: 0.833333 
Epoch 120 训练集 Loss: 0.881015 训练集 准确率: 0.850000 验证集 Loss: 0.873484 验证集 准确率: 0.833333 
Epoch 121 训练集 Loss: 0.782231 训练集 准确率: 0.842857 验证集 Loss: 0.870121 验证集 准确率: 0.836667 
Epoch 122 训练集 Loss: 0.800754 训练集 准确率: 0.800000 验证集 Loss: 0.866923 验证集 准确率: 0.836667 
Epoch 123 训练集 Loss: 0.764563 训练集 准确率: 0.857143 验证集 Loss: 0.863589 验证集 准确率: 0.836667 
Epoch 124 训练集 Loss: 0.761716 训练集 准确率: 0.885714 验证集 Loss: 0.860108 验证集 准确率: 0.836667 
Epoch 125 训练集 Loss: 0.832027 训练集 准确率: 0.828571 验证集 Loss: 0.856852 验证集 准确率: 0.836667 
Epoch 126 训练集 Loss: 0.722280 训练集 准确率: 0.871429 验证集 Loss: 0.853673 验证集 准确率: 0.833333 
Epoch 127 训练集 Loss: 0.844519 训练集 准确率: 0.835714 验证集 Loss: 0.850832 验证集 准确率: 0.833333 
Epoch 128 训练集 Loss: 0.803853 训练集 准确率: 0.828571 验证集 Loss: 0.848003 验证集 准确率: 0.836667 
Epoch 129 训练集 Loss: 0.819582 训练集 准确率: 0.821429 验证集 Loss: 0.845140 验证集 准确率: 0.836667 
Epoch 130 训练集 Loss: 0.870920 训练集 准确率: 0.828571 验证集 Loss: 0.842166 验证集 准确率: 0.840000 
Epoch 131 训练集 Loss: 0.717799 训练集 准确率: 0.842857 验证集 Loss: 0.839187 验证集 准确率: 0.840000 
Epoch 132 训练集 Loss: 0.756848 训练集 准确率: 0.864286 验证集 Loss: 0.836238 验证集 准确率: 0.840000 
Epoch 133 训练集 Loss: 0.765217 训练集 准确率: 0.814286 验证集 Loss: 0.833197 验证集 准确率: 0.840000 
Epoch 134 训练集 Loss: 0.778936 训练集 准确率: 0.864286 验证集 Loss: 0.830152 验证集 准确率: 0.843333 
Epoch 135 训练集 Loss: 0.804174 训练集 准确率: 0.828571 验证集 Loss: 0.827137 验证集 准确率: 0.843333 
Epoch 136 训练集 Loss: 0.835920 训练集 准确率: 0.835714 验证集 Loss: 0.824094 验证集 准确率: 0.843333 
Epoch 137 训练集 Loss: 0.658589 训练集 准确率: 0.885714 验证集 Loss: 0.820844 验证集 准确率: 0.840000 
Epoch 138 训练集 Loss: 0.698390 训练集 准确率: 0.850000 验证集 Loss: 0.817453 验证集 准确率: 0.836667 
Epoch 139 训练集 Loss: 0.834373 训练集 准确率: 0.828571 验证集 Loss: 0.814533 验证集 准确率: 0.836667 
Epoch 140 训练集 Loss: 0.765264 训练集 准确率: 0.828571 验证集 Loss: 0.811511 验证集 准确率: 0.836667 
Epoch 141 训练集 Loss: 0.641672 训练集 准确率: 0.914286 验证集 Loss: 0.808600 验证集 准确率: 0.836667 
Epoch 142 训练集 Loss: 0.729823 训练集 准确率: 0.814286 验证集 Loss: 0.805904 验证集 准确率: 0.836667 
Epoch 143 训练集 Loss: 0.664388 训练集 准确率: 0.871429 验证集 Loss: 0.803374 验证集 准确率: 0.836667 
Epoch 144 训练集 Loss: 0.698648 训练集 准确率: 0.892857 验证集 Loss: 0.800778 验证集 准确率: 0.836667 
Epoch 145 训练集 Loss: 0.677536 训练集 准确率: 0.892857 验证集 Loss: 0.798184 验证集 准确率: 0.836667 
Epoch 146 训练集 Loss: 0.752659 训练集 准确率: 0.814286 验证集 Loss: 0.795787 验证集 准确率: 0.833333 
Epoch 147 训练集 Loss: 0.817035 训练集 准确率: 0.771429 验证集 Loss: 0.793476 验证集 准确率: 0.833333 
Epoch 148 训练集 Loss: 0.638254 训练集 准确率: 0.878571 验证集 Loss: 0.791378 验证集 准确率: 0.833333 
Epoch 149 训练集 Loss: 0.689535 训练集 准确率: 0.842857 验证集 Loss: 0.789374 验证集 准确率: 0.833333 
Epoch 150 训练集 Loss: 0.731596 训练集 准确率: 0.850000 验证集 Loss: 0.787559 验证集 准确率: 0.833333 
Epoch 151 训练集 Loss: 0.637490 训练集 准确率: 0.857143 验证集 Loss: 0.785640 验证集 准确率: 0.833333 
Epoch 152 训练集 Loss: 0.635338 训练集 准确率: 0.857143 验证集 Loss: 0.783849 验证集 准确率: 0.833333 
Epoch 153 训练集 Loss: 0.669737 训练集 准确率: 0.878571 验证集 Loss: 0.782049 验证集 准确率: 0.833333 
Epoch 154 训练集 Loss: 0.709096 训练集 准确率: 0.857143 验证集 Loss: 0.780292 验证集 准确率: 0.833333 
Epoch 155 训练集 Loss: 0.694745 训练集 准确率: 0.871429 验证集 Loss: 0.778696 验证集 准确率: 0.833333 
Epoch 156 训练集 Loss: 0.763056 训练集 准确率: 0.792857 验证集 Loss: 0.777419 验证集 准确率: 0.833333 
Epoch 157 训练集 Loss: 0.673258 训练集 准确率: 0.814286 验证集 Loss: 0.776103 验证集 准确率: 0.833333 
Epoch 158 训练集 Loss: 0.645611 训练集 准确率: 0.857143 验证集 Loss: 0.774606 验证集 准确率: 0.833333 
Epoch 159 训练集 Loss: 0.664305 训练集 准确率: 0.871429 验证集 Loss: 0.772913 验证集 准确率: 0.830000 
Epoch 160 训练集 Loss: 0.745454 训练集 准确率: 0.828571 验证集 Loss: 0.771547 验证集 准确率: 0.830000 
Epoch 161 训练集 Loss: 0.724872 训练集 准确率: 0.871429 验证集 Loss: 0.770348 验证集 准确率: 0.826667 
Epoch 162 训练集 Loss: 0.702028 训练集 准确率: 0.835714 验证集 Loss: 0.769164 验证集 准确率: 0.823333 
Epoch 163 训练集 Loss: 0.771745 训练集 准确率: 0.807143 验证集 Loss: 0.768318 验证集 准确率: 0.823333 
Epoch 164 训练集 Loss: 0.650824 训练集 准确率: 0.842857 验证集 Loss: 0.767430 验证集 准确率: 0.820000 
Epoch 165 训练集 Loss: 0.731925 训练集 准确率: 0.878571 验证集 Loss: 0.766806 验证集 准确率: 0.820000 
Epoch 166 训练集 Loss: 0.626910 训练集 准确率: 0.878571 验证集 Loss: 0.766239 验证集 准确率: 0.816667 
Epoch 167 训练集 Loss: 0.682583 训练集 准确率: 0.871429 验证集 Loss: 0.765649 验证集 准确率: 0.820000 
Epoch 168 训练集 Loss: 0.691878 训练集 准确率: 0.828571 验证集 Loss: 0.765161 验证集 准确率: 0.820000 
Epoch 169 训练集 Loss: 0.639636 训练集 准确率: 0.871429 验证集 Loss: 0.764522 验证集 准确率: 0.823333 
Epoch 170 训练集 Loss: 0.706094 训练集 准确率: 0.850000 验证集 Loss: 0.763968 验证集 准确率: 0.823333 
Epoch 171 训练集 Loss: 0.678665 训练集 准确率: 0.864286 验证集 Loss: 0.763469 验证集 准确率: 0.826667 
Epoch 172 训练集 Loss: 0.621824 训练集 准确率: 0.921429 验证集 Loss: 0.762915 验证集 准确率: 0.826667 
Epoch 173 训练集 Loss: 0.795354 训练集 准确率: 0.850000 验证集 Loss: 0.762447 验证集 准确率: 0.826667 
Epoch 174 训练集 Loss: 0.731781 训练集 准确率: 0.842857 验证集 Loss: 0.761943 验证集 准确率: 0.823333 
Epoch 175 训练集 Loss: 0.623953 训练集 准确率: 0.892857 验证集 Loss: 0.761183 验证集 准确率: 0.820000 
Epoch 176 训练集 Loss: 0.718682 训练集 准确率: 0.814286 验证集 Loss: 0.759929 验证集 准确率: 0.820000 
Epoch 177 训练集 Loss: 0.625099 训练集 准确率: 0.857143 验证集 Loss: 0.758614 验证集 准确率: 0.826667 
Epoch 178 训练集 Loss: 0.671385 训练集 准确率: 0.871429 验证集 Loss: 0.757159 验证集 准确率: 0.823333 
Epoch 179 训练集 Loss: 0.633559 训练集 准确率: 0.907143 验证集 Loss: 0.755679 验证集 准确率: 0.820000 
Epoch 180 训练集 Loss: 0.590685 训练集 准确率: 0.878571 验证集 Loss: 0.754160 验证集 准确率: 0.820000 
Epoch 181 训练集 Loss: 0.689864 训练集 准确率: 0.850000 验证集 Loss: 0.752846 验证集 准确率: 0.816667 
Epoch 182 训练集 Loss: 0.644721 训练集 准确率: 0.850000 验证集 Loss: 0.751786 验证集 准确率: 0.816667 
Epoch 183 训练集 Loss: 0.657751 训练集 准确率: 0.864286 验证集 Loss: 0.750813 验证集 准确率: 0.816667 
Epoch 184 训练集 Loss: 0.641444 训练集 准确率: 0.850000 验证集 Loss: 0.749646 验证集 准确率: 0.816667 
Epoch 185 训练集 Loss: 0.668175 训练集 准确率: 0.850000 验证集 Loss: 0.748177 验证集 准确率: 0.813333 
Epoch 186 训练集 Loss: 0.634035 训练集 准确率: 0.871429 验证集 Loss: 0.746532 验证集 准确率: 0.813333 
Epoch 187 训练集 Loss: 0.636727 训练集 准确率: 0.871429 验证集 Loss: 0.744927 验证集 准确率: 0.813333 
Epoch 188 训练集 Loss: 0.640705 训练集 准确率: 0.871429 验证集 Loss: 0.743609 验证集 准确率: 0.813333 
Epoch 189 训练集 Loss: 0.665127 训练集 准确率: 0.850000 验证集 Loss: 0.741847 验证集 准确率: 0.810000 
Epoch 190 训练集 Loss: 0.619439 训练集 准确率: 0.857143 验证集 Loss: 0.740159 验证集 准确率: 0.813333 
Epoch 191 训练集 Loss: 0.694879 训练集 准确率: 0.828571 验证集 Loss: 0.738467 验证集 准确率: 0.813333 
Epoch 192 训练集 Loss: 0.687471 训练集 准确率: 0.864286 验证集 Loss: 0.736574 验证集 准确率: 0.813333 
Epoch 193 训练集 Loss: 0.598601 训练集 准确率: 0.885714 验证集 Loss: 0.734864 验证集 准确率: 0.813333 
Epoch 194 训练集 Loss: 0.658145 训练集 准确率: 0.850000 验证集 Loss: 0.733291 验证集 准确率: 0.813333 
Epoch 195 训练集 Loss: 0.722137 训练集 准确率: 0.821429 验证集 Loss: 0.731949 验证集 准确率: 0.813333 
Epoch 196 训练集 Loss: 0.726108 训练集 准确率: 0.835714 验证集 Loss: 0.730754 验证集 准确率: 0.813333 
Epoch 197 训练集 Loss: 0.645106 训练集 准确率: 0.864286 验证集 Loss: 0.729768 验证集 准确率: 0.813333 
Epoch 198 训练集 Loss: 0.675213 训练集 准确率: 0.857143 验证集 Loss: 0.728967 验证集 准确率: 0.810000 
Epoch 199 训练集 Loss: 0.697716 训练集 准确率: 0.857143 验证集 Loss: 0.728345 验证集 准确率: 0.810000 
Epoch 200 训练集 Loss: 0.582380 训练集 准确率: 0.907143 验证集 Loss: 0.727380 验证集 准确率: 0.810000 
Epoch 201 训练集 Loss: 0.677676 训练集 准确率: 0.842857 验证集 Loss: 0.726283 验证集 准确率: 0.810000 
Epoch 202 训练集 Loss: 0.598713 训练集 准确率: 0.878571 验证集 Loss: 0.725232 验证集 准确率: 0.810000 
Epoch 203 训练集 Loss: 0.654427 训练集 准确率: 0.878571 验证集 Loss: 0.724492 验证集 准确率: 0.810000 
Epoch 204 训练集 Loss: 0.632485 训练集 准确率: 0.864286 验证集 Loss: 0.723931 验证集 准确率: 0.810000 
Epoch 205 训练集 Loss: 0.698426 训练集 准确率: 0.842857 验证集 Loss: 0.723361 验证集 准确率: 0.810000 
Epoch 206 训练集 Loss: 0.641383 训练集 准确率: 0.850000 验证集 Loss: 0.723008 验证集 准确率: 0.810000 
Epoch 207 训练集 Loss: 0.594138 训练集 准确率: 0.885714 验证集 Loss: 0.723038 验证集 准确率: 0.813333 
Epoch 208 训练集 Loss: 0.677325 训练集 准确率: 0.857143 验证集 Loss: 0.723217 验证集 准确率: 0.813333 
Epoch 209 训练集 Loss: 0.720520 训练集 准确率: 0.800000 验证集 Loss: 0.723156 验证集 准确率: 0.810000 
Epoch 210 训练集 Loss: 0.617489 训练集 准确率: 0.850000 验证集 Loss: 0.722885 验证集 准确率: 0.810000 
Epoch 211 训练集 Loss: 0.682751 训练集 准确率: 0.821429 验证集 Loss: 0.722720 验证集 准确率: 0.810000 
Epoch 212 训练集 Loss: 0.715789 训练集 准确率: 0.807143 验证集 Loss: 0.722658 验证集 准确率: 0.813333 
Epoch 213 训练集 Loss: 0.785043 训练集 准确率: 0.800000 验证集 Loss: 0.722449 验证集 准确率: 0.816667 
Epoch 214 训练集 Loss: 0.662125 训练集 准确率: 0.828571 验证集 Loss: 0.722096 验证集 准确率: 0.816667 
Epoch 215 训练集 Loss: 0.608668 训练集 准确率: 0.828571 验证集 Loss: 0.721577 验证集 准确率: 0.820000 
Epoch 216 训练集 Loss: 0.602634 训练集 准确率: 0.857143 验证集 Loss: 0.721049 验证集 准确率: 0.820000 
Epoch 217 训练集 Loss: 0.572600 训练集 准确率: 0.921429 验证集 Loss: 0.720575 验证集 准确率: 0.820000 
Epoch 218 训练集 Loss: 0.592044 训练集 准确率: 0.900000 验证集 Loss: 0.720029 验证集 准确率: 0.820000 
Epoch 219 训练集 Loss: 0.643520 训练集 准确率: 0.864286 验证集 Loss: 0.719748 验证集 准确率: 0.823333 
Epoch 220 训练集 Loss: 0.719877 训练集 准确率: 0.842857 验证集 Loss: 0.719523 验证集 准确率: 0.820000 
Epoch 221 训练集 Loss: 0.630980 训练集 准确率: 0.850000 验证集 Loss: 0.719107 验证集 准确率: 0.820000 
Epoch 222 训练集 Loss: 0.612742 训练集 准确率: 0.892857 验证集 Loss: 0.718640 验证集 准确率: 0.820000 
Epoch 223 训练集 Loss: 0.619301 训练集 准确率: 0.857143 验证集 Loss: 0.718266 验证集 准确率: 0.820000 
Epoch 224 训练集 Loss: 0.701551 训练集 准确率: 0.842857 验证集 Loss: 0.717999 验证集 准确率: 0.820000 
Epoch 225 训练集 Loss: 0.649273 训练集 准确率: 0.850000 验证集 Loss: 0.717781 验证集 准确率: 0.823333 
Epoch 226 训练集 Loss: 0.667045 训练集 准确率: 0.864286 验证集 Loss: 0.717631 验证集 准确率: 0.823333 
Epoch 227 训练集 Loss: 0.632653 训练集 准确率: 0.857143 验证集 Loss: 0.717295 验证集 准确率: 0.823333 
Epoch 228 训练集 Loss: 0.629198 训练集 准确率: 0.850000 验证集 Loss: 0.716512 验证集 准确率: 0.820000 
Epoch 229 训练集 Loss: 0.624209 训练集 准确率: 0.892857 验证集 Loss: 0.715650 验证集 准确率: 0.820000 
Epoch 230 训练集 Loss: 0.657212 训练集 准确率: 0.857143 验证集 Loss: 0.714868 验证集 准确率: 0.820000 
Epoch 231 训练集 Loss: 0.565932 训练集 准确率: 0.857143 验证集 Loss: 0.713938 验证集 准确率: 0.820000 
Epoch 232 训练集 Loss: 0.715680 训练集 准确率: 0.835714 验证集 Loss: 0.713529 验证集 准确率: 0.820000 
Epoch 233 训练集 Loss: 0.596428 训练集 准确率: 0.878571 验证集 Loss: 0.713493 验证集 准确率: 0.820000 
Epoch 234 训练集 Loss: 0.641633 训练集 准确率: 0.821429 验证集 Loss: 0.713767 验证集 准确率: 0.823333 
Epoch 235 训练集 Loss: 0.648059 训练集 准确率: 0.857143 验证集 Loss: 0.714185 验证集 准确率: 0.826667 
Epoch 236 训练集 Loss: 0.557362 训练集 准确率: 0.885714 验证集 Loss: 0.714280 验证集 准确率: 0.823333 
Epoch 237 训练集 Loss: 0.758972 训练集 准确率: 0.785714 验证集 Loss: 0.714115 验证集 准确率: 0.823333 
Epoch 238 训练集 Loss: 0.583838 训练集 准确率: 0.878571 验证集 Loss: 0.713981 验证集 准确率: 0.823333 
Epoch 239 训练集 Loss: 0.638309 训练集 准确率: 0.871429 验证集 Loss: 0.713958 验证集 准确率: 0.823333 
Epoch 240 训练集 Loss: 0.643206 训练集 准确率: 0.878571 验证集 Loss: 0.713423 验证集 准确率: 0.823333 
Epoch 241 训练集 Loss: 0.675475 训练集 准确率: 0.864286 验证集 Loss: 0.713104 验证集 准确率: 0.820000 
Epoch 242 训练集 Loss: 0.606081 训练集 准确率: 0.835714 验证集 Loss: 0.712938 验证集 准确率: 0.820000 
Epoch 243 训练集 Loss: 0.626296 训练集 准确率: 0.857143 验证集 Loss: 0.712965 验证集 准确率: 0.820000 
Epoch 244 训练集 Loss: 0.612347 训练集 准确率: 0.864286 验证集 Loss: 0.713098 验证集 准确率: 0.820000 
Epoch 245 训练集 Loss: 0.550958 训练集 准确率: 0.892857 验证集 Loss: 0.713037 验证集 准确率: 0.820000 
Epoch 246 训练集 Loss: 0.573023 训练集 准确率: 0.885714 验证集 Loss: 0.712497 验证集 准确率: 0.820000 
Epoch 247 训练集 Loss: 0.620375 训练集 准确率: 0.892857 验证集 Loss: 0.711772 验证集 准确率: 0.820000 
Epoch 248 训练集 Loss: 0.571373 训练集 准确率: 0.878571 验证集 Loss: 0.711073 验证集 准确率: 0.820000 
Epoch 249 训练集 Loss: 0.570785 训练集 准确率: 0.864286 验证集 Loss: 0.710001 验证集 准确率: 0.820000 
Epoch 250 训练集 Loss: 0.654924 训练集 准确率: 0.842857 验证集 Loss: 0.708274 验证集 准确率: 0.820000 
Epoch 251 训练集 Loss: 0.644031 训练集 准确率: 0.850000 验证集 Loss: 0.706572 验证集 准确率: 0.820000 
Epoch 252 训练集 Loss: 0.720595 训练集 准确率: 0.835714 验证集 Loss: 0.704818 验证集 准确率: 0.820000 
Epoch 253 训练集 Loss: 0.671845 训练集 准确率: 0.857143 验证集 Loss: 0.703199 验证集 准确率: 0.820000 
Epoch 254 训练集 Loss: 0.553067 训练集 准确率: 0.864286 验证集 Loss: 0.701353 验证集 准确率: 0.823333 
Epoch 255 训练集 Loss: 0.628865 训练集 准确率: 0.821429 验证集 Loss: 0.699850 验证集 准确率: 0.823333 
Epoch 256 训练集 Loss: 0.628903 训练集 准确率: 0.864286 验证集 Loss: 0.698095 验证集 准确率: 0.820000 
Epoch 257 训练集 Loss: 0.623122 训练集 准确率: 0.857143 验证集 Loss: 0.696871 验证集 准确率: 0.816667 
Epoch 258 训练集 Loss: 0.683574 训练集 准确率: 0.871429 验证集 Loss: 0.695794 验证集 准确率: 0.820000 
Epoch 259 训练集 Loss: 0.486067 训练集 准确率: 0.878571 验证集 Loss: 0.694765 验证集 准确率: 0.816667 
Epoch 260 训练集 Loss: 0.611141 训练集 准确率: 0.857143 验证集 Loss: 0.693788 验证集 准确率: 0.816667 
Epoch 261 训练集 Loss: 0.586233 训练集 准确率: 0.871429 验证集 Loss: 0.692734 验证集 准确率: 0.816667 
Epoch 262 训练集 Loss: 0.714384 训练集 准确率: 0.778571 验证集 Loss: 0.691705 验证集 准确率: 0.816667 
Epoch 263 训练集 Loss: 0.680950 训练集 准确率: 0.814286 验证集 Loss: 0.690843 验证集 准确率: 0.816667 
Epoch 264 训练集 Loss: 0.650784 训练集 准确率: 0.864286 验证集 Loss: 0.690299 验证集 准确率: 0.816667 
Epoch 265 训练集 Loss: 0.593356 训练集 准确率: 0.857143 验证集 Loss: 0.690486 验证集 准确率: 0.816667 
Epoch 266 训练集 Loss: 0.603673 训练集 准确率: 0.842857 验证集 Loss: 0.690707 验证集 准确率: 0.816667 
Epoch 267 训练集 Loss: 0.643744 训练集 准确率: 0.821429 验证集 Loss: 0.690935 验证集 准确率: 0.816667 
Epoch 268 训练集 Loss: 0.668994 训练集 准确率: 0.857143 验证集 Loss: 0.691194 验证集 准确率: 0.816667 
Epoch 269 训练集 Loss: 0.612473 训练集 准确率: 0.857143 验证集 Loss: 0.691973 验证集 准确率: 0.816667 
Epoch 270 训练集 Loss: 0.512839 训练集 准确率: 0.871429 验证集 Loss: 0.692854 验证集 准确率: 0.816667 
Epoch 271 训练集 Loss: 0.647357 训练集 准确率: 0.835714 验证集 Loss: 0.693765 验证集 准确率: 0.816667 
Epoch 272 训练集 Loss: 0.537551 训练集 准确率: 0.857143 验证集 Loss: 0.694171 验证集 准确率: 0.813333 
Epoch 273 训练集 Loss: 0.613487 训练集 准确率: 0.878571 验证集 Loss: 0.694448 验证集 准确率: 0.813333 
Epoch 274 训练集 Loss: 0.583179 训练集 准确率: 0.892857 验证集 Loss: 0.694558 验证集 准确率: 0.816667 
Epoch 275 训练集 Loss: 0.630293 训练集 准确率: 0.892857 验证集 Loss: 0.694944 验证集 准确率: 0.816667 
Epoch 276 训练集 Loss: 0.604932 训练集 准确率: 0.821429 验证集 Loss: 0.695162 验证集 准确率: 0.810000 
Epoch 277 训练集 Loss: 0.654743 训练集 准确率: 0.885714 验证集 Loss: 0.695849 验证集 准确率: 0.813333 
Epoch 278 训练集 Loss: 0.668927 训练集 准确率: 0.842857 验证集 Loss: 0.696514 验证集 准确率: 0.813333 
Epoch 279 训练集 Loss: 0.602474 训练集 准确率: 0.857143 验证集 Loss: 0.696973 验证集 准确率: 0.813333 
Epoch 280 训练集 Loss: 0.622455 训练集 准确率: 0.850000 验证集 Loss: 0.697341 验证集 准确率: 0.813333 
Epoch 281 训练集 Loss: 0.572561 训练集 准确率: 0.878571 验证集 Loss: 0.697757 验证集 准确率: 0.813333 
Epoch 282 训练集 Loss: 0.642598 训练集 准确率: 0.878571 验证集 Loss: 0.697968 验证集 准确率: 0.813333 
Epoch 283 训练集 Loss: 0.531883 训练集 准确率: 0.864286 验证集 Loss: 0.697990 验证集 准确率: 0.813333 
Epoch 284 训练集 Loss: 0.686181 训练集 准确率: 0.835714 验证集 Loss: 0.697620 验证集 准确率: 0.813333 
Epoch 285 训练集 Loss: 0.554174 训练集 准确率: 0.928571 验证集 Loss: 0.697316 验证集 准确率: 0.813333 
Epoch 286 训练集 Loss: 0.519886 训练集 准确率: 0.892857 验证集 Loss: 0.696819 验证集 准确率: 0.813333 
Epoch 287 训练集 Loss: 0.643384 训练集 准确率: 0.878571 验证集 Loss: 0.696457 验证集 准确率: 0.813333 
Epoch 288 训练集 Loss: 0.625484 训练集 准确率: 0.828571 验证集 Loss: 0.696229 验证集 准确率: 0.810000 
Epoch 289 训练集 Loss: 0.657575 训练集 准确率: 0.885714 验证集 Loss: 0.696552 验证集 准确率: 0.813333 
Epoch 290 训练集 Loss: 0.732744 训练集 准确率: 0.814286 验证集 Loss: 0.696698 验证集 准确率: 0.813333 
Epoch 291 训练集 Loss: 0.605477 训练集 准确率: 0.842857 验证集 Loss: 0.696661 验证集 准确率: 0.816667 
Epoch 292 训练集 Loss: 0.512271 训练集 准确率: 0.878571 验证集 Loss: 0.696721 验证集 准确率: 0.816667 
Epoch 293 训练集 Loss: 0.542063 训练集 准确率: 0.885714 验证集 Loss: 0.696587 验证集 准确率: 0.816667 
Epoch 294 训练集 Loss: 0.597353 训练集 准确率: 0.885714 验证集 Loss: 0.696227 验证集 准确率: 0.816667 
Epoch 295 训练集 Loss: 0.638893 训练集 准确率: 0.850000 验证集 Loss: 0.696093 验证集 准确率: 0.816667 
Epoch 296 训练集 Loss: 0.555803 训练集 准确率: 0.885714 验证集 Loss: 0.695712 验证集 准确率: 0.813333 
Epoch 297 训练集 Loss: 0.544249 训练集 准确率: 0.885714 验证集 Loss: 0.695160 验证集 准确率: 0.816667 
Epoch 298 训练集 Loss: 0.553105 训练集 准确率: 0.871429 验证集 Loss: 0.694397 验证集 准确率: 0.816667 
Epoch 299 训练集 Loss: 0.540381 训练集 准确率: 0.871429 验证集 Loss: 0.693509 验证集 准确率: 0.816667 
Cora数据集 结果
最好验证集 第 134 Epoch 准确率 0.843333
对应测试集合 准确率: 0.840000

# 可以自己调整超参数，比如学习率，epoch数，看看结果变化如何
!python check_on_cora.py --use_demo_gat --epoch 300 --hidden_size 8 --learning_rate 0.005 --dropout 0.6

开始训练 Cora数据集 300 Epoch
Epoch 0 训练集 Loss: 1.944870 训练集 准确率: 0.185714 验证集 Loss: 1.936373 验证集 准确率: 0.473333 
Epoch 1 训练集 Loss: 1.931963 训练集 准确率: 0.428571 验证集 Loss: 1.925215 验证集 准确率: 0.453333 
Epoch 2 训练集 Loss: 1.918654 训练集 准确率: 0.428571 验证集 Loss: 1.914077 验证集 准确率: 0.433333 
Epoch 3 训练集 Loss: 1.904761 训练集 准确率: 0.428571 验证集 Loss: 1.902810 验证集 准确率: 0.413333 
Epoch 4 训练集 Loss: 1.895132 训练集 准确率: 0.407143 验证集 Loss: 1.891284 验证集 准确率: 0.410000 
Epoch 5 训练集 Loss: 1.885354 训练集 准确率: 0.421429 验证集 Loss: 1.879781 验证集 准确率: 0.413333 
Epoch 6 训练集 Loss: 1.870504 训练集 准确率: 0.407143 验证集 Loss: 1.868028 验证集 准确率: 0.400000 
Epoch 7 训练集 Loss: 1.845734 训练集 准确率: 0.400000 验证集 Loss: 1.855981 验证集 准确率: 0.400000 
Epoch 8 训练集 Loss: 1.837084 训练集 准确率: 0.435714 验证集 Loss: 1.843692 验证集 准确率: 0.396667 
Epoch 9 训练集 Loss: 1.819930 训练集 准确率: 0.400000 验证集 Loss: 1.831040 验证集 准确率: 0.393333 
Epoch 10 训练集 Loss: 1.818237 训练集 准确率: 0.392857 验证集 Loss: 1.818264 验证集 准确率: 0.396667 
Epoch 11 训练集 Loss: 1.794333 训练集 准确率: 0.435714 验证集 Loss: 1.805327 验证集 准确率: 0.400000 
Epoch 12 训练集 Loss: 1.797196 训练集 准确率: 0.442857 验证集 Loss: 1.792379 验证集 准确率: 0.403333 
Epoch 13 训练集 Loss: 1.762663 训练集 准确率: 0.457143 验证集 Loss: 1.779283 验证集 准确率: 0.406667 
Epoch 14 训练集 Loss: 1.742346 训练集 准确率: 0.421429 验证集 Loss: 1.765890 验证集 准确率: 0.413333 
Epoch 15 训练集 Loss: 1.778511 训练集 准确率: 0.421429 验证集 Loss: 1.752672 验证集 准确率: 0.423333 
Epoch 16 训练集 Loss: 1.722445 训练集 准确率: 0.421429 验证集 Loss: 1.739409 验证集 准确率: 0.433333 
Epoch 17 训练集 Loss: 1.681274 训练集 准确率: 0.471429 验证集 Loss: 1.725928 验证集 准确率: 0.436667 
Epoch 18 训练集 Loss: 1.669897 训练集 准确率: 0.478571 验证集 Loss: 1.712241 验证集 准确率: 0.443333 
Epoch 19 训练集 Loss: 1.664919 训练集 准确率: 0.457143 验证集 Loss: 1.698311 验证集 准确率: 0.443333 
Epoch 20 训练集 Loss: 1.674041 训练集 准确率: 0.500000 验证集 Loss: 1.684565 验证集 准确率: 0.450000 
Epoch 21 训练集 Loss: 1.628642 训练集 准确率: 0.485714 验证集 Loss: 1.670816 验证集 准确率: 0.456667 
Epoch 22 训练集 Loss: 1.638070 训练集 准确率: 0.492857 验证集 Loss: 1.657337 验证集 准确率: 0.463333 
Epoch 23 训练集 Loss: 1.610628 训练集 准确率: 0.507143 验证集 Loss: 1.643852 验证集 准确率: 0.470000 
Epoch 24 训练集 Loss: 1.617966 训练集 准确率: 0.471429 验证集 Loss: 1.630575 验证集 准确率: 0.476667 
Epoch 25 训练集 Loss: 1.562477 训练集 准确率: 0.514286 验证集 Loss: 1.617286 验证集 准确率: 0.486667 
Epoch 26 训练集 Loss: 1.553181 训练集 准确率: 0.550000 验证集 Loss: 1.603992 验证集 准确率: 0.506667 
Epoch 27 训练集 Loss: 1.532034 训练集 准确率: 0.535714 验证集 Loss: 1.590466 验证集 准确率: 0.513333 
Epoch 28 训练集 Loss: 1.536950 训练集 准确率: 0.507143 验证集 Loss: 1.577003 验证集 准确率: 0.533333 
Epoch 29 训练集 Loss: 1.521096 训练集 准确率: 0.578571 验证集 Loss: 1.563721 验证集 准确率: 0.553333 
Epoch 30 训练集 Loss: 1.535335 训练集 准确率: 0.542857 验证集 Loss: 1.550680 验证集 准确率: 0.566667 
Epoch 31 训练集 Loss: 1.446667 训练集 准确率: 0.578571 验证集 Loss: 1.537622 验证集 准确率: 0.576667 
Epoch 32 训练集 Loss: 1.466694 训练集 准确率: 0.671429 验证集 Loss: 1.524450 验证集 准确率: 0.593333 
Epoch 33 训练集 Loss: 1.463250 训练集 准确率: 0.592857 验证集 Loss: 1.511473 验证集 准确率: 0.613333 
Epoch 34 训练集 Loss: 1.459605 训练集 准确率: 0.585714 验证集 Loss: 1.498596 验证集 准确率: 0.626667 
Epoch 35 训练集 Loss: 1.391361 训练集 准确率: 0.678571 验证集 Loss: 1.485803 验证集 准确率: 0.636667 
Epoch 36 训练集 Loss: 1.461001 训练集 准确率: 0.614286 验证集 Loss: 1.473296 验证集 准确率: 0.646667 
Epoch 37 训练集 Loss: 1.414790 训练集 准确率: 0.671429 验证集 Loss: 1.461001 验证集 准确率: 0.653333 
Epoch 38 训练集 Loss: 1.420396 训练集 准确率: 0.700000 验证集 Loss: 1.448838 验证集 准确率: 0.670000 
Epoch 39 训练集 Loss: 1.401871 训练集 准确率: 0.700000 验证集 Loss: 1.436836 验证集 准确率: 0.683333 
Epoch 40 训练集 Loss: 1.405720 训练集 准确率: 0.707143 验证集 Loss: 1.424858 验证集 准确率: 0.686667 
Epoch 41 训练集 Loss: 1.357390 训练集 准确率: 0.678571 验证集 Loss: 1.412910 验证集 准确率: 0.700000 
Epoch 42 训练集 Loss: 1.355996 训练集 准确率: 0.757143 验证集 Loss: 1.400903 验证集 准确率: 0.716667 
Epoch 43 训练集 Loss: 1.355962 训练集 准确率: 0.735714 验证集 Loss: 1.388987 验证集 准确率: 0.730000 
Epoch 44 训练集 Loss: 1.333679 训练集 准确率: 0.757143 验证集 Loss: 1.377407 验证集 准确率: 0.733333 
Epoch 45 训练集 Loss: 1.317032 训练集 准确率: 0.771429 验证集 Loss: 1.365793 验证集 准确率: 0.736667 
Epoch 46 训练集 Loss: 1.264977 训练集 准确率: 0.757143 验证集 Loss: 1.354015 验证集 准确率: 0.740000 
Epoch 47 训练集 Loss: 1.290309 训练集 准确率: 0.742857 验证集 Loss: 1.342145 验证集 准确率: 0.746667 
Epoch 48 训练集 Loss: 1.271831 训练集 准确率: 0.778571 验证集 Loss: 1.330421 验证集 准确率: 0.760000 
Epoch 49 训练集 Loss: 1.215728 训练集 准确率: 0.742857 验证集 Loss: 1.318735 验证集 准确率: 0.766667 
Epoch 50 训练集 Loss: 1.204452 训练集 准确率: 0.785714 验证集 Loss: 1.307211 验证集 准确率: 0.770000 
Epoch 51 训练集 Loss: 1.166929 训练集 准确率: 0.778571 验证集 Loss: 1.295743 验证集 准确率: 0.776667 
Epoch 52 训练集 Loss: 1.178409 训练集 准确率: 0.750000 验证集 Loss: 1.284309 验证集 准确率: 0.780000 
Epoch 53 训练集 Loss: 1.156339 训练集 准确率: 0.821429 验证集 Loss: 1.272977 验证集 准确率: 0.790000 
Epoch 54 训练集 Loss: 1.198449 训练集 准确率: 0.742857 验证集 Loss: 1.261700 验证集 准确率: 0.793333 
Epoch 55 训练集 Loss: 1.144881 训练集 准确率: 0.800000 验证集 Loss: 1.250697 验证集 准确率: 0.790000 
Epoch 56 训练集 Loss: 1.153740 训练集 准确率: 0.771429 验证集 Loss: 1.239864 验证集 准确率: 0.790000 
Epoch 57 训练集 Loss: 1.167774 训练集 准确率: 0.771429 验证集 Loss: 1.229121 验证集 准确率: 0.803333 
Epoch 58 训练集 Loss: 1.094567 训练集 准确率: 0.757143 验证集 Loss: 1.218517 验证集 准确率: 0.806667 
Epoch 59 训练集 Loss: 1.083512 训练集 准确率: 0.828571 验证集 Loss: 1.208102 验证集 准确率: 0.813333 
Epoch 60 训练集 Loss: 1.112060 训练集 准确率: 0.785714 验证集 Loss: 1.197574 验证集 准确率: 0.810000 
Epoch 61 训练集 Loss: 1.013804 训练集 准确率: 0.835714 验证集 Loss: 1.186983 验证集 准确率: 0.810000 
Epoch 62 训练集 Loss: 1.012761 训练集 准确率: 0.800000 验证集 Loss: 1.176418 验证集 准确率: 0.810000 
Epoch 63 训练集 Loss: 1.106233 训练集 准确率: 0.778571 验证集 Loss: 1.166171 验证集 准确率: 0.810000 
Epoch 64 训练集 Loss: 1.048881 训练集 准确率: 0.800000 验证集 Loss: 1.156112 验证集 准确率: 0.810000 
Epoch 65 训练集 Loss: 1.052881 训练集 准确率: 0.792857 验证集 Loss: 1.146320 验证集 准确率: 0.810000 
Epoch 66 训练集 Loss: 1.034387 训练集 准确率: 0.800000 验证集 Loss: 1.136673 验证集 准确率: 0.810000 
Epoch 67 训练集 Loss: 1.020618 训练集 准确率: 0.835714 验证集 Loss: 1.127160 验证集 准确率: 0.813333 
Epoch 68 训练集 Loss: 1.095974 训练集 准确率: 0.800000 验证集 Loss: 1.118004 验证集 准确率: 0.813333 
Epoch 69 训练集 Loss: 1.062171 训练集 准确率: 0.792857 验证集 Loss: 1.109102 验证集 准确率: 0.813333 
Epoch 70 训练集 Loss: 0.984060 训练集 准确率: 0.864286 验证集 Loss: 1.100481 验证集 准确率: 0.813333 
Epoch 71 训练集 Loss: 1.010740 训练集 准确率: 0.800000 验证集 Loss: 1.092262 验证集 准确率: 0.813333 
Epoch 72 训练集 Loss: 0.953159 训练集 准确率: 0.850000 验证集 Loss: 1.084061 验证集 准确率: 0.816667 
Epoch 73 训练集 Loss: 1.040848 训练集 准确率: 0.807143 验证集 Loss: 1.076382 验证集 准确率: 0.816667 
Epoch 74 训练集 Loss: 0.937687 训练集 准确率: 0.814286 验证集 Loss: 1.069059 验证集 准确率: 0.816667 
Epoch 75 训练集 Loss: 0.946815 训练集 准确率: 0.821429 验证集 Loss: 1.061788 验证集 准确率: 0.816667 
Epoch 76 训练集 Loss: 0.926296 训练集 准确率: 0.821429 验证集 Loss: 1.054719 验证集 准确率: 0.816667 
Epoch 77 训练集 Loss: 1.000022 训练集 准确率: 0.792857 验证集 Loss: 1.047756 验证集 准确率: 0.816667 
Epoch 78 训练集 Loss: 0.883654 训练集 准确率: 0.807143 验证集 Loss: 1.041017 验证集 准确率: 0.816667 
Epoch 79 训练集 Loss: 0.999353 训练集 准确率: 0.864286 验证集 Loss: 1.034733 验证集 准确率: 0.820000 
Epoch 80 训练集 Loss: 0.973948 训练集 准确率: 0.864286 验证集 Loss: 1.028933 验证集 准确率: 0.820000 
Epoch 81 训练集 Loss: 0.978351 训练集 准确率: 0.814286 验证集 Loss: 1.023189 验证集 准确率: 0.823333 
Epoch 82 训练集 Loss: 1.094905 训练集 准确率: 0.750000 验证集 Loss: 1.017798 验证集 准确率: 0.823333 
Epoch 83 训练集 Loss: 0.938728 训练集 准确率: 0.807143 验证集 Loss: 1.012440 验证集 准确率: 0.823333 
Epoch 84 训练集 Loss: 0.992946 训练集 准确率: 0.821429 验证集 Loss: 1.007176 验证集 准确率: 0.826667 
Epoch 85 训练集 Loss: 0.909050 训练集 准确率: 0.821429 验证集 Loss: 1.002061 验证集 准确率: 0.826667 
Epoch 86 训练集 Loss: 0.831845 训练集 准确率: 0.828571 验证集 Loss: 0.997060 验证集 准确率: 0.826667 
Epoch 87 训练集 Loss: 0.936088 训练集 准确率: 0.864286 验证集 Loss: 0.992224 验证集 准确率: 0.830000 
Epoch 88 训练集 Loss: 0.911827 训练集 准确率: 0.821429 验证集 Loss: 0.987370 验证集 准确率: 0.826667 
Epoch 89 训练集 Loss: 0.864775 训练集 准确率: 0.885714 验证集 Loss: 0.982584 验证集 准确率: 0.823333 
Epoch 90 训练集 Loss: 0.965157 训练集 准确率: 0.778571 验证集 Loss: 0.978143 验证集 准确率: 0.816667 
Epoch 91 训练集 Loss: 0.956420 训练集 准确率: 0.771429 验证集 Loss: 0.973911 验证集 准确率: 0.813333 
Epoch 92 训练集 Loss: 0.941865 训练集 准确率: 0.814286 验证集 Loss: 0.969516 验证集 准确率: 0.816667 
Epoch 93 训练集 Loss: 0.927697 训练集 准确率: 0.835714 验证集 Loss: 0.965179 验证集 准确率: 0.816667 
Epoch 94 训练集 Loss: 0.869655 训练集 准确率: 0.857143 验证集 Loss: 0.960750 验证集 准确率: 0.816667 
Epoch 95 训练集 Loss: 0.873718 训练集 准确率: 0.821429 验证集 Loss: 0.956495 验证集 准确率: 0.816667 
Epoch 96 训练集 Loss: 0.943754 训练集 准确率: 0.792857 验证集 Loss: 0.952121 验证集 准确率: 0.820000 
Epoch 97 训练集 Loss: 0.813422 训练集 准确率: 0.835714 验证集 Loss: 0.947673 验证集 准确率: 0.816667 
Epoch 98 训练集 Loss: 0.869549 训练集 准确率: 0.828571 验证集 Loss: 0.943279 验证集 准确率: 0.816667 
Epoch 99 训练集 Loss: 0.841218 训练集 准确率: 0.850000 验证集 Loss: 0.938879 验证集 准确率: 0.816667 
Epoch 100 训练集 Loss: 0.881623 训练集 准确率: 0.785714 验证集 Loss: 0.934879 验证集 准确率: 0.820000 
Epoch 101 训练集 Loss: 0.924270 训练集 准确率: 0.814286 验证集 Loss: 0.930982 验证集 准确率: 0.820000 
Epoch 102 训练集 Loss: 0.795454 训练集 准确率: 0.878571 验证集 Loss: 0.927396 验证集 准确率: 0.816667 
Epoch 103 训练集 Loss: 0.824861 训练集 准确率: 0.842857 验证集 Loss: 0.923789 验证集 准确率: 0.820000 
Epoch 104 训练集 Loss: 0.783423 训练集 准确率: 0.857143 验证集 Loss: 0.920042 验证集 准确率: 0.820000 
Epoch 105 训练集 Loss: 0.957735 训练集 准确率: 0.785714 验证集 Loss: 0.916428 验证集 准确率: 0.820000 
Epoch 106 训练集 Loss: 0.845810 训练集 准确率: 0.850000 验证集 Loss: 0.912770 验证集 准确率: 0.820000 
Epoch 107 训练集 Loss: 0.847007 训练集 准确率: 0.835714 验证集 Loss: 0.909209 验证集 准确率: 0.820000 
Epoch 108 训练集 Loss: 0.856236 训练集 准确率: 0.835714 验证集 Loss: 0.905775 验证集 准确率: 0.823333 
Epoch 109 训练集 Loss: 0.836122 训练集 准确率: 0.828571 验证集 Loss: 0.902305 验证集 准确率: 0.823333 
Epoch 110 训练集 Loss: 0.773518 训练集 准确率: 0.857143 验证集 Loss: 0.898698 验证集 准确率: 0.823333 
Epoch 111 训练集 Loss: 0.830406 训练集 准确率: 0.864286 验证集 Loss: 0.895235 验证集 准确率: 0.826667 
Epoch 112 训练集 Loss: 0.817017 训练集 准确率: 0.828571 验证集 Loss: 0.892033 验证集 准确率: 0.833333 
Epoch 113 训练集 Loss: 0.854027 训练集 准确率: 0.814286 验证集 Loss: 0.888718 验证集 准确率: 0.833333 
Epoch 114 训练集 Loss: 0.789223 训练集 准确率: 0.842857 验证集 Loss: 0.885527 验证集 准确率: 0.833333 
Epoch 115 训练集 Loss: 0.799206 训练集 准确率: 0.885714 验证集 Loss: 0.882253 验证集 准确率: 0.833333 
Epoch 116 训练集 Loss: 0.770884 训练集 准确率: 0.850000 验证集 Loss: 0.879206 验证集 准确率: 0.830000 
Epoch 117 训练集 Loss: 0.844160 训练集 准确率: 0.842857 验证集 Loss: 0.876211 验证集 准确率: 0.830000 
Epoch 118 训练集 Loss: 0.826340 训练集 准确率: 0.835714 验证集 Loss: 0.873529 验证集 准确率: 0.830000 
Epoch 119 训练集 Loss: 0.796217 训练集 准确率: 0.842857 验证集 Loss: 0.870964 验证集 准确率: 0.830000 
Epoch 120 训练集 Loss: 0.791550 训练集 准确率: 0.842857 验证集 Loss: 0.868578 验证集 准确率: 0.826667 
Epoch 121 训练集 Loss: 0.825081 训练集 准确率: 0.835714 验证集 Loss: 0.866150 验证集 准确率: 0.830000 
Epoch 122 训练集 Loss: 0.803928 训练集 准确率: 0.828571 验证集 Loss: 0.863395 验证集 准确率: 0.830000 
Epoch 123 训练集 Loss: 0.791957 训练集 准确率: 0.828571 验证集 Loss: 0.860825 验证集 准确率: 0.833333 
Epoch 124 训练集 Loss: 0.771027 训练集 准确率: 0.850000 验证集 Loss: 0.858058 验证集 准确率: 0.833333 
Epoch 125 训练集 Loss: 0.692590 训练集 准确率: 0.871429 验证集 Loss: 0.855330 验证集 准确率: 0.833333 
Epoch 126 训练集 Loss: 0.752328 训练集 准确率: 0.828571 验证集 Loss: 0.852660 验证集 准确率: 0.833333 
Epoch 127 训练集 Loss: 0.791501 训练集 准确率: 0.850000 验证集 Loss: 0.849985 验证集 准确率: 0.826667 
Epoch 128 训练集 Loss: 0.785056 训练集 准确率: 0.828571 验证集 Loss: 0.847546 验证集 准确率: 0.826667 
Epoch 129 训练集 Loss: 0.820265 训练集 准确率: 0.871429 验证集 Loss: 0.844911 验证集 准确率: 0.826667 
Epoch 130 训练集 Loss: 0.887388 训练集 准确率: 0.835714 验证集 Loss: 0.842210 验证集 准确率: 0.826667 
Epoch 131 训练集 Loss: 0.793415 训练集 准确率: 0.864286 验证集 Loss: 0.839435 验证集 准确率: 0.826667 
Epoch 132 训练集 Loss: 0.669281 训练集 准确率: 0.892857 验证集 Loss: 0.836723 验证集 准确率: 0.826667 
Epoch 133 训练集 Loss: 0.730092 训练集 准确率: 0.878571 验证集 Loss: 0.834141 验证集 准确率: 0.830000 
Epoch 134 训练集 Loss: 0.719277 训练集 准确率: 0.885714 验证集 Loss: 0.831639 验证集 准确率: 0.830000 
Epoch 135 训练集 Loss: 0.812475 训练集 准确率: 0.842857 验证集 Loss: 0.829019 验证集 准确率: 0.830000 
Epoch 136 训练集 Loss: 0.819694 训练集 准确率: 0.835714 验证集 Loss: 0.826303 验证集 准确率: 0.826667 
Epoch 137 训练集 Loss: 0.765155 训练集 准确率: 0.857143 验证集 Loss: 0.823702 验证集 准确率: 0.826667 
Epoch 138 训练集 Loss: 0.803066 训练集 准确率: 0.814286 验证集 Loss: 0.820865 验证集 准确率: 0.826667 
Epoch 139 训练集 Loss: 0.788037 训练集 准确率: 0.864286 验证集 Loss: 0.817842 验证集 准确率: 0.826667 
Epoch 140 训练集 Loss: 0.762044 训练集 准确率: 0.835714 验证集 Loss: 0.815073 验证集 准确率: 0.826667 
Epoch 141 训练集 Loss: 0.674054 训练集 准确率: 0.857143 验证集 Loss: 0.812265 验证集 准确率: 0.826667 
Epoch 142 训练集 Loss: 0.678773 训练集 准确率: 0.907143 验证集 Loss: 0.809296 验证集 准确率: 0.826667 
Epoch 143 训练集 Loss: 0.775973 训练集 准确率: 0.842857 验证集 Loss: 0.806497 验证集 准确率: 0.823333 
Epoch 144 训练集 Loss: 0.729799 训练集 准确率: 0.821429 验证集 Loss: 0.803901 验证集 准确率: 0.823333 
Epoch 145 训练集 Loss: 0.721751 训练集 准确率: 0.850000 验证集 Loss: 0.801563 验证集 准确率: 0.823333 
Epoch 146 训练集 Loss: 0.657258 训练集 准确率: 0.878571 验证集 Loss: 0.799133 验证集 准确率: 0.823333 
Epoch 147 训练集 Loss: 0.778939 训练集 准确率: 0.857143 验证集 Loss: 0.796890 验证集 准确率: 0.823333 
Epoch 148 训练集 Loss: 0.665761 训练集 准确率: 0.850000 验证集 Loss: 0.794449 验证集 准确率: 0.823333 
Epoch 149 训练集 Loss: 0.707834 训练集 准确率: 0.892857 验证集 Loss: 0.791949 验证集 准确率: 0.823333 
Epoch 150 训练集 Loss: 0.706470 训练集 准确率: 0.871429 验证集 Loss: 0.789847 验证集 准确率: 0.823333 
Epoch 151 训练集 Loss: 0.738798 训练集 准确率: 0.850000 验证集 Loss: 0.787818 验证集 准确率: 0.823333 
Epoch 152 训练集 Loss: 0.687988 训练集 准确率: 0.857143 验证集 Loss: 0.785975 验证集 准确率: 0.820000 
Epoch 153 训练集 Loss: 0.664849 训练集 准确率: 0.857143 验证集 Loss: 0.784126 验证集 准确率: 0.820000 
Epoch 154 训练集 Loss: 0.646888 训练集 准确率: 0.900000 验证集 Loss: 0.782440 验证集 准确率: 0.820000 
Epoch 155 训练集 Loss: 0.645676 训练集 准确率: 0.871429 验证集 Loss: 0.781149 验证集 准确率: 0.816667 
Epoch 156 训练集 Loss: 0.644604 训练集 准确率: 0.892857 验证集 Loss: 0.780100 验证集 准确率: 0.816667 
Epoch 157 训练集 Loss: 0.730179 训练集 准确率: 0.857143 验证集 Loss: 0.779036 验证集 准确率: 0.816667 
Epoch 158 训练集 Loss: 0.690444 训练集 准确率: 0.842857 验证集 Loss: 0.778025 验证集 准确率: 0.816667 
Epoch 159 训练集 Loss: 0.711845 训练集 准确率: 0.850000 验证集 Loss: 0.777052 验证集 准确率: 0.816667 
Epoch 160 训练集 Loss: 0.694467 训练集 准确率: 0.814286 验证集 Loss: 0.775889 验证集 准确率: 0.816667 
Epoch 161 训练集 Loss: 0.714137 训练集 准确率: 0.828571 验证集 Loss: 0.774857 验证集 准确率: 0.816667 
Epoch 162 训练集 Loss: 0.666141 训练集 准确率: 0.850000 验证集 Loss: 0.773987 验证集 准确率: 0.816667 
Epoch 163 训练集 Loss: 0.609264 训练集 准确率: 0.900000 验证集 Loss: 0.773127 验证集 准确率: 0.816667 
Epoch 164 训练集 Loss: 0.687074 训练集 准确率: 0.857143 验证集 Loss: 0.772027 验证集 准确率: 0.820000 
Epoch 165 训练集 Loss: 0.770525 训练集 准确率: 0.814286 验证集 Loss: 0.770972 验证集 准确率: 0.820000 
Epoch 166 训练集 Loss: 0.687907 训练集 准确率: 0.850000 验证集 Loss: 0.769754 验证集 准确率: 0.820000 
Epoch 167 训练集 Loss: 0.590464 训练集 准确率: 0.878571 验证集 Loss: 0.768461 验证集 准确率: 0.820000 
Epoch 168 训练集 Loss: 0.695990 训练集 准确率: 0.835714 验证集 Loss: 0.767427 验证集 准确率: 0.820000 
Epoch 169 训练集 Loss: 0.756424 训练集 准确率: 0.828571 验证集 Loss: 0.767003 验证集 准确率: 0.820000 
Epoch 170 训练集 Loss: 0.719531 训练集 准确率: 0.857143 验证集 Loss: 0.766827 验证集 准确率: 0.820000 
Epoch 171 训练集 Loss: 0.702499 训练集 准确率: 0.842857 验证集 Loss: 0.766585 验证集 准确率: 0.820000 
Epoch 172 训练集 Loss: 0.663032 训练集 准确率: 0.857143 验证集 Loss: 0.766610 验证集 准确率: 0.813333 
Epoch 173 训练集 Loss: 0.763165 训练集 准确率: 0.821429 验证集 Loss: 0.766502 验证集 准确率: 0.813333 
Epoch 174 训练集 Loss: 0.732724 训练集 准确率: 0.821429 验证集 Loss: 0.766400 验证集 准确率: 0.813333 
Epoch 175 训练集 Loss: 0.699750 训练集 准确率: 0.864286 验证集 Loss: 0.766042 验证集 准确率: 0.813333 
Epoch 176 训练集 Loss: 0.724975 训练集 准确率: 0.835714 验证集 Loss: 0.765778 验证集 准确率: 0.813333 
Epoch 177 训练集 Loss: 0.553538 训练集 准确率: 0.900000 验证集 Loss: 0.765410 验证集 准确率: 0.813333 
Epoch 178 训练集 Loss: 0.664400 训练集 准确率: 0.857143 验证集 Loss: 0.764619 验证集 准确率: 0.813333 
Epoch 179 训练集 Loss: 0.709843 训练集 准确率: 0.821429 验证集 Loss: 0.763641 验证集 准确率: 0.816667 
Epoch 180 训练集 Loss: 0.657809 训练集 准确率: 0.864286 验证集 Loss: 0.762223 验证集 准确率: 0.813333 
Epoch 181 训练集 Loss: 0.564480 训练集 准确率: 0.907143 验证集 Loss: 0.760637 验证集 准确率: 0.813333 
Epoch 182 训练集 Loss: 0.589472 训练集 准确率: 0.892857 验证集 Loss: 0.758906 验证集 准确率: 0.813333 
Epoch 183 训练集 Loss: 0.590495 训练集 准确率: 0.871429 验证集 Loss: 0.757379 验证集 准确率: 0.813333 
Epoch 184 训练集 Loss: 0.687330 训练集 准确率: 0.842857 验证集 Loss: 0.755924 验证集 准确率: 0.813333 
Epoch 185 训练集 Loss: 0.579432 训练集 准确率: 0.864286 验证集 Loss: 0.754643 验证集 准确率: 0.813333 
Epoch 186 训练集 Loss: 0.643260 训练集 准确率: 0.864286 验证集 Loss: 0.753397 验证集 准确率: 0.813333 
Epoch 187 训练集 Loss: 0.624922 训练集 准确率: 0.842857 验证集 Loss: 0.752233 验证集 准确率: 0.813333 
Epoch 188 训练集 Loss: 0.681578 训练集 准确率: 0.850000 验证集 Loss: 0.750972 验证集 准确率: 0.813333 
Epoch 189 训练集 Loss: 0.713111 训练集 准确率: 0.821429 验证集 Loss: 0.749702 验证集 准确率: 0.813333 
Epoch 190 训练集 Loss: 0.674430 训练集 准确率: 0.857143 验证集 Loss: 0.748366 验证集 准确率: 0.813333 
Epoch 191 训练集 Loss: 0.581182 训练集 准确率: 0.878571 验证集 Loss: 0.746883 验证集 准确率: 0.816667 
Epoch 192 训练集 Loss: 0.678670 训练集 准确率: 0.857143 验证集 Loss: 0.745544 验证集 准确率: 0.816667 
Epoch 193 训练集 Loss: 0.770089 训练集 准确率: 0.785714 验证集 Loss: 0.744418 验证集 准确率: 0.816667 
Epoch 194 训练集 Loss: 0.680616 训练集 准确率: 0.864286 验证集 Loss: 0.743548 验证集 准确率: 0.813333 
Epoch 195 训练集 Loss: 0.538317 训练集 准确率: 0.921429 验证集 Loss: 0.742801 验证集 准确率: 0.816667 
Epoch 196 训练集 Loss: 0.701965 训练集 准确率: 0.828571 验证集 Loss: 0.742069 验证集 准确率: 0.816667 
Epoch 197 训练集 Loss: 0.724312 训练集 准确率: 0.807143 验证集 Loss: 0.741484 验证集 准确率: 0.816667 
Epoch 198 训练集 Loss: 0.724622 训练集 准确率: 0.857143 验证集 Loss: 0.740596 验证集 准确率: 0.820000 
Epoch 199 训练集 Loss: 0.640583 训练集 准确率: 0.842857 验证集 Loss: 0.739406 验证集 准确率: 0.820000 
Epoch 200 训练集 Loss: 0.645867 训练集 准确率: 0.835714 验证集 Loss: 0.738183 验证集 准确率: 0.820000 
Epoch 201 训练集 Loss: 0.650543 训练集 准确率: 0.864286 验证集 Loss: 0.737012 验证集 准确率: 0.820000 
Epoch 202 训练集 Loss: 0.779684 训练集 准确率: 0.800000 验证集 Loss: 0.735689 验证集 准确率: 0.820000 
Epoch 203 训练集 Loss: 0.644208 训练集 准确率: 0.900000 验证集 Loss: 0.734768 验证集 准确率: 0.816667 
Epoch 204 训练集 Loss: 0.639790 训练集 准确率: 0.857143 验证集 Loss: 0.733997 验证集 准确率: 0.816667 
Epoch 205 训练集 Loss: 0.703676 训练集 准确率: 0.878571 验证集 Loss: 0.733244 验证集 准确率: 0.816667 
Epoch 206 训练集 Loss: 0.718795 训练集 准确率: 0.821429 验证集 Loss: 0.732580 验证集 准确率: 0.816667 
Epoch 207 训练集 Loss: 0.634188 训练集 准确率: 0.885714 验证集 Loss: 0.732195 验证集 准确率: 0.816667 
Epoch 208 训练集 Loss: 0.672452 训练集 准确率: 0.835714 验证集 Loss: 0.731591 验证集 准确率: 0.816667 
Epoch 209 训练集 Loss: 0.671304 训练集 准确率: 0.835714 验证集 Loss: 0.730891 验证集 准确率: 0.816667 
Epoch 210 训练集 Loss: 0.707515 训练集 准确率: 0.814286 验证集 Loss: 0.729884 验证集 准确率: 0.816667 
Epoch 211 训练集 Loss: 0.541235 训练集 准确率: 0.885714 验证集 Loss: 0.728645 验证集 准确率: 0.816667 
Epoch 212 训练集 Loss: 0.620149 训练集 准确率: 0.850000 验证集 Loss: 0.727492 验证集 准确率: 0.816667 
Epoch 213 训练集 Loss: 0.626826 训练集 准确率: 0.885714 验证集 Loss: 0.726376 验证集 准确率: 0.820000 
Epoch 214 训练集 Loss: 0.640810 训练集 准确率: 0.864286 验证集 Loss: 0.725385 验证集 准确率: 0.820000 
Epoch 215 训练集 Loss: 0.578682 训练集 准确率: 0.864286 验证集 Loss: 0.724723 验证集 准确率: 0.820000 
Epoch 216 训练集 Loss: 0.613607 训练集 准确率: 0.878571 验证集 Loss: 0.724086 验证集 准确率: 0.816667 
Epoch 217 训练集 Loss: 0.738987 训练集 准确率: 0.835714 验证集 Loss: 0.723341 验证集 准确率: 0.816667 
Epoch 218 训练集 Loss: 0.608925 训练集 准确率: 0.885714 验证集 Loss: 0.722780 验证集 准确率: 0.816667 
Epoch 219 训练集 Loss: 0.543886 训练集 准确率: 0.900000 验证集 Loss: 0.722222 验证集 准确率: 0.820000 
Epoch 220 训练集 Loss: 0.607927 训练集 准确率: 0.892857 验证集 Loss: 0.721509 验证集 准确率: 0.820000 
Epoch 221 训练集 Loss: 0.679129 训练集 准确率: 0.850000 验证集 Loss: 0.720707 验证集 准确率: 0.820000 
Epoch 222 训练集 Loss: 0.749807 训练集 准确率: 0.828571 验证集 Loss: 0.720019 验证集 准确率: 0.820000 
Epoch 223 训练集 Loss: 0.636012 训练集 准确率: 0.864286 验证集 Loss: 0.719359 验证集 准确率: 0.820000 
Epoch 224 训练集 Loss: 0.612779 训练集 准确率: 0.864286 验证集 Loss: 0.718717 验证集 准确率: 0.816667 
Epoch 225 训练集 Loss: 0.565032 训练集 准确率: 0.900000 验证集 Loss: 0.718249 验证集 准确率: 0.816667 
Epoch 226 训练集 Loss: 0.566292 训练集 准确率: 0.857143 验证集 Loss: 0.717732 验证集 准确率: 0.816667 
Epoch 227 训练集 Loss: 0.708789 训练集 准确率: 0.792857 验证集 Loss: 0.717423 验证集 准确率: 0.816667 
Epoch 228 训练集 Loss: 0.587991 训练集 准确率: 0.871429 验证集 Loss: 0.717009 验证集 准确率: 0.816667 
Epoch 229 训练集 Loss: 0.668780 训练集 准确率: 0.871429 验证集 Loss: 0.716311 验证集 准确率: 0.816667 
Epoch 230 训练集 Loss: 0.551039 训练集 准确率: 0.892857 验证集 Loss: 0.715819 验证集 准确率: 0.813333 
Epoch 231 训练集 Loss: 0.582124 训练集 准确率: 0.864286 验证集 Loss: 0.715462 验证集 准确率: 0.813333 
Epoch 232 训练集 Loss: 0.672589 训练集 准确率: 0.864286 验证集 Loss: 0.715146 验证集 准确率: 0.813333 
Epoch 233 训练集 Loss: 0.640976 训练集 准确率: 0.878571 验证集 Loss: 0.714745 验证集 准确率: 0.813333 
Epoch 234 训练集 Loss: 0.612620 训练集 准确率: 0.864286 验证集 Loss: 0.714431 验证集 准确率: 0.813333 
Epoch 235 训练集 Loss: 0.600518 训练集 准确率: 0.842857 验证集 Loss: 0.714340 验证集 准确率: 0.813333 
Epoch 236 训练集 Loss: 0.578851 训练集 准确率: 0.900000 验证集 Loss: 0.714157 验证集 准确率: 0.813333 
Epoch 237 训练集 Loss: 0.564849 训练集 准确率: 0.885714 验证集 Loss: 0.713750 验证集 准确率: 0.813333 
Epoch 238 训练集 Loss: 0.666522 训练集 准确率: 0.871429 验证集 Loss: 0.713372 验证集 准确率: 0.813333 
Epoch 239 训练集 Loss: 0.640652 训练集 准确率: 0.835714 验证集 Loss: 0.713423 验证集 准确率: 0.813333 
Epoch 240 训练集 Loss: 0.599936 训练集 准确率: 0.885714 验证集 Loss: 0.713470 验证集 准确率: 0.813333 
Epoch 241 训练集 Loss: 0.669332 训练集 准确率: 0.807143 验证集 Loss: 0.713736 验证集 准确率: 0.813333 
Epoch 242 训练集 Loss: 0.623224 训练集 准确率: 0.850000 验证集 Loss: 0.713975 验证集 准确率: 0.813333 
Epoch 243 训练集 Loss: 0.677015 训练集 准确率: 0.828571 验证集 Loss: 0.714115 验证集 准确率: 0.813333 
Epoch 244 训练集 Loss: 0.582385 训练集 准确率: 0.892857 验证集 Loss: 0.714152 验证集 准确率: 0.810000 
Epoch 245 训练集 Loss: 0.712908 训练集 准确率: 0.807143 验证集 Loss: 0.714229 验证集 准确率: 0.810000 
Epoch 246 训练集 Loss: 0.553117 训练集 准确率: 0.878571 验证集 Loss: 0.714059 验证集 准确率: 0.810000 
Epoch 247 训练集 Loss: 0.570707 训练集 准确率: 0.907143 验证集 Loss: 0.713788 验证集 准确率: 0.810000 
Epoch 248 训练集 Loss: 0.609541 训练集 准确率: 0.864286 验证集 Loss: 0.713298 验证集 准确率: 0.810000 
Epoch 249 训练集 Loss: 0.604734 训练集 准确率: 0.864286 验证集 Loss: 0.713042 验证集 准确率: 0.813333 
Epoch 250 训练集 Loss: 0.627171 训练集 准确率: 0.871429 验证集 Loss: 0.712633 验证集 准确率: 0.810000 
Epoch 251 训练集 Loss: 0.595960 训练集 准确率: 0.850000 验证集 Loss: 0.712175 验证集 准确率: 0.806667 
Epoch 252 训练集 Loss: 0.569899 训练集 准确率: 0.885714 验证集 Loss: 0.711742 验证集 准确率: 0.806667 
Epoch 253 训练集 Loss: 0.636500 训练集 准确率: 0.871429 验证集 Loss: 0.711485 验证集 准确率: 0.806667 
Epoch 254 训练集 Loss: 0.634448 训练集 准确率: 0.850000 验证集 Loss: 0.710699 验证集 准确率: 0.806667 
Epoch 255 训练集 Loss: 0.692407 训练集 准确率: 0.842857 验证集 Loss: 0.710200 验证集 准确率: 0.810000 
Epoch 256 训练集 Loss: 0.555176 训练集 准确率: 0.850000 验证集 Loss: 0.709395 验证集 准确率: 0.810000 
Epoch 257 训练集 Loss: 0.605387 训练集 准确率: 0.857143 验证集 Loss: 0.708881 验证集 准确率: 0.810000 
Epoch 258 训练集 Loss: 0.615803 训练集 准确率: 0.878571 验证集 Loss: 0.708283 验证集 准确率: 0.810000 
Epoch 259 训练集 Loss: 0.697095 训练集 准确率: 0.864286 验证集 Loss: 0.707600 验证集 准确率: 0.810000 
Epoch 260 训练集 Loss: 0.548724 训练集 准确率: 0.871429 验证集 Loss: 0.706859 验证集 准确率: 0.813333 
Epoch 261 训练集 Loss: 0.591767 训练集 准确率: 0.921429 验证集 Loss: 0.706219 验证集 准确率: 0.810000 
Epoch 262 训练集 Loss: 0.524501 训练集 准确率: 0.892857 验证集 Loss: 0.705663 验证集 准确率: 0.810000 
Epoch 263 训练集 Loss: 0.592967 训练集 准确率: 0.835714 验证集 Loss: 0.705096 验证集 准确率: 0.810000 
Epoch 264 训练集 Loss: 0.625072 训练集 准确率: 0.864286 验证集 Loss: 0.704786 验证集 准确率: 0.810000 
Epoch 265 训练集 Loss: 0.526866 训练集 准确率: 0.885714 验证集 Loss: 0.704677 验证集 准确率: 0.810000 
Epoch 266 训练集 Loss: 0.608381 训练集 准确率: 0.842857 验证集 Loss: 0.704694 验证集 准确率: 0.810000 
Epoch 267 训练集 Loss: 0.658773 训练集 准确率: 0.857143 验证集 Loss: 0.704726 验证集 准确率: 0.810000 
Epoch 268 训练集 Loss: 0.584480 训练集 准确率: 0.892857 验证集 Loss: 0.704795 验证集 准确率: 0.813333 
Epoch 269 训练集 Loss: 0.626843 训练集 准确率: 0.821429 验证集 Loss: 0.704907 验证集 准确率: 0.813333 
Epoch 270 训练集 Loss: 0.668014 训练集 准确率: 0.864286 验证集 Loss: 0.704887 验证集 准确率: 0.813333 
Epoch 271 训练集 Loss: 0.547607 训练集 准确率: 0.907143 验证集 Loss: 0.704657 验证集 准确率: 0.813333 
Epoch 272 训练集 Loss: 0.617823 训练集 准确率: 0.892857 验证集 Loss: 0.704127 验证集 准确率: 0.813333 
Epoch 273 训练集 Loss: 0.550213 训练集 准确率: 0.907143 验证集 Loss: 0.703391 验证集 准确率: 0.813333 
Epoch 274 训练集 Loss: 0.534546 训练集 准确率: 0.878571 验证集 Loss: 0.702797 验证集 准确率: 0.813333 
Epoch 275 训练集 Loss: 0.661213 训练集 准确率: 0.835714 验证集 Loss: 0.702493 验证集 准确率: 0.813333 
Epoch 276 训练集 Loss: 0.682402 训练集 准确率: 0.850000 验证集 Loss: 0.702402 验证集 准确率: 0.813333 
Epoch 277 训练集 Loss: 0.515706 训练集 准确率: 0.885714 验证集 Loss: 0.702660 验证集 准确率: 0.810000 
Epoch 278 训练集 Loss: 0.574295 训练集 准确率: 0.864286 验证集 Loss: 0.702941 验证集 准确率: 0.813333 
Epoch 279 训练集 Loss: 0.577364 训练集 准确率: 0.828571 验证集 Loss: 0.703667 验证集 准确率: 0.813333 
Epoch 280 训练集 Loss: 0.520972 训练集 准确率: 0.885714 验证集 Loss: 0.703974 验证集 准确率: 0.816667 
Epoch 281 训练集 Loss: 0.562551 训练集 准确率: 0.878571 验证集 Loss: 0.704253 验证集 准确率: 0.816667 
Epoch 282 训练集 Loss: 0.550111 训练集 准确率: 0.900000 验证集 Loss: 0.704437 验证集 准确率: 0.816667 
Epoch 283 训练集 Loss: 0.586160 训练集 准确率: 0.864286 验证集 Loss: 0.704635 验证集 准确率: 0.816667 
Epoch 284 训练集 Loss: 0.654350 训练集 准确率: 0.814286 验证集 Loss: 0.704389 验证集 准确率: 0.816667 
Epoch 285 训练集 Loss: 0.646451 训练集 准确率: 0.850000 验证集 Loss: 0.704326 验证集 准确率: 0.816667 
Epoch 286 训练集 Loss: 0.656470 训练集 准确率: 0.807143 验证集 Loss: 0.704075 验证集 准确率: 0.816667 
Epoch 287 训练集 Loss: 0.610079 训练集 准确率: 0.835714 验证集 Loss: 0.703738 验证集 准确率: 0.816667 
Epoch 288 训练集 Loss: 0.535147 训练集 准确率: 0.907143 验证集 Loss: 0.703132 验证集 准确率: 0.816667 
Epoch 289 训练集 Loss: 0.617160 训练集 准确率: 0.864286 验证集 Loss: 0.702350 验证集 准确率: 0.816667 
Epoch 290 训练集 Loss: 0.649574 训练集 准确率: 0.842857 验证集 Loss: 0.701666 验证集 准确率: 0.816667 
Epoch 291 训练集 Loss: 0.525412 训练集 准确率: 0.900000 验证集 Loss: 0.700829 验证集 准确率: 0.816667 
Epoch 292 训练集 Loss: 0.580643 训练集 准确率: 0.878571 验证集 Loss: 0.699944 验证集 准确率: 0.813333 
Epoch 293 训练集 Loss: 0.552845 训练集 准确率: 0.864286 验证集 Loss: 0.698534 验证集 准确率: 0.813333 
Epoch 294 训练集 Loss: 0.645645 训练集 准确率: 0.864286 验证集 Loss: 0.697351 验证集 准确率: 0.813333 
Epoch 295 训练集 Loss: 0.601972 训练集 准确率: 0.885714 验证集 Loss: 0.696338 验证集 准确率: 0.810000 
Epoch 296 训练集 Loss: 0.679021 训练集 准确率: 0.835714 验证集 Loss: 0.695548 验证集 准确率: 0.810000 
Epoch 297 训练集 Loss: 0.656447 训练集 准确率: 0.807143 验证集 Loss: 0.694837 验证集 准确率: 0.810000 
Epoch 298 训练集 Loss: 0.683491 训练集 准确率: 0.828571 验证集 Loss: 0.694233 验证集 准确率: 0.810000 
Epoch 299 训练集 Loss: 0.551203 训练集 准确率: 0.864286 验证集 Loss: 0.694202 验证集 准确率: 0.810000 
Cora数据集 结果
最好验证集 第 112 Epoch 准确率 0.833333
对应测试集合 准确率: 0.830000

优化版的 GAT 层代码可参考：https://github.com/PaddlePaddle/PGL/blob/main/pgl/layers/conv.py#L87

zpc1219

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
百度PGL图神经网络7日打卡营Task3：GCN+GAT

第三课：图神经网络算法（一）本次作业内容：实现GCN模型和GAT 模型的send和recv 函数。# 安装依赖# !pip install paddlepaddle==1.8.5!pip install pgl -q1. GCN模型paddle官网查看相关API的用法。注：这里我们给出的是简化版本的 GCN 模型，完整的 GCN 代码可查看: https://github.com/PaddlePaddle/PGL/blob/main/pgl/layers/conv.py#L27GCN部分原
复制链接

扫一扫