夕小瑶的卖萌屋

作者：小鹿鹿鹿，夕小瑶 其实小夕的内心是拒绝的，就一台破Xp，再优化能快到哪里去呀T^T燃鹅小夕找了一份开源代码，结果刚开始跑小夕就震惊了！什么鬼？训练速度怎么这么快？出bug了吧？？？？一毛一样的模型、超参数和硬件环境，竟然可以获得2.X倍的加速。关键的关键，这不是一个特例，在各类网络训练问题上都提速明显，遍地开花~~~...

作者：夕小瑶的卖萌屋—— 「小鹿鹿鹿」问题定义我们人类有能够将一个任务的知识用到另一个任务上的能力，学习后一个任务时也不会忘记如何做前一个任务。这种能力叫持续学习(continual learning/ life-long learning)。而这个能力归结起来主要有两个问题： 如何能把之前任务的经验用上，使得更快更好的学习当前任务； 学习当前任务时，不会忘记之前已经...