Home

Awesome

线性RNN的相关变体

用bert4keras实现三个快速可并行的RNN变体:LRU、SLRU和RWKV。

简介

并行

线性RNN支持并行算法,可以将O(L)的运算降低到O(log L),本项目利用的是prefix sum问题的“Upper/Lower算法”来实现RNN并行。

具体细节可以参考中文博客的“并行化”一节

交流

QQ交流群:808623966,微信群请加机器人微信号spaces_ac_cn