要复现这个论文至少需要多少算力呢？如果想以此为基础研究作为研究生大论文，可以往那个方向想创新点呢？

[InLittleJoy]

No description provided.

[Claude-Liu]

ECSpell上的训练单卡RTX 3090即可。
LEMON上的预训练我们使用了8张A800进行训练。
关于多卡并行的训练代码以及预训练ReLM的checkpoints，https://github.com/gingasan/lemon 都有提供。
关于下一步的工作你可以基于ReLM的预训练模型做进一步的提升，这样就不用担心算力问题。