开源自动写作工具:高速生成与无限续写
如果一个人只是浏览网文,所能产生的文字会是什么样子?在对大量网文进行观察后,进行了试用与评测。以下是一次自由创作的尝试段落:

初看之下风格与语感接近网文氛围,生成速度也相对稳定,基本达到一秒十字甚至更快的体验。接着再请AI作家续写一个经典故事高潮前的情节段落,供比较与观察:

需要说明的是,该模型在开发阶段被戏称为“人工智障写作”,它是在对话题材上进行定向训练的版本。模型名为AI-WRITER,核心参数量为100M,训练基础来自于大量网文文本,未混入其他额外素材,因此在知识范围和写作风格上更贴近网络小说的表达。

一秒十字、具有持续续写的能力
在单段落生成、风格走向等方面,模型能在同一开头的前提下生成多种风格的文本片段,方便比较与取舍:

同样也可以自定义每次的生成字数,例如前述示例为每次生成约200字的长度:

理论上文本可以无限生成,但长时间运行可能出现重复现象。文本生成速度的快慢与所采用的加速方式紧密相关,当前支持多种显卡加速方案,适配不同设备:

如开头演示的动图所示,若使用GPU加速,生成速度可达到接近或超过每秒十字的水平。若希望文字输出更具可控性,也可以调整生成文本的随机性参数:

关于文本随机性的核心在于所采用的采样策略:对段落首句的Top-P设定为0.995,尽量按输出概率分布进行采样以增强变化;对其他位置,先找出最高概率字的概率P,再排除低于0.02×P^2的候选字,以保持字词的合理性与可读性。也可以对比观察当Top-P在0.01、0.1、0.9时的不同生成效果。

需要说明的是,作为一个参数量相对较小的模型,逻辑推理与阅读理解能力有限。开发者自嘲称其为“纯娱乐用途的智障”,但仍提供可直接试玩的环境。若要让AI作者动笔,环境方面的说明包括:若采用作者给出的纯CPU实现版本,则无需Python和PyTorch,搭配2014年后出的CPU即可运行。演示中的动图是在Python 3.8和PyTorch 1.10的环境下完成的演示。
在完成环境搭建并下载模型及相关文件后,需在模型目录中新建一个Model文件夹,将Release文件解压放入其中。随后可通过执行Python Run.py在终端实现快速文本生成:

文本可以持续生成,按Ctrl+C即可停止。在实际使用中,由于运行环境是2.3 GHz的双核处理器,实际速度可能未必达到10字/秒的极限水平。也可通过网页端进行体验:运行Python seRveR.py,并打开网页中下载的web客户端文件夹内的index.html,即可在网页对话框中输入开头并进行续写:

当前这套网页端已经具备初步的模型形态,期待更多用户参与,进一步完善这项工具,使其成为创作者的实用助手与读者的娱乐方式。若感兴趣,请自行探索并体验相关演示。