Stability AI 推出 ChatGPT 类似的语言模型

Stability AI是一家初创公司，该公司最有名气的就是生成式AI艺术工具Stable Diffusion。在今天，该公司开源了一套文本生成AI模型，旨在与OpenAI的GPT-4等系统竞争。该模型被称为StableLM，目前在GitHub和Hugging Spaces上提供“alpha”版本。

Stability AI表示，StableLM模型是基于一个名为The Pile的数据集上进行训练的，然而这些数据集是从包括PubMed、StackExchange和Wikipedia等网站上爬取的文本样本。对此，Stability AI声称他们为StableLM模型单独创建了自定义的训练内容库，将标准训练内容扩大了3倍之多。 StableLM 可以生成代码和文本，但也在证明一件事，就是那些小型的模型，在”适当”的训练之下也是能够胜任生成式AI的工作，性能表现也很不错。

有一个疑问的地方在于，StableLM模型是基于 The Pile的数据集上训练得来的，那么The Pile上那些包含亵渎、下流和其他相当粗糙的语言，会不会也被StableLM吸纳并造成一些影响？答案也许是的吧！