当前位置：首页 >> 滚动 > > 正文

复旦大学MOSS正式开源，单张RTX 3090显卡可运行

2023-04-23 06:38:18科技美学

【资料图】

随着ChatGPT的爆火，越来越多的厂商选择推出自家的类ChatGPT产品，市面上的AI语言类产品越多其语言模型就越重要。

在2月末，新浪科技曾报道，复旦大学计算机科学技术学院教授邱锡鹏在2023年世界人工智能开发者先锋大会上表示，如果优化顺利，计划在三月底开源MOSS。

据介绍，MOSS是国内首个类ChatGPT模型，由复旦大学自然语言处理实验室邱锡鹏教授团队于2月20日发布，在当时吸引了不少小伙伴的关注，希望其可以快速追赶ChatGPT推出国内第一个插件增强的开源对话语言模型。

就在昨日，据观察者网报道，复旦大学自然语言处理实验室开发的新版MOSS模型今日正式上线，成为国内首个插件增强的开源对话语言模型。

并且，MOSS模型已上线开源，相关代码、数据、模型参数已在Github和Hugging Face等平台开放，供科研人员下载。

据相关介绍可以得知，MOSS是一个支持中英双语和多种插件的开源对话语言模型，moss-moon系列模型具有160亿参数，在FP16 精度下可在单张A100/A800或两张RTX 3090显卡运行，在INT4/8精度下可在单张RTX 3090显卡运行，就目前其所需要求来看，相比于其他的AI项目已经算是要求较低的了。

MOSS基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。

并且，根据其GitHub介绍页面可以得知，该项目所含代码采用Apache 2.0协议，数据采用CC BY-NC 4.0协议，模型权重采用GNU AGPL 3.0协议。如需将该项目所含模型用于商业用途或公开部署，需要签署文件并发送至robot@fudan.edu.cn取得授权，商用情况仅用于记录，不会收取任何费用。

为了更好的了解MOSS，在之前的相关报道中，复旦大学计算机科学技术学院邱锡鹏团队将MOSS和ChatGPT进行了对比，据其称最大差异还是参数规模。ChatGPT的参数量多达1750亿个，而MOSS的参数量比其小一个数量级，大约是前者的1/10左右。

团队选择百亿规模这样级别的参数，是因为学术界主要是做一些探索性的技术，这个规模也在财力物力承受范围之内。其认为在这个参数级别上，这些模型也能涌现出一定的智能能力，也能赋予MOSS对话的能力。实验结果证实了团队的猜想，MOSS模型可以非常顺利地与人类进行聊天互动。

也就是说就目前的对比来看，MOSS规模仅为ChatGPT的1/10左右，但此量级的参数就使得MOSS已经拥有了对话的能力，并且可以进行一些研究，并且后续可以通过插件来实现更高难度的操作，目前MOSS已经开放，有实现能力的小伙伴可以体验一下。

5999元小米13Ultra正式发布! 徕卡联手打造

2499 元起，华为nova11系列开箱体验，首发XD Portrait 人像引擎

下周多场发布会来袭，华为、小米和vivo你更期待哪一场？

标签：

最近更新