xverse-ai：媲美chatGPT3.5、650亿参数、8K 的上下文的AI大模型

国内AI大模型开源领域又来了一个新玩家！

上来就开源了650亿参数、8K 的上下文、3.2 万亿 token 的AI大模型。

业界共识是达到500亿参数门槛，大模型才能“智能涌现”。

这可以进入目前国内最大的开源可商用的大模型梯队了

这就是今天要介绍的元象XVERSE推出的xverse-ai！

xverse-ai 是什么？

xverse-ai目前开源了三个尺寸的AI大模型。分别为：XVERSE-7B、XVERSE-65B 、XVERSE-13B。

xverse-ai 是一个基于 Transformer 网络结构的 Decoder-only 模型，支持 8K 的上下文长度，为同尺寸模型中最长，能满足更长的多轮对话、知识问答与摘要等需求，模型应用场景更广泛。

xverse-ai 使用了 3.2 万亿 token 的高质量、多样化的数据对模型进行充分训练，包含中、英、俄、西等 40 多种语言，通过精细化设置不同类型数据的采样比例，使得中英两种语言表现优异，也能兼顾其他语言效果。

xverse-ai 基于 BPE（Byte-Pair Encoding）算法，使用上百 GB 语料训练了一个词表大小为 100,534 的分词器，能够同时支持多语言，而无需额外扩展词表。

xverse-ai 还自主研发多项关键技术，包括高效算子、显存优化、并行调度策略、数据-计算-通信重叠、平台和框架协同等，让训练效率更高，模型稳定性强，在千卡集群上的峰值算力利用率可达到 58.5%，位居业界前列。

xverse-ai性能媲美chatGPT3.5

xverse-ai 有着非凡的能力，可以在一系列标准数据集上展现出优异的性能，包括中文问答、英文问答、语言理解、常识问答、逻辑推理、数学问题解答以及编程能力。

xverse-ai 取得了超越同尺寸模型的结果，甚至在部分数据集上，超过了人类的表现。

xverse-ai 如何使用？

xverse-ai 非常容易使用，只需要安装 transformers 库，就可以通过 Hugging Face 的接口加载 xverse-ai 的模型，进行各种任务的测试。

xverse-ai 提供了多个版本的模型，包括 13B 尺寸的底座模型和对话模型，以及 7B 尺寸的底座模型和对话模型，支持在单张消费级显卡部署运行，并保持高性能、全开源、免费可商用。（具体见仓库）

代码地址：

https://github.com/xverse-ai

魔塔地址：

https://www.modelscope.cn/organization/xverse

官网地址：

http://xverse.cn/index.html