马斯克旗下xAI开源3140亿参数大模型Grok-1及相关架构

今晨时分, 马斯克所属的大模型公司xAI作出正式开源举动, 该模型为具备3140亿参数的混合专家模型Grok - 1, 同时开源的还有模型的权重以及网络架构, 这致使Grok - 1成为当下参数量最多的开源大语言模型。

身为一个彩蛋, xAI直言, 这件新闻所具备的封面图, 也就是上面提及的那张图, 是依据Grok给出的提示, 运用Midjourney生发而成, 其中提示词是这样的: “一个神经网络的3D插图, 有着透明节点以及发光连接, 把不同的权重当作不同粗细和颜色的连接线来予以展现（A 3D illustration of a neural network, with transparent nodes and glowing connections, showcasing the varying weights as different thicknesses and colors of the connecting lines）。”。”

开源Grok之后, 马斯克在第一时间,对竞争者OpenAI进行了“关心”世界杯直播平台, 他表示, “我们想了解更多, 关于OpenAI的Open（开放）部分。”。

能够依据, xAI官方所公布出来的消息, 从中我们得以看见, Grok-1的三大特点究竟是什么。

以大量文本数据为基础来训练基础模型, 不存在针对任何特定任务展开微调的情况；有着3140亿参数, 名为MoE模型, 即混合专家模型, 在给定token上的激活权重是25%；自2023年10月起, xAI运用由JAX库以及Rust语言构成的自定义训练堆栈对Grok进行全面的从头训练。

xAI依据Apache 2.0许可证从事开源Grok-1的权重以及框架的行为, 要是你持有Apache 2.0许可证, 不管是个人用途还是商业用途, 你能够自由地使用、修改、分发该软件, 截至发布此文章时, 其已经获得了7.7k星标, 热度非常高。

在项目里, xAI着重指出, 要是你期望能顺利地开展对这般规模模型进行的测试, 那么CPU就得具备充足的内存, 对此有用户给出了参考, 即拥有8个H100就能够顺利地使Grok-1模型运行起来了。

去年11月, 马斯克的xAI团队推出了一款大语言模型, 名为Grok-1, xAI称它是一款仿照《银河系漫游指南》设计的AI, 它几乎能回答任何问题, 甚至还能建议你问什么问题, 它幽默诙谐且带点叛逆, 能回答其他AI系统拒绝回答的问题。

博客于去年11月发表,在其中xAI展示了Grok-1的部分能力开云手机入口app下载,由此能够看到开云正版app下载, Grok-1在各项基准测试里都比CPT-3.5更具优势, 然而同训练量更高的GPT-4相比却存在较大差异。

此外, 为避免Grok - 1针对试题开展训练, xAI针对匈牙利国家高中数学考试予以测试, 其表现同样比GPT - 3.5出色, 有优于GPT - 3.5的情况。

当下, Grok - 1在X平台引发了诸多讨论, 然而开源版本的Grok当中有些功能需付费方能达成, 不过随着Grok不断演进、持续开源, 相信xAI会给我们带来更多意外欣喜。

标签： 开源大模型 Grok-1 xAI 混合专家模型 基准测试