马斯克开源Grok-1引发关注，源代码将对公众免费开放

开源, 此词汇于当下科技范畴里越发备受关注, 它并非仅是一项技术, 更是一种思想的呈现, 伴随数字化时代降临, 开源已成为推动创新、促使发展加速的一股强劲势力。

贴脸开大

当前, 受广泛关注的是马斯克所开源的大模型Grok - 1 , 这一情况离现在不远。此次事件实际上能够回溯到二月二十九日, 当时马斯克因觉得OpenAI未践行“信守开源政策”这一行动而把它告到法庭。不过, 那个时候马斯克自身拥有的Grok实际上也并非处于开源状态, 仅仅是面向付费用户予以开放, 如此一来难免会引发一些性质为质疑的情况。

为了填补这个漏洞, 马斯克于 3 月 11 日在社交媒体宣称, xAI 将开放聊天机器人 Grok 的源代码, 从而让公众能够免费运用该公司背后的大型模型技术。且 Meta 的 CEO 扎克伯格也于社交媒体发表评论, 对这一情况表示支持。

讲到做到的马斯克, 于3月17日, 让其旗下人工智能初创公司xAI, 正式宣告开源大模型Grok-1, 且按照Apache 2.0协议, 开放模型权重与架构。依据官方网站所展示的情况, xAI在GitHub等软件托管平台上, 把Grok-1的权重跟架构予以了开源。

特别值得一提的是, 就在 Grok - 1 开源的那一天, 马斯克在 X 平台上跟 GPT 展开了一场唇枪舌战, 还说了句“告诉我们更多关于 OpenAI 的‘open’部分”。有网友甚至打趣地说, xAI 才是实实在在的“OpenAI”。

在二零二三年十一月, xAI 推出了它的首款大型语言模型 Grok, 正式投身于大模型的竞争之中。那时, Grok 列为“Premium+”订阅服务的一部分, 每月收费十六美元。最初的版本 Grok-0 具备三百三十亿个参数, 之后 xAI 推出了历经多次优化的 Grok-1, 为 X 平台上的 Grok 聊天机器人给予了支撑。

官方网站信息显示, Grok - 1是一款有着3140亿参数的混合专家模型, 其参数量是Llama 2的4倍, 它被称作“迄今为止全球参数量最大的开源大型语言模型” , Grok - 1是xAI借助JAX和Rust构建的自定义训练堆栈从零开始训练出来的, 它采用的是3140亿参数的Mixture - of - Experts模型, 在该模型里25%的权重于给定令牌时处于活动状态。

按照xAI公布的那些数据来看, 在包含GSM8K、HumanEval以及MMLU的一系列基准测试当中, Grok-1的表现把Llama-2-70B和GPT-3.5给超越了, 然而跟GPT-4相比的话, 还是存在着一些差距的。

此次, xAI所开源的是Grok-1, 其遵守的乃是Apache-2.0许可证, 也就是。

1、准许用户随性地运用、拷贝、更改、融合、颁布以至再度准许被授权软件的复制品。

2、存有被授权软件的用户, 能够对其源代码予以修改, 之后, 以源代码这一形式, 把修改好了的代码再次进行分发。

3、被授权软件, 用户能够以二进制形式去分发它, 也能够以源代码形式去分发它, 并且不用支付费用, 同时也无需提供专门的授权。

4、用户在分发被授权的软件之时, 需要将原始版权包含在内, 还要把许可包含进去, 并且也得把免责声明包含起来, 通过这样做来确保软件的来源以及许可信息能够被保存遗留下来。

5、用户可以自由地将软件用于商业目的世界杯直播平台开云app官方最新下载地址，不必支付许可费。

我们清楚, 开源大模型于中国市场存有特殊意义。在一定程度上面貌存在差异下, 诸如 Llama2 这类开源大模型, 俨然已化为中国大模型产业当中的一项关键“基础设施”。所以如此这般, 此次马斯克促使开源化的一个具备更大参数规模的大模型, 恰似投入水池内的一块石子那样, 必定会于中国大模型市场激扬起“涟漪”。

那么, 开源的Grok - 1会给中国市场造成什么样的影响呢, 具体呈现于以下两个方面: 。

涟漪1：大模型开源市场格局变天了

国外有进行开源大模型的相关举措, 国内众多企业以及机构同样有着力推进开源大模型工作。

国内开源大模型（不完全统计）

国外开源大模型（不完全统计）

通过了解可知, 马斯克所开源的Grok - 1模型, 其参数规模达到了3140亿 , 与之相较, 其他国内公司所开源的模型, 参数规模较小, 诸如阿里巴巴的Qwen - 72B模型, 有720亿参数等等。

马斯克的Grok - 1, 刷新了开源大模型的参数记录, 这一情况发生后, 有可能会使得更多的公司, 把注意力转移到基于这个新模型来开展定制研发, 而不再只是单单依靠现有的LLaMA2。

在这般情形之下, 开源大模型领域内的竞争必然会愈发激烈起来。Grok - 1的参数规模如此之大, 会去为其他的公司提供更高的标杆, 其他公司没办法, 不得不赶快推出有着更大参数规模的开源模型。

对于那些已经将较小规模模型进行开源处理的公司而言, 他们或许得对自身的研发策略再次展开评估。在面对像Grok - 1这般规模巨大的模型时, 他们有可能要思索是否应该加大研发投入, 借此来提升模型的规模以及性能, 进而提高自身的竞争力。而对于那些还没有将大模型开源的公司来讲, 他们很可能需要重新审视自身战略, 考量是否要加快开源的推进脚步。

换个角度而言, 当下国内存在着许多所谓的“套壳”大模型, 这些大模型皆是依据llama2进行微调的, 要是将其转换成马斯克的Grok - 1, 那么这将会给国内的大模型行业带去相当程度的影响。

Grok - 1具备远超Llama2的参数规模, Grok - 1拥有超乎 Llama2的性能, 所以, 转换至Grok - 1或许会让这些模型的性能获得显著提高, 进而能使这些模型的规模得到明显提升, 由此促使其在种种自然语言处理任务里的表现得以提高。

Grok - 1进行开源, 这件事情或许意味着, 会有更多的开发者能够去访问它并且使用这个模型, 如此一来, 便加快了新模型开发的速度, 也加快了它迭代的速度, 而这将会提高国内大模型行业整体的创新速度, 还会提高其效率。

不过呢, 在享受其带来的好处之际, 随之而来的同样是风险, 虽说Grok - 1开源给行业赋予了更多创新契机, 然而一旦Grok - 1占据主导地位, 就极有可能引发技术垄断的风险, 处于这种情形下, 那些依赖Grok - 1的公司或许会丧失对技术发展的控制权。

总而言之, 马斯克所进行的大模型开源这一行为, 确凿无疑地属于那种降维打击的情况, 当然了, 在这当中, 受到损害最为严重的应当就是大模型创业公司了。

涟漪2：大模型创业公司又要被降维打击？

2023年, 百“模”展开的激烈征战已然拉开帷幕, 大型科技公司并非仅仅朝着正向方向布局那般简单, 而且还出现了一批创业公司, 月之暗面、百川智能、智谱AI等, 已经成为大模型创业公司里颇为杰出的存在。

然而, 投资人朱啸虎讲的一番话语, 给那些创业公司浇了一盆冷水, 他指出, 即便存在公司有意愿投入数额巨大的资金, 一旦碰到别人的大模型进行开源开云app官方入口网站，投资就有可能化为乌有。

2023年7月19日, Llama 2宣告实行开源, 自Llama 2出现之后, 开源渐渐变为了主流趋势, 以Llama架构居于首位, 率先引发出了一波以它为核心的开源情况, 像Llama 2低成本训练这一版本、Llama 2最强的版本、微调的版本等等。随后, 创业者们的眼光从对Llama 2进行解构、加强方面转向构建行业特有的大模型, 于是又有了一波Llama 2与司法相结合、Llama 2与医疗相结合等一系列的行业开源大模型。不完全统计显示, Llama 2开源之后, 国内便出现了十几个开源的行业大模型, 其中, 这些模型是在开源之后才出现的。

大模型创业公司, 在自行研发大模型的进程里, 始终坚守着一种核心逻辑, 那便是, 他们所研制的大模型, 相较于开源的大模型, 要更为出色, 具备更强的能力。然而, 要是开源大模型在规模以及能力方面, 真的超过了闭源模型, 那么, 对于这些创业公司而言, 将会是一场巨大的冲击。其中, 融资难度的增大, 会成为他们所遭遇的一项严峻挑战。

创业公司一般来说, 在技术研发、团队建设、市场推广等诸多方面, 是需要大量资金投入的, 要是开源大模型的规模以及能力确实更为强大, 那么创业公司为了维持自身竞争力, 很可能需要更多资金去自己研发大模型, 以及开展相关的研发与推广活动。

马斯克的那个有着3000亿参数的模型, 显然是必定需要极为巨大的计算资源, 才可以展开训练以及开展部署工作的。这种情况对于大型企业而言, 或许并不是什么难题, 然而对于创业公司来讲, 成本极有可能会成为一个相当巨大的负担。创业公司很可能没办法承担去购买以及维护数量庞大的服务器群所需要的费用, 而这将会对于他们在运用这一先进技术方面的能力造成限制。

此外, 模型开展训练所需海量数据, 这些数据通常唯有大型企业方可轻易获取。就创业公司而言, 欲获取充足数据用以训练高质量模型, 或许会遭遇诸多艰难。

投资者于思索是否对创业公司进行投资之际, 会全面考量诸多因素, 当中技术实力以及核心竞争力是关键的考量要点之一。要是开源大模型的规模以及能力的确更为强大, 那么投资者或许会更为审慎地思索对创业公司的投资事情。

能够讲, 不管是针对开源大模型的市场而言, 还是对于致力于发展商用大模型的创业公司来讲, 马斯克的Grok - 1都是一个无法被忽视的“X”型变量。当然咯, 在往后的日子里, 还会有规模更大、质量更优的大模型接连不断地被开源出来, 马斯克的入局, 仅仅是给这场竞争又增添了些许困难程度。

马斯克已然亮出剑来, 接下来就要看各方会如何施展招数了, 毕竟, 在能够见到马斯克身影的所在之处, 是决计不会欠缺可供人观赏留意的要点的, 所以相信紧接着后续将会发生的故事必定会愈发精彩。

标签： 开源 大模型 Grok-1 马斯克 xAI