马斯克大模型Grok宣布开源

11.png

当地时间17日,美国知名企业家埃隆·马斯克旗下的人工智能初创公司xAI的大模型Grok-1正式宣布开源。

据xAI官网的介绍称,Grok-1是拥有3140亿参数的模型,是“迄今为止全球参数量最大的开源大语言模型”。相比之下,公开资料显示,OpenAI GPT-3.5的参数量为1750亿。

openai-s.png

Grok-1是一个混合专家(Mixture-of-Experts,MOE)大模型,这种MOE架构重点在于提高大模型的训练和推理效率,形象地理解,MOE就像把各个领域的“专家”集合到了一起,遇到任务派发给不同领域的专家,最后汇总结论,提升效率。决定每个专家做什么的是被称为“门控网络”的机制。

xAI已经将Grok-1的权重和架构在GitHub上开源。 22.png

GitHub地址: https://github.com/xai-org/grok-1?tab=readme-ov-file

目前Grok-1的源权重数据大小大约为300GB。

Grok-1是马斯克xAI自2023年7月12日成立以来发布的首个自研大模型。xAI特别强调说这是他们自己从头训练的大模型。Grok-1没有针对特定应用进行微调。

xAI是马斯克去年刚刚成立的明星AI创企,其目的之一就是与OpenAI、谷歌、微软等对手在大模型领域进行竞争,其团队来自OpenAI、谷歌DeepMind、谷歌研究院、微软研究院等诸多知名企业和研究机构。

此前马斯克刚刚“怒喷”OpenAI不够“Open”,后脚这就开源了自家的顶级3410亿参数自研大模型Grok-1。虽然马斯克在预热到发布的过程中也“放了几次鸽子”,但最终他并没有食言。

今天,xAI还公布了Grok-1的更多细节:

基础模型基于大量文本数据训练,未针对特定任务进行微调。

3140亿参数的Mixture-of-Experts模型,其对于每个token,活跃权重比例为25%。

xAI从2023年10月开始使用自定义训练堆栈在JAX和Rust之上从头开始训练。

但此次xAI并没有放出Grok-1的具体测试成绩,其与OpenAI即将发布的GPT-5的大模型王者之战,必将成为业内关注的焦点。

美国《纽约时报》报道称,马斯克这一举动,势必加剧人工智能未来的竞争。

Grok开源 利弊何在引发业内关注

Grok开源仍立即引发了“开源”和“不开源”之争,成为业内关注的焦点。xAI正式宣布开源的当天,马斯克还在社交媒体上讽刺OpenAI称,“告诉我们OpenAI到底Open(开源)在哪里了”。

closedAI.jpg

《纽约时报》报道称,所谓的开源,也就是将代码开放给所有人查看和使用,马斯克由此进一步介入了人工智能领域的一场激烈辩论。那么,开源是否有助于技术开发,还是只会让它更容易被滥用呢?

grok-srj.jpg 澳大利亚阳光海岸大学讲师 达拉纳数字联合创始人 卡伦·萨瑟兰:业内对此的反应很复杂,新的技术总是一把双刃剑。有一些开发者赞赏Grok开源的行为,他们认为这更加透明,其他开发者能用Grok开发自己的人工智能工具;但是这样做也有风险,Grok可能会被人利用开发很多能造成恶劣影响的人工智能工具,比如制造散布错误信息、虚假信息,这将带来很大坏处。

对于Grok开源,周鸿祎第一时间做了回应:

马斯克开源大模型Grok,打脸山姆奥特曼,周鸿祎告诉我们开源是非常有意义的,他可以成就更多的企业,而马斯克的Grok也需要更多的开发者一起去创造,去一起打造更加完美的Grok;但这并不意味着马斯克开源Grok大模型我们可以“抄”了? 他还评价说:伊隆马斯克果然是个汉子,说到做到前几天说要开源Grok,果然就开源了。

周鸿祎还阐述了一个更重要的观点:开源的意义远不止于此,对于国内的大模型开发团队而言,这无疑是一个巨大的利好。因此,我一直积极倡导开源,这样我们就可以避免重复造轮子,站在巨人的肩膀上,更好地理解和掌握这些先进技术。

500fd9f9d72a605958fee677c8c8f596013bbaff.jpg

马斯克引领开源AI新时代:Grok大模型引领变革浪潮

马斯克通过开源Grok模型,不仅展示了其对AI未来发展前景的信心,还为全行业的繁荣迈出了革命性的一步。开源的初衷在于共享与合作,让全球的开发者、研究者和企业能在这个平台上共同探索、创新和进步。这一开放精神不仅推动了技术的边界,还促进了全球范围内的人才流动与技术交流,为人工智能的未来发展注入了新的活力。

91529822720e0cf3cc181789f5204812bf09aa4d.jpeg

Grok模型的开源将降低AI研究和应用的门槛,让更多的声音和创意汇聚于这一领域,推动其多元化发展。以往,构建和训练大型AI模型需要庞大的资源和资金支持,限制了小型企业和学术机构的研究能力。然而,随着Grok模型的开源,这些障碍将被打破,为AI领域的创新注入更多活力。

此外,随着Grok的源码开放在大众面前,无论是金融数据高仿真检测模式的安全性优势评估及改进,还是自动驾驶中复杂路况的应对方案优化,都将因开源而加速。这意味着开发者可以根据实际需求对模型进行调整和优化,从而催生出更多定制化的解决方案,满足不同行业和领域的特定需求。

同时,开源Grok模型还有助于提高AI系统的安全性和透明度。开源使得所有人都能审视模型的工作方式,从而发现并修复潜在的缺陷,增强公众对AI系统的信任。这将为AI技术在各个领域的广泛应用奠定坚实基础。

总体而言,马斯克通过开源Grok模型,不仅推动了人工智能技术的进步,还为整个行业带来了一次革命性的变革。这一举措将降低研究门槛、加速应用创新、提高系统安全性,并促进国际交流合作,最终推动AI技术向着更加开放、包容和高效的方向发展。

柯尊平博客
请先登录后发表评论
  • 最新评论
  • 总共0条评论