“GPT-5提升将非常大!任何低估这一点的人和公司都将被碾压。”
“GPT的局限是什么?我会很自信地说,没有局限。我们相信,GPT模型没有任何限制,如果投入足够的计算资源,构建超越人类的AGI并不困难。”
GPT-5信息
日前,OpenAI CEO奥特曼曝光了更多GPT-5的信息,展现了其对于GPT算法上的自信,提出GPT实现AGI(人工通用智能)只需要有足够的算力。
智算供给不是简单的机柜相加
这看起来似乎不难完成,据此前消息,ChatGPT每日电力消耗高达50万千瓦时以上,来满足用户约2亿次的请求。以2.5KW的标准机柜来看,一座约8400个机柜的数据中心便可以支撑起ChatGPT的运作,而当前不少数据中心建设规模已经超过万架。但这样简单的计算并不符合现实情况。
大模型的算力需求主要是建立在GPU芯片之上,在降本增效、节能减碳的要求及趋势下,数据中心向着高密度、绿色化的方向发展,主要职责也逐步转换为提供智能算力供给,数据中心向着智算中心演进。
想要实现这一点,需进行一系列的改造,如更高的散热,需要使用液冷等技术;为推动绿色化发展,光伏、储能技术将被应用于数据中心,源网荷储等模式中数据中心也将发挥更多作用;新技术的引入,高功率芯片的应用,使得供电、承重等当面可能发生变化,要重新进行建筑的设计、建设;多方面的创新发展,可能会带来成本的增加,需要在技术上实现更多突破,推动商业模式的发展,有着成熟的产业链,以此来实现算力的低成本供给。
换句话说,一座能够满足大模型需求的智算中心脱胎于传统数据中心,但其实已经在多个层面上又实现了新的突破,具备高技术、高算力、高能效、高安全特性,能够降本增效,这样才是合格的智算中心,但目前相关条件并不成熟,技术、产业层面上都需要时间来打磨沉淀。
同时,芯片能耗问题也极为重要,目前,在此方面也有所突破。英伟达最新推出的Blackwell GPU的训练性能是上一代Hopper GPU的4倍,推理性能是30倍,能源效率约25倍。不过,这样的优化下,B200的能耗依旧达到了1KW,这可能只是起点。
奥特曼坦言,“除了思考下一代人工智能模型之外,我最近花最多时间的领域是算力建设,因为我越来越相信计算将成为世界上最重要的货币。然而,世界还没有为足够的计算做好规划,并且未能面对这个问题,思考如何以尽可能低成本的构建大量算力,是人类想要达到AGI过程中需要面对的重大挑战。”
算力网建设势在必行
同时,大模型想要低成本的使用智算中心里的算力,还需要高速互联、低成本的网络支撑,需要建立巨大、通畅的算力网。
以多模态大模型Sora为例,视频数据的生成、调用等,对集群通信延迟要求更高、带宽需求暴增,在用户和云端的传输对带宽的要求也将大幅增长,800G甚至1.6T光纤网络将比预计更快普及。这一过程中,成本问题必须得到解决,低成本是高带宽网络应用的基础。
为提升算力调度水平,降低算力使用成本,算力网络的建设也势在必行。我国对此高度重视,据《关于深入实施“东数西算”工程加快构建全国一体化算力网的实施意见》,到2025年底,1ms时延城市算力网、5ms时延区域算力网、20ms时延跨国家枢纽节点算力网在示范区域内初步实现。
今年政府工作报告提出,适度超前建设数字基础设施,加快形成全国一体化算力体系。而我国算力网建设需要协同多方面发展,要顺应发展需求、遵循技术规律,加强顶层设计与规划,优化数据中心建设布局,要克服多重困难才能实现算力网的搭建。
由此可见,目前智算中心的建设还未达到大模型发展的需求,即便算法正确,想要实现AGI,也必须持续优化智算中心的发展,推动算力网构建,以提供足够的算力支撑。
本文版权归原作者所有,如涉及内容、版权和其它问题,请联系柯尊平博客https://kezunping.com
最新评论