首页 > 资讯 > 正文

CerebrasSystems推出深度学习专用拥有1.2兆个电晶体的晶片

导读 电脑系统公司Cerebras Systems发表了一款有史以来最大的半导体运算晶片Cerebras Wafer Scale Engine(WSE),其尺寸超过一个iPad Air

电脑系统公司CerebrasSystems发表了一款有史以来最大的半导体运算晶片CerebrasWaferScaleEngine(WSE),其尺寸超过一个iPadAir大小,上面拥有超过1.2兆个电晶体,以及40万个人工智慧最佳化的核心,要为深度学习应用提供更强大的运算能力。

cerebras-wse-nvidia-v100-featured-image.jpg(357.71KB,下载次数:3)

2019-8-2115:09上传


CerebrasSystems是一间由电脑架构师、电脑科学家以及深度学习研究人员组成的新公司,目的是要建立新型态的电脑,以加速深度学习的应用,而晶片WSE则是CerebrasSystems所发展的解决方案,其中一个重要的组成元素。这个巨型晶片的边长接近22公分,面积比目前最大的GPU,还要大上56倍,而上面所拥有的运算资源,包括核心、记忆体甚至是记忆体频宽,都比单一GPU晶片多上许多。

cerebras-wafer-scale-engine-specs.png(1.26MB,下载次数:2)

2019-8-2115:09上传


在这么大块的晶片上,可以放上40万个为人工智慧最佳化的核心,以及提供18GB的晶片上记忆体,这些记忆体分散在各核心之间,但都在同一层级的记忆体阶层架构下运作,核心能以一个时脉周期的速度存取记忆体。这些人工智慧运算核心则使用SwarmFabric技术,在2D的网状网路上相连,以100Pb的频宽进行讯息交换,其频宽适GPU的一万倍。官方提到,SwarmFabric是一个突破性的技术,可以为记忆体间提供超高频宽以及低延迟,但耗能仅为传统GPU技术的一小部分。

cerebras-chip.png(309.37KB,下载次数:4)

2019-8-2115:10上传


WSE的所有核心都可透过软体配置,以支援用户训练模型所需要的特定精确通讯,这些大量的可程式化核心,在单一晶片上提供丛集规模的计算能力,而就设计在核心旁边的记忆体,可以确保其记忆体的高使用率,而且晶片上的传输也比晶片间的传输技术,像是InfiniBand还要快非常多。

CerebrasSystems提到深度学习的发展是当前重要的工作之一,因为能够用于推动各领域的应用,但是其发展不仅受到应用程式与想法上的限制,还受到计算可用性的限制,训练一个新模型可能需要数天到数个月,而这正是人工智慧创新的主要障碍。

他们也认为特殊应用就需要专门的加速器,GPU原本就是为图形处理任务设计的,并不适合用于深度学习,而WSE是专为深度学习设计,能够提供更高数量级的运算能力,把数个月的模型训练时间,缩短到数分钟。

消息来源

免责声明:本文由用户上传,如有侵权请联系删除!

标签:

Copyright @ 2015 -2023 太行之窗 All Rights Reserved. 网站地图 | 百度地图 .