这一选择旨在优化数据传输效率与降低延迟,RoCEv2(Remote Direct Memory Access over Converged Ethernet version 2)协议利用以太网技术实现远程直接内存访问,大大提升了AI模型训练场景中的网络吞吐量,是Meta面对AI时代基础设施挑战的重要布局。
RoCEv2 的全称是 RDMA Over Converged Ethernet version 2,是一种节点间通信传输方式,用于大部分人工智能容量。
Meta 公司已成功扩展了 RoCE 网络,从原型发展到部署了众多集群,每个集群可容纳数千个 GPU。
这些 RoCE 集群支持广泛的生产型分布式 GPU 训练工作,包括排名、内容推荐、内容理解、自然语言处理和 GenAI 模型训练等工作负载。
Meta 公司为分布式 AI 训练专门建立了一个专用的后端网络,能够独立于数据中心网络的其他部分进行发展、运行和扩展。
Meta革新XR开发:最新Core SDK助力MR应用跨越虚拟与现实边界
时间:2024-09-24 11:41:46
人气:3
编辑:96006资源网
7月8日消息,Meta公司宣布了一项针对混合现实(MR)应用的革新性更新,这一举措有望彻底改变MR应用的开发与体验方式。
通过最新发布的Meta XR Core SDK软件开发工具包,开发者将首次获得权限,能够自主决定是否启用安全边界系统,从而突破了长期以来制约MR应用沉浸感和自由度的限制。
据了解,安全边界对于 VR 游戏和应用来说至关重要,头显会在使用者接近边界时发出提醒,避免他们碰撞墙壁或物品。然而对于 MR 应用而言,这些限制显得有些多余。
此次更新的 XR Core SDK (用于开发 Quest 系列应用的软件开发工具包)版本号为 66,通过更新,开发者能够在应用使用透视功能显示真实环境画面时关闭安全边界。一旦应用切换回 VR 模式,安全边界将会立即恢复作用。
移除安全边界限制将助力开发者打造更沉浸的 MR 体验。混合现实之所以引人入胜,正是因为它能利用用户已知且熟悉的真实环境,通常是他们的生活空间。没有了边界束缚,用户可以更大范围地畅游于 MR 世界,而无需反复设置安全区域。
巴西政府机构采取行动,Meta使用用户数据训练AI模型遭禁
近日消息,巴西国家数据保护局采取了一项重大举措,宣布对全球社交媒体巨头Meta实施一项前所未有的限制措施。
根据最新发布的公告,Meta公司,旗下拥有Facebook、Instagram及WhatsApp等知名社交平台,被明令禁止使用巴西境内用户的个人数据来进行生成式人工智能(AI)模型的训练。
Meta 近期更新了隐私政策,允许公司可将人们的公开帖子用于训练其模型。根据巴西国家数据保护局的公报,Meta 此举将会对受影响数据主体的基本权利造成严重的、不可挽回的或难以修复的损害,此次下达的禁令是“预防性措施”。
巴西是 Meta 的最大市场之一。在该国 2.03 亿的总人口(数据来自 2022 年巴西人口普查)中,仅仅是 Facebook 一个平台,在巴西就坐拥约 1.02 亿活跃用户。
Meta 公司的一位发言人对禁令表示感到失望,并坚称公司的举措“符合当地法律法规”。“这是 AI 发展创新和竞争的倒退,且进一步推迟了 AI 给巴西人民带来好处。”
而在欧洲,Meta 更新的隐私政策也“碰了钉子”—— 该公司近期暂停了原定于上周开始实施的计划,即使用用户的公开内容来训练自家 AI 模型。不过在美国,由于缺少保护网络隐私的国家性法律,Meta 使用用户数据来训练 AI 已成进行时。
Meta革新分布式RoCEv2网络架构:无缝串联数万GPU,赋能千亿参数量级AI模型训练
近日消息,Meta公司最近公布了一篇博客文章,揭示了他们为应对大规模分布式人工智能训练的网络需求所采取的创新举措。具体而言,该公司构建了一套基于RoCEv2协议的高性能AI网络基础设施。
这一选择旨在优化数据传输效率与降低延迟,RoCEv2(Remote Direct Memory Access over Converged Ethernet version 2)协议利用以太网技术实现远程直接内存访问,大大提升了AI模型训练场景中的网络吞吐量,是Meta面对AI时代基础设施挑战的重要布局。
RoCEv2 的全称是 RDMA Over Converged Ethernet version 2,是一种节点间通信传输方式,用于大部分人工智能容量。
Meta 公司已成功扩展了 RoCE 网络,从原型发展到部署了众多集群,每个集群可容纳数千个 GPU。
这些 RoCE 集群支持广泛的生产型分布式 GPU 训练工作,包括排名、内容推荐、内容理解、自然语言处理和 GenAI 模型训练等工作负载。
Meta 公司为分布式 AI 训练专门建立了一个专用的后端网络,能够独立于数据中心网络的其他部分进行发展、运行和扩展。
训练集群依赖于两个独立的网络:前端(FE)网络用于数据摄取、检查点和日志记录等任务,后端(BE)网络用于训练。
训练机架连接到数据中心网络的 FE 和 BE。FE 的网络层次包括机架交换机 (RSW)、结构交换机(FSW)等,其中包含存储仓库,为 GPU 提供训练工作负载所需的输入数据。
后端结构是一个专门的结构,它以无阻塞的架构连接所有 RDMA 网卡,无论它们的物理位置如何,在集群中的任意两个 GPU 之间提供高带宽、低延迟和无损传输。
为了应对 LLM 模型训练对 GPU 规模的需求,Meta 设计了聚合训练交换机(ATSW)层,将多个 AI 区域互连起来。此外,Meta 还优化路由、拥塞控制等方面,以提升网络性能。
Meta AI创新突破,MobileLLM紧凑型模型引领移动设备AI新时代
近日消息,Meta AI团队在优化人工智能技术的边界上迈出了重要一步,成功研发了MobileLLM——一种专为移动设备及低功耗环境量身定制的精简语言模型。该研究成果于本月早些时候,即2024年6月27日公之于众,它颠覆了业界关于高效AI模型必须具备庞大参数量的传统认知。
该研究团队由 Meta Reality Labs、PyTorch 和 Meta AI Research (FAIR) 的成员组成,专注于优化参数少于10亿的模型。这只是 GPT-4等模型的一小部分,据估计,GPT-4等模型的参数超过一万亿。
这些设计选择使得 MobileLLM 在常见基准测试任务上的表现比之前类似规模的模型高出2.7% 到4.3%。虽然这些个位数的改进似乎很小,但它们代表了竞争激烈的语言模型开发领域取得的重大进步。
值得注意的是,在某些 API 调用任务上,MobileLLM 的3.5亿参数版本表现出与更大的70亿参数 LLaMA-2模型相当的准确率。这表明,对于某些特定应用,更紧凑的模型可能会提供类似的功能,同时使用更少的计算资源。
MobileLLM 的开发与人们对更高效的 AI 模型日益增长的兴趣相吻合。随着超大型语言模型的进展出现放缓迹象,研究人员越来越多地探索更紧凑、更专业的设计的潜力。尽管名称中带有“LLM”,但对效率和设备部署的关注使 MobileLLM 与一些研究人员所说的小型语言模型 (SLM)属于同一类别。
虽然 MobileLLM 尚未向公众开放,但 Meta 已将预训练代码开源,允许其他研究人员在其工作的基础上继续研究。随着这项技术的发展,它可能会为个人设备带来更先进的 AI 功能,尽管时间表和具体功能仍不确定。
英特尔Arrow Lake-S CPU样本测试:单核性能小幅攀升,多核猛增15%
英特尔重申:马来西亚槟城高端封装工厂建设计划进展稳健
大小: 36.80MB
大小: 0KB
影音播放
大小: 76.19MB
角色扮演
大小: 939.52MB
大小: 23.61MB
社交通讯
大小: 263.95MB
社交通讯
大小: 112.49MB
大小: 115.58MB
影音播放
大小: 77.16MB
影音播放
大小: 47.29MB
体育健身
大小: 32.03MB
地图导航
大小: 75.65MB
超车大师3D游戏
悦玩网络爆装传奇
闲置屠宰公司v1.1.66
升级加农炮
尸灵出笼
西部荒野幸存者
动作
格斗
街机