Transformer架构新飞跃：谷歌技术革新实现长文高效处理，内存消耗剧减至原需1/47

近日消息，有报道称谷歌公司推出了选择性注意力（Selective Attention）方法，可以提高 Transformer 架构模型的性能。

Transformer 架构简介

Transformer 是一种革命性的神经网络架构，由谷歌在 2017 年提出，主要用于处理序列数据，特别是在自然语言处理（NLP）领域。

Transformer 的核心是自注意力机制，允许模型在处理输入序列时捕捉词与词之间的关系，让模型能够关注输入序列中的所有部分，而不仅仅是局部信息。

Transformer 由多个编码器和解码器组成。编码器负责理解输入数据，而解码器则生成输出。多头自注意力机制使模型能够并行处理信息，提高了效率和准确性。

Transformer 架构模型挑战

Transformer 架构的一大挑战是它们在处理长文本序列时效率低下，由于每个标记与序列中的每个其他标记都相互作用导致二次复杂度，这就导致随着上下文长度的增加，计算和内存需求呈指数增长。

现在解决这一问题的方法包括稀疏注意力机制（sparse attention mechanisms），它限制了标记之间的交互数量，以及通过总结过去信息来减少序列长度的上下文压缩技术。

不过这种方法是通过减少在注意力机制中考虑的标记数量达成的，因此通常以性能为代价，可能会导致上下文关键信息丢失。

谷歌新方法

谷歌研究的研究人员提出了一种名为选择性注意的新方法，可以动态忽略不再相关的标记，从而提高 Transformer 模型的效率。

选择性注意力使用软掩码矩阵来确定每个标记对未来标记的重要性，减少对不重要标记的关注。

研究表明，配备选择性注意的 Transformer 架构模型在多个自然语言处理任务中表现出色，同时显著降低了内存使用和计算成本。

例如，在拥有 1 亿参数的 Transformer 模型中，注意力模块的内存需求在上下文大小为 512、1024 和 2048 个 tokens 时分别减少至 1/16、1/25 和 1/47。所提方法在 HellaSwag 基准测试中也优于传统 Transformer，对于较大的模型规模实现了高达 5% 的准确率提升。

选择性注意力允许构建更小、更高效的模型，在不损害准确性的情况下，显著减少内存需求。

谷歌Imangen 3文生图AI超越DALL-E 3，正式开放访问引领创意新纪元

近日消息，谷歌近期向美国用户开放了其最先进的文字生成图像AI模型Imagen 3，用户现可通过访问AI Test Kitchen亲身体验这一创新技术。据官方介绍，新版Imagen在图像的清晰度、光影效果以及减少不自然痕迹方面实现了显著提升，为用户创造更加栩栩如生、富有创意的视觉内容提供了强大工具。

谷歌于今年 5 月召开的 I / O 开发者大会上宣布 Imagen 3 模型，6 月邀请部分 Vertex AI 用户测试使用，而现在正式向美国用户开放。

谷歌人工智能研究部门 DeepMind 负责人德米斯·哈萨比斯（Demis Hassabis）说，与前代产品 Imagen 2 相比，Imagen 3 能更准确地理解文字提示，并将其转化为图像，而且其生成的图像更具“创造性和细节”，且模型产生的干扰元素和错误也更少。

在谷歌的人工和自动评估中，Imagen 3 的表现优于 Imagen 2、DALL-E 3、Midjourney v6、Stable Diffusion 3 和 Stable Diffusion XL 1.0，Imagen 3 在将文本描述与生成的图像相匹配以及处理详细提示方面表现尤为突出。

《谷歌Chrome》桌面版更新“内存节省器”功能：提供三种模式以适应不同需求

近日消息，谷歌Chrome浏览器的桌面版本更新了其“内存节省器”功能，现在提供了三种不同的模式选择：标准模式、平衡模式和高级模式。这项功能的主要目的是通过减少非活动标签页对内存的占用，来提升整体浏览器的运行效率。

标准模式根据计算机的需要来停用标签页，而平衡模式则考虑浏览习惯和系统需求。高级模式会在用户停止使用标签页后更快地将其停用。用户可以通过 Chrome 的设置菜单中的性能选项来选择内存节省模式。

谷歌还为 Chrome 添加了性能检测工具。该工具能够识别潜在的性能问题，并提供解决方案来解决问题。例如，如果 Chrome 检测到某个标签页正在消耗过多的资源，会建议停用其他非活动标签页来释放资源。用户将收到一条“性能问题警报”通知，点击“立即修复”选项即可改善浏览体验。性能检测可以在设置中禁用。

Chrome 还提供了其它一些性能控制功能，例如设置始终保持活动的网站（如需要在后台完成任务的网站）以及关闭非活动标签页的视觉指示器。