智源BGE新模型登场，刷新纪录：三大创新，成就向量检索巅峰表现

近日消息，智源研究院新近宣布了三项先进的向量模型研究成果，这些模型在向量检索领域取得了显著成效，成功超越了多项行业评估标准，树立了新的性能标杆，为人工智能领域的信息检索与处理技术进步做出了重要贡献。

这三款模型分别是：

BGE-EN-ICL：一个英文向量模型，通过引入任务相关的查询-文档示例作为少量示例，增强了模型的语义表达能力。

BGE-Multilingual-Gemma2：一个多语言向量模型，表现出色，尤其是在中英文能力提升方面。

BGE-Reranker-v2.5-Gemma2-Lightweight：一个多语言重排序模型，通过优化设计，支持逐层提前输出和token压缩，节省了计算资源。

这些模型基于大语言模型进行训练，具备卓越的领域适应能力和广泛的泛化性能。它们还采用了情境学习能力和蒸馏技术，提升了模型的整体性能和检索任务中的能力。BGE-Reranker-v2.5-Gemma2-Lightweight模型特别注重轻量化设计，使其在保持卓越性能的同时更加高效。

在实验结果中，这些模型在MTEB、BEIR、AIR-Bench等多个评测基准中表现出色。BGE-Multilingual-Gemma2在多语言能力方面表现突出，尤其是在中英文能力提升方面。

BGE-EN-ICL在few-shot表现上尤为突出。BGE-Reranker-v2.5-Gemma2-Lightweight在重排任务中也达到了更好的结果，并在节省计算资源的情况下保证了优越的效果。

智源研究院突破性成果：EVE——开创无编码器视觉语言多模态新时代

近期，多模态学习领域的研究与实践确实迎来了一个飞速发展的时期，不仅国际上的科技巨头OpenAI、Google、Microsoft等持续推出了前沿的多模态大模型，诸如DALL-E和LaMDA，国内同样涌现出一批佼佼者，例如智谱AI和阶跃星辰，它们在多模态模型的探索上也实现了显著的成就，推动了技术边界的扩展。

为解决这些问题，智源研究院联合大连理工大学、北京大学等高校推出了新一代无编码器的视觉语言模型EVE。EVE通过精细化训练策略和额外的视觉监督，将视觉-语言表征、对齐和推理整合到统一的纯解码器架构中。使用公开数据，EVE在多个视觉-语言基准测试中表现优异，接近甚至优于基于编码器的主流多模态方法。

EVE的主要特点包括：

原生视觉语言模型：去除视觉编码器，处理任意图像长宽比，显著优于同类型Fuyu-8B模型。

数据和训练代价少：预训练使用OpenImages、SAM和LAION等公开数据，训练时间较短。

透明和高效的探索：为纯解码器的原生多模态架构提供了高效、透明的发展路径。

模型结构：

Patch Embedding Layer：通过单层卷积层和平均池化层获取图像2D特征图，增强局部特征和全局信息。

Patch Aligning Layer：整合多层网络视觉特征，实现与视觉编码器输出的细粒度对齐。

训练策略：

大语言模型引导的预训练阶段：建立视觉和语言之间的初步联系。

生成式预训练阶段：提高模型对视觉-语言内容的理解能力。

监督式的微调阶段：规范模型遵循语言指令和学习对话模式的能力。

定量分析：EVE在多个视觉语言基准测试中表现优异，与多种主流的基于编码器的视觉语言模型相当。尽管在准确响应特定指令方面存在挑战，但通过高效的训练策略，EVE实现了与带编码器基础的视觉语言模型相当的性能。

EVE展示了无编码器原生视觉语言模型的潜力，未来可能通过进一步的性能提升、无编码器架构的优化和原生多模态的构建，继续推动多模态模型的发展。

智源研究院联合清华共同推出生成模型GeoDream，解决3D结构不一致性的问题

智源研究院是人工智能领域的新型研发机构，在近日，智源研究院联合清华和北邮团队推出text-to-3D生成模型 GeoDream，能够将输入的文字描述转化为高质量和多视角一致性的3D 资产。

与传统的方法不同，GeoDream 通过解耦的方式利用2D 和3D 先验，解决了3D 结构不一致性的问题，并支持导出高保真的 texture meshes 和高分辨率的渲染图片。

该模型还提供了 Uni3D metric，用于衡量3D 模型的语义一致性。GeoDream 的论文和代码已经开源，并已集成到 threestudio 等开源库中。

该模型的核心创新点在于使用 Multi-View Stereo 技术生成 Cost Volume 作为3D 先验，并通过 Variational Score Distillation 方法将2D 和3D 先验进行融合。

此外，GeoDream 还提供了新的量化指标和评价方法，以更好地度量和比较生成的3D 模型的质量。最后，GeoDream 展示了对复杂输入的生成结果，支持导出 meshes 和高分辨率 UV maps，方便后续的3D 创作和应用。