01、Token Sequence Compression for Efficient Multimodal Computing大型多模态模型LMMs的指数级增长推动了跨模态推理的发展但带来了巨大的计算成本。本文聚焦于视觉语言模型指出当前视觉编码器的冗余和低效并试图构建一种自适应的多模态数据压缩方法。本文通过基准测试和定性分析对多种视觉令牌选择和合并方法进行了研究特别指出简单的聚类级令牌聚合在视觉令牌选择和合并方面优于以往的最先进工作包括在视觉编码器级别进行合并和基于注意力的方法。本文强调了当前视觉编码器的冗余性并揭示了通过跨模态注意力可视化发现的关于视觉令牌选择原则的几个令人困惑的趋势。这项工作是首次尝试更有效地编码和处理高维数据为更可扩展和可持续的多模态系统铺平了道路。02、Backslash: Rate Constrained Optimized Training of Large Language Models大型语言模型LLMs的快速发展推动了对训练完成后参数压缩的广泛研究然而在训练阶段的压缩仍然鲜有探索。本文介绍了一种基于速率失真优化RDO的训练时压缩方法称为Backslash。Backslash能够在模型准确性和复杂性之间实现灵活的权衡在保留性能的同时显著减少参数冗余。在多种架构和任务中的实验表明Backslash可以在不损失准确性的前提下将内存使用量减少60% - 90%并且与训练后的压缩相比具有显著的压缩增益。此外Backslash具有高度的通用性它可以通过使用较小的拉格朗日乘数来增强泛化能力提高模型对剪枝的鲁棒性即使在80%的剪枝率下也能保持准确性并且能够简化网络以加速边缘设备上的推理。03、We’ll Fix it in Post: Improving Text-to-Video Generation with Neuro-Symbolic Feedback当前的文本到视频T2V生成模型因其能够从文本提示生成连贯视频而日益流行。然而这些模型在处理较长、更复杂的提示时常常难以生成在语义和时间上一致的视频尤其是涉及多个对象或顺序事件时。此外训练或微调这些模型的高昂计算成本使得直接改进变得不切实际。为了克服这些限制本文提出了一种名为NeuS-E的新型零训练视频精修流程利用神经符号反馈自动增强视频生成实现与提示的更好对齐。该方法首先通过分析正式的视频表示来推导神经符号反馈并识别语义不一致的事件、对象及其对应的帧。然后该反馈指导对原始视频进行针对性编辑。在开源和专有T2V模型上的广泛实证评估表明NeuS-E通过几乎40%的提升在多样化提示中显著增强了时间和逻辑对齐。04、(Im)possibility of Automated Hallucination Detection in Large Language Models本文是否可能实现大型语言模型LLMs产生的幻觉的自动化检测进行了理论分析。受经典Gold-Angluin语言识别框架的启发本文研究了一种算法是否能够在训练时仅使用来自一个未知目标语言K的样本K是从可数语言集合L中选择的并且可以访问LLM的情况下可靠地判断LLM的输出是否正确或构成幻觉。首先本文建立了幻觉检测与经典语言识别任务之间的等价关系。研究结果表明任何成功的幻觉检测方法都可以转化为语言识别方法反之亦然。鉴于语言识别已知的固有难度这一结果表明如果仅使用目标语言的正确示例正样本对检测器进行训练那么对于大多数语言集合来说自动化幻觉检测在本质上是不可能的。其次本文展示了使用专家标记的反馈即训练检测器时同时使用正样本和负样本会显著改变这一结论。在这种丰富的训练条件下自动化幻觉检测对于所有可数语言集合都是可能的。这些结果突出了专家标记示例在幻觉检测器训练过程中的关键作用从而为基于反馈的方法如人类反馈的强化学习提供了理论支持进一步解释了为什么这些方法在提高现实世界LLM部署的可靠性和安全性方面不可或缺。05、Collaborative Multi-Agent Reinforcement Learning for Automated Feature Transformation with Graph-Driven Path Optimization特征转换方法旨在找到一个最优的特征-特征交叉过程以生成高价值特征并提升下游机器学习任务的性能。现有的框架虽然旨在减少人工成本但常常将特征转换视为孤立的操作忽略了转换步骤之间的动态依赖性。为了解决这些局限性本文提出了TCTO这是一个基于协作多智能体强化学习的自动化特征工程框架通过图驱动的路径优化实现特征转换。该框架的核心创新在于一个动态演化的交互图该图将特征建模为节点将转换建模为边。通过图剪枝和回溯它动态地消除低影响的边减少冗余操作并增强探索的稳定性。此外该图还提供了完整的可追溯性使TCTO能够从历史转换中重用高效用子图。为了证明本文方法的有效性和适应性作者进行了广泛的实验和案例研究结果表明该方法在多个数据集上均表现出优越的性能。06、FRAG: Frame Selection Augmented Generation for Long Video and Long Document Understanding大型多模态模型LMMs在多模态理解方面取得了令人印象深刻的进展例如在图像和视频的字幕生成和视觉问答任务中。近期的研究进一步将这些模型扩展到长输入数据如多页文档和长视频。然而由于训练和推理过程中的计算成本这些长上下文 LMMs 的模型大小和性能仍然受到限制。在本研究中作者探索了一个正交方向即在没有长上下文 LMMs 的情况下处理长输入。作者提出了帧选择增强生成FRAG该模型首先选择与输入相关的帧然后仅基于这些选定的帧生成最终输出。选择过程的核心是对每个帧独立打分这不需要长上下文处理。得分最高的帧通过简单的 Top-K 选择被选中。研究表明这种简单而有效的框架可以应用于现有的 LMMs无需微调即可在长视频和多页文档理解任务中实现性能提升并达到最先进的水平。对于视频FRAG 在 MLVU 和 Video-MME 数据集上分别将 InternVL2-76B 的性能提升了 5.8% 和 3.7%。对于文档FRAG 在 MP-DocVQA 数据集上相比专门用于长文档理解的近期 LMMs 实现了超过 20% 的改进。07、Assessing the Capability of Large Language Models for Domain-Specific Ontology Generation大型语言模型LLMs在本体工程领域展现出了显著的潜力。然而目前尚不清楚它们在特定领域本体生成任务中的适用程度。在本研究中作者探索了LLMs在自动化本体生成中的应用并在不同领域对其性能进行了评估。具体而言研究者们调查了两种最先进的LLMs——DeepSeek和o1-preview均具备推理能力的泛化能力通过从一组能力问题CQs和相关用户故事中生成本体。实验设置涵盖了六个不同的领域这些领域均来自现有的本体工程实践项目并包含总共95个精心策划的CQs旨在测试模型在本体工程中的推理能力。研究发现使用这两种LLMs进行的实验在所有领域的表现都非常一致表明这些方法能够在不同领域泛化本体生成任务。这些结果突出了基于LLM的方法在实现可扩展且领域无关的本体构建方面的潜力并为增强自动化推理和知识表示技术的进一步研究奠定了基础。最后的最后感谢你们的阅读和喜欢作为一位在一线互联网行业奋斗多年的老兵我深知在这个瞬息万变的技术领域中持续学习和进步的重要性。为了帮助更多热爱技术、渴望成长的朋友我特别整理了一份涵盖大模型领域的宝贵资料集。这些资料不仅是我多年积累的心血结晶也是我在行业一线实战经验的总结。这些学习资料不仅深入浅出而且非常实用让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习相信它们一定能为你提供实质性的帮助。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】大模型知识脑图为了成为更好的 AI大模型 开发者这里为大家提供了总的路线图。它的用处就在于你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。经典书籍阅读阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。实战案例光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】