ArXiv cs.AI Research Agents AI
随着AI编码代理变得越来越自主,它们越来越多地迭代式发布代码,代码库在会话间持久存在。这种持久性创造了新的攻击面:一个被误导或注入提示的代理可以将攻击分散到多个拉取请求(PR)中,并选择时机插入恶意代码……
论文首次形式化定义了AI编码agent的持久状态分布式攻击,攻击者可利用跨PR和时间分散手段隐藏恶意代码插入
▾ 展开完整分析作者:Josh Hills, Ida Caspary, Asa Cooper Stickland 3 天前
ArXiv cs.AI Research LLM AI
LLM会记忆敏感训练数据,包括个人身份信息(PII),这迫切需要可靠的事后删除方法。遗忘技术已成为一个有前景的解决方案,其中最先进的方法通常遵循先定位再遗忘的步骤……
LACUNA基准测试LLM遗忘技术的定位精度,解决的是模型忘记个人数据的可控性问题
▾ 展开完整分析作者:Matteo Boglioni, Thibault Rousset, Siva Reddy 3 天前
ArXiv cs.AI Research LLM AI
许多日常编程任务难以用清晰的规则实现,例如对重要日志行发出告警、修复格式错误的JSON,或按意图对搜索结果排序,这些任务越来越多地外包给大语言模型API,却牺牲了本地性、可重复性……
这是一条研究信号,重点不在产品发布,而在论文提出的新假设、证据或评估框架。这条具体信号是「Program-as-Weights:模糊函数编程范式」,焦点在于许多日常编程任务难以用清晰的规则实现……
▾ 展开完整分析作者:Wentao Zhang, Liliana Hotsko, Woojeong Kim 3 天前
ArXiv cs.AI Research LLM Alignment AI Safety AI
尽管经过对齐训练,LLM在部署时仍容易生成不安全输出。因此,在线监控输出并在安全无法保证时发出警报至关重要。我们研究了一种简单的实时监控器,它利用外部验证器信号……
一个简单的在线安全监控器能利用外部验证器信号实时预警LLM不安全输出,为部署提供轻量级防御
▾ 展开完整分析作者:Mona Schirmer, Metod Jazbec, Alexander Timans 3 天前
ArXiv cs.AI Research LLM Reasoning AI
在现实应用中部署大语言模型时,理解和推理长上下文已成为关键需求。尽管最近的LLM支持越来越长的上下文窗口,但它们往往未能利用已经存在于文本中的相关证据……
ReContext用递归证据重放增强长上下文推理,属于RAG技术改进,但尚无开源实现
▾ 展开完整分析作者:Yanjun Zhao, Ruizhong Qiu, Tianxin Wei 3 天前
ArXiv cs.AI Research LLM Agents AI
LLM代理将越来越多地在社会结构化环境中行动,其中角色、受众和关系背景会塑造什么话是有利可图或代价高昂。我们研究这种社会结构,在提示中没有任何明确目标的情况下,是否会改变代理公开表达的内容……
Agent项目正在从问答层走向任务执行、工具调用和协作编排。这条具体信号是「当无人注视时LLM代理在说什么:多智能体辩论中的社会结构与潜在目标涌现」,焦点在于LLM代理将越来越多地在社会结构化环境中行动,其中角色、受众和关系背景会塑造什么话是有利可图或代价高昂。
▾ 展开完整分析作者:Arman Ghaffarizadeh, Danyal Mohaddes, Aliakbar Izadkhah 3 天前
ArXiv cs.CL Research LLM Reasoning NLP
长篇电视剧对全面视频理解提出了巨大挑战,解读复杂剧情往往依赖于说话人识别,即准确将每句台词归因于相应角色的任务。在本文中,我们提出……
AI正在向内容生产和媒体工作流继续渗透。这条具体信号是「推理LLM提升长篇电视剧中的说话人识别」,焦点在于长篇电视剧对全面视频理解提出了巨大挑战……
▾ 展开完整分析作者:Yuxuan Li, Lingxi Xie, Xinyue Huo 3 天前
ArXiv cs.LG Research LLM ML
策略自蒸馏(OPSD)已成为训练大语言模型进行推理的一种实用方法,其中单一模型同时充当教师和学生,但信息获取级别不同。然而,最近的研究发现教师……
身份与权限治理继续成为安全产品更新的核心主线。这条具体信号是「DemoPSD:基于分歧调制的策略自蒸馏」,焦点在于策略自蒸馏已成为训练大语言模型进行推理的一种实用方法……
▾ 展开完整分析作者:Yunhe Li, Hao Shi, Wenhao Liu 3 天前
ArXiv cs.LG Research LLM Efficiency ML
机器学习原子间势能(MLIPs)已成为人工智能科学仿真的标志。虽然新架构和数据集的努力已带来了日益准确和通用的模型,但训练中优化器的选择仍未得到充分探索……
安全社区热点显示,会议、培训和社区活动仍是新技术和实战方法扩散的重要入口。这条具体信号是「超越Adam:SOAP和Muon用于更快、标签高效地训练机器学习原子间势能」,焦点在于机器学习原子间势能已成为人工智能科学仿真的标志……
▾ 展开完整分析作者:Gil Harari, Yoel Zimmermann, Ola Tangen Kulseng 3 天前
ArXiv cs.CL Research LLM Vision NLP
通过对比语言-图像预训练(CLIP)训练的模型作为大多数现代大型视觉语言模型的基础视觉编码器。尽管它们被广泛采用,但CLIP模型表现出一种关键但尚未充分探索的失效模式:无关文本出现……
开发者工具正在把AI能力嵌入IDE、CLI和本地任务流。这条具体信号是「通过免训练的概念定位实现抗排版攻击的鲁棒性」,焦点在于通过对比语言-图像预训练(CLIP)训练的模型作为大多数现代大型视觉语言模型的基础视觉编码器……
▾ 展开完整分析作者:Bohan Liu, Wenqian Ye, Guangzhi Xiong 3 天前