从数据管理视角系统评估LLM Agent记忆系统,揭示架构设计的关键权衡与最佳实践
Wei Zhou, Xuanhe Zhou, Shaokun Han, Hongming Xu, Guoliang Li, Zhiyu Li,...
Data Management
Evaluation Benchmark
LLM Agent
Long-Context
Memory System
首个支持文本、音频、视频全双工实时交互的端到端基础模型
Lianghua Huang, Zhifan Wu, Wei Wang, Yupeng Shi, Mengyang Feng, Junjie He,...
低延迟
实时交互
数字人
流式生成
端到端多模态
提出DomainShuttle框架实现高保真且灵活的开放领域视频个性化生成,跨域分数提升18.7%
Nan Chen, Yiyang Cai, Rongchang Xie, Junwen Pan, Cheng Chen, Weinan Jia,...
个性化生成
扩散模型
文本到视频
视频生成
跨域生成
首个支持摄影师构图和被摄者姿态推荐的拍摄时MLLM摄影指导系统
Jiayu Li, Yixiao Fang, Tianyu Hu, Wei Cheng, Ping Huang, Zheheng Fan, Gang...
人体姿态推荐
多模态大语言模型
强化学习
摄影构图
美学裁剪
iLLaDA通过12T预训练和多项改进显著提升扩散语言模型性能
Shen Nie, Qiyang Min, Shaoxuan Xu, Zihao Huang, Yuxuan Song, Yong Shan,...
从头训练
双向注意力
大规模预训练
扩散语言模型
系统综述多模态代码智能领域,提出以验证为核心的四方向研究议程
Xuanle Zhao, Qiushi Sun, Jingyu Xiao, Xuexin Liu, Haoyue Yang, Qiaosheng...
代码生成
多模态学习
机器学习综述
程序合成
视觉编程
利用多视点点跟踪作为几何监督信号,提升4D新视角视频生成的几何一致性和运动保真度
JoungBin Lee, Jaewoo Jung, Jongmin Lee, Tongmin Kim, Hyunsung Kim, Takuya...
几何一致性
新视角生成
点跟踪
视频扩散模型
计算机视觉
提出双流内存银行+边界感知门控,解决多镜头音视频生成中的身份漂移问题
Jiehui Huang, Yuechen Zhang, Bin Xia, Jiahao Wang, Xu He, Zhenchao Tang,...
多镜头一致性
视频生成
记忆机制
音视频联合生成
无需文本标注答案,通过对比正负视觉证据门控提升细粒度视觉推理能力
Haoxiang Sun, Zhihang Yi, Langxuan Deng, Yuhao Zhou, Peiqi Jia, Jian Zhao,...
在线策略蒸馏
多模态大语言模型
对比学习
视觉推理
门控机制
统一TF-CM和SF-DMD的三阶段蒸馏,1-4步实时流式视频生成达84.63分。
Kaiwen Zheng, Guande He, Min Zhao, Jintao Zhang, Huayu Chen, Jianfei Chen,...
一致性模型
世界模型
实时推理
扩散蒸馏
自回归模型
将视觉规划内化到潜在查询,单前向传播实现结构感知图像生成。
Zixuan Li, Haokun Lin, Yicheng Xiao, Zhiwei Li, Xinyang Song, Zelong Zheng,...
多模态大语言模型
思维链
扩散模型
文本到图像生成
查询级联
从LLM架构、强化学习训练到代理系统设计的全栈指南
Haggai Roitman
代理式AI
大语言模型
强化学习
系统架构
训练优化
让AI代理扮演数据科学家,通过迭代优化创建高质量合成训练数据
Ilia Kulikov, Chenxi Whitehouse, Tianhao Wu, Yixin Nie, Swarnadeep Saha,...
合成数据生成
多智能体系统
数据质量优化
自动数据科学
课程学习
提出多维诊断基准,揭示通用操控模型的能力特征和泛化边界
Ning Gao, Jinliang Zheng, Xing Gao, Haoxiang Ma, Hanqing Wang, Yukai Wang,...
仿真基准
机器人操控
泛化评估
能力诊断
通用策略
系统评估多模态CoT的边界与瓶颈
Zhuoran Jin, Kejian Zhu, Hongbang Yuan, Yupu Hao, Pengfei Cao, Yubo Chen,...
多模态推理
思维链
推理模型
视觉反思
基于 RoPE 块能量感知的自适应 KV 缓存量化方法
Fengfeng Liang, Yuechen Zhang, Jiaya Jia
KV Cache Quantization
LLM Compression
Long-Context Inference
RoPE Attention
首个相机可控视频虚拟试衣框架,用4D代理实现任意轨迹合成
Hao Sun, Hao Yan, Mengting Chen, Quanjian Song, Yu Li, Juan Cao, Jinsong...
4D重建
扩散模型
相机控制
虚拟试衣
视频虚拟试衣
构建大规模艺术文本合成数据集+支持任意形状输入的STR模型
Xingsong Ye, Yongkun Du, Jiaxin Zhang, Haojie Zhang, Chong Sun, Chen Li,...
场景文本识别
数据合成
艺术文本识别
计算机视觉
用强化学习优化文档索引以提升复杂推理检索效果
Yongjia Lei, Nedim Lipka, Zhisheng Qi, Utkarsh Sahu, Koustava Goswami,...
RAG
信息检索
强化学习
文档增强
检索增强
通过学生-教师概率比识别高价值负样本轨迹,提升 LLM 策略蒸馏效果
Chen Lin, Kedi Chen, Wei Zhang
大语言模型
推理能力提升
知识蒸馏
策略蒸馏
负样本学习
揭示LLM压缩的成本不对称性与语义漂移现象
Morayo Danielle Adeyemi, Ryan A. Rossi, Franck Dernoncourt
LLM压缩
成本优化
推理评估
语义一致性
揭示并缓解LLM智能体在工具选择中的过度特权行为
Kaiyue Yang, Yuyan Bu, Jingwei Yi, Yuchi Wang, Biyu Zhou, Juntao Dai,...
LLM安全
工具使用
智能体安全
权限控制
特权管理
通过分析中间层token级熵轨迹检测LLM越狱提示
Sofiia Nikolenko, Michele Papucci, Mina Rezaei, Shireen Kudukkil Manchingal
LLM安全
内部表征分析
熵动力学
越狱检测
通过人类标注的隐私敏感场景训练智能代理,使其更好地遵守人类隐私规范。
Manveer Singh Tamber, Abhay Puri, Marc-Etienne Brunet, Perouz Taslakian,...
RLHF
上下文完整性
人类对齐
智能代理
隐私保护
LAS2通过纯2D架构和三阶段训练策略,在实现高效零样本立体匹配的同时显著降低延迟
Junpeng Jing, Ronglai Zuo, Zhelun Shen, Shangchen Zhou, Rolandos Alexandros...
深度估计
立体匹配
计算机视觉
零样本学习
高效神经网络
首个严格评估跨模态可解释性的诊断框架,揭示现有方法无法区分真正的空间推理与浅层捷径
Sujay Belsare, Sudarshan Nikhil, Sushant Kumar, Ponnurangam Kumaraguru,...
VQA
可解释性
因果推理
基准测试
多模态AI
研究发现工具调用与JSON Schema约束同时启用时,多个开源模型完全停止调用工具的现象
Fangzheng Li, Aimin Zhang, Chen Lv
LLM Agent
工具调用
系统可靠性
约束解码
结构化输出
提出PQSG框架,用层次化问题图细粒度评估视频生成物理真实性
Atin Pothiraj, Jaemin Cho, Yue Zhang, Elias Stengel-Eskin, Mohit Bansal
场景图
多模态评估
文本到视频
物理评估
视频生成
用数据集蒸馏创建紧凑源锚点,提升持续测试时适应的稳定性
Hyun-Kurl Jang, Jihun Kim, Hyeokjun Kweon, Kuk-Jin Yoon
域适应
持续学习
数据集蒸馏
测试时适应
灾难性遗忘
研究发现推理模型的思考过程更像是事后的合理化而非真正的深思熟虑,安全决策在第一个token就已编码
Narutatsu Ri, Abhishek Panigrahi, Sanjeev Arora
LLM安全性
安全评估
对齐
思考过程
推理模型
标准 LLM 智能体的计划是上下文依赖而非内部持久状态,驱逐计划文本会显著降低性能
Aman Mehta, Anupam Datta
LLM智能体
上下文管理
推理模型
计划持久化
隐藏状态分析
训练行为预测器从单次推理轨迹预测大推理模型的未来行为
Mosh Levy, Yoav Goldberg, Asa Cooper Stickland
推理模型
模型可解释性
监督学习
行为预测
首次系统性研究10种非语言声音的说话人识别,提出条件蒸馏和MoE架构解决领域失配问题
Tzu-Chieh Wei, Yi-Cheng Lin, Huang-Cheng Chou, Kuan-Yu Chen, Hsin-Yen Sung,...
混合专家
知识蒸馏
自监督学习
说话人识别
非语言声音