class

产业合作：


  近年来，MIPL研发了“面向个人智能助手的多模态视觉记忆技术”、“面向下一代智能终端的细粒度感知与记忆技术”、“面向手机摄影的美学理解与创作技术”、“面向智能购物的多模态商品推荐与动态虚拟试穿技术”和“面向大模型后训练的高效强化学习技术”等成果。其中，开源的Finedefics是业内首个细粒度多模态大模型；开源的细粒度识别大模型Fine-R1是首个在该任务上超越OpenAI的CLIP、Google DeepMind的SigLIP2等判别式模型的生成式大模型，开源1周内达到万级下载量，单月累计下载量达2.37万次；开源的基于细粒度树的分层识别方法TARA首次将大模型的识别范围从最细粒度的根节点拓展到了整棵类别树。期待与企业开展产业合作，推动技术创新与成果转化。


1. 面向个人智能助手的多模态视觉记忆技术:
  人脑的长期视觉记忆让我们能认出熟悉的人、自己的物品和去过的场景，这是日常生活中最自然的能力之一。然而，随着手机相册、聊天记录、邮件等个人数据不断累积，AI 助手却仍然“记不住”用户：现有多模态智能体的记忆大多依赖通用语义匹配，能找到“狗的照片”，却分不清“我家狗的照片”；面对“上次组会和细粒度相关的照片”这样的复杂指令，手机自带的相册搜索也往往无能为力。为此，本成果聚焦于面向个人智能助手的多模态视觉记忆技术，重点突破了 3 项核心能力：
（1）个性化视觉记忆：统一构建照片、视频、邮件、对话等多模态个人记忆，完整保留图像细节，使 AI 能够准确识别与用户相关的人、物和场景，在ATM-Bench、Mem-Gallery、MemEye、H2HMem等多个权威记忆榜单上取得第1名（包括腾讯、蚂蚁集团、UC伯克利大学、剑桥大学等12支队伍）。

（2）高效记忆构建：采用“过滤式”记忆构建机制，在保持高精度的同时大幅降低计算与显存开销，使个人记忆能够低成本地在终端上持续构建。


（3）复杂意图检索：提供快慢双路检索：快检索即时响应日常查询，慢检索对融合时间、人物与事件的复杂指令进行深度推理，精准找回目标记忆。


  该技术已落地为 Memix 手机 App，为手机、AI 眼镜等终端提供低开销、高精度的个人记忆能力，让 AI 助手真正“记得你”。
  近期相关论文：
• Geng Li, Yuhao Wang, Dong Li, Jianye Hao and Yuxin Peng*, "GraphMemix: Query-Aware Evidence Forests for Long-Term Multimodal Agent Memory", arXiv, Aug. 2026.



2. 面向下一代智能终端的细粒度感知与记忆技术:
  随着AI硬件不断发展，机器人、AI眼镜等终端正成为下一代智能交互的重要载体。人们需要的不再是“一问一答”的工具，而是能够持续感知环境、记住共同经历的智能伙伴。为此，本成果聚焦于面向下一代智能终端的细粒度感知与记忆技术，重点突破了2项核心能力：
（1）细粒度感知：实时看清世界。面向连续视频流，模型边看边理解，实时追踪人物、物体、动作及细微状态变化，理解事件的时序关系与动态演进，并随新信息持续更新判断。不仅能随时响应用户提问，还能主动捕捉关键事件，判断何时提醒、何时沉默、何时修正，实现与真实世界同步、自然流畅的交互。

（2）长时空记忆：持续记住世界。真正重要信息往往被日常海量琐事所淹没。模型在持续观察中，必须主动提炼关键细节与事件脉络，形成带时间戳的细粒度记录与分层记忆。当用户需要回溯时，能够结合历史记忆与当前视觉信息进行检索和推理，实现长期稳定、跨时空的情境理解，让每次交互都建立在共同经历之上。

  该技术为下一代智能终端提供细粒度感知与记忆的能力基础，助力AI在真实物理世界中真正发挥作用，成为具有“活人感”的智能交互伙伴。
  近期相关论文：
• Sibo Yin and Yuxin Peng*, "Learning Fine-Grained Vision-Language Alignment from Discriminative Part Descriptions", The Fortieth Annual Conference on Neural Information Processing Systems (NeurIPS), 2026. (Accept)
• Zhi Tan, Hulingxiao He and Yuxin Peng*, "Uncertainty-Aware Listwise Reinforcement Fine-Tuning for Fine-Grained Visual Classification", The Fortieth Annual Conference on Neural Information Processing Systems (NeurIPS), 2026. (Accept)
• Hulingxiao He, Zhi Tan and Yuxin Peng*, "Learning Taxonomy on Hyperbolic Manifolds for Large Multimodal Models", Forty-Third International Conference on Machine Learning (ICML), Seoul, South Korea, Jul. 6-11, 2026. (Accept)【pdf】【source code】
• Hulingxiao He, Zhi Tan and Yuxin Peng*, "Taxonomy-Aware Representation Alignment for Hierarchical Visual Recognition with Large Multimodal Models", The IEEE/CVF Conference on Computer Vision and Pattern Recognition 2026 (CVPR), Denver CO, USA, Jun. 3-7, 2026. 【pdf】【source code】【CVPR海报】【AI科技评论报道】【量子位报道】【极市平台报道】【CVer报道】
• Hulingxiao He, Zijun Geng and Yuxin Peng*, "Fine-R1: Make Multi-modal LLMs Excel in Fine-Grained Visual Recognition by Chain-of-Thought Reasoning", The Fourteenth International Conference on Learning Representations (ICLR), Rio de Janeiro, Brazil, Apr. 23-27, 2026. 【pdf】【source code】【量子位报道】【极市平台报道】【CVer报道】【宣传海报】【Slides】【Valse海报】【CCIG海报】
• Hulingxiao He, Geng Li, Zijun Geng, Jinglin Xu and Yuxin Peng*, "Analyzing and Boosting the Power of Fine-Grained Visual Recognition for Multi-modal Large Language Models", The Thirteenth International Conference on Learning Representations (ICLR), Singapore, Apr. 24-28, 2025. 【pdf】【source code】【model】【CSIG报道】【机器之心报道】【宣传海报】【Slides】
  相关数据集：
• 细粒度知识获取评测基准FIKA-BENCH（2026年5月发布，已被康奈尔大学、Apple、腾讯、INSAIT等7个机构使用）
• 国际首个细粒度跨媒体数据集和评测基准PKU FG-Xmedia（2019年10月发布，已被卡内基梅隆大学、麻省理工学院、谷歌、微软等138个机构使用）
• 大规模跨媒体数据集和评测基准PKU Xmedia & XmediaNet（2014年6月发布，已被斯坦福大学、卡内基梅隆大学、微软等409个机构使用）



3. 面向手机摄影的美学理解与创作技术:
  智能手机让拍照越来越容易，但拍出一张好照片仍然很难。高质量摄影需要综合把握构图、视角、光影等复杂要素，这需要充足的美学知识与摄影经验。而普通用户由于缺乏这些知识与经验，拍出的照片往往流于平淡、缺乏美感。为此，本成果聚焦于面向手机摄影的美学理解与创作技术，重点突破了3项核心能力：


（1）摄影指导：指导专业重拍。面向拍摄阶段，模型分析照片的美学问题，并从拍摄视角、构图布局、对焦方式等方面提供可操作的拍摄建议，指导用户重新拍摄，提升原始照片质量。


（2）照片裁剪：优化照片构图。面向拍摄后的照片，模型分析主体位置与画面布局，通过裁剪实现二次构图，去除画面干扰、优化视觉平衡，提升照片美学质量。


（3）样片生成：重塑摄影美感。面向裁剪后的照片，模型进一步进行美学分析，并基于分析结果调整构图、机位、姿态等摄影要素，在保持人物与场景一致的基础上，重新生成具有更高美学质量的样片。


  本成果面向智能手机影像、智能相册及移动摄影创作等场景，为用户提供从拍摄指导、照片裁剪到样片生成的全流程美学创作能力，降低专业摄影门槛，推动人工智能技术在手机影像领域的落地应用。
  近期相关论文：
• Tianxiang Du, Hulingxiao He and Yuxin Peng*, "AesFormer: Transform Everyday Photos into Beautiful Memories", Forty-Third International Conference on Machine Learning (ICML), Seoul, South Korea, Jul. 6-11, 2026. (Accept)【pdf】【source code】【新智元报道】
• Tianxiang Du, Hulingxiao He and Yuxin Peng*, "Venus: Benchmarking and Empowering Multimodal Large Language Models for Aesthetic Guidance and Cropping", The IEEE/CVF Conference on Computer Vision and Pattern Recognition 2026 (CVPR), Denver CO, USA, Jun. 3-7, 2026. 【pdf】【source code】【CVPR海报】【量子位报道】【CCIG海报】
  相关数据集：
• 美学指导数据集和评测基准AesGuide（2026年3月发布，已被哈佛大学、麻省理工学院、华为、美图、三星、视觉中国等54个机构使用）



4. 面向智能购物的多模态商品推荐与动态虚拟试穿技术:
  随着多模态大模型与生成式人工智能的发展，线上购物正从传统商品搜索与静态浏览，向个性化、智能化和沉浸式体验转变。本成果围绕服装选购中的个性化需求，融合多模态理解与生成技术，实现从智能推荐、虚拟换装到动态试穿的一体化购物体验，重点突破了3项核心能力:
（1）细粒度商品推荐：让选购更精准。融合图像理解与多轮对话，精准识别服装款式、颜色、纹理及局部设计等细粒度属性。用户可通过自然语言不断调整偏好，实现更加灵活、精准的个性化商品推荐。


（2）个性化虚拟换装：让试穿更便捷。结合用户照片与目标服装图像，通过生成式视觉技术实现虚拟换装，在保持人物外貌、身体姿态及服装关键细节的同时，直观呈现不同服装的上身效果，让用户足不出户即可体验试穿。


（3）动态试穿视频生成：让穿搭动起来。基于静态换装效果，用自然语言指挥人物转身、抬手、走动等，生成动作流畅、服装细节一致的动态试穿视频，使服装随姿态自然舒展，直观呈现服装的版型、纹理与动态上身效果。


  本成果将智能推荐、虚拟换装与动态展示有机融合，推动线上购物从“看商品”走向“选商品、试穿搭、看动态”，为智能电商与沉浸式数字消费提供全新的交互体验。
  近期相关论文：
• Guohao Zhao and Yuxin Peng*, "PG-VTON: Single-Pass Training-Free Virtual Try-On via Patch-Guided Reference Alignment", The IEEE/CVF Conference on Computer Vision and Pattern Recognition 2026 (CVPR), Denver CO, USA, Jun. 3-7, 2026. 【pdf】【source code】【CVPR海报】【极市平台报道】【Valse海报】
• Yanzhe Chen, Zhiwen Yang, Jinglin Xu and Yuxin Peng*, "MAI: A Multi-turn Aggregation-Iteration Model for Composed Image Retrieval", The Thirteenth International Conference on Learning Representations (ICLR), Singapore, Apr. 24-28, 2025. 【pdf】【source code】【CSIG报道】【机器之心报道】【宣传海报】
  相关数据集：
• 广告海报内容感知布局生成的数据集和评测基准PKU PosterLayout（2023年7月发布，已被卡内基梅隆大学、微软、谷歌Deepmind、Adobe、Apple等146个机构使用）



5. 面向大模型后训练的高效强化学习技术:
  随着人工智能从“会聊天”向“能办事”加速演进，复杂推理与任务执行成为大模型能力提升的重要方向。强化学习通过持续探索与反馈推动模型进步，但海量响应生成和反复训练产生的高昂算力开销，制约了模型能力的持续提升。为此，本成果聚焦于面向大模型后训练的高效强化学习技术，重点突破2项核心能力：
（1）高效采样：让模型探索更快。强化学习需要模型反复尝试、生成大量候选回答，容易造成计算资源等待和浪费。本成果通过智能协调生成任务、均衡计算负载，提高资源利用效率；同时挖掘历史探索结果中的可复用信息，减少重复生成，让模型用更少时间完成更多有效尝试，在兼顾生成质量的同时降低采样成本。


（2）高效优化：让模型学习更省。传统强化学习需要大量训练迭代，反复计算与参数更新消耗大量算力。本成果充分挖掘历史训练积累的有效经验，识别更有价值的优化方向，避免低效重复训练，并采用轻量化的优化方式，让模型以更少的计算资源持续提升推理与任务求解能力。


  该技术从采样生成与训练优化两大关键环节提升强化学习效率，推动大模型训练从“高成本反复试错”向“低成本高效进化”转变，为大模型能力持续提升和智能体规模化应用提供技术支撑。
  近期相关论文：
• Shengpeng Yin, Hui-Ling Zhen, Xing Li, Mingxuan Yuan, Zishuo Wang and Yuxin Peng*, "LADDERS: Length-Aware Data Distribution and Existing-Response Speculation for Fast RL Rollout Generation", The Fortieth Annual Conference on Neural Information Processing Systems (NeurIPS), 2026. (Accept)