当人工智能助手被赋予编写代码、修复漏洞的任务时，一个看似矛盾的现象逐渐显现：它们获取的信息越多，处理效率反而越低。这种困境源于当前AI编程工具的固有缺陷——每次调用文件搜索、代码解析或测试运行等工具时，系统会不加筛选地将所有返回内容塞进记忆库。随着对话轮次增加，这些堆积如山的数据中超过95%成为冗余信息，既推高计算成本，又导致AI在海量数据中迷失方向。
上海交通大学与字节跳动联合团队提出的解决方案，为破解这一困局带来转机。他们在标准测试集SWE-Bench Verified中发现，AI编程代理在解决代码问题时，仅文件读取工具产生的输出就占据对话总量的70%以上。这些原始数据中混杂着大量重复信息、过期注释和无关代码，如同给程序员塞满无用资料的办公桌，最终拖累整个系统的运行效率。
研究团队开发的SWE-Pruner Pro系统采用创新机制，在AI处理工具输出时自动执行"信息筛选"操作。该系统不依赖外部评判标准，而是通过分析AI模型内部的隐层表示——即神经网络处理信息时产生的多维数值向量——来识别真正有价值的内容。实验数据显示，未经训练的模型仅凭基础分类器就能达到AUC 0.83的识别准确率，证明AI在阅读代码时确实形成了隐性的重要性判断。
系统核心的"判断头"模块包含两个精巧设计。长度感知嵌入组件通过8个对数区间划分输入长度，为不同规模的代码文件赋予差异化处理策略：对5行短函数采取保守筛选，对500行长文件实施激进清理。逐token前馈分类器则采用双层线性变换结构，结合GELU激活函数和Dropout机制，为每个代码字符生成0-1间的保留概率值，最终通过行内多数投票决定内容去留。
训练数据构建过程体现严谨的工程思维。研究团队从五个公开数据集采集22,609条多轮对话记录，涵盖代码修改、象棋算法、机器学习等八大领域。每行代码的保留标签由Claude Sonnet 4.6根据后续对话行为标注，确保筛选标准与实际任务需求高度契合。数据显示，典型工具输出平均包含76行代码，其中仅32%需要保留，验证了冗余信息的普遍存在。
针对数据不平衡难题，研究团队创新设计逐样本平衡Focal损失函数。该机制在计算损失值时，对保留行和删除行分别取平均后再等权合并，有效防止模型偏向多数类。在100个样本的保留测试集中，这种损失函数使F1分数达到0.635，较标准交叉熵提升0.16，更关键的是将LLM评判分从5.95提高至7.08，证明筛选后的内容更利于AI完成任务。
实际部署测试展现显著效益。在SWE-QA测试集上，系统使Qwen3-Coder-Next模型的token消耗降低39%，同时保持任务准确率；在Oolong测试集使用MiMo-V2-Flash模型时，不仅节省30%计算资源，还将准确率提升2.2个百分点。工程优化方面，团队通过修复隐层状态传输漏洞、改用base64二进制封装，将数据传输体积压缩20倍，使额外计算开销控制在总生成时间的15%以内。
这项技术突破对AI编程工具发展具有启示意义。传统方法要么采用困惑度等通用指标进行压缩，要么需要额外模型评估内容价值，而SWE-Pruner Pro直接利用AI处理信息时产生的内部信号，开创了更高效的筛选范式。尽管当前方案仅适用于开放权重模型，且需针对不同骨干重新训练判断头，但其训练成本仅需15分钟（8块H200 GPU），不会构成实质性障碍。
在应用场景拓展上，研究团队发现该方法在自然语言处理任务中同样有效。Oolong测试集的结果显示，系统对非代码文本的筛选准确率与代码场景相当，证明AI的隐性重要性判断具有跨领域通用性。这项发现为开发更智能的AI工具提供了新思路——通过解析模型内部表示，或许能挖掘出更多尚未被利用的有效信号。
