浙江大学计算机科学与技术学院与阿里巴巴达摩院联合开展的一项突破性研究，为人工智能训练开辟了全新路径。该团队通过收集相当于2.5年课堂时长的2.2万小时教学视频，构建出全球首个多模态AI教科书体系，相关成果已通过arXiv平台公开。
研究团队发现，传统AI训练方式存在根本性缺陷。现有数据集中普遍存在图文关联性薄弱的问题，例如网络爬取的图片常与文字内容脱节，如同教材中插入无关插图。更严重的是，网页图片间缺乏逻辑连贯性，这种碎片化信息导致AI难以建立完整的知识体系。娱乐化内容占据大量数据比例，严重稀释了知识密度。
针对这些痛点，科研人员开发出自动化知识加工系统。该系统首先绘制出涵盖数学、物理、化学等六大学科的55门课程知识图谱，确保内容体系完整。通过AI筛选技术，从15.9万个原始视频中精选出7.5万个教学片段，剔除娱乐、广告等无效内容。最终生成的"AI教科书"包含650万张关键画面和7.5亿字精炼文本，形成图文时间轴高度同步的学习材料。
技术创新体现在多环节的精密设计。在视频处理阶段，采用结构相似性算法精准捕捉知识讲解的关键帧，避免冗余信息干扰。语音转文字模块通过大语言模型优化，将口语化表达转化为规范书面语，同时保留专业术语的准确性。质量控制体系实施三级筛选机制，从视频整体到单个画面进行逐层过滤，确保数据纯净度。
实验数据显示，采用新方法训练的AI在复杂任务中表现优异。数学推理测试中，AI在MathVista基准上的得分提升5.3%-6.4%；科学知识测试ScienceQA的准确率提高超20%。特别设计的"线索捕捉测试"显示，新模型能以94.1%的准确率识别题目中的隐含信息，而传统模型仅达72.6%。当故意打乱教学视频的图像顺序时，AI性能出现显著下降，这从反面验证了时序逻辑对知识理解的重要性。
技术实现细节彰显研究深度。关键帧提取环节通过对比实验确定最优算法，发现省略语音润色步骤会导致模型性能下降4.9%，不提取画面文字信息则损失2.3%的准确率。针对长视频处理难题，研究团队开发出分段训练策略，通过插入边界标记帮助模型理解内容结构。
应用案例展示出AI的实质性进步。在几何问题求解中，模型能准确识别45-45-90三角形的特性，结合圆内接角原理完成复杂计算。物理概念解释方面，AI可清晰阐述加速度公式及其单位含义。化学知识测试显示，模型能准确区分原子、分子与化合物的结构差异。这些表现证明AI已具备将抽象理论与具体计算相结合的推理能力。
对比实验采用双模型验证体系，以LLaVA-1.5和Idefics2为测试对象，在相同数据规模下进行公平比较。结果显示，新方法在七个测试任务中的平均表现超越传统数据集3.2%-8.3%。特别在需要综合理解的场景中，教学视频训练的模型展现出显著优势，这得益于其数据中固有的知识递进关系。
该研究已实现完整技术开源，包括数据集构建工具和模型训练代码。这种开放姿态为后续研究奠定基础，研究者可在此基础上探索更多学科应用或优化视频处理算法。实验数据表明，每个技术环节的改进都带来明确性能提升，为AI训练方法论提供了量化参考标准。
