随着大语言模型（LLM）智能体在科研自动化领域的广泛应用，其带来的伦理与安全问题逐渐成为焦点。为应对这一挑战，美国伊利诺伊大学厄巴纳-香槟分校的研究团队开发了一款名为SafeScientist的人工智能科研框架，旨在提升AI科学家在科研过程中的安全性。
该框架通过集成多层防御机制，能够主动识别并拒绝不符合伦理规范或存在高风险的科研任务。从用户输入指令开始，系统首先分析任务所属的科学领域，随后激活由特定领域研究员、通用型综述撰写者和实验规划者组成的专家智能体集合。这些智能体以协作方式展开讨论，共同生成并优化科研思路，确保研究方向的合理性与安全性。
在确定研究方案后，系统会调用科学工具与检索模块，包括网页搜索、学术文献数据库和领域仿真工具等，收集必要信息并执行模拟实验。最终，通过专门的写作模块，将研究成果整合为结构清晰、引用规范的高质量科研论文草稿。整个流程中，系统通过多层安全防护机制保障科研活动的合规性。
安全防护机制包含四个核心组件：提示监控模块利用LLaMA-Guard-3-8B模型评估用户指令的意图与风险，生成安全标签；结构分析器SafeChecker扫描指令中的潜在攻击模式，如越狱尝试或角色扮演漏洞；智能体协作监控模块实时监督多智能体讨论过程，发现恶意影响时主动进行伦理干预；工具使用监控模块则根据领域知识规范，识别对科研工具的不安全操作行为。
为系统评估AI科学家的安全性能，研究团队同步开发了SciSafetyBench基准测试平台。该平台覆盖物理学、化学、生物学、材料科学、信息科学和医学六个领域，包含240个高风险科研任务。这些任务由GPT-3、GPT-4.5和Gemini-2.5-pro生成，并经过人工严格审核。平台还构建了包含30种常用实验工具的安全科学工具数据集，生成120个实验范例，用于评估AI对工具的安全使用能力。
实验对比显示，SafeScientist在保持科研成果质量的前提下，整体安全性能较传统框架提升约35%。在质量、清晰度、表达、贡献和总体评估等指标上，该框架均表现出显著优势。研究团队指出，这一成果得益于其系统化的安全检测机制，能够从科研流程的各个环节——包括选题、实验设计和成果发布——实现全面的安全管控。
该研究强调，未来AI科学家的发展应建立符合科研管理规范的智能安全框架。在成果发表前，AI系统需经过完整的安全检验流程，确保研究活动既高效又合规。研究团队希望SafeScientist能成为这一领域的基础范式，为AI科研的安全评估提供可复制的参考标准。
