近期，日语AI领域迎来了一项重要突破，一家名为Shisa.AI的东京初创公司发布了其最新日英双语模型——Shisa V2405B，这一成果迅速吸引了业界的广泛关注。Shisa.AI专注于为日本市场开发先进的开源AI语言和语音模型，而此次发布的模型更是被誉为日本有史以来训练的最强大型语言模型。
据了解，Shisa V2405B是基于Llama3.1构建的，不仅在日语任务上表现出色，还保留了强大的英语处理能力。测试数据显示，该模型在多项日语基准测试中超越了GPT-4及GPT-4Turbo，与最新的GPT-4o和DeepSeek-V3在日语任务上的表现不相上下。这一突破性进展标志着日本本土AI实验室在全球AI竞争中迈出了重要一步。
Shisa.AI在模型开发过程中，放弃了昂贵的持续预训练和分词器扩展，而是聚焦于优化后训练流程。通过合成数据驱动的方法，他们显著提升了模型性能。其核心数据集ultra-orca-boros-en-ja-v1经过精心处理，被认为是目前最强大的日英双语数据集之一。这一数据集已在Apache2.0许可证下免费开放，为全球开发者提供了宝贵的资源。
Shisa V2系列模型涵盖了从7B到405B参数的不同规模，满足多样化需求。在日语语法、角色扮演、翻译等任务上，这些模型均表现出色。特别是在shisa-jp-ifeval（日语指令遵循测试）、shisa-jp-rp-bench（日语角色扮演基准）和shisa-jp-tl-bench（日英翻译基准）等测试中，Shisa V2系列模型均优于各自的基础模型。Shisa V2405B在训练中融入了少量韩语和繁体中文数据，进一步增强了其多语言能力。
Shisa.AI的开源精神不仅推动了日语AI的发展，还为全球AI社区带来了积极影响。他们公开了Shisa V2系列的训练日志，训练过程使用了AWS Sagemaker的4节点H100集群，并结合了Axolotl、DeepSpeed和Liger Kernel等先进技术。Shisa.AI还计划开源其日语专用基准测试工具，助力日语大型语言模型的研究和评估。
Shisa.AI的成功展示了日本在AI领域的创新实力。对于需要处理复杂日语任务的开发者来说，Shisa V2系列模型无疑是一个强大的工具。随着Shisa.AI不断更新其模型和资源，日本在全球AI领域的竞争力将得到进一步提升。
