在阿里云自研大数据平台ODPS迎来十五周年庆典之际,一个重大变革正在悄然发生。阿里云智能集团副总裁汪军华宣布,ODPS将全面融入AI技术,实现架构升级,推动大数据与AI技术的深度融合,开启一个全新的AI Native时代。
自2009年问世以来,ODPS从一个离线计算引擎逐步成长为全球领先的云原生大数据平台,见证了大数据技术的蓬勃发展。十五年间,它不仅支撑了阿里集团内部多个核心业务的数据处理需求,还助力全球客户顺利实现从线下IDC向云原生的转型。如今,ODPS再次进化,正式迈入AI Native时代,致力于成为专为AI而生的数据平台。
为了应对AI浪潮的挑战,ODPS平台架构进行了全面升级,推出了面向Data+AI的新一代数智一体计算平台。该平台融合了Data和AI双引擎,旨在加速企业智能化的落地进程。
在基础设施层,ODPS整合了阿里云的计算、网络和存储等核心资源,确保大数据和AI分布式架构的稳定运行。在计算服务层,除了提供多种离线、实时和AI计算资源以保障云端数据加工与AI算力调度能力外,ODPS还实现了Data和AI的深度融合。MaxCompute与大模型紧密结合,提供了超大规模数据预处理能力;而Hologres则通过MCP协议,将湖仓中的海量数据转化为实时可查询的服务。
在平台管理层,ODPS提供了统一的Data+AI数据治理体系。用户可以通过DataWorks Copilot智能助手和智能体Agent,利用自然语言交互实现数据开发、数据分析与治理的全流程自动化。在应用场景层,数智一体计算平台已广泛应用于RAG增强检索、LLM大模型训练、MLOps运维等多种AI工程化场景,助力企业便捷地获取数据与AI能力,真正实现“数据驱动业务,AI创造价值”。
ODPS在AI Native时代的四大核心升级尤为引人注目。首先,它具备超大规模数据处理能力,能够支撑AI算力的爆发式增长。通过云原生架构,ODPS实现了数十万台集群的弹性调度,峰值数据处理能力高达50亿次/秒。以通义千问为例,ODPS的即开即用、按量付费模式为其节省了90%以上的成本。
其次,ODPS推出了湖仓一体方案,支持文本、图像、音视频等多模态数据的统一存储与计算,打破了AI数据的边界。在计算方面,MaxCompute推出了面向Python开发生态的分布式计算框架Maxframe,提供了高效的分布式计算能力,并简化了AI Funtion的调用流程,使得海量数据的离线处理变得更加便捷。同时,Hologres在高性能实时数据分析的基础上,提供了面向多模态数据和RAG场景的检索增强特性,性能领先开源产品30%-40%。
ODPS在计算范式上进行了创新,通过增量计算引擎(DLMV)和近线查询(MaxQA)填补了实时与离线之间的空缺。这一创新不仅优化了整体计算资源,还提供了一个更稳定、更强大的计算环境。MaxQA引擎在近实时场景下实现了查询性能的优化,显著减少了响应时间,提升了数据效率。
最后,ODPS通过AI赋能实现了数据价值的变现。MaxCompute Notebook结合了Maxframe分布式计算框架,支持通过SQL与Python相结合轻松访问海量数据,进行Data+AI一体化数据分析、数据科学计算和AI模型数据处理。DataWorks Copilot智能助手则提供了SQL/Python代码自动生成和智能补全等服务,使数据开发分析的平均效率提高了35%。同时,ODPS-Hologres及DataWorks发布的MCP Server服务,为客户提供了基于自然语言的用户交互界面及智能化产品体验。