ITBear旗下自媒体矩阵:

Falcon 40B:阿联酋首个开源大型语言模型引领潮流

   时间:2023-06-09 13:57:33 来源:ITBEAR编辑:星辉 发表评论无障碍通道

【ITBEAR科技资讯】6月9日消息,亚马逊云科技近日宣布,阿布扎比技术创新研究所(TII)开源的大型语言模型Falcon 40B和Falcon 7B已于6月7日起在其机器学习中心Amazon SageMaker JumpStart中可使用。

Amazon SageMaker JumpStart是一个提供预训练模型、内置算法和解决方案模板的平台,旨在帮助用户快速进行机器学习,实现文章总结、图片生成等任务。

据ITBEAR科技资讯了解,用户只需在SageMaker Studio中简单操作,即可轻松部署和使用Falcon模型,或者通过SageMaker Python SDK进行编程方式的应用。

此次发布意味着,不论是何行业、何规模的企业或开发者,都可以快速、轻松地部署Falcon 40B模型,并进行个性化定制以满足特定需求,如翻译、问答、信息总结、图像识别等应用程序。对于生成式AI行业的发展来说,这无疑具有重要意义。

Falcon 40B是阿联酋的首个大型人工智能模型,由阿布扎比技术创新研究所(TII)开发并推出。该模型拥有400亿参数,在高质量token上进行了1万亿次的训练,性能超越了扎克伯格旗下的650亿参数LLaMA模型以及其他知名开源模型,成为Hugging Face开源大语言模型全球榜的领军者。

Falcon 40B不仅在性能上表现出色,而且在训练资源的利用效率上也非常高。相较于GPT-3模型,Falcon 40B只使用了75%的训练预算,却能显著超越GPT-3的性能。此外,在推理阶段的计算量仅需GPT-3的1/5。

值得一提的是,Falcon 40B采用开源Apache 2.0许可证,广泛允许免费使用(商业化开源收入超过100万美元时,需缴纳10%的授权费用),为广大AI应用开发者提供了便利。开发者可在任何地方下载、检查和部署模型权重,构建满足用户需求的定制化AI工具。

根据了解,TII利用亚马逊云科技的SageMaker进行Falcon大语言模型的训练工作。SageMaker是一个托管API集合,为开发、训练、优化和托管机器学习模型提供支持,包括大型语言模型。TII使用SageMaker Training API提供的瞬态集群来训练Falcon大语言模型,最多支持48个ml.p4d.24xlarge实例(384个英伟达A100 GPU)。

目前,TII正在训练下一代Falcon大语言模型,并计划将训练扩展到3136个A100 GPU(392个ml.p4d实例)。

除了Falcon,其他知名大型语言模型如Stability AI、AI21 Labs和LG AI也使用了亚马逊云科技的SageMaker来处理其大语言模型工作负载。

通过Amazon SageMaker JumpStart,开发者现在可以快速轻松地部署自己的Falcon 40B模型,并进行个性化定制,加速生成式AI应用产品的落地。

总而言之,亚马逊云科技推出的Amazon SageMaker JumpStart为开发者提供了便利,使各行业客户都能够快速应用Falcon 40B模型,并根据自身需求进行定制化开发。随着各种大型语言模型的不断涌现,生成式AI的发展前景将更加广阔。

举报 0 收藏 0 打赏 0评论 0
 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  网站留言  |  RSS订阅  |  违规举报  |  开放转载  |  滚动资讯  |  English Version