阿里云官宣开源通义千问720亿参数模型
12月1日,阿里云开源通义千问720亿参数模型Qwen-72B、18亿参数模型Qwen-1.8B及音频大模型Qwen-Audio。据悉,阿里云本次开源的模型中除预训练模型外,还同步推出了对应的对话模型,面向72B、1.8B对话模型提供了4bit/8bit量化版模型,便于开发者们推理训练。
据资料显示,Qwen-72B是阿里云研发的通义千问大模型系列的720亿参数规模的模型。Qwen-72B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样,覆盖广泛,包括大量网络文本、专业书籍、代码等。