去年(nian)12月，智东西公(gong)开课联合达摩院(yuan)自然语言智能实验室全新策(ce)划推(tui)出(chu)了「阿(a)(a)里达摩院(yuan)大模(mo)(mo)型(xing)公(gong)开课」，并邀(yao)请到了阿(a)(a)里巴(ba)巴(ba)达摩院(yuan)高(gao)级算法工程师李晨亮和NLP高(gao)级算法专家严明，分别(bie)就主题(ti)《达摩院(yuan)通义 AliceMind 预(yu)训(xun)练(lian)大模(mo)(mo)型(xing)在 AIGC 文本创作(zuo)的探(tan)索》、《 达摩院(yuan)通义 mPLUG 多模(mo)(mo)态预(yu)训(xun)练(lian)技术(shu)演进(jin)及应(ying)用(yong)实践》进(jin)行了深度讲(jiang)解。
5月18日，「阿里(li)(li)达(da)摩(mo)院(yuan)大模型公开课」第3讲上线开讲。阿里(li)(li)巴(ba)巴(ba)达(da)摩(mo)院(yuan)算法专家、ChatPLUG 核心(xin)贡献(xian)者田俊峰和(he)阿里(li)(li)巴(ba)巴(ba)达(da)摩(mo)院(yuan)算法工(gong)程师、mPLUG 核心(xin)贡献(xian)者叶晴昊将(jiang)参与主(zhu)讲。两(liang)位主(zhu)讲人将(jiang)对ChatPLUG 和(he) mPLUG-Owl 背后(hou)的技(ji)术(shu)细节(jie)进行深入(ru)剖析。
ChatPLUG 是基于 PLUG 的(de)一个中(zhong)文对(dui)话大(da)模型，使用亿级(ji)(ji)互联(lian)网(wang)社交数(shu)据(ju)、百科数(shu)据(ju)预训(xun)练和(he)百万级(ji)(ji)高质(zhi)量对(dui)话数(shu)据(ju)，并采用 FID（Fuse-in-Decoder）架构进(jin)行 instruction 微调得到。该模型支持高效的(de)输(shu)入(ru)多段(duan)外部(bu)知识(shi)、人设信息等文本进(jin)行知识(shi)增强。
在与最新的开源中文对话大模型 BELLE-7M-2B 和 ChatGLM-6B 进行(xing)了多任务(wu)泛化性的人(ren)工(gong)对比评测(ce)后发现：
1）ChatPLUG-3.7B 取得(de)了比(bi) BELLE-7B-2M 更(geng)好的效果（ Rating-A 更(geng)多(duo)，Rating-C 更(geng)少(shao)），同(tong)时对(dui)比(bi) ChatGLM-6B 也取得(de)了 comparable 的效果，表明(ming)了 ChatPLUG 具备良(liang)好的多(duo)任务泛化能力；
2）当将模型的(de) size 扩(kuo)大到 13B，ChatPLUG-13B 在所有(you)模型中取得了最(zui)优效果(guo)。
mPLUG-Owl是一款类(lei)似于 miniGPT-4 和 LLaVA 的多模(mo)(mo)态(tai)对话(hua)生成模(mo)(mo)型，由视觉(jue)基础模(mo)(mo)型 、视觉(jue)抽象模(mo)(mo)块以及预训练语(yu)言模(mo)(mo)型组成，并且具(ju)备单模(mo)(mo)态(tai)和多模(mo)(mo)态(tai)多轮对话(hua)能力。
本次公开课(ke)，田俊峰将(jiang)以(yi)《中文个性化对(dui)(dui)话大(da)模(mo)(mo)型(xing)(xing)ChatPLUG》为(wei)主题首(shou)先带来直播(bo)讲(jiang)解。他的讲(jiang)解将(jiang)主要从(cong)个性化大(da)模(mo)(mo)型(xing)(xing)研究、搜索增强指令微调对(dui)(dui)话大(da)模(mo)(mo)型(xing)(xing)，以(yi)及对(dui)(dui)话大(da)模(mo)(mo)型(xing)(xing)的评(ping)估和开源三方面展(zhan)开。
之后，叶晴昊将围绕《模(mo)(mo)块(kuai)化多模(mo)(mo)态(tai)大模(mo)(mo)型(xing)(xing)(xing)mPLUG-Owl》这一主题进行讲解(jie)。他将介绍多模(mo)(mo)态(tai)大模(mo)(mo)型(xing)(xing)(xing)研究的变化趋势，并对(dui)mPLUG模(mo)(mo)块(kuai)化多模(mo)(mo)态(tai)模(mo)(mo)型(xing)(xing)(xing)系列(lie)，以及(ji)mPLUG-Owl及(ji)训练新范(fan)式进行深入解(jie)读。
第3讲
主题一
《中文(wen)个性(xing)化对话大(da)模型ChatPLUG》
提 纲
1、个性化大模型研究概述
2、搜索增强指令微调对话大模型
3、对话大模型(xing)的评估和开(kai)源
主讲人
田(tian)俊峰，阿里巴(ba)巴(ba)达摩(mo)院算(suan)法专家、ChatPLUG核心(xin)贡献者；研(yan)究方向为对(dui)话大模(mo)型(xing)和多模(mo)态大模(mo)型(xing)，在国际顶级(ji)会议(yi)ACL、EMNLP、CVPR、AAAI等发表多篇文章(zhang)。
主 题 二
《模(mo)(mo)块化多模(mo)(mo)态(tai)大模(mo)(mo)型mPLUG-Owl》
提 纲
1、多模态大模型研究的变化趋势
2、mPLUG模块化多模态模型系列概述
3、mPLUG-Owl及训练新(xin)范式解析(xi)
主讲人
叶晴昊，阿里(li)巴(ba)巴(ba)达摩院(yuan)算法工程师、mPLUG核(he)心贡献(xian)者(zhe)；研究方向(xiang)为多模(mo)态模(mo)块化大模(mo)型，在国(guo)际顶(ding)级会(hui)议ICCV、ICML、ACL等发表多篇文章。
