查看原文
其他

OpenBMB 年 度 大 事 记

OpenBMB开源社区 OpenBMB开源社区 2023-01-04



   

 搭建BMSystem ‍

训练 微调 推理 一网打尽 


我们逐步搭建大模型训练能力体系,推出大模型全流程加速工具包,包括大模型训练、微调、推理三大套件。
训练套件包括“原料”收集器 BMData、训练“发动机” BMTrain、“瘦身”工具库 BMCook;微调套件包括提示学习利器 OpenPrompt、参数高效微调工具OpenDelta、开发者共享能力的 Delta Center;推理套件包括高效压缩工具BMCook和高效推理工具 BMInf其中,OpenPrompt 发布以来在GitHub上获得2.2k+ star,其他工具包的 star 总和也达到1.3k+




   

 启动CPM-Live 

Ant落地 Bee起飞


我们发起百亿大模型训练直播项目CPM-Live,计划书于5月26日发布。第一期模型CPM-Ant的训练在5月29日正式启动,耗时68天于8月5日完成结束,报告最后在9月16日圆满发布。CPM-Ant实现了计算高效、性能优异、部署经济、使用便捷开放民主五大特点

第二期模型 CPM-Bee在10月13日开启训练,CPM-Bee 的训练中新增任务模式增强、多语言融合、复杂结构处理 等 新特性 。CPM-Bee即将完训,敬请期待!


   

 打造交流社区 

筑大模型开源生态


我们构筑了多位一体的大模型开源生态。OpenBMB 所有开源项目在 GitHub 为开发者提供了良好的开源体验,收获了 3.5k+  star。我们微信公众号、B站、知乎、智源社区多个平台提供相关信息资讯,粉丝总量6k+,还有 近2000 名兴趣人员加入 OpenBMB 交流社群,深入讨论大模型问题。

我们也陆续在Twitter、Medium、Hacker News等海外平台同步了英文资讯,未来我们还将积极建立海外社群,争取打造全球化大模型交流社区。

动图来自 OpenBMB 的 blibli 账号



   

 科研成果丰硕 

铺路大模型应用


2022年2月,团队发布生物医学领域大模型KV-PLM,论文入选 Nature Communications 亮点推荐文章;3月,BMInf、OpenPrompt 的相应论文被ACL 2022 Demo录用,BMInf 以极低的计算成本支持大模型的推理和微调,OpenPrompt  提供统一接口的提示学习模版语言;5月,开源工具包 OpenPrompt 获国际计算语言学顶级会议ACL 2022最佳展示论文奖

在以上科研成果的基础上,我们不断完善和应用大模型工具包,推动学术成果的实践转化。

 



   

 上线公开课程 

全民科普大模型‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍


我们于 7月29日 在B站推出包括9个课程、总时长18小时的公开课,是国内首门系统的大模型公开课程,目前播放量已达3w+,课程至今好评如潮。

9月29日起,我们又在微信公众号和B站 联动推出【论文速读】栏目,主打用脑图在10min 内带大家快速掌握一篇前沿经典论文,目前已陆续带读了EMNLP、ACL、ICLR三大顶会的论文,视频总播放量1w+

10月20日,知乎“知学堂”上线我们的大模型公开课,反响十分热烈,截至目前总学习次数43w+




   

 参与活动交流 

线上线下两开花


在前三个季度的沉淀下,我们在第四季度参加了各类交流活动,给广大关注者交代开源成果,也与业界同仁互享经验。

10月29日,我们参加中国开源年会北京分会场的线下活动开源集市,活动现场氛围热烈。我们于11月19日参与DataFunSummit 2022  “新一代 AI 基础架构及应用” 这一主题论坛的讨论。在12月10日,我们携手智源研究院、PARATERA 并行科技举办 “2022 大模型创新论坛 · 训练营”。最后,我们在12月22日参与了智东西公开课「大模型系列直播课」第4讲。




岁末之际,顺问冬安 🧨 

感谢广大同仁对 OpenBMB 的真诚关注和参与,我们一同点燃大模型的星星之火,来年我们还将一路见证它如何演变燎原之势。久交念敦敬,提前祝大家新年快乐!






官方网站
https://www.openbmb.org

技术文章
CPM-Ant 训练完成 | BMInf 适配GLM-130B
高效训练工具 BMTrain BMTrain 技术原理
CPM-Live 邀请函 CPM-Live 训练启动
OpenBMB 社区介绍 | 大模型课程
大模型榜单 BMList

长期开放招聘含实习
开发岗  |  研发岗  |  运营岗

交流QQ群
735930538

欢迎转载
商务合作请联系
openbmb@gmail.com

👏期待您的关注与加入👏

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存