查看原文
其他

GPT-4:让智能更智能

今日份知识你摄入了么?

GPT-4、GPT-3和人脑的比较(来自Youtube,作者Lex Fridman)

 

自打Robert Scoble写了关于GPT-4的文章后,已经过去了一段时间。我开始发觉,OpenAI可能会让GPT-4推向更大的市场。我不确定其是传统的alpha版本还是beta版本,但从时间上考虑,自2022年8月以来,已经有足够的时间让其发展为一个beta版本,一个早期发布的版本。


(来自Twitter)


什么是GPT-4?







我们都知道,GPT-3本身就是一个巨大的飞跃。与GPT-2相比,GPT-3要更加流畅。自从GPT-3发布以来,对GPT-4的讨论甚少。现在,我们已经获得了更多关于GPT-4的信息。


由于NDA,GPT-4规格的具体细节仍在不断变化,但GPT-4可能拥有100万亿个参数(来源:https://www.wired.com/story/cerebras-chip-cluster-neural-networks-ai/)。这是第一个以“稀疏性”为核心设计的大规模模型。稀疏性意味着什么?这意味着,即使在100T参数空间中,计算成本也不会太高,大多数神经元在最终模型中仍然是活跃的。在外行人看来,这是一个可以根据背景进行“下一个词”、“下一个句子”或“下一种情绪”的选择的模型。它很可能比它的前身更相像于实际的人类思维。


等等,什么是GPT?







GPT,即生成型预训练转换器,基于互联网可用数据训练的文本生成,是一种深度学习模型,可以用于问答、文本摘要生成、机器翻译、分类、代码生成和对话AI等无止境的场合。此外,你甚至可以根据特定数据对它们进行微调,生成更准确的结果(迁移学习)。通过使用GPT模型中的“Sauce”,构建NLP项目变得非常容易,凭此你可以节省时间、金钱和资源,进行泛化(巨大的样本量),不需要从头再来。


来自xataka


从GPT-1到GPT-3







自2018年GPT-1首次发布(详见:https://paperswithcode.com/paper/improving-language-understanding-by)到GPT-3出世,GPT系列取得了巨大进展:GPT-1有(且只有)1.17亿个参数,GPT-2将标准提高到12亿个参数(详见:https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf),GPT-3又将标准进一步提高到1750亿个参数(详见:https://arxiv.org/abs/2005.14165v4)。但如果要对比的话,DeepMind的Gopher模型有2500亿个参数(详见:https://www.deepmind.com/blog/language-modelling-at-scale-gopher-ethical-considerations-and-retrieval),Megatron NLG的模型更是有着5000亿+个参数(详见:https://developer.nvidia.com/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/)


逐渐地,随着在OpenAI方面的努力,微软得出了这样的结论:可选的超参数调整在这种规模的模型微调中具有很大的实用性。一般来说,模型越大,对其进行微调的成本就越高。DeepMind的实验(详见:https://arxiv.org/abs/2203.15556v1)得出的结论是,参数的数量与训练语料库的大小同样重要。


结语







作为一个纯文本模型,GPT-4将NLP向前推进了一大步,可能于明年年初发布。不能从GPT-3的角度去看GPT-4,我们现在需要的是一个新的测试标准。DeepFakes上关于人工智能的话题愈演愈烈,每当模型实现飞跃,我们就越能感受到人工智能的魅力。


以往发布的模型生成了过多的文本,对“人脑”的理解已然落后于时代。对于人工智能,我很乐观,同时,我希望在不久的将来,有更多的公司可以踏上改进人工智能模型的道路,使人工智能越来越智能。



时代在进步,激动人心的时刻即将到来,就让我们享受其中。当GPT-4真正发布之时,我一定会想了解更多!

原文作者:Dr. Mandar Karhade, MD. PhD.

翻译作者:高佑兮

美工编辑:过儿

校对审稿:Chuang

原文链接:https://pub.towardsai.net/what-is-gpt-4-and-when-9f5073f25a6d


圣诞节回馈 扫码加客服好友参与活动

往期精彩回顾

Google Sheets引入简易ML(机器学习)

数据应用学院圣诞节福利来啦!数据科学读书会课程任选一个免费送!

关于时间序列分析(TSA),你需要知道这15个词

新的聊天机器人ChatGPT擅长和不擅长的

我在第一份业务分析师工作中学到的五条经验






点「在看」的人都变好看了哦

点击“阅读原文”查看数据应用学院核心课程

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存