自2022年11月ChatGPT发布以来,仅短短两个月的时间内,注册人数已突破1亿。甚至连在单位门口当保安的那位95年出生的小哥也因在抖音上了解到ChatGPT而倍感神奇,他还向我发信息询问如何使用。这位小哥之前从未听说过防火墙的存在,更别说VPN了。ChatGPT似乎在某种程度上缓解了人工智能领域的瓶颈,让公众开始看到AI技术新的实际应用前景。尤其是通用人工智能这一概念重新回到了公众视野。但另一方面,这也让国内的研究者们感到了一种巨大的危机,特别是传统的NLP或知识图谱方向,许多人开始担心自己的研究可能即将失去意义。
本篇旨在构建一个ChatGPT相关的资源库。
Reference
利用GPT的商业数据库
https://gpt3demo.com/map
Chiang, Ted. (2023, February 9). ChatGPT Is a Blurry JPEG of the Web. The New Yorker. https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web
- 很好的解读:将chatgpt比作是lossy compression of human knowledge
- 一个例子:用复印机(静电印刷)的复印错误为例,认为存在两种解析知识的方式,一种是无损压缩;一种是有损压缩。只要有损,就有可能是之毫厘差之千里。
万字长文:AI产品经理视角的ChatGPT全解析 (2023)
https://mp.weixin.qq.com/s/vHxi3-bk23QORNsIocIHeA
- 比较好地介绍了ChatGPT的原理,包括预训练大模型是什么、自回归(而非双向)、RLHF的原理;以及promoting。
乔姆斯基:ChatGPT的虚假承诺
https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html
https://mp.weixin.qq.com/s/yknwdKSJ1qkr0HcJcsSn6A
Stuart Russell & Song-Chun AI Safety Talk
https://mp.weixin.qq.com/s/TL1TCfQMetQh2nM3XykRBg
知乎长文:通向AGI之路:大型语言模型(LLM)技术精要
https://zhuanlan.zhihu.com/p/597586623?utm_medium=social&utm_oi=1146353567160922112&utm_psn=1607526068642168832&utm_source=ZHShareTargetIDMore