Hi,朋友们,周末好!
这周Ruby吭哧吭哧地把第一个听海外科技播客的交流群给建起来啦🎉
开始只是上周末睡觉前在自己朋友圈发了下,结果醒来发现全是留言,现在优秀的群友已接近200。如果你是我们的订阅读者,可以wx添加web3brand小助理(@web3brand001),不定期添加群友哦!
感谢听友反馈,我们从本周开始将栏目改成【全球科技播客精选】。毕竟播客内容广泛,我们还是会聚焦在AI、Web3、科技改变商业和个人成长的领域进行有价值的内容挖掘与分享。我们随时欢迎大家来共建这个栏目,推荐你的心头好,让我们一起跟上这个飞速发展新时代的脚步。
本期编辑|Ruby
推荐撰稿|Star、Kathy、Ruby
本栏目的建议食用指南:
作为高价值内容信息的curator,还是建议你如果有时间,去观看和收听完整节目内容(因此我都会在文中附上原始链接);如果时间有限,希望我们的笔记摘要与Newsletter,可以让你快速把握最新的深度资讯与科技发展脉搏。
当然,顺手分享转发给需要的朋友,就是对我们用爱发电的最好支持!😄
📢关于栏目共建:
如果你也是一位海外优质播客的听友,关注AI与Web3领域最新进展,超级个体的实践案例,欢迎联系Ruby提交你富有人情味的播客内容推荐。
本期目录
Andrej Karpathy: 一个大语言模型是由你 Macbook 上的两个文件组成
Acquired:Visa 是如何成长为全球支付网络的?
Ali Abdaal如何从剑桥医学院学生成为坐拥500万粉的YouTube博主?
加入 2,700+ 订阅者,获得关于Web3和AI如何赋能个人品牌和企业的最新案例和思考
1. Andrej Karpathy: 一个大语言模型是由你 Macbook 上的两个文件组成
本条推荐来自 (在推特/X关注他)
人人都在说的大语言模型(LLM),它到底是什么?
OpenAI 顶级科学家,前特斯拉自动驾驶视觉团队负责人 Andrej Karpathy 用 1 个小时时间,深入浅出的介绍了
大语言模型(LLM)的构成
训练方法
能力评估
未来的可能性
面临的安全挑战
让作为听众的我有了一个完整而清晰的理解。如果你也希望对 ChatGPT 背后的大语言模型(LLM)感兴趣,欢迎收听 Andrej 的完整分享(放在最后)。
一、大语言模型的基本构成
一个大语言模型就是由两个文件组成的,一个是存储参数的文件,另一个是运行这些参数的代码
以 Meta 刚发布的 Llama 270B 为例,这是一个拥有 700 亿参数的神经网络模型,每个参数占用两个字节,因此存储参数的文件大小为 140 GB
另外你还需要一些能运行神经网络的代码,可以是 C 语言或 Python,或任何其他编程语言。只需大约 500 行 C 语言代码,就可以运行以上模型。这些代码被包含在我们所说的运行文件中
下载这 2 个文件到你的 MacBook 上,运行这段 C 代码,就可以得到一个可以和大语言模型交互的二进制可运行文件。你可以让它写一首关于 Scale AI 公司的诗,语言模型就会开始生成文本
二、大型语言模型的训练过程
训练一个大型语言模型,如ChatGPT,通常分为两个阶段:Pretraining(预训练)和 Finetuning(微调)
预训练
这一阶段主要通过下载海量文本数据(例如10TB)来训练基础版的神经网络模型( Llama 27B)。这需要巨大的计算资源, 6,000 个 GPU 的集群,需要运行 12 天,费用高达 200万美元
这一阶段的核心任务是让神经网络学会预测文本序列中的下一个词,这不仅是一种数据压缩的方式,而且是对神经网络进行深度学习的方法。
微调
在微调阶段,模型会被调整为更具体的用途,例如转变为助手模型。这涉及到使用高质量的数据集进行训练,如10万条精心挑选的问答对。
微调阶段的目标是提高模型在特定任务上的表现,如回答问题或生成特定类型的文本。
可选的第三阶段
人类反馈强化学习(RLHF),利用比较标签来提升模型性能。
三、大型语言模型的能力评估
大型语言模型的性能可以通过两个关键参数来衡量:网络中的参数数量(N)和用于训练的文本量(D)。一般来说,参数数量越多,训练数据越丰富,模型的表现就越好。
四、提升大型语言模型的思考水平
目前,大型语言模型类似于人类的“系统1”思考方式——依赖经验迅速作出判断。而要达到“系统2”的思考模式——进行深入分析和解决问题,模型需要通过特定任务的训练和微调来实现。这可以通过限定特定领域或使用奖励函数来完成。
五、大型语言模型的未来展望
将来,大型语言模型可能会发展成为类似操作系统的存在,具备阅读、生成文本、浏览互联网、与其他软件工具交互等能力。它们不仅将在知识上超越个体,还能在特定领域进行自我改进,甚至能够进行长时间的深思熟虑。
六、面临的安全挑战
随着技术的进步,大型语言模型也面临着各种安全问题,如越狱、提示注入、后门数据污染、对抗性输入、不安全的输出处理等。这些问题需要通过不断的研究和改进来解决。
👇完整观看链接,全长60分钟:
2. Acquired:Visa 如何成长为全球支付网络
本条推荐来自Kathy(在推特/X关注她),Kathy现在担任Web3投资机构OFR Fund的投资总监。
播客节目Acquired是由Ben Gilbert和David Rosenthal共同主持的一档深度商业播客,至今已有13季,这档播客聚焦伟大的企业,Gilbert和Rosenthal在每期节目解读一个企业案例,以对话的形式解读每一家企业的成长轨迹和发展策略。Visa是Acquired最新一期节目,时长3小时40分。
为什么我会对Visa的成长史感兴趣?
作为一个Web3从业者,我一直认为区块链技术和数字货币迄今最深远的影响,是实现价值的跨国界自由流动。Web3最主要的杀手级应用是跨境支付,基于数字资产的跨境支付网络成熟后,我认为下一个Web3大规模应用,可能是一个针对消费者级的全球信用市场。
Visa起源于1958年美国银行推出的一个针对消费者的试点项目,历经40年的时间,发展成全球电子支付网络。在互联网发展之前,Visa开启了现代信用卡时代,已经实现了全球支付。以史为镜,我们也许从Visa的故事中看到新一代价值网络的未来。
Visa 的发展轨迹
Visa 起源于Bank Americard 项目,这是美国银行(Bank of America)在1958年向加州弗雷斯诺的居民大规模邮寄的消费信贷卡,也是第一张真正意义上的现代信用卡。在当时的美国,居民收入快速增长,信贷扩张,普通人希望获得信用扩大消费;但银行并不被允许跨州经营,因此信用记录通常基于商店,非常有限。信用卡提供了一种便捷高效的支付方式,对消费者和商家都具有吸引力。
在一开始,Bank Americard遇到了欺诈和支付拖欠等多项挑战。但是,一旦解决了这些问题,并且获得盈利之后,美国银行开始将Bank Americard计划特许给美国各地的其他银行。特许经营包括允许其他银行发行BankAmericard品牌的信用卡。这些银行支付特许经营费,并同意将部分交易收入与美国银行共享。这种方法使该计划能够迅速扩展到加利福尼亚州以外的地区,覆盖全国的消费者和商家。
BankAmericard计划在各个银行中的扩张突显了对更高效、统一的交易处理系统的需求。交易的分散处理导致了运营挑战和高成本。为了解决这个问题,西雅图国家商业银行的Dee Hock提出了一项彻底重组的建议,主张创建一个新实体在全球范围内促进交易。这个愿景在成立一个最终被称为Visa的组织时得以实现。
Visa 扩张的里程碑
Visa组织的成立为Visa支付网络的扩张奠定了基础。Visa这家公司,相当于银行之间的合作社,允许在全球范围内高效和安全地处理电子交易,它代表了传统银行实践的显著转变,利用众多金融机构的集体力量,创建了一个无处不在且可靠的支付网络。
Visa本质上是一个以商业银行为节点的全球电子支付网络,Visa本身并不发行卡片、提供信贷或为消费者设定利率和费用;相反,这些功能由Visa的金融机构客户执行。如今Visa的商业模式包括,Visa卡的交易手续费、针对银行的服务费、清算数据处理和特许授权费用。在交易结算方面,Visa和区块链做的是一样的事情,这也是为什么很多公链用“新一代Visa”来比喻自己。而现在的公链赛道,欺诈、吞吐量、高手续费的挑战依然存在,公链的发展也依赖节点以及网络上所有开发者的协同。更有意思的是,区块链在技术基础上增加了一个经济激励层,也加强了链上不同群体的博弈。
👇完整收听链接,全长3小时40分钟(Apple和Spotify也可搜索到)
3. Ali Abdaal如何从剑桥医学院学生成为坐拥500万粉的YouTube博主
本条推荐来自 (在推特/X关注她)
YouTube大V Ali不仅以第一的成绩博士毕业,还在几年内积累庞大粉丝群,他的高效能秘诀是什么? 即将出版新书《Feel Good Productivity》的他分享了自己的经验 从他的采访里提炼3条对我帮助最大的建议,与大家分享
1⃣️如何让观众更愿意听你分享?
做向导,不要自称专家 (guide vs guru)
无论写文章还是做视频,试图从一个同路人角度分享,更易与用户拉近距离 「我想象我只是和你同一趟旅途中的同伴,与我的读者和视频观众分享一路上的好奇」 Ali说他YT上最受欢迎的标题永远是「我如何做XXX(How I do something)」,哪怕是我如何打字更快这样特别具体的分享
做课代表,不要自称高手
采访他的David说他一直把Ali当成他在学校里最聪明的朋友,「每当我需要一些学习技巧时总会去找他,因为他已经弄清楚了很多事情」,这概括了Ali在他粉丝心中的形象
2⃣️Ali独特的增长秘诀是什么?
围绕自己能控制的事去努力,并坚持交付作品 他关心的是是否做出了能够让自己感到骄傲的内容,而不是外在的指标 「多产比完美重要」,开始行动之后坚持才是关键 他说自己开设YouTube的头三年,「从来没有过关注订阅人数、里程碑、观看次数或收入等目标」
3⃣️真正高效能的秘诀:找到自己认为重要且享受的事
我一开始想,这听起来似乎有点陈词滥调 但是当Ali对David说,他没有觉得自己很努力在做Youtuber时,对方都惊呆了 外人眼中需要巨大努力的事,Ali自己却感到轻松愉悦,像玩游戏一样 可能对于我们所有人来说最重要的事,就是找到这件事 一旦找到,要专注专注行动本身而非某个职位title (doing the verb rather than being the noun) 他是一个「做视频分享」的人, 而不是YouTube大V; 身份标签容易困住自己,而关注行动才会使你自由✌️
视频来自知名写作导师 @david_perell 在他的播客系列《How I Write》里@AliAbdaal的采访;
这个系列采访诸多科技圈作者和顶级投资者,是我近期最喜欢的写作学习材料,推荐给感兴趣的朋友。
延伸阅读:
来看看本周Ruby和Star又读了点啥,写了点啥😄
Grok昨天已经向所有美国的Premium+会员开放了,如果你的日常信息源很大部分在X上,那么可以通过这4个非常实用的Prompt,让Grok成为你的内容教练
Web3Brand最新一期播客本周更新,下面扫码收听,文字部分也在本周的Newsletter里
以上就是本期的全部内容了。如果你也喜欢听播客,关注AI与Web3领域最新进展,超级个体的实践案例,想一起交流海外最新的优质内容,欢迎点赞这篇文章或者在评论区给我们留言😄
恭喜你阅读到最后!欢迎分享这封 Web3Brand Newsletter 给你的朋友或者到社交网络,让更多的人可以看到我们, thx!