全球科技播客精选|第4期:深入浅出讲解AI大模型(LLM)、Visa的成长史、顶流油管博主的高效能秘笈

第一个海外科技播客的听友群已开启

Hi,朋友们,周末好!

这周Ruby吭哧吭哧地把第一个听海外科技播客的交流群给建起来啦🎉

开始只是上周末睡觉前在自己朋友圈发了下,结果醒来发现全是留言,现在优秀的群友已接近200。如果你是我们的订阅读者,可以wx添加web3brand小助理(@web3brand001),不定期添加群友哦!

感谢听友反馈,我们从本周开始将栏目改成【全球科技播客精选】。毕竟播客内容广泛,我们还是会聚焦在AI、Web3、科技改变商业和个人成长的领域进行有价值的内容挖掘与分享。我们随时欢迎大家来共建这个栏目,推荐你的心头好,让我们一起跟上这个飞速发展新时代的脚步。

本期编辑|Ruby

推荐撰稿|Star、Kathy、Ruby


本栏目的建议食用指南:

作为高价值内容信息的curator,还是建议你如果有时间,去观看和收听完整节目内容(因此我都会在文中附上原始链接);如果时间有限,希望我们的笔记摘要与Newsletter,可以让你快速把握最新的深度资讯与科技发展脉搏。

当然,顺手分享转发给需要的朋友,就是对我们用爱发电的最好支持!😄


📢关于栏目共建:

如果你也是一位海外优质播客的听友,关注AI与Web3领域最新进展,超级个体的实践案例,欢迎联系Ruby提交你富有人情味的播客内容推荐。


本期目录

  1. Andrej Karpathy: 一个大语言模型是由你 Macbook 上的两个文件组成

  2. Acquired:Visa 是如何成长为全球支付网络的?

  3. Ali Abdaal如何从剑桥医学院学生成为坐拥500万粉的YouTube博主?

加入 2,700+ 订阅者,获得关于Web3和AI如何赋能个人品牌和企业的最新案例和思考

1. Andrej Karpathy: 一个大语言模型是由你 Macbook 上的两个文件组成

本条推荐来自 (在推特/X关注他

人人都在说的大语言模型(LLM),它到底是什么?

OpenAI 顶级科学家,前特斯拉自动驾驶视觉团队负责人 Andrej Karpathy 用 1 个小时时间,深入浅出的介绍了

  • 大语言模型(LLM)的构成

  • 训练方法

  • 能力评估

  • 未来的可能性

  • 面临的安全挑战

让作为听众的我有了一个完整而清晰的理解。如果你也希望对 ChatGPT 背后的大语言模型(LLM)感兴趣,欢迎收听 Andrej 的完整分享(放在最后)。

一、大语言模型的基本构成

  • 一个大语言模型就是由两个文件组成的,一个是存储参数的文件,另一个是运行这些参数的代码

  • 以 Meta 刚发布的 Llama 270B 为例,这是一个拥有 700 亿参数的神经网络模型,每个参数占用两个字节,因此存储参数的文件大小为 140 GB

  • 另外你还需要一些能运行神经网络的代码,可以是 C 语言或 Python,或任何其他编程语言。只需大约 500 行 C 语言代码,就可以运行以上模型。这些代码被包含在我们所说的运行文件中

  • 下载这 2 个文件到你的 MacBook 上,运行这段 C 代码,就可以得到一个可以和大语言模型交互的二进制可运行文件。你可以让它写一首关于 Scale AI 公司的诗,语言模型就会开始生成文本

二、大型语言模型的训练过程

训练一个大型语言模型,如ChatGPT,通常分为两个阶段:Pretraining(预训练)和 Finetuning(微调)

  1. 预训练

  • 这一阶段主要通过下载海量文本数据(例如10TB)来训练基础版的神经网络模型( Llama 27B)。这需要巨大的计算资源, 6,000 个 GPU 的集群,需要运行 12 天,费用高达 200万美元

  • 这一阶段的核心任务是让神经网络学会预测文本序列中的下一个词,这不仅是一种数据压缩的方式,而且是对神经网络进行深度学习的方法。

  1. 微调

  • 在微调阶段,模型会被调整为更具体的用途,例如转变为助手模型。这涉及到使用高质量的数据集进行训练,如10万条精心挑选的问答对。

  • 微调阶段的目标是提高模型在特定任务上的表现,如回答问题或生成特定类型的文本。

  1. 可选的第三阶段

  • 人类反馈强化学习(RLHF),利用比较标签来提升模型性能。

三、大型语言模型的能力评估

大型语言模型的性能可以通过两个关键参数来衡量:网络中的参数数量(N)和用于训练的文本量(D)。一般来说,参数数量越多,训练数据越丰富,模型的表现就越好。

四、提升大型语言模型的思考水平

目前,大型语言模型类似于人类的“系统1”思考方式——依赖经验迅速作出判断。而要达到“系统2”的思考模式——进行深入分析和解决问题,模型需要通过特定任务的训练和微调来实现。这可以通过限定特定领域或使用奖励函数来完成。

五、大型语言模型的未来展望

将来,大型语言模型可能会发展成为类似操作系统的存在,具备阅读、生成文本、浏览互联网、与其他软件工具交互等能力。它们不仅将在知识上超越个体,还能在特定领域进行自我改进,甚至能够进行长时间的深思熟虑。

六、面临的安全挑战

随着技术的进步,大型语言模型也面临着各种安全问题,如越狱、提示注入、后门数据污染、对抗性输入、不安全的输出处理等。这些问题需要通过不断的研究和改进来解决。

👇完整观看链接,全长60分钟:

2. Acquired:Visa 如何成长为全球支付网络

本条推荐来自Kathy(在推特/X关注她),Kathy现在担任Web3投资机构OFR Fund的投资总监。

播客节目Acquired是由Ben Gilbert和David Rosenthal共同主持的一档深度商业播客,至今已有13季,这档播客聚焦伟大的企业,Gilbert和Rosenthal在每期节目解读一个企业案例,以对话的形式解读每一家企业的成长轨迹和发展策略。Visa是Acquired最新一期节目,时长3小时40分。

为什么我会对Visa的成长史感兴趣?

作为一个Web3从业者,我一直认为区块链技术和数字货币迄今最深远的影响,是实现价值的跨国界自由流动。Web3最主要的杀手级应用是跨境支付,基于数字资产的跨境支付网络成熟后,我认为下一个Web3大规模应用,可能是一个针对消费者级的全球信用市场。

Visa起源于1958年美国银行推出的一个针对消费者的试点项目,历经40年的时间,发展成全球电子支付网络。在互联网发展之前,Visa开启了现代信用卡时代,已经实现了全球支付。以史为镜,我们也许从Visa的故事中看到新一代价值网络的未来。

Visa 的发展轨迹

Visa 起源于Bank Americard 项目,这是美国银行(Bank of America)在1958年向加州弗雷斯诺的居民大规模邮寄的消费信贷卡,也是第一张真正意义上的现代信用卡。在当时的美国,居民收入快速增长,信贷扩张,普通人希望获得信用扩大消费;但银行并不被允许跨州经营,因此信用记录通常基于商店,非常有限。信用卡提供了一种便捷高效的支付方式,对消费者和商家都具有吸引力。

在一开始,Bank Americard遇到了欺诈和支付拖欠等多项挑战。但是,一旦解决了这些问题,并且获得盈利之后,美国银行开始将Bank Americard计划特许给美国各地的其他银行。特许经营包括允许其他银行发行BankAmericard品牌的信用卡。这些银行支付特许经营费,并同意将部分交易收入与美国银行共享。这种方法使该计划能够迅速扩展到加利福尼亚州以外的地区,覆盖全国的消费者和商家。

BankAmericard计划在各个银行中的扩张突显了对更高效、统一的交易处理系统的需求。交易的分散处理导致了运营挑战和高成本。为了解决这个问题,西雅图国家商业银行的Dee Hock提出了一项彻底重组的建议,主张创建一个新实体在全球范围内促进交易。这个愿景在成立一个最终被称为Visa的组织时得以实现。

Visa 扩张的里程碑

Visa组织的成立为Visa支付网络的扩张奠定了基础。Visa这家公司,相当于银行之间的合作社,允许在全球范围内高效和安全地处理电子交易,它代表了传统银行实践的显著转变,利用众多金融机构的集体力量,创建了一个无处不在且可靠的支付网络。

Visa本质上是一个以商业银行为节点的全球电子支付网络,Visa本身并不发行卡片、提供信贷或为消费者设定利率和费用;相反,这些功能由Visa的金融机构客户执行。如今Visa的商业模式包括,Visa卡的交易手续费、针对银行的服务费、清算数据处理和特许授权费用。在交易结算方面,Visa和区块链做的是一样的事情,这也是为什么很多公链用“新一代Visa”来比喻自己。而现在的公链赛道,欺诈、吞吐量、高手续费的挑战依然存在,公链的发展也依赖节点以及网络上所有开发者的协同。更有意思的是,区块链在技术基础上增加了一个经济激励层,也加强了链上不同群体的博弈。

👇完整收听链接,全长3小时40分钟(Apple和Spotify也可搜索到)

3. Ali Abdaal如何从剑桥医学院学生成为坐拥500万粉的YouTube博主

本条推荐来自 (在推特/X关注她

YouTube大V Ali不仅以第一的成绩博士毕业,还在几年内积累庞大粉丝群,他的高效能秘诀是什么? 即将出版新书《Feel Good Productivity》的他分享了自己的经验 从他的采访里提炼3条对我帮助最大的建议,与大家分享

1⃣️如何让观众更愿意听你分享?

  • 做向导,不要自称专家 (guide vs guru)

    无论写文章还是做视频,试图从一个同路人角度分享,更易与用户拉近距离 「我想象我只是和你同一趟旅途中的同伴,与我的读者和视频观众分享一路上的好奇」 Ali说他YT上最受欢迎的标题永远是「我如何做XXX(How I do something)」,哪怕是我如何打字更快这样特别具体的分享

  • 做课代表,不要自称高手

    采访他的David说他一直把Ali当成他在学校里最聪明的朋友,「每当我需要一些学习技巧时总会去找他,因为他已经弄清楚了很多事情」,这概括了Ali在他粉丝心中的形象

2⃣️Ali独特的增长秘诀是什么?

围绕自己能控制的事去努力,并坚持交付作品 他关心的是是否做出了能够让自己感到骄傲的内容,而不是外在的指标 「多产比完美重要」,开始行动之后坚持才是关键 他说自己开设YouTube的头三年,「从来没有过关注订阅人数、里程碑、观看次数或收入等目标」

3⃣️真正高效能的秘诀:找到自己认为重要且享受的事

我一开始想,这听起来似乎有点陈词滥调 但是当Ali对David说,他没有觉得自己很努力在做Youtuber时,对方都惊呆了 外人眼中需要巨大努力的事,Ali自己却感到轻松愉悦,像玩游戏一样 可能对于我们所有人来说最重要的事,就是找到这件事 一旦找到,要专注专注行动本身而非某个职位title (doing the verb rather than being the noun) 他是一个「做视频分享」的人, 而不是YouTube大V; 身份标签容易困住自己,而关注行动才会使你自由✌️

视频来自知名写作导师 @david_perell 在他的播客系列《How I Write》里@AliAbdaal的采访;

这个系列采访诸多科技圈作者和顶级投资者,是我近期最喜欢的写作学习材料,推荐给感兴趣的朋友。


延伸阅读:

来看看本周Ruby和Star又读了点啥,写了点啥😄
  1. Grok昨天已经向所有美国的Premium+会员开放了,如果你的日常信息源很大部分在X上,那么可以通过这4个非常实用的Prompt,让Grok成为你的内容教练

  2. Web3Brand最新一期播客本周更新,下面扫码收听,文字部分也在本周的Newsletter里


以上就是本期的全部内容了。如果你也喜欢听播客,关注AI与Web3领域最新进展,超级个体的实践案例,想一起交流海外最新的优质内容,欢迎点赞这篇文章或者在评论区给我们留言😄

恭喜你阅读到最后!欢迎分享这封 Web3Brand Newsletter 给你的朋友或者到社交网络,让更多的人可以看到我们, thx!

Share

Loading...
highlight
Collect this post to permanently own it.
Web3Brand | Empower Global Individuals logo
Subscribe to Web3Brand | Empower Global Individuals and never miss a post.