EN

The Future of Software Development - AI & Infra

AI & Infra

CN

The Future of Software Development - Vibe Coding, Prompt Engineering & AI Assistants 

Key Logic 

本播客围绕基础设施（Infra）的定义、演变以及AI对其带来的颠覆性影响展开。核心信息在于，基础设施本质上是不断分层的，而AI（特别是模型）正成为第四层基础设施，它不仅改变了计算、网络和存储的需求，更深远地重塑了软件的编程范式和应用逻辑，使得软件本身正在被AI所颠覆。这种变革类似于互联网和微芯片带来的超级周期，极大地拓展了市场的潜在市场规模（TAM），催生了新的用户行为和商业模式，为初创公司提供了巨大的发展空间。同时，它也挑战了传统的可防御性概念和投资策略，要求行业参与者以更开放和适应性的视角来理解技术和市场的未来。

基础设施的定义与AI的定位 

• Host询问了“基础设施”的定义以及它与“企业领域”的区别。
  • Jennifer (发言人): 认为基础设施是“让软件能够运作的东西”，是工程师在幕后使用的工具，使得一切成为可能。
    • A16Z内部的正式定义是“技术买家”（technical buyer）。
      • 基础设施是“你用来构建其他东西的东西，你用来构建应用的东西”。
      • 如果被技术用户使用，例如开发者、数据科学家、分析师、网络安全专业人员、DevOps等，就认为是基础设施。
      • 例如，垂直SaaS可能被地板公司或营销人员使用，则不属于基础设施。
      • 从系统角度看，它包括计算（compute）、网络（networking）和存储（storage），以及围绕开发者日常工作的所有工具。
• Host询问了模型（Models）在基础设施中的定位，是否是第四层基础设施。
  • Jennifer (发言人): 认为模型是第四层基础设施。
    • 它建立在计算、网络和存储这三大支柱之上。
    • 对计算需求巨大，生成大量数据，且低延迟的网络能力对使用模型至关重要。
    • 模型将像其他任何基础设施软件一样普及，它融合了所有旧有元素，并为当今使用的软件提供了智能。
  • Martin (发言人): 补充了关于基础设施定义和AI模型作为第四层的思考。
    • 一个新的基础设施会改变编程的方式和技术栈。
      • “内存需求不同，延迟需求不同，因此它需要我们重新思考如何构建软件和基础设施。”
    • 除了计算、网络、存储，分布式系统也应包含在基础设施中，因为它改变了编程模型，例如状态一致性。
    • AI模型非常符合这一点，因为它需要不同的数据中心和芯片来构建，且其编程方式是非显而易见的。
      • “它们不听你的。有时它们甚至会自己写代码。”
    • “如果我要提炼出模型给基础设施带来的最大不同，那就是我们从应用层面放弃了逻辑。”
      • 过去，我们放弃的是资源（如计算、存储），但逻辑（是或否，做什么）总是来自程序员。
      • 现在，我们要求模型直接给出答案，这迫使我们重新思考程序员和软件的意义。
    • 许多人试图通过类比来理解AI模型（例如，像数据库可以回答查询，或像网络具有非确定性），但这需要一张“白纸”来重新思考。
• Jennifer (发言人)和Martin (发言人)讨论了AI对软件行业的颠覆性。
  • Jennifer (发言人): “软件一直是颠覆者。”
    • 她认为AI浪潮最令人兴奋的一点是“软件正在被颠覆”，“软件正在吃掉软件”。
    • “坦白说，这是我第一次可以诚实地说，我毕生致力于的这个行业正在被颠覆，这非常令人兴奋，因为它在某种程度上正在自我消耗。”
  • Martin (发言人): “基础设施永远不会消失。它只会分层。”
    • 过去使用的基础设施仍然相关，但AI和模型作为第四支柱正在进行叠加。
    • Martin提到他小时候互联网是新事物，Sandra Bullock的电影《The Net》中她通过电脑订披萨是件令人震惊的事，现在这已是普遍用户行为。
    • 但AI带来的影响“比那要大得多”，是他一生中见过的“最重大的事情”。

基础设施投资的演变与A16Z的实践 

• Host询问A16Z何时形成了明确的基础设施投资实践。
  • Martin (发言人): 回顾A16Z在基础设施投资方面的历史。
    • a16z一直有强大的基础设施人才，例如Ben Horowitz和Marc Andreessen（尽管他常以消费者投资者的身份出现，但实际上在深层基础设施方面彻底改变了计算的使用方式，如JavaScript）。
    • 早期投资如Peter Lavine的Zensource和Scott Weiss。
    • 曾将基础设施归类为“企业”（enterprise）而不是独立的“基础设施”。
    • 后来意识到，触及技术的产品的市场进入策略（go-to-market motions）与纯粹通过销售的市场进入策略截然不同。
    • 深度市场尽职调查和公司尽职调查需要不同类型的初级合伙人和分析。
    • 最终决定将两者分开，形成了应用基金（apps fund）和基础设施基金（infra fund）。
  • Jennifer (发言人): 强调了基础设施的水平性和技术买家的集中性。
    • 企业领域有水平部分，也有大量垂直企业的应用和买家。
    • 基础设施几乎总是水平的，可以分发到不同的行业和垂直领域。
    • 技术买家（如开发者）倾向于集中采购计算、网络、存储，这使得对他们的理解和销售模式不同于垂直SaaS。
      • “要理解如何向地板公司销售，你必须理解地板市场，这与宠物食品市场完全不同。”
      • 越远离核心基础设施，买家的集中度和教育水平越低，所需的分析也越不同。
• Martin (发言人)提到开发者决策的“马蹄理论”（horseshoe theory）。
  • 他观察到开发者的营销和销售越来越像消费者模式。
  • Ventura (主持人)补充说，当她开始关注基础设施开发者时，他们大约在低千万级别，现在已超过50 million，并且还在增长。
  • 现在自然语言也成为编程语言，这使得决策更像消费者行为。
• Martin (发言人)总结了A16Z投资基础设施的浪潮或拐点：
  • 前云时代（pre-cloud era）：2009年左右，早期投资处于云的边缘，本地软件（on-prem）和永久许可证是主流。
  • 云转型（cloud transition）：转向经常性收入、不同的部署模式和运营模式。
    • 净收入留存率（net dollar retention）、扩张（expansion）、毛流失率（gross churn）、毛利率（gross margin）变得更重要。
  • 移动互联网兴起：消费者市场被移动设备颠覆，如Uber、Lyft、Airbnb的崛起。
  • AI转型（AI transformation）：过去3年，AI带来的转型是他过去30年行业生涯中“最具戏剧性的”。
  • 疫情（COVID）的影响：作为一个插曲，疫情加速了开发者购买和采用工具的自下而上趋势，促使更多开发者工具公司兴起。
• Jennifer (发言人)补充了疫情对PLG（Product-Led Growth）开发者工具公司的加速作用。
  • 她认为疫情期间，大量PLG或产品主导型开发者工具公司蓬勃发展，为当前的AI开发者工具的涌现奠定了基础。
  • Martin (发言人): “没有什么比被强制居家、不与他人互动和编写代码更能让开发者高兴的了。”

市场扩展、新用户行为与挑战者机会 

• Martin (发言人)讨论了超级周期的特征，特别是边际成本下降带来的潜在市场规模（TAM）扩展和新用户行为。
  • 当某物的边际成本下降时（例如，计算的计算成本、互联网的分发成本），TAM会大幅扩张。
  • TAM扩张往往带来新用户和新行为。
    • 例如，互联网让人们不再习惯通过电脑与全球交流，这是一种新行为。
  • 现有公司不擅长应对新行为，因为它们的销售模式和运营都围绕旧行为构建。
  • 新行为为挑战者和初创公司提供了巨大的空白空间（white space）。
  • AI浪潮也正在发生同样的事情：市场巨大，出现前所未有的用例。
    • 这与互联网甚至微芯片的发展非常相似。
• Jennifer (发言人)从个人经历角度谈了工具和杠杆。
  • 她曾是低代码（low-code）的倡导者，认为低代码工具为那些有好想法但缺乏计算机科学教育的人提供了构建应用的能力。
    • 现在，AI提供了“下一级思想伙伴工具”，让任何人都能快速将想法变为现实。
    • Martin (发言人): 称低代码为Python这样的脚本语言。
      • “它只是需要大量的代码，只是代码是自然语言。”
      • AI的出现清晰地实现了低代码的承诺。

AI时代的可防御性与行业整合 

• Host询问AI公司的可防御性（Defensibility）。
  • Martin (发言人): 提到早期曾认为AI技术栈中几乎没有可防御性。
    • 最初的观点是，只有芯片设计（如Nvidia）具有护城河，其他层级都易于复制（例如，都在TSMC制造，云提供商产品相似，模型训练数据和能力相似，应用使用相同模型）。
    • 但现在，技术栈中的每个公司都表现出色，处于“布朗运动”（brownian motion）阶段，很难判断价值将流向何处。
    • 例如，Midjourney是基础设施公司还是应用公司？它构建模型但也是应用。
    • OpenAI既是基础设施（提供API和模型），又是消费者应用（ChatGPT）。
    • 11 Labs是语音AI供应商，既有创作者应用，也向企业提供API。
  • Jennifer (发言人): 强调了基础设施领域可防御性的传统来源和AI时代的变化。
    • 传统基础设施的可防御性来自构建新数据库或框架所需的大量专业知识和经验。
      • 例如，DuckDB团队花了4年时间才写出高性能的小型数据库，这很难复制。
      • Databricks在Spark上的工作也代表了这种专业知识壁垒。
    • AI基础设施也保留了这些可防御性，因为它涉及理解软件的缺陷和保障。
    • 然而，AI时代的“分发”和“开发者注意力”将成为新的竞争焦点。
• Martin (发言人)讨论了行业的扩张和收缩阶段以及整合。
  • 在扩张阶段（如当前AI浪潮），“零和思维”是致命的，因为市场不断扩大。
    • 例如，Nvidia芯片销量持续增长，托管平台利润率保持高位。
  • 在收缩阶段，行业会整合，最终形成寡头垄断或垄断。
    • 层级不会消失。寡头垄断会维持利润率（例如，云提供商的30%利润率），垄断也能维持利润率（例如，Intel）。
  • 他反对“商品化”和“不可防御性”的说法，认为这往往是技术栈不同层级之间的斗争。
    • 只有通过“向下渗透”（move down the stack）进入其他层级才能做到，但这极其困难。
    • 例如，Google构建自己的芯片，是垂直整合，而非层级间的斗争。
  • 鼓励基础设施投资者不要采取零和思维，因为历史上技术栈的每个层级都保持了一定程度的价值和利润。
  • Jennifer (发言人): 比喻当前AI时代是“比光速旅行”的发明，有足够的“星球和恒星”供所有人占据，还不需要争斗。
    • Martin (发言人): 补充说，行业最终会放缓并整合，但仍会诞生如AWS、Google、Databricks这样保持高利润率的伟大公司。
  • Martin (发言人): 强调基础设施的切换成本很高。
    • “转换成本要高得多，即使是API业务，人们也倾向于认为可以轻易切换到另一个API。调用API的软件本身嵌入了太多的逻辑。”
    • 这与消费者软件不同，因为基础设施涉及系统集成，而非个人偏好。
• Sam Altman对初创公司的建议：如果担心OpenAI的模型改进，说明你的业务处于困境；如果模型改进让你更兴奋，则处于有利位置。
  • Martin (发言人): 认为这更多是一个技术问题而非商业问题，即通用训练的泛化能力如何。
    • 在预训练阶段，模型泛化得很好，一个模型可以写代码和诗歌。
    • 但在强化学习（RL）阶段，会有权衡。
    • Martin (发言人): “我只是不认为这会体现在事情的最终发展方式上。”
  • Jennifer (发言人): 模型的未来是通用模型和特定任务的中小型模型都将存在。
    • “当我们在谈论复杂系统时，你不能只使用一个模型来驱动一切。”
    • 可以组合多个有能力的模型来完成特定任务。
    • 例如，从处理文档到将数据输入模型进行推理，再到获得干净和结构化的数据，这需要调用多个模型。

Agent和合成数据的辩论 

• Jennifer (发言人)谈论了当前A16Z内部和行业内的辩论。
  • Agent的生产能力和代理的演进：是否能从演示软件（demoware）转向实际有形价值的生产。
  • 合成数据（synthetic data）：是否能在不引入新信息的情况下显著提高模型性能。
    • Martin (发言人): 认为可以做到一点，但不能带来“自我改进的乌托邦”。
  • 泛化能力（Generalization）：模型针对特定任务（如数学）训练后，是否也能在其他方面表现出色。
  • AI的实际用途：AI的真正落地场景和用户行为。
    • 例如，ChatGPT最常见的用途是陪伴和治疗，然后是日程管理，而不是低代码开发。
    • 这是AI实际能力与人们原有期望之间的差异。
• Host询问对Karpathy关于Agent和上下文工程（Context Engineering）的演讲的看法。
  • Martin (发言人): 引用Karpathy的观点，认为这不是提示工程（Prompt Engineering），而是上下文工程。
    • 在调用模型时，需要知道在上下文和提示中放置什么，以及使用什么工具（例如，其他模型或传统计算机科学的索引、优先级）。
    • 为了获得最佳模型性能，需要确保上下文是正确的。
    • 这代表了新基础设施如何创造新模式和软件构建方法。
    • 他认为，未来5年将出现一套全新的软件构建形式化方法，具有强大的保障和工具。
  • Jennifer (发言人): 将其与数据管道（Data Pipeline）联系起来。
    • 如何将正确的数据和上下文馈送到模型中，以及Agent如何使用提供发现、保障和可观测性的工具或基础设施。

未来开发者角色与软件购买逻辑 

• Host询问AI对程序员数量和开发工作的影响。
  • Martin (发言人): 认为开发者会更多，而非减少。
    • “我们将会创造出更多出色的软件，它将对如此多的人开放”。
    • 编程是根本性的创造性工作，只有人才能在一定抽象层次上完成。
    • AI是生产力的巨大提升，会创造更多而非更少。
  • Jennifer (发言人): 同意此观点，开发者拥有更多工具，可以更快地进行迭代。
• Martin (发言人)讨论了人们购买软件的原因。
  • 他引用Box的CEO Aaron Levy的话：人们购买软件并不是因为它难构建（许多SaaS工具只是简单的CRUD操作），而是因为软件定义了工作流程、操作逻辑、哪些数据重要以及如何使用数据。
    • 产品的设计在于理解用户需求并引导他们。
  • 即使有了AI，设计产品、收集需求并引导用户使其高效的根本过程也不会消失。
  • 这与创建软件本身无关，而是一个更难的问题。
    • Martin (发言人): 提到PR中平均代码行数的中位数是2行。 这表明软件开发的长尾在于理解业务需求和用户需求，进行微小调整。

#developer_tools #infra_investing #AI_impact #software_disruption #market_expansion #technical_buyers #defensibility #agent_AI #synthetic_data #application_logic #programming_paradigm #cloud_transition #PLG #low_code #business_model #strategic_investment #product_development #AI_models