AI API太多了？这个平台全部搞定，刚创业即获光速美国800万美元种子轮融资

• Substrate Labs是一家AI Infra创业公司，2023年8月17日成立于纽约，并于今年6月20日官宣完成800万美元的种子轮融资。
• Substrate Labs由Rob Cheung和Ben Guo两位资深工程师联合创立，他们在Stripe、Fin、Substack等顶尖企业积累了丰富的工程经验。CEO Rob Cheung此前是Fin和Substack的创始工程师，而联合创始人Ben Guo在Stripe工作了八年，专注于API和SDK设计。
• Substrate Labs推出了一款功能强大的API平台，它让开发者能够高效地构建和部署模块化的ai系统。该平台的基础设施经过精心优化，能够流畅处理多个AI模型，确保了高性能和易用性。Substrate Labs的愿景是解决开发者在AI模型部署过程中遇到的效率瓶颈，让构建复杂的AI工作流变得更加便捷，节约资源。           

当运行AI工作负载时，大多数推理提供商都是针对单一模型工作负载进行优化的。此外，大多数推理API实际上是在“尽力而为”的基础上提供的，因此任何停机或可靠性问题都需要工程师自行处理。这些供应商不知道工作负载的具体样式，因此他们只能在整体层面上进行宏观优化。

在软件开发过程中，抽象始终是极为重要的。这正是开发者不再编写原始汇编代码的原因，也是用户不需要信息理论博士学位就能启动一个简单的网络应用程序。但是围绕人工智能的大部分讨论都围绕着晦涩难明的技术细节，好像AI的应用就只是为了这些细节本身。人们经常容易忽略最关键的工作——开发人员所渴望创造的产品体验。

Substrate认为，最强大的人工智能集成方式是将多个推理过程以明确定义的逻辑结构进行协调。这种集成方式能够带来更强大的、更可靠的、更易于解释的人工智能系统。

在人工智能构建领域，大多数从业者已经意识到了这一点。所谓的'代理'流程正在逐渐成为主流，同时在更受约束的逻辑流程中，使用LLM生成结构化的JSON数据。实现多步骤AI工作负载的主要挑战在于基础设施的建设，许多开发者不得不面对创建一系列笨重的链式API调用，这不仅需要缓慢的网络往返，还涉及到高昂的一次性调用成本。有些公司尝试部署自己的基础设施，但在资金不足的情况下，往往导致系统资源效率低下且运行缓慢。

Substrate就致力于解决这个问题。

构建大型多步骤AI工作负载需要复杂的、高性能的工具和基础设施。如果这些工具和基础设施足够灵活，能够适应任何领域，那么每个人都将从简单、直观的界面中受益，这些界面可以抽象出底层强大的系统功能。这就是Substrate在做的事，它摒弃了传统的工具和基础设施概念，转而提供优雅的抽象层。

02 高效运行多种推理AI工作负载的平台，基础设施免管理

Substrate是首个专门为多步骤AI工作负载优化的推理API。通过Substrate，用户可以连接精选的节点库，这个库包含了优化的机器学习模型、内置的文件和向量存储、代码解释器以及逻辑控制流程。用户只需连接这些节点，描述出一个图形程序，Substrate就会迅速分析并执行该程序。通常，许多节点构成的整个图形会在单一机器上运行，任务之间实现自动批处理和微秒级的通信。

Substrate为开发者提供灵活且符合人体工程学的软件开发工具包，使他们能够定义适用于多模型人工智能工作流的计算图。在这些图中，每个节点代表一个计算的原子单元，也就是说，每个节点都专注于单一功能，无论是生成文本、创建图像还是执行沙盒代码。这些节点可以相互连接，形成能够定义任何复杂程度工作流的图，其中每个节点的输出能在几毫秒内作为输入传递给下一个节点。

在运行时，Substrate的后端将对这些图进行操作，利用其形式化的特性和优势——从基于网络拓扑的共置计算，到重写图以优化吞吐量或延迟、并行化、装箱等，应有尽有。这样，开发者即可使用Substrate定义AI工作流的同一图来优化后端的工作负载。

Substrate本质上是用于描述模块化人工智能工作负载的一项协议，由一个分布式系统支撑，从而能够高效地运行此类工作负载。

开发人员能够以一种自然的命令式方式运用节点进行编程，并且具备出色的类型提示。在底层，Substrate会追踪代码中节点关系的依赖图。当用户调用 substrate.run() 时，计算图将会自动以一种将并行性最大化、将延迟和数据往返最小化的方式执行。

图源：substrate.run

在没有Substrate时，要为跨异构模型进行多个推理调用编程，典型的方法是向多个供应商发出一系列API调用请求。这种方法适用于简单的情况，但随着推理调用数量的增加，缺点就变得明显：不必要的往返、未优化的程序流程以及管理供应商速率限制的挑战。

Substrate使用并发限制，限制并行运行的节点数，而不是速率限制。这比速率限制更容易使用，因为Substrate会根据并发限制来管理调度节点。

Substrate将高性能系统与优雅的抽象无缝结合，已经与Substack和Maven等客户达成合作。Substrate 每月能在复杂图表中处理数十亿个token，目前在提取和总结网站内容、房屋设计、转录音视频、存储和查询向量、抠图、掩膜图像生成等应用场景有成功用例。

图源：X

03 相识十余年的工程师背景创始人，创立十个月完成800万美元种子轮融资

Substrate的创始团队在Stripe、Google、Pulumi、Substack、Robust Intelligence、Confluent、Zendesk、Grailed和Venmo等公司有多年构建软件的经验。

图源：LinkedIn

Rob Cheung是Substrate的联合创始人兼CEO。他曾任Smalltalk的CTO，曾是AI Agent产品Fin的创始工程师，当Fin转型不再专注于AI后，他成为了Substack的创始工程师。Rob Cheung毕业于伊利诺伊大学香槟分校。

图源：LinkedIn

Ben Guo是Substrate的联合创始人。于2015年加入Stripe，并在过去8年中一直专注于Stripe的API和SDK的设计。他是Stripe Terminal的创始工程师。此前，他曾在Sum.com和Venmo担任软件工程师。Ben毕业于哈佛大学，有神经生物学和计算机科学相关的教育背景。

图源：X

6月20日，Substrate宣布完成了完成了种子轮融资，融资额为800万美元。本轮融资由Lightspeed Venture Partners领投，South Park Commons、Craft Ventures、Guillermo Rauch（Vercel）、Immad Akhund（Mercury）、Will Gaybrick（Stripe）等参与投资。公司计划利用这些资金扩大推理解决方案的市场，并为软件工程师们提供更先进的AI能力。

“目前，很少有组织能够将他们的AI应用真正投入实际生产环境。令人欣慰的是，Substrate正在借助一些传统的软件开发原则来克服这些难题——包括操作的原子性、关注点的分离、并行处理能力，以及最为关键的计算图概念。”Lightspeed的合伙人Nnamdi Iregbulem和Guru Chahal表示。

了解更多AI资讯，可以加入我们的交流群一起沟通讨论~

本篇内容来源于：Z Potentials