今天我们要聊的是人工智能领域最精彩的故事之一——Hebbia。三年前，乔治·西武尔卡连每月300美元的地板床垫租金都付不起。他辍学后偷偷溜进斯坦福大学的餐厅蹭饭。前两轮融资，他都是在Zoom上进行的，身后还挂着衣服。最近，这家公司完成了高达1.3亿美元的融资，投资者包括彼得·蒂尔、Index、GV和安德森·霍洛维茨等。这是过去几年最引人注目的故事之一。《20VC》

https://www.thetwentyminutevc.com/george-sivulka

{"highlight":[{"answer":"我当时还在实验室。我拿的是博士生工资，一年大概3.8万美元。如果有斯坦福研究生奖学金的话，能拿到4.2万，我当时就有这个奖学金。我说我要休学，跟导师说“一年后回来”。当时是新冠疫情期间，就想给自己点时间。但我没地方去啊，也没什么明确的下一步计划，就想创业。我问几个在东帕罗奥图合租房子的朋友，能不能租个最便宜的房间给我。结果他们说房子都租满了，最便宜的房间也要1000多美元。后来他们说：“要不你租主卧的衣帽间吧，大概500到600美元。”（说300美元是为了凸显当时有多穷，给自己留点面子哈哈。）于是我从宿舍搬了个床垫进去，又在附近的家得宝买了张折叠桌。我得不停地折腾：要么床垫放地上，要么桌子放地上。我就整天坐在那儿工作，一天16到18个小时，睡觉，醒来，再接着干，没有周末。我简直活成了修道士，一门心思扑在创业上。当时我还在训练模型，半夜都会起来看看进度，就为了充分利用GPU，不想浪费钱。","question":"所以当时在实验室，我们想着“这领域大有可为，要不试试”。然后呢？我听说（还看到照片了）你当时住的“豪华”卧室。简直是四季酒店顶配啊（反讽）。付不起300美元租金，不在斯坦福上学了还溜进餐厅蹭饭。没错吧，乔治？（我没别的意思，非正式聊聊。）还在Zoom上融资，身后挂着衣服。跟我说说那之后的事吧。"},{"answer":"我觉得我们正在着力解决的是智能体（agent）层面的复杂、模糊决策问题，并试图将其一路追溯到具体的引用或字符，正是这些内容让模型做出了最终决策。","question":"我的问题是，如果RAG不是正确方法，而大家现在都在追捧RAG（现在火得不行），那整个行业会怎样？你觉得大家其实并不喜欢RAG？你不这么认为吗？我觉得大家并不喜欢RAG。为什么这么说？"},{"answer":"我完全不同意这种说法。我觉得他错得离谱。这取决于你怎么定义“商业应用”。但我认为，如果新的商业应用是平台，那这些平台会真正站稳脚跟。比如Hebbia就是个平台，你可以用它构建任何你想要的智能体。这可能有点颠覆认知：过去四年半，我们在构建Hebbia这些AI基础组件时，一直在问自己：“AGI（通用人工智能）会想用什么应用？”“智能体自己会想用什么工具？”也就是说，我们可以构建哪些工具，帮助LLM或未来的超级智能模型更快得到答案？Hebbia Matrix会协调大量小型LLM调用，它在推理阶段进行扩展——在协调层运行海量计算。我们认为，AGI系统在尽职调查或处理数千份文档时，会更愿意用Hebbia Matrix，而不是自己在超长上下文窗口里逐字阅读。","question":"我想到萨提亚最近的说法，他认为现在的商业应用最终都会被智能体取代。你同意吗？应用会是智能体的前身吗？"},{"answer":"我认为，如果人工智能和智能代理应用能创造出百万亿美元的经济价值，那么就会有极大的空间和无数机会留给各种各样的参与者。想想看，当初Excel问世后，马克推出了Salesforce，后来又有人开发了TurboTax，这些其实都是在Excel基础上衍生出来的应用，但这并没有降低Excel的价值，反而让它更有价值了。我把Hebesia看作这样一个平台——越多的人从中获得灵感，开发出越来越垂直化的应用，这个平台就会变得越好。","question":"关于竞争，你有什么经验教训？现在有不少玩家都加入了这个激烈的赛道。你对此有何看法？"},{"answer":"我们完全不依赖特定模型。我们使用所有主流的模型提供商，也用一些自己研发的模型。但归根结底，Hebesia目前所利用的根本性差异是全新且至关重要的——我认为这堪比检索增强生成（RAG）、智能代理和任务分解技术的突破，那就是在过去一年左右，我们率先实现了推理阶段的规模化。","question":"你们使用哪些模型？你们的技术架构是基于什么构建的？"},{"answer":"我觉得，过去五到七年，我们训练模型的方式一直是：构建越来越大的模型，给它投喂越来越多、越来越干净的数据，然后可能在预训练后进行一些人类反馈强化学习（RLHF）或强化训练来微调。这种方式确实让我们取得了现在的成就，但我们正逐渐触及世界上优质数据的总量上限。——真的吗？因为有人反驳说，还有很多未被利用的数据，比如无法转化的视频数据、合成数据等等，我们根本没有耗尽数据供应。——我感觉我们正开始遇到数据方面的限制。这是一种直觉，我没有亲自参与数据收集，但我认为我们正逐渐触及真正优质数据的极限。——那问题出在哪呢？归根结底，这可能意味着，即便我们在训练越来越大的模型——比如XAI刚打造了史上最大的GPU集群，试图训练更大的模型——但无论训练阶段的规模法则（参数数量与准确性或性能的关系）如何发展，我开始相信，要获得更强的计算能力，不一定非要打造更大的“引擎”，而是可以把多个更小的“引擎”组合起来。Hebesia通过协调大量推理计算来回答单个问题，就好比造了一辆特斯拉——特斯拉由多个小型电动机械马达组成，这些马达能产生巨大扭矩，组合起来就成了一个非常强大的“引擎”。","question":"你能给我详细解释一下推理阶段的规模法则和训练阶段的规模法则有什么区别吗？"}]}