Modal Labs 开发了一个专为人工智能、机器学习和数据应用量身定制的无服务器云平台，助力工程师简化机器学习工作流，实现部署、规模化与开发流程的高效协同。 Modal Labs CEO Erik 曾任职于Better.com和Spotify，在Spotify期间，他领导了机器学习工作并构建了推荐系统。Erik 介绍了Modal Labs 当前的核心服务内容，并阐述了其为人工智能工程师构建端到端解决方案的愿景。并深入探讨了图形处理器（GPU）的发展趋势、云端与本地部署方案的对比，以及在定制模型训练与现成解决方案选用之间该如何取舍。埃里克还分享了自己对人工智能在编程、物理、音乐等领域角色演变的见解。《No Priors》

{"highlight":[{"answer":"是的，这最初源于我个人的经历。2008年我加入Shopify，在那里工作了七年。我当时构建了一个音乐推荐系统。那时候，数据基础设施方面几乎一片空白，Hadoop已经算是最先进的技术了。所以我花了大量时间构建基础设施，比如开发了一个名为Luigi的工作流调度器（现在基本没人用了），还建了一个叫Illinois的向量数据库（有段时间有人用，但现在也没人用了）。后来在Better担任首席技术官时，我开始深入思考开发者生产力等问题。疫情期间，我休息了一段时间，开始捣鼓各种东西，然后意识到自己一直想为数据、人工智能、机器学习这类领域打造更好的基础设施。很快我就明确了这就是我想做的事，这就是Modal的起源。","question":"是什么启发你创办了Modal，你希望解决什么问题？"},{"answer":"我们提供基础设施即服务（IaaS）。也就是说，一方面，我们运营着一个庞大的计算资源池，里面有数千块GPU和CPU。如果客户需要100块GPU，我们通常能在几秒钟内提供。这是一个大型多租户资源池，容量规划由我们为客户解决，他们不必考虑预留资源，我们始终提供大量按需GPU。另一方面，我们有一个Python SDK，能让构建应用变得非常简单。其核心思路是：你编写Python函数，我们把这些函数转化为云中的无服务器函数，处理所有容器化和基础设施相关的工作，你不用操心Kubernetes、Docker这些东西。事实证明，我们公司成立于生成式人工智能爆发之前，但真正带来大量用户增长的“杀手锏应用”是Stable Diffusion的出现——当时很多人找到我们说：“嘿，这看起来很酷，你们能提供GPU访问，而且不用费心去启动机器和配置资源。”所以我们最初的爆款应用就是以扩散模型为核心的无服务器生成式人工智能服务。现在我们支持的模态更多了，虽然文本生成图像的使用量仍然很大，但也看到了很多音频和音乐相关的应用。有个客户叫Suno，他们做人工智能生成音乐，在Modal上大规模运行所有推理任务，这样的客户真的很酷，在做很了不起的事情。总之，很多客户都在利用我们的平台构建各种生成式人工智能模型，尤其在音频、视频、图像和音乐等模态领域。","question":"那么，你们如今为客户提供的主要服务或产品有哪些？"},{"answer":"我有偏见，但我认为缺少的是像Modal这样能让工程师拿代码就能运行的平台。我非常看好代码和人们编写代码、自己构建东西的意愿。除了大型语言模型这个比较特殊的领域，我认为很多应用场景中，人们还是想训练自己的模型、运行自己的模型，或者至少运行其他模型但有非常自定义的工作流。而目前做这些事很痛苦，没有好的工具。这很令人兴奋。存储方面也有很多激动人心的进展，Modal目前专注于计算，还没涉及存储。我个人对向量数据库很感兴趣，想知道它会如何发展，目前还没人能确定。还有更高效的训练数据存储，以及训练工作负载——为了高效训练大型模型，人们不得不花大量金钱和时间搭建网络。我很期待的一个方向是：如果能降低训练对带宽的需求会怎样？这可能会改变训练基础设施的格局，让我们可以连接不同数据中心的GPU，而不必依赖配备InfiniBand的大型数据中心。这是我期待看到更多发展的基础设施领域。","question":"你认为当今世界在人工智能基础设施或基础设施即服务方面还缺少什么？"}]}