人工智能行业执着于让模型变得更 “聪明”。但如果他们正在构建的是一种跑偏的智能呢？在推出新创公司 humans & 之际，埃里克・泽利克曼（Eric Zelikman）看到了一个机遇 —— 将重心从纯粹的智商（IQ）转向打造具备情商（EQ）的模型。曾任职于斯坦福大学与 xAI 公司的humans &CEO 埃里克分享了自己在推理、强化学习规模化方面的研究，以及从人工智能研究者转型为创业者的历程。埃里克探讨了构建以人为中心的人工智能（human-centric AI）所面临的挑战、如何在模型中融入长期记忆，以及打造能与人类协同工作、进而释放人类全部潜能的人工智能系统的重要性。此外，他还分享了自己对 “富足”（abundance）的看法，以及为 humans & 招募人才时的核心考量标准。

{"highlight":[{"answer":"要说起来的话，得追溯到很早以前了。我一直被一个问题驱动着：你看，世界上有那么多人，他们各有所长，对很多事情充满热情，人才简直无处不在。但我一直有点遗憾的是，这么多的人才并没有被充分利用，只是因为每个人都有自己的处境，有各种现实因素阻碍他们去追求真正热爱的事。在我看来，整个人类都没有发挥出全部潜力。而人工智能——对，人工智能就是我一直热衷的方向，我想知道怎么打造出这样一种技术，能让人们解脱出来，去做自己真正热爱的事，让他们能专注在这些事上。一开始我觉得自动化是最自然的方式：把人们不想做的工作自动化，这样他们就能去做想做的事了。但后来我逐渐意识到，这事儿其实复杂得多。如果你想赋能人们去做自己想做的事，你首先得真正理解他们到底想要什么。而打造出能理解人类目标和需求的系统，其实难度非常大。","question":"作为研究者，你已经取得了非常了不起的成就，从斯坦福时期就开始崭露头角。我之后会聊这部分，但先想问问你，当初是怎么对机器学习产生兴趣的？"},{"answer":"最根本的问题是：模型不理解自己的言行带来的长期影响。现在的训练把每一轮对话都当成独立的任务，就像‘完成这次交互就结束了’，所以模型会想着要在这一次回复里包含所有可能的答案和内容，不会去提问、不会去澄清、不会表达不确定性，也不会主动思考，更不会考虑长期影响。这种以单一任务为中心的训练方式带来了很多问题，比如大家常说的‘谄媚’问题，还有最近新闻里提到的类似‘精神错乱’的输出。这些都是有害的副作用。但如果模型能考虑长期影响，比如：如果我告诉某人‘卖接冰淇淋的手套是个好生意’，他们可能真的会去创业，最后却发现这生意根本不行。如果模型能预判到这种长期后果，情况就不一样了。","question":"这就说到你的新公司HumansAnd了。我当时真的很惊讶，因为你之前一直在做‘智商’、推理、编码和规模化的研究，现在居然关注起了‘情商’相关的领域。我理解得对吗？现在模型的情感或交互能力大多用在角色陪伴类工具上，但你觉得这也能从生产力角度赋能人类？能讲讲你这个想法的由来吗？"},{"answer":"我觉得是多种因素导致的。还有一个点我一直在想：当你把现有任务自动化时，最自然的做法就是盯着全球GDP，挑出那些最容易被AI替代的领域，比如‘编码是个X十亿美元的市场，我们把它全自动化’，或者‘这个领域是X十亿美元，全自动化掉’。但我认为，如果我们赋能人类——打造真正理解人类目标、支持人类达成目标的模型——我们其实有机会把蛋糕做大，而不是只想着替代现有领域。如果模型的目标只是替代人类完成某块工作，那我们能实现的真正创新会少很多。但如果模型能理解人类的目标，真正赋能人类，情况就完全不同了，我们能把能力拓展到那些原本域外的领域。","question":"从规模化的角度看，很多实验室的本能是不是尽可能把人从闭环里去掉？因为把人留在里面太麻烦了，比如要招募人来处理那些域外任务的复杂推理轨迹，这对企业来说远不如直接推进模型部署简单。没错。那从能力提升的角度看，把人留在闭环里为什么重要？这正好过渡到你的新动向：你现在在做什么？"}]}