AI 工程师崛起：科技浪潮下的新兴力量
在当今科技迅猛发展的时代，人工智能（AI）无疑是最热门的领域之一。随着基础模型的涌现和开源 / API 的普及，一种新兴的职业 ——AI 工程师，正逐渐崭露头角。他们在 AI 技术的应用和开发中扮演着关键角色，其崛起背后有着诸多深刻的原因，并且正在重塑整个科技行业的格局。今天，就让我们深入探究 AI 工程师这一职业的发展脉络。
AI 工程师的崛起之势
近年来，AI 领域发生了翻天覆地的变化。曾经，在 2013 年，完成一些 AI 任务往往需要耗费 5 年时间，还得依靠专业的研究团队。然而到了 2023 年，借助基础模型的涌现能力以及开源资源和 API 的便捷获取，许多 AI 任务变得轻松许多，只需要查阅 API 文档，利用一个闲暇的下午就能完成。这种巨大的转变，促使了 AI 应用领域的 “向右转移”，也催生了 AI 工程师这一新兴职业。
AI 工程师的身影如今遍布各个角落，从微软、谷歌这样的行业巨头，到 Figma（通过收购 Diagram）、Vercel（如 Hassan El Mghari 的 RoomGPT）、Notion（如 Ivan Zhao 和 Simon Last 与 Notion AI 的合作）等前沿初创公司，再到像 Simon Willison、Pieter Levels（参与 Photo/InteriorAI 项目）、Riley Goodside（现任职于 Scale AI）这样的独立开发者。他们的薪资水平也相当可观，在 Anthropic 从事提示工程的 AI 工程师年薪可达 30 万美元，而在 OpenAI 构建软件的工程师年薪更是高达 90 万美元。他们利用业余时间在 AGI House 钻研新想法，在相关社区分享经验，将 AI 的最新进展转化为数百万用户使用的实际产品，几乎是在一夜之间让创新成果走进大众生活。
AI 工程师与其他角色的区别
在科技行业的职业版图中，AI 工程师与机器学习工程师、数据科学家等角色有着明显的区别。虽然目前 Indeed 上机器学习工程师的岗位数量是 AI 工程师的 10 倍，但从发展趋势来看，“AI” 相关岗位的增长率更高，预计 5 年后这一比例将会反转。
很多人仍然将 AI 工程视为机器学习或数据工程的一种形式，在讨论如何进入 AI 工程领域时，推荐的学习路径往往还是机器学习相关的课程，比如吴恩达在 Coursera 上的课程，以及学习 PyTorch 等。然而，那些高效的 AI 工程师们，很多都没有经历过这些。他们的工作重点并非传统的模型训练和深入的数据工程，而是更侧重于将 AI 技术应用于实际产品中，利用各种工具和 API，快速实现产品的开发和迭代。
AI 工程师崛起的原因
基础模型的 “神奇能力”
基础模型展现出了令人惊叹的 “少样本学习”“上下文学习” 甚至 “零样本迁移” 能力。这些能力超出了模型训练者最初的预期，即使不是 LLM 研究人员，只要花时间与模型 “打交道”，将其应用于一些研究中未被重视的领域，比如 Jasper 在文案创作方面的应用，就能挖掘出模型的新用途。这使得更多软件工程师有机会参与到 AI 产品的开发中，推动了 AI 工程师这一职业的兴起。
研究人才与资源的分布
微软、谷歌、Meta 等大型公司以及基础模型实验室，汇聚了大量稀缺的研究人才，他们通过提供 “AI 研究即服务” 的 API，让外部开发者也能使用这些强大的模型。虽然无法直接聘请这些研究人才，但软件工程师可以借助 API 来发挥模型的作用。全球大约有 5000 名 LLM 研究人员，而软件工程师却有约 5000 万。这种供需关系决定了需要有一类介于研究人员和普通软件工程师之间的角色，即 AI 工程师，来满足市场对 AI 应用开发的需求。
GPU 资源的竞争与获取
GPU 在 AI 计算中至关重要，OpenAI、微软等率先在 GPU 资源上占据优势，Stability AI 更是通过强调其拥有 4000 个 GPU 的集群，引发了初创公司的 GPU 军备竞赛。许多新创公司，如 Inflection、Mistral、Reka、Poolside、Contextual 等，为了拥有自己的硬件资源，纷纷筹集大量资金。全球芯片短缺的情况更是加剧了这种竞争，使得获取 GPU 资源变得愈发困难。这也导致更多的 AI 工程师倾向于利用 API 使用现有模型，而非自己训练模型。
开发流程的变革
传统的机器学习开发流程较为繁琐，数据科学家和 ML 工程师需要先进行大量的数据收集工作，然后训练特定领域的模型，最后才能将其投入生产。而现在，借助 LLM，产品经理和软件工程师可以先通过提示（prompt）构建和验证产品想法，之后再获取特定数据进行微调。这种 “先开枪，再瞄准” 的敏捷开发方式，相比传统的 “瀑布式” 开发流程，速度提升了 10 - 100 倍，成本降低了 1000 - 10000 倍，让 AI 工程师能够更高效地验证 AI 产品，也凸显了他们在快速迭代开发中的重要性。
编程语言与工具的拓展
以往，数据和 AI 领域主要以 Python 语言为主，像 LangChain、LlamaIndex 和 Guardrails 等早期 AI 工程工具都源于 Python 社区。然而，JavaScript 开发者的数量与 Python 开发者相当，如今越来越多的工具开始兼顾 JavaScript 开发者，如 LangChain.js、Transformers.js 以及 Vercel 的新 AI SDK。这使得 AI 开发的受众群体大幅扩大，为 AI 工程师提供了更广阔的发展空间。
生成式 AI 的兴起
“生成式 AI” 这一概念虽然热度有所变化，但它清晰地展现了与传统 ML 的差异。传统 ML 主要集中在欺诈风险、推荐系统、异常检测和特征存储等领域，而 AI 工程师则更多地涉足写作应用、个性化学习工具、自然语言电子表格以及类似 Factorio 的可视化编程语言等新兴领域。这种差异促使 AI 工程师逐渐形成一个独立的群体。
AI 工程师在软件进化中的角色
6 年前，Andrej Karpathy 提出了软件 2.0 的概念，将传统手工编码的编程语言与机器学习的神经网络进行对比，强调神经网络能让软件解决更多人类难以建模的问题。如今，他又指出，热门的新 “编程语言” 是英语，这意味着软件正从 2.0 向更广阔的方向发展，迈向软件 3.0 时代。
在这个过程中，提示工程曾备受关注，但也伴随着过度炒作。随着软件 3.0 应用的发展，人类编写的代码重新发挥重要作用，与 LLM 的力量相互配合。从市值超 2 亿美元的 Langchain，到英伟达支持的 Voyager，都彰显了代码生成和复用的重要性。未来，像 smol - developer、gpt - engineer 等代码生成工具将成为 AI 工程师的重要工具，AI 在工程领域的作用也将越来越大，直到有一天，我们或许都难以区分人类工程师和 AI 在工程中的界限。
AI 工程师的盛会：AI Engineer Summit
随着 AI 工程师群体的不断壮大，他们需要一个交流和学习的平台。为此，经过数月筹备，首届独立举办、面向开发者的 AI 会议 ——AI Engineer Summit 应运而生。会议将于 10 月 8 - 10 日在旧金山举行，同时也支持线上参与。会议旨在汇聚顶尖的 AI 工程师、创业者和投资者，共同探讨 AI 领域的前沿技术、参加或教授相关工作坊，为参会者提供寻找新工具、新员工、联合创始人或投资机会的平台。会议将涵盖 AI 用户体验、开发工具、基础设施、智能体，以及新的 LLM 工具、开源模型等多个热门话题。
会议的组织者有着丰富的社区运营经验，此次与 Reactathon 的 Ben Dunphy 合作，力求打造一场高质量的 AI 工程师盛会。目前，会议正在接受演讲者提案和赞助商申请，期待为 AI 工程师们提供一个思想碰撞、交流合作的优质场所。
AI 工程师的崛起是科技发展的必然结果，他们在 AI 技术从研究到应用的转化过程中发挥着不可替代的作用。随着这一职业的不断发展和成熟，相信会有越来越多的人加入这个行列，推动 AI 技术在各个领域的广泛应用，创造出更多令人惊叹的科技成果。你是否也对 AI 工程师这一职业充满向往呢？欢迎在评论区分享你的想法！
科技脉搏，每日跳动。
与敖行客 Allthinker一起，创造属于开发者的多彩世界。
- 智慧链接 思想协作 -