在过去的 20 年,创新为我们造就了众多转折点,于这些转折点处,全新的职业类别得以应运而生。回想一下,2006 年亚马逊网络服务推出后,云端架构师与开发者的职位便顺势出现;伴随 iphone 和 android 的兴起,移动开发者成为了崭新的职业角色;当我们积累了充足的数据和计算能力,足以让神经网络运行时,机器学习工程师这一职业就此产生;而后,上述三种趋势相互交汇融合,数据科学家的职业开始引人注目。
这些新职业的诞生均是对新兴技术的直接回应,它们不但改变了工作的方式,还塑造了全新的行业标准与需求。每一轮的技术革命都会催生一批新的专家角色,他们凭借最新的技术去解决繁杂的问题,有力地推动了社会和经济的发展。
沿着这样的演变轨迹,我们当下或许已经抵达了另一个转折点:ai 工程师的兴起。在过去几年,ai 工程师日益流行,他们处在运用大型语言模型及其相关工具来构建生成式 ai 聊天机器人、agent 以及其他能力的前沿位置。
随着基础模型和 ai 工程的逐渐成熟,一些趋势开始显露。我们与 sada 公司的 google cloud 供应商、人工智能和机器学习副首席技术官 simon margolis 进行交流,以了解他们对于当前 ai 工程领域的观察以及后续可能出现的状况。
“这取决于你在生成式ai总体采用曲线上的位置,”margolis说。“有些人还在试水,而有些人则在chatgpt风靡全球之前就已经在做生成式ai工作了。你在这条发展路径上的位置,实际上深深影响着你所关注的核心趋势。”
总体而言,margolis在2024年中期为ai工程师指出了三大关键趋势:
1)无代码构建ai agent:即使不具备编程背景或专业技能,如今也能轻松创建ai agent,技术的门槛正被逐渐抹平。
2)传统ai与生成式ai的融合:不再是单一领域的探索,而是将机器学习与生成式ai等不同ai“模态”巧妙结合,创造出更加强大且灵活的应用场景。
3)ai自我迭代:利用生成式ai助力生成式ai agent的构建,这一循环增强的过程,使得ai的进化更为高效与智能。
1.无需代码构建ai agent
两大生成式ai平台——google cloud和openai——都致力于让ai工程师能够更轻松地构建ai agent,而无需过多纠结于基础模型或向量数据库本身。两者都引入了用于构建agent的工具,google cloud的vertex ai中的agent builder,以及openai的gpt系列。
"对于早期的尝鲜者而言,最显著的趋势之一便是无需深厚技术功底就能打造生成式agent," margolis提到。"以往,你得精通transformer和rag等技术细节,但现在,这种需求大大降低了。”
他强调,虽然仍有极客在手造agent,但agent builder和gpts已成为主流工具,广泛应用于实践。
简化技术要求,让构建agent变得触手可及,这不仅激发了创新,还赋予了一线业务人员自行搭建agent的能力,减少了对专业开发者的依赖。
margolis解释说:“简单来讲,你从各种来源——可能是私有数据库、互联网或是两者的结合——提取信息,然后利用这些数据指导ai工具或生成式助手的工作。”这与过去一两年流行的langchain模式相似,即通过不断迭代提升输出质量,直至达到预期效果。不同的是,如今这个过程变得更加直观易懂。
借助agent builder和gpts这类工具,即便是非专业人士也能轻松上手,仅凭日常语言或直观操作界面就能完成任务,使凯发旗舰厅官网app的解决方案的实施变得更加直接有效。
2.融合传统ai与生成式ai
结合不同ai“模态”的想法可能对ai工程师来说更具实际兴趣。值得注意的是,当margolis谈论模态时,他指的是我们可能认为的“传统”机器学习与新型基础模型和生成式ai之间的区别。这不同于生成式ai内部的模态概念,在那里输入和输出取决于媒介,如文本、音频、视频或翻译。
当margolis提及“模态”时,他实际上是在区分传统机器学习领域与新兴的基础模型及生成式ai技术之间的工作方式和特性。换句话说,“模态”指的是不同类型的ai处理方式或技术路径。对于ai工程师而言,如何有效地结合这些不同的“模态”以创造更强大、多功能的ai系统是一项挑战和机遇。
“以往人们要么在生成式ai领域工作,要么在围绕推断和预测的传统机器学习世界里工作,但现在我们开始看到这两个领域的融合。”
margolis强调,生成式ai的运用不必依赖于专门的ai代理或聊天机器人构建。他举例说明,在医疗保健领域,ai能以生成文本的方式整理和展现由医护人员录入的患者信息。随后,集成有推理功能的ai工具会在同一系统内分析这些信息,识别潜在的高风险病例。
回顾过去,margolis解释道:“若要开发类似医疗案例的应用,我得求助于懂模型搭建的ml专家同事,他们可能得用jax或tensorflow帮我打造预测模型,还得亲自操作gpu硬件,整个过程牵涉繁重的ml工程和数据科学任务。”而今,借助生成式ai,他可以直接将所需数据输入到预训练模型中进行处理,这一转变要求截然不同的专业技能。
为了缩小传统机器学习与生成式ai间的鸿沟,诸如google cloud的vertex ai平台之类的工具应运而生,sada作为其优选凯发旗舰厅官网app的合作伙伴,正致力于此。margolis指出:“现在,工程师可以利用vertex轻松创建automl模型。虽然这不是完全无代码的体验,但大大减少了编码需求。无需从头构建模型,无需编写tensorflow或jax代码,也无需管理gpu或底层系统架构。”
这样的进步意味着工程师们可以更加专注于应用层面的创新,而非被底层技术细节所束缚。
3.利用生成式ai来构建更多的生成式ai
尽管我们离计算机自我组装并自动编程的时代尚远,但ai工程界的一项引人注目的进展是,生成式ai正在助力构建更多同类型的ai实体、机器人以及应用程序。这是一个循环促进的过程,正如margolis所说,它开启了广泛的参与机会。
“这确实是一个突破性的模式,让更多人有机会投身其中,”margolis评论道。
他将此现象与云计算领域近十至十五年来的重要转折相提并论,尤其是2010年左右,开发者首次能够在云中便捷地部署虚拟机;再到2014年前后,移动应用的开发门槛显著降低,使得更多人得以加入。
“这就像我们在公有云时代所见证的‘啊哈’时刻,”margolis回忆道,“当每个初学计算机科学或系统设计的学生,大约在2010年左右,都能独立搭建服务器和数据库时,那真是让人振奋。对于想要涉足ai领域的新人,一年半前还面临着一座难以逾越的高山。那时,你需要投入大量的时间和精力才能将你的构想变为现实。而现在,我们已处于一个创意即实践的阶段,有时,你甚至能在一顿午餐的时间内就完成一项初步作品。”
“如今,入行的障碍已被大幅削减,这对于所有人来说都是一大利好。”这意味着,生成式ai技术的探索和应用正变得越来越普及,为创新和实际应用开辟了更广阔的空间。
本文转载自https://www.51cto.com/article/792658.html
作者丨dan rowinski
编译丨诺亚
出品 | 51cto技术栈(微信号:blog51cto)
参考链接:https://thenewstack.io/3-key-trends-for-ai-engineering-in-the-cloud-in-2024/