选自LinkedIn

作家：Juan Pablo Bottaro、Karthik Ramgopal

机器之心编译

机器之机杼剪部

跟着大型讲话模子（LLM）时刻日渐熟识，五行八作加速了 LLM 应用落地的方法。为了革命 LLM 的内容应用后果，业界作念出了诸多用功。

近期，领英（LinkedIn）团队分享了他们在构建生成式 AI 家具的过程中回来的贵重教会。领英默示基于生成式东说念主工智能构建家具并非一帆风顺，他们在好多地点都遭受了贫瘠。

以下是领英博客原文。

畴昔六个月，咱们 LinkedIn 团队一直在用功拓荒一种新的东说念主工智能体验，试图从头构想咱们的会员若何进行求职和浏览专科内容。

生成式东说念主工智能的爆发式增长让咱们停驻来念念考，一年前不可能终了的事情目下有了哪些可能。咱们尝试了好多目标，但都莫得到手，最终发现家具需要如下要害点：

更快地获取信息，举例从帖子中获取重点或了解公司最新动态。

将信息点统一起来，举例评估您是否恰当某个职位。

获取提议，举例改善您的个东说念主贵府或准备口试。

咱们通过一个实践场景来展示新拓荒的系统是若何使命的。想象一下，您正在转机浏览 LinkedIn 信息流，只怕发现了一篇对于瞎想中的可探访性的情理帖子。除了这篇著述以外，您还会刷到一些初学问题，以便更真切地究诘该主题，您很艳羡，举例点击「科技公司中可探访性激动交易价值的例子有哪些？」

系统后台会发生如下操作：

礼聘合适的智能体：系统会接受您的问题并决定哪个 AI 智能体最恰当处理它。在这种情况下，它会识别您对科技公司里面可探访性的意思意思，并将您的查询路由到特意引申通用知识搜索的 AI 智能体。

网罗信息：AI 智能体调用里面 API 和 Bing 的组合，搜索具体示例和案例究诘，卓绝瞎想的可探访性若何为时刻规模的交易价值作念出孝敬。

制定回应：有了必要的信息，智能体目下不错撰写回应。它将数据过滤并合成为连贯、信息丰富的谜底，为您提供明显的示例，阐发可探访性商酌若何为科技公司带来交易价值。为了使体验更具交互性，系统会调用里面 API 来使用著述贯穿或帖子中提到的东说念主员简介等附件。

你可能会发问「我若何将我的行状生活转向这个规模」，那么系统会重叠上述过程，但目下会将你转给行状和使命（career and job）AI 智能体。只需点击几下，您就不错真切究诘任何主题，获取可行的视力或找到下一个使命契机。

大部分新功能是借助 LLM 时刻才成为可能。

总体瞎想

系统 pipeline 盲从检索增强生成（RAG），这是生成式东说念主工智能系统的常见瞎想模式。令东说念主讶异的是，拓荒 pipeline 并莫得咱们预期的那么令东说念主头疼。在短短几天内，咱们就建立并运行了基本框架：

路由：决定查询是否在规模内，以及将其转发给哪个 AI 智能体。

检索：面向 recall 的要领，AI 智能体决定调用哪些劳动以及若何调用（举例 LinkedIn 东说念主物搜索、Bing API 等）。

生成：面向精度的要领，筛选检索到的噪声数据，对其进行过滤并生成最终反应。

图 1：处理用户查询的简化 pipeline。KSA 代表「知识分享智能体」，是数十种不错处理用户查询的智能体之一。

要害瞎想包括：

固定三步 pipeline；

用于路由 / 检索的微型模子，用于生成的较大模子；

基于镶嵌的检索 (EBR)，由内存数据库提供撑抓，将反应示例径直注入到指示（prompt）中；

每步特定的评估 pipeline，特殊是对于路由 / 检索。

拓荒速率

咱们决定将拓荒任务拆分为由不同东说念主员拓荒落寞智能体：学问、使命评估、职位重点等。

通过并行化拓荒任务，咱们晋升了拓荒速率，但这所以「碎屑」为代价的。当与通过不同的模子、指示或用具进行经管的助手（assistant）进行后续交互时，保抓和洽的用户体验变得具有挑战性。

为了贬责这个问题，咱们秉承了一个简便的组织结构：

一个微型「水平（horizontal）」工程 pod，处理通用组件并专注于全体体验，其中包括：

托管家具的劳动

评估 / 测试用具

通盘垂直规模使用的全局指示模板（举例智能体的全局身份（identity）、对话历史、逃狱隆重等）

为 iOS/Android/Web 客户端分享 UX 组件

劳动器驱动的 UI 框架，用于发布新的 UI 鼎新，而无需鼎新或发布客户端代码。

要害瞎想包括：

分而治之，但抛弃智能体数目；

具有多轮对话的皆集式评估 pipeline；

分享指示模板（举例「身份（identity）」界说）、UX 模板、用具和检测

评估

事实阐发，评估反应的质料比预期的愈加贫瘠。这些挑战可大致分为三个规模：制定指南（guideline）、膨大凝视和自动评估。

制定 guideline 是第一个破裂。以使命评估为例：点击「评估我是否恰当这份使命」并得到「你特殊恰当」并莫得多大用处。咱们但愿反应既简直又糜费同理心。一些用户可能正在沟通转行到他们目下不太恰当的规模，并需要匡助了解差距和后续要领。确保这些细节一致对凝视器特殊要害。

膨大凝视是第二步。咱们需要一致和各类化的凝视器。咱们里面的讲话学家团队构建了用具和经过，以评估多达 500 个正常对话并获取估量磋磨：全体质料得分、幻觉率、AI 非法、连贯性、立场等。

自动评估使命目下仍在进行中。要是莫得自动评估，工程师只可目测甩手并在一组有限的示例上进行测试，而况要延长 1 天以上材干了解磋磨。咱们正在构建基于模子的评估器来评估上述磋磨，并用功在幻觉检测方面取得一些到手，端到端自动评估 pipeline 将终了更快的迭代。

图 2：评估要领。

调用里面 API

LinkedIn 领有大宗联系东说念主员、公司、妙技、课程等的特罕有据，这些数据对于构建提供相反化价值的家具至关迫切。然而，LLM 尚未接受过这些信息的试验，因此无法使用它们进行推理和生成反应。贬责此问题的尺度模式是诞生检索增强生成 (RAG) pipeline，通过该 pipeline 调用里面 API，并将其反应注入到后续的 LLM 指示中，以提供非常的险峻文来撑抓反应。

许多此类数据通过各式微劳动中的 RPC API 在里面公开。诚然这对于东说念主类以编程样式调用特殊便捷，但对 LLM 来说并不友好。咱们通过围绕这些 API 包装「妙技」来贬责这个问题。每个妙技都有以下组件：

对于 API 的功能以及何时使用的东说念主类友好面貌

调用 RPC API 的建树（端点、输入模式、输出模式等）

LLM 友好的输入和输出模式

原始类型（字符串 / 布尔 / 数字）值

JSON 模式的输入和输出模式面貌

LLM 友好模式和内容 RPC 模式之间映射的业务逻辑

海珠湿地十年间一直走在生态保护建设探索之路上。2000至2010年间，随着城市工业迅速扩张，纺织业、印染业等小微企业如雨后春笋般崛起，曾以“果基鱼塘”为经济发展特色的海珠万亩果园面临大面积撂荒的困境，周边环境急剧恶化。为此，海珠区首创“只征不转”保护模式，将万亩果园集体土地征收为国有，并通过立法确保所征土地保留农用地性质，对海珠湿地实施永久性保护。同时，其充分发挥自身“生态绿核”调节功能，遵循“微改造、少干预”原则，启动海珠湿地生物多样性保护修复工程，恢复雨水花园、生物沟等水敏性小微湿地，搭建“昆虫旅馆”、“浮排”、草滩鸟岛等不同动物居住空间，打造城市自然栖息地，推动物种多样性指数逐年上升。

这些妙技旨在让 LLM 粗鄙引申与家具估量的各式操作，举例搜检个东说念主贵府、搜索著述 / 东说念主员 / 职位 / 公司，甚而查询里面分析系统。不异的时刻也用于调用非 LinkedIn API，举例 Bing 搜索。

图 3：使用妙技调用里面 API。

咱们编写指示，条目 LLM 决定使用什么妙技来贬责特定的使命（通过商酌礼聘妙技），然后输出参数来调用妙技（函数调用）。由于调用的参数必须与输入模式匹配，因此咱们条目 LLM 以结构化样式输出它们。大多数 LLM 都接受过用于结构化输出的 YAML 和 JSON 试验。咱们礼聘 YAML 是因为它不太冗长，因此比 JSON 滥用更少的 token。

咱们遭受的挑战之一是，诚然大要 90% 的情况下，LLM 反应包含正确面貌的参数，但大要 10% 的情况下，LLM 会出错，而况时时输出面貌无效的数据，或者更厄运的是甚而不是灵验的 YAML。

这些失实对东说念主类来说是微不及说念的，但却会导致判辨它们的代码崩溃。10% 是一个填塞高的数字，咱们不成轻松冷漠，因此咱们入辖下手贬责这个问题。

贬责此问题的尺度方法是检测它，然后从头指示 LLM 条目其革命失实并提供一些非常的带领。诚然这种方法灵验，但它增多了相配大的延长，而况由于非常的 LLM 调用而滥用了贵重的 GPU 容量。为了掩饰这些抛弃，咱们最终编写了一个里面隆重性 YAML 判辨器。

通过对各式灵验负载的分析，咱们详情了 LLM 所犯的常见失实，并编写了代码以在判辨之前相宜地检测和修补（patch）这些失实。咱们还修改了指示，针对其中一些常见失实注入指示，以晋升修补的准确率。咱们最终粗鄙将这些失实的发生率减少到约 0.01%。

咱们目下正在构建一个和洽的妙技注册表，用于在咱们的生成式东说念主工智能家具中，动态发现和调用打包为 LLM 友好妙技的 API / 智能体。

容量和延长

容量和延长永恒是紧要沟通身分，这里说起一些考量维度：

质料与延长：念念想链 (CoT) 等时刻对于晋升质料和减少幻觉特殊灵验，但需要从未见过的 token，因此增多了延长。

糊涂量与延长：运行大型生成模子时，庸俗会出现 TimeToFirstToken (TTFT) 和 TimeBetweenTokens (TBT) 跟着运用率的增多而增多的情况。

资本：GPU 集群不易获取且资本不菲。一运行咱们甚而必须设定测试家具的期间表，因为会滥用太多 token。

端到端流式处理（streaming）：竣工的谜底可能需要几分钟材干完成，因此咱们流式处理通盘央求，以减少感知延长。更迫切的是，咱们内容上在 pipeline 中端到端地进行流式处理。举例，决定调用哪些 API 的 LLM 反应是冉冉判辨的，一朝参数准备好，就会触发 API 调用，而无需恭候竣工的 LLM 反应。最终的空洞反应也会使用及时音问传递基础设施一说念传输到客户端，并证据「负包袱的 AI」等进行增量处理。

异步非贬抑 pipeline：由于 LLM 调用可能需要很永劫期材干处理，因此咱们通过构建皆备异步非贬抑 pipeline 来优化劳动糊涂量，该 pipeline 不会因 I/O 线程贬抑而浪费资源。

感意思意思的读者不错阅读博客原文，了解更多究诘内容。

原文贯穿：https://www.linkedin.com/blog/engineering/generative-ai/musings-on-building-a-generative-ai-product

上一篇：线上买球平台毕竟咱们怎么能猜测一个金牌教练之称的他-欧洲杯网站上买球入口-线上买球平台    下一篇：欧洲杯网站上买球入口近3个月高潮1.31%-欧洲杯网站上买球入口-线上买球平台