你们

此图像： 您的团队刚刚发布了一个与LLM-MAY合作的新应用程序，是您仪表板中的内置摘要，或者Smart Chatbot来支持客户。

在插图中眼花azz乱。领导很高兴。但是一周后，用户准备了奇怪的边缘条件。您正在纠正它。另一个团队希望重用该模型以进行新用途。您可以修改逻辑，重新连接某些应用程序编程外墙，以及…繁荣。聊天机器人休息。再次。

欢迎来到人工智能时代的陷阱

当LLMS型号包含在更多产品中时，工程团队会发现一个苛刻的事实：LLMS在紧密耦合的结构中的扩展不能很好地扩展。一个组件中的修正案可能会对其他组件产生不可预测的影响，该组件转换了在脆弱的系统中似乎很容易赢得的功能。纠正错误成为绝对的噩梦。经验减慢。信任正在侵蚀。

但是有更好的方法。

从紧凑到单位：辅助程序的结构的兴起

辅助计划的结构具有与小型服务彻底改变Web应用程序的创建一样彻底改变LLM产品的能力。该团队使用一种规范性方法，其中每个AI容量（例如摘要，翻译，问题和分类答案）被包裹为一个独特的连接单元，而不是创建一个相互联系的代码库，其中所有功能都相互交织。

这些“添加”可以独立创建，测试，实施和改进。

他们与根据系统状态，用户或上下文的目的指示请求的API或编排中心层进行通信。另外，由于它们是松散连接的，因此可以更改或修改其他成分，而不必担心整个系统缺陷。

考虑使用乐高积木进行建设，而不是一块木头进行雕刻。这是心态的转变。

为什么在LLM时代失败

同质LLM产品通常以内部经验或黑客马拉松胜利开始。这里有些索赔编码，其中一些智能序列的逻辑。很久以前，产品逻辑，典型的呼叫，工作规则和所有用户界面链接都交织在一起。

问题很快出现：

硬度添加新的使用情况通常意味着重写当前逻辑。

快速混乱在影响多个流动的单个路由器模板中更改。

地狱版：没有干净的测试A/B格式的方法。

安全风险快速注射或数据泄漏将其分离更难。

这就像试图在一个娱乐花园中增加马背，所有电都可以通过一个旧的面料盒。怀孕过多，完全变黑了。

实践中助理计划的结构是什么

假设您的SaaS平台使用LLM用于五个基本功能：汇总，情感分析，聊天机器人，问答文档和合规性检查。具有基于辅助程序的结构：

• 每个单位都具有自己的多雨逻辑，重新定义的策略，平均值和下降。

• Central Orchestrator（分配或使用Langchain或LlamainDex等工具）根据描述性数据或用户意图将用户请求发送到正确的附加组件。

• 每个其他组件都可以使用不同的模型（例如，用于Q＆A的OpenAI，用于分类的cohere），甚至混合方法（LLM +）。

• 选择测试和观察：您可以监视如何独立执行每个其他组件。

• 如果一个额外的组件失败或变得昂贵，则可以将其删除并改进它而无需触摸其他组件。

这种扩展如何加速

快速经验： 您想测试新的夏季策略吗？发布附加组件并行并比较输出。

私人领域离子：确定附加组件时的定义或精确模型变得更加容易。

含有风险： 生存，安全问题或孤立的安全问题。

灵活促销： 切换模型，逻辑控制或关心临时存储 – 全部无需重写应用程序。

也许更重要的是，辅助程序的结构增强了光的运动。各种团队可以拥有不同的其他配件，独立传播并迅速移动。每次您要重复时都不再协调。

但这不仅与技术有关 – 与纪律设计有关

所有这些看起来都很棒。但是，让我们清楚一点：辅助程序的结构不会自动出现。它需要：

• 抽象的明确限制

• 强大的界面定义（应用程序编程外墙，图表，合同）

• 在上下文限制内获得了积极的工程

• 考虑注册，观察和监测

像Langchain这样的框架有帮助，但它们不会实施纪律。这是经验丰富的合作伙伴，例如Spritle。我们已经看到当DIY差异消失或依赖于没有建筑计划的外部模板时会发生什么。是的，您会得到快速的实验优惠 – 但不是可持续的系统。

我们正在与不“销售人工智能”的产品团队合作，而是为长途架构：帮助您设计标准系统，评估辅助计划的边界，与外部应用程序外墙外墙外墙和数据库安全地集成，并准备省局。我们的使命不是一次建造 – 它可以帮助您继续构建而不会破裂。

隐喻问题：想想参与者的飞行员，而不是Oacle

LLM插件等副驾驶专家。他们不会驾驶整个飞机，而是处理单独且关键的功能：阅读天气，调整路径并翻译空中交通管制指令。每个飞行员都想要一个受信任，可靠和计划的飞行员。有一件事 – 每个东西都可以控制高度。

在人工智能产品变得重要的世界中，该学科不是可选的。这是一种策略。

期待：同意的能力是人工智能的未来

人工智能产品将越来越成为系统。作者身份。审查。扩大。成功的公司将不会是在2024年运送聊天机器人号码的公司，而是可以收取数十种能力，这些功能会随着时间的推移安全起作用，所有这些功能都会放大，负责和开发。

这个未来不是基于魔术。它基于体系结构。

因此，在下一个人工智能敌人之前，请问自己：

我们有LLM逻辑单元吗？

我们可以被隔离，测试和交换吗？

我们是否设计域，而不仅仅是实验宽度？

如果答案是“尚未”的，我们会喜欢帮助。

让我们使人工智能得以发展，可持续和智能设计。一起。

您是否需要帮助您将LLM产品划为规模？与AI团队与Spritle软件交谈。我们会流利地讲快速，实用的工程。