AI News HubLIVE

来源分布

  • LangChain Blog29
  • Hacker News AI5
  • AWS Machine Learning Blog3
  • MarkTechPost2
  • Analytics Vidhya1
  • arXiv AI1
  • Cerebras Blog1
  • Hugging Face Blog1

主题分布

  • Agent42
  • 研究16
  • 政策13
  • 模型13
  • 工具12
  • 芯片6
  • 创业融资1

日期线

  • 2026-05-137
  • 2026-04-306
  • 2026-05-144
  • 2026-05-093
  • 2026-05-153
  • 2026-05-273
  • 2026-05-042
  • 2026-05-062

最新动态

在生产环境中修复代理故障:Interrupt 2026 回顾 | LangChain 新闻通讯

LangChain 在 Interrupt 2026 大会上发布了 LangSmith Engine 和 Sandboxes 正式版,并推出了 LangChain Labs 以推进代理的持续学习。大会所有演讲现已可按需观看。

  • LangSmith Engine 自动分析生产轨迹、聚类故障并推荐修复方案。
  • LangSmith Sandboxes 正式发布,提供安全的代理代码执行环境。
站内正文

Lyft 如何利用 LangGraph 和 LangSmith 构建自助式 AI 代理平台

Lyft 采用 LangGraph 和 LangSmith 构建了一个自助式 AI 代理平台,用于客户支持,将代理开发时间从数月缩短至数周。该平台通过路由多代理架构、LangGraph 的子图功能以及 LangSmith 的追踪与监控工具,赋能非技术领域专家独立开发 AI 代理,并借助 LLM-as-a-Judge 评估系统确保质量。

  • Lyft 通过让运营团队、VoC 负责人和产品经理直接使用提示和配置来定义代理,减少了机器学习工程师的介入。
  • 基于路由器的多代理架构使用 LangGraph 协调专业子代理,实现安全检查和状态管理。
站内正文

AI代理马具:将LLM转变为数字工人的粘合剂

AI模型在原始智能方面似乎已达到平台期,下一阶段的进步来自于围绕模型构建的“代理马具”。本文介绍了代理马具的概念,包括工具、记忆和人类参与,并比较了Google、LangChain、OpenAI、Anthropic等公司的解决方案。

  • AI模型智能提升放缓,代理马具成为新焦点。
  • 代理马具为LLM提供工具、记忆和纠错能力。
站内正文

在 AWS 上使用 Amazon Bedrock AgentCore 构建高度可扩展的无服务器 LangGraph 多智能体系统

本文提供了一种在 AWS 上构建高度可扩展、无服务器的多智能体生成式 AI 系统的解决方案,该系统使用 LangGraph 智能体作为编排器,并与 Amazon Bedrock AgentCore Memory 和 Amazon Bedrock AgentCore Observability 集成。文章详细介绍了如何结合 AWS Lambda 和 AWS Step Functions 等无服务器技术来构建自动扩展、实时响应且无需管理基础设施的 LangGraph 智能体,并讨论了 LangGraph 的图执行模型如何实现确定性协调、并行处理和条件路由。此外,文章还涵盖了一个基于此架构的营销活动审核系统的实现,包括先决条件、部署步骤和清理指南。

  • 结合 LangGraph、Amazon Bedrock AgentCore 和无服务器 AWS 服务,构建可投入生产的可扩展多智能体 AI 系统。
  • LangGraph 的显式图执行模型支持智能体间的确定性协调、并行处理和条件路由。
站内正文

基于全自主国产核心智能大模型的实用量子CIM赋能

本研究将飞秒激光泵浦的相干伊辛机(CIM)与大语言模型(LLM)驱动的智能体系统集成,利用LangGraph和LangChain框架实现了量子建模的自动化。LLM能够有效执行QUBO/Ising模型校准、约束权重迭代和文献方案验证。所有任务均基于国产大模型和国产CIM硬件实现,完全依赖自主核心技术。研究还意外发现,智能体辅助量子计算迭代积累的知识能够反向增强智能体自身的问题解决能力,形成新的协同范式。

  • 集成飞秒激光泵浦CIM与LLM驱动的智能体系统,实现量子建模自动化
  • LLM可执行QUBO/Ising模型校准、约束权重迭代和方案验证
站内正文

一个用Java编写的简单AI代理

一个基于LangChain4j的Java AI代理,类似于Claude Code,免费使用,需注册Mistral账户。首次尝试生成了一个功能良好的计算器应用。

  • 使用Java和LangChain4j构建的AI代理
  • 免费使用,需注册Mistral账户
站内正文

LangSmith Auth Proxy:如何保障AI代理沙箱的网络安全性

LangSmith的Auth Proxy通过将凭据隔离在沙箱之外,在网络层注入认证头,并允许团队定义出口策略和动态凭据流程,从而为AI代理沙箱提供更安全的网络访问控制。

  • 凭据不出现在沙箱运行时,减少提示注入、恶意依赖等风险
  • 通过代理控制所有出站流量,实现精细的出口策略
站内正文

从令牌流到代理流

Deep Agents、LangChain 和 LangGraph 的最新流式原语引入了类型化事件、作用域订阅、子代理可见性、多模态输出和弹性前端体验,支持构建生产级代理应用。

  • 流式处理需要超越令牌,现代代理生成消息、工具调用、子代理活动、状态变更、审批和媒体,需要结构化事件流。
  • 类型化事件和投影简化了前端开发,应用直接订阅消息、工具调用、状态、子代理或自定义通道,运行时处理组装、排序和重连。
站内正文

宣布 Amazon SageMaker AI 端点支持 OpenAI 兼容 API

Amazon SageMaker AI 现在为实时推理端点提供 OpenAI 兼容的 API 支持。使用 OpenAI SDK、LangChain 或 Strands Agents 的用户只需更改端点 URL 即可调用 SageMaker AI 上的模型,无需自定义客户端、SigV4 包装器或代码重写。该功能支持聊天补全请求和流式响应,并通过 bearer token 进行身份验证。

  • Amazon SageMaker AI 端点现在支持 OpenAI 兼容的 API,简化了模型调用流程。
  • 用户可以使用现有的 OpenAI SDK 或框架,仅需修改端点 URL。
站内正文

深度代理中的解释器:工具调用与沙盒之间的代码

深度代理现在支持解释器:小型嵌入式运行时,代理可在其中编写代码以协调工具、保持工作状态,并决定哪些内容进入模型上下文。解释器提供了一种介于串行工具调用和完整沙盒之间的中间地带,使代理能够表达多步骤工作、将中间状态保留在模型上下文之外,并以更可预测的方式执行代码和操作。

  • 解释器位于串行工具调用和完整沙盒之间,代理可以在受限能力上获得代码级组合,而无需继承整个环境。
  • 解释器状态是第三种上下文表面:消息历史用于模型当前推理,文件系统用于持久工件,解释器状态用于尚不需要进入模型输入的实时工作值。
站内正文

我们如何构建 LangSmith Engine:用于改进代理的代理

LangSmith Engine 是一个位于代理追踪之上的智能代理,能够发现重复出现的问题并提出改进建议。本文详细介绍了其技术架构,包括如何大规模筛选追踪、识别问题、生成评估器和数据集示例,并持续更新代理概览以优化后续运行。

  • Engine 自动发现追踪中的失败模式并转化为可操作的问题。
  • 采用两阶段处理:先通过轨迹摘要快速筛选,再深入调查可疑追踪。
站内正文

2026年最佳企业级自主AI平台

2026年,企业级自主AI已从试点转向生产。本文对Salesforce Agentforce、Microsoft Copilot Studio、ServiceNow、LangGraph等十大平台进行排名,提供已验证的定价、实际采用数据及诚实限制,帮助团队做出决策。

  • Salesforce Agentforce在CRM原生工作流中表现最佳,但仅限于Salesforce生态系统。
  • Microsoft Copilot Studio拥有最高采用量,适合Microsoft 365企业。
站内正文

调优深度代理以适配不同模型

深度代理此前采用通用设计以适配各模型家族。今天,我们推出模型特定配置文件,可调整提示、工具和中间件。我们内置了针对OpenAI、Anthropic和Google模型的配置文件,在tau2-bench子集上相比默认配置实现了10-20分的提升。

  • 深度代理引入模型特定配置文件,针对不同模型优化提示、工具和中间件。
  • 针对OpenAI、Anthropic和Google模型的定制配置文件在tau2-bench上带来10-20分的提升。
站内正文

关于运行时无关的AI代理工作流规范(LangGraph/Mastra)的反馈

itsharness是一个用于构建、运行和监控AI代理工作流的完整工具集。它提供可视化画布设计流程,导出运行时无关的规范,编译到不同框架,并支持运行、追踪和调试。当前规范版本0.2.0,包含14种节点类型和5个参考流程。

  • itsharness提供了一个可视化画布,用于设计AI代理工作流,并导出运行时无关的JSON规范。
  • 支持通过适配器将规范编译到LangGraph、CrewAI、Mastra和Microsoft Agent Framework等框架。
站内正文

【AINews】万物皆为指挥家

本期AI新闻涵盖多个热点:GitHub Copilot App模仿Conductor的形态引发讨论;OpenAI推出Codex移动版,支持远程控制编码代理;LangChain发布SmithDB和Engine,将代理追踪数据转化为改进循环;Anthropic限制Claude Code使用引发开发者强烈反弹;Figure展示人形机器人24/7自主分拣直播;以及多项研究进展,包括扩散语言模型、时间序列基础模型和可解释性等。

  • GitHub Copilot App采用类似Conductor的代理优先形态,Conductor创始人获YC CEO Garry Tan公开支持。
  • OpenAI Codex登陆ChatGPT移动端,支持远程启动、审查和执行编码任务。
站内正文

我们在 Interrupt 上发布的所有产品

LangChain 在 Interrupt 2026 上发布了一系列新产品和功能,旨在帮助团队加速智能体开发周期,包括自动调试、托管基础设施、可观测性和治理等。

  • LangSmith Engine 可自动监控生产环境中的追踪数据,聚类故障并生成修复 PR。
  • Managed Deep Agents 提供 API 优先的托管运行时,用于创建和运行深度智能体。
站内正文

LangChain Labs 正式成立

LangChain Labs 是一项新的应用研究计划,专注于智能体的持续学习,与多家合作伙伴共同推进自我改进型AI系统的开放研究。

  • LangChain Labs 聚焦智能体持续学习,利用智能体产生的数据进行自我改进。
  • 与 Harvey、NVIDIA、Prime Intellect、Fireworks 和 Baseten 等研究伙伴合作。
站内正文

Halgorithem:用树结构捕捉AI幻觉,管道中无需AI

Halgorithem 是一种无需依赖AI即可检测AI幻觉的算法,通过将输入文件解析为树结构并与文件块树比较来标记不一致之处。该算法可轻松集成到LangGraph、CrewAI等Python AI工作流中,并在多项基准测试中展现出高准确率。

  • Halgorithem 不依赖自身AI,通过树结构比对检测AI幻觉。
  • 可无缝集成到LangGraph、CrewAI等主流Python AI管道。
站内正文

智能体‘牵引系统’解剖:模型如何变身自主工作引擎

了解代理牵引系统如何将AI模型转变为自主工作引擎。探索核心组件:文件系统、沙箱和记忆。

  • 分解复杂目标:规划工具使代理能够分解任务、跟踪进度并根据学习情况调整。
  • 并行委派工作:为独立的子任务生成子代理,每个代理具有隔离的上下文。
站内正文

我们构建了SmithDB:智能体可观测性的数据层

LangSmith推出SmithDB,这是专为智能体可观测性设计的分布式数据库,性能提升高达12倍,支持完全可移植性,适用于自托管和多云环境。

  • SmithDB是专为智能体可观测性设计的分布式数据库,性能提升高达12倍。
  • 基于对象存储,支持无状态摄入和查询服务,易于部署在自托管和多云环境。
站内正文

LangSmith LLM网关:内置于代理生命周期中的运行时治理

LangSmith推出LLM网关私有测试版,这是一层运行时治理,可在请求到达模型前强制执行成本限制和敏感数据编辑,并将策略事件直接集成到LangSmith工作区,无需额外工具。

  • LLM网关位于代理与LLM提供商之间,可强制执行支出限制和PII编辑,从源头阻止问题。
  • 策略违规作为可追踪事件出现在LangSmith中,便于从阻止的请求到触发追踪再到修复。
站内正文

推出 LangSmith Context Hub

LangSmith 发布 Context Hub,一个集中存储、版本管理和协作管理 AI 代理行为文件(如 AGENTS.md、技能、策略)的平台。它解决了上下文文件常由非工程人员编写且更新频繁的问题,提供版本控制、标签、评论等功能,支持 CLI 和 UI 操作,并能与 Deep Agents 集成实现持久化记忆。

  • Context Hub 集中管理代理上下文文件,包括 AGENTS.md、技能、策略等。
  • 上下文对代理行为影响巨大,许多失败源于缺失或过时的上下文。
站内正文

Deep Agents v0.6 新特性

Deep Agents v0.6 引入了代码解释器、模型适配配置文件、流式传输 v3、增量通道和 ContextHub,使智能体更快速、更经济、更具可扩展性。

  • 代码解释器让智能体通过编写代码来组合工具、管理状态,减少模型往返调用,支持任意模型实现程序化工具调用。
  • 模型适配配置文件针对不同开源模型优化,性能提升显著,成本降低 20 倍以上。
站内正文

LangSmith Sandbox 正式发布

LangSmith Sandbox 现已正式发布 (GA),提供基于硬件虚拟化的微虚拟机,实现内核级隔离,确保运行不受信任的AI生成代码的安全性。新特性包括快照与分支、服务URL、CLI工具、认证代理等,适用于编码代理、CI代理和数据管道等场景。

  • 每个 Sandbox 都是硬件虚拟化的微虚拟机,与主机及其他 Sandbox 实现内核隔离,比容器更安全。
  • 新增快照与写时复制分支、服务URL、Sandbox CLI、认证代理(支持自定义回调)等特性。
站内正文

托管深度代理:快速部署生产级深度代理的最佳方式

LangChain推出Managed Deep Agents私有测试版,提供API优先的托管运行时,处理持久化执行、沙箱、工具访问和可观测性,让开发者专注于代理行为而非基础设施。

  • Managed Deep Agents提供托管运行时,支持持久化线程、流式运行、检查点和人机协同。
  • Context Hub允许代理跨运行保留和更新上下文,并结合LangSmith Engine从实际使用中学习改进。
站内正文

Show HN:Torrix —— 自托管的大语言模型可观测性工具(无需 Postgres 和 Redis)

Torrix 是一款自托管的 LLM 可观测性工具,支持跟踪令牌数、成本、延迟、完整提示追踪、推理令牌捕获和 PII 脱敏。兼容 OpenAI、Anthropic、Google Gemini 等众多提供商。通过 Docker 一键部署,无需 Postgres 或 Redis。提供 Python、Node.js、Go、C#、Java SDK 以及 LangChain 回调和 HTTP 代理。

  • 自托管 LLM 可观测性,无需 Postgres 或 Redis。
  • 跟踪令牌数、成本、延迟、提示追踪、推理令牌和 PII 脱敏。
站内正文

Delta Channels: 如何为长时运行智能体演进运行时

LangGraph 1.2引入了DeltaChannel,通过仅存储每一步的差异并定期写入完整快照,将检查点存储从O(N²)降至接近恒定水平。对于编码智能体,实现了41倍存储缩减,且无需迁移或配置更改。

  • 默认全快照模型的检查点存储随会话长度呈O(N²)增长
  • DeltaChannel仅存储差异,每K步写入一次完整快照,存储成本保持平坦
站内正文

OncoAgent:一种用于隐私保护肿瘤临床决策支持的双层多智能体框架

OncoAgent是一个开源、隐私保护的肿瘤临床决策支持系统。它采用双层大语言模型架构(9B快速模型和27B深度推理模型)、多智能体LangGraph拓扑、纠正性RAG流程(涵盖70余项NCCN和ESMO指南)以及三层反射安全验证器。系统通过复杂性评分路由查询,在AMD Instinct MI300X上微调,实现了56倍的吞吐量加速,并支持本地部署以确保数据主权。

  • 开源、隐私保护的肿瘤决策支持系统,支持本地部署。
  • 双层LLM架构:9B快速模型和27B深度推理模型,通过复杂性评分路由。
站内正文

代理开发生命周期

本文介绍了代理开发生命周期的四个阶段:构建、测试、部署和监控。强调了在部署前进行测试、使用运行时和沙箱进行可靠部署、以及通过追踪和反馈进行监控的重要性。涵盖了从代码优先到无代码的多种工具,并讨论了评估数据集、模拟和信号采集等最佳实践。

  • 生命周期包括构建、测试、部署和监控四个阶段。
  • 测试应在部署前开始,使用数据集和实验系统化评估代理。
站内正文

人工智能代理记忆模式:认知科学与AI系统的桥梁

记忆对人类思维和AI代理的行为至关重要。本文从认知科学角度出发,介绍了AI代理的短时记忆、情景记忆、语义记忆和长时记忆等类型,并探讨了它们的设计权衡。通过LangGraph在Google Colab中的实践演示,展示了如何构建包含多种记忆模式的AI代理。

  • AI代理记忆包括短时、情景、语义和长时记忆,各有不同的存储、保留和检索权衡。
  • 记忆架构通过分层设计,将信息从短时存储逐步转化为可重用的语义知识。
站内正文

使用 Deep Agents、LangSmith 和 Parallel 构建公司尽职调查智能体

本文详细介绍了如何利用 LangChain 的 Deep Agents 进行编排和 Parallel 的 Task API 进行结构化网络研究,构建自动化公司尽职调查智能体。该智能体包含五个研究子智能体,并通过 LangSmith 实现合规可观测性,确保每项主张都有源可查。

  • Deep Agents 编排五个研究子智能体,分别负责企业档案、财务状况、诉讼监管、新闻舆情和竞争格局。
  • Parallel 的 Task API 返回带来源引用和置信度分数(Basis)的结构化发现,支持可验证研究。
站内正文

用Groq搭建智能研究助手:结合LangGraph、工具调用、子代理和记忆功能

本教程详细演示了如何利用Groq的免费OpenAI兼容推理端点,结合LangGraph、LangChain以及自定义工具(包括网页搜索、文件操作、Python执行、技能加载、子代理委派和长期记忆),构建一个可运行的多步骤研究代理。通过一个实际任务(小型语言模型简报),展示了代理发现技能、委派子研究、生成结构化输出和保存记忆的完整流程。

  • 使用Groq的API作为后端,通过LangChain的ChatOpenAI接口调用llama-3.3-70b-versatile模型。
  • 构建了包含网页搜索、文件读写、代码执行、技能管理和记忆存储的工具集。
站内正文

智能体可观测性需要反馈以驱动学习

本文由LangChain创始人Harrison Chase撰写,阐述了智能体可观测性的核心价值不仅是调试,而是驱动学习循环。他强调,仅靠追踪是不够的,必须结合反馈信号(用户反馈、间接信号、大模型评判、规则等)才能系统地改进模型、框架和上下文。文章详细探讨了学习发生的多个层面(模型、框架、上下文),以及如何通过追踪与反馈结合实现人工或自动化的持续改进。最后,他指出一个完善的可观测性平台应具备存储追踪、存储反馈和生成反馈三大能力。

  • 智能体可观测性的核心是驱动学习,而不仅仅是调试。
  • 反馈信号(用户、间接、LLM评判、规则)将追踪从被动记录转化为训练信号。
站内正文

赫伯罗特如何利用Amazon Bedrock将客户反馈转化为可操作的洞察

赫伯罗特数字客户体验团队利用Amazon Bedrock、Elasticsearch和LangChain/LangGraph构建了基于生成式AI的反馈分析解决方案,自动进行情感分类、趋势分析和报告生成,减少人工工作,实现更快的数据驱动产品决策。

  • 使用生成式AI自动分析客户反馈,将人工工作量从数小时缩短到数秒。
  • 解决方案利用Amazon Bedrock进行情感分类和内容审核,并配备防护措施。
站内正文

Open SWE:用于内部编码智能体的开源框架

Open SWE 是一个基于 Deep Agents 和 LangGraph 构建的开源框架,它捕捉了 Stripe、Ramp 和 Coinbase 等公司在内部编码智能体方面的成功架构模式,提供了可定制的沙箱、工具集、编排和集成组件。

  • Open SWE 集成了隔离的云沙箱、精选工具集、子智能体编排和 Slack/Linear/GitHub 触发方式。
  • 框架基于 Deep Agents 构建,支持轻松升级和定制。
站内正文

开放模型已跨越门槛

像GLM-5和MiniMax M2.7这样的开放权重模型在核心智能体任务(文件操作、工具使用、指令遵循)上已媲美封闭前沿模型,同时成本更低、延迟更短。LangChain的评估显示其正确率接近顶级闭源模型,使开放模型适用于生产环境。本文详细介绍评估方法、结果及如何在Deep Agents SDK中使用开放模型。

  • 开放模型GLM-5和MiniMax M2.7在智能体任务上追平闭源模型。
  • 成本和延迟优势:价格低至闭源模型的1/20,推理速度更快。
站内正文

Interrupt 2026前瞻:企业级Agent规模化部署

LangChain宣布将于2026年5月13日至14日在旧金山Midway举办第二届Interrupt大会,聚焦企业级Agent的规模化部署。大会将邀请Harrison Chase、Andrew Ng、MongoDB CEO Chirantan Desai及Box CEO Aaron Levie等嘉宾,分享Lyft、LinkedIn等企业的生产实践,并提供产品演示、工作坊和AMA环节。

  • 大会主题从去年的“Agent能否投产”转向“如何实现企业级规模化”,涵盖团队、工具和基础设施。
  • 演讲嘉宾包括LangChain CEO Harrison Chase、DeepLearning.AI创始人Andrew Ng、MongoDB CEO CJ Desai及Box CEO Aaron Levie。
站内正文

使用LangSmith进行回归测试

LangSmith 的回归测试功能帮助 AI 工程师通过比较实验、跟踪性能并深入分析运行间的变化,自信地评估和迭代 LLM 应用。与传统的软件测试不同,AI 测试可能无法获得满分,因此随时间追踪结果并比较单个数据点至关重要。LangSmith 提供了比较视图、显示选项、基线运行中自动高亮变化的数据点、过滤以及展开行详细查看等功能,使快速迭代和探索数据变得简单。

  • LangSmith 改进了 LLM 应用的回归测试流程。
  • AI 测试不同于传统软件测试,需要跟踪性能变化。
站内正文

LangSmith 现已在 Azure 市场中作为可交易产品推出

LangSmith 是一个用于 LLM 应用的统一 DevOps 平台,现已在 Azure 市场中作为 Azure Kubernetes 应用提供,支持在 Azure VPC 内部署,完全控制数据,并支持 MACC 信用额度。

  • LangSmith 现可通过 Azure 市场购买,作为 Azure Kubernetes 应用部署。
  • 数据完全保留在 Azure VPC 内,无需与第三方共享。
站内正文

通过评估驱动开发迭代实现LLM可靠性

Dosu公司采用评估驱动开发(EDD)和LangSmith来构建可靠的LLM产品,监控生产性能,并自信地进行迭代。本文详细介绍了Dosu的起源、早期挑战、如何实施EDD以及利用LangSmith大规模监控和改进产品。

  • Dosu使用评估驱动开发(EDD)来确保LLM产品的可靠性,类似于测试驱动开发。
  • LangSmith的SDK易于集成,提供了细粒度的控制和可定制性,帮助Dosu监控所有活动。
站内正文

测试运行对比功能

LangSmith 推出了测试运行对比功能,允许用户并排查看多个测试运行的结果,结合人工检查和自动评估,更高效地优化 LLM 应用。

  • 测试运行对比支持并排查看多个测试运行,便于比较。
  • 用户可以使用 LLM 辅助评估或正则表达式获得初步分数,再手动深入分析。
站内正文

智能代理工程:AI代理集群如何重新定义软件工程

多代理系统模拟真实工程团队,不仅能更快编写代码,还能将调试时间缩短93%并压缩跨团队交付。本文介绍了基于LangGraph的架构及其在Cisco的试点成果。

  • 智能代理工程是一种多代理协调模型,AI代理作为数字团队成员,具有明确角色、共享记忆和共同可观测层。
  • 在20多个调试工作流程的试点中,协调代理执行使根因定位时间减少93%,一个月内节省200多工程小时。
站内正文

智能体可观测性:如何在生产环境中监控和评估LLM智能体

LLM智能体在生产环境中的行为与传统软件截然不同,需要新的可观测性方法。本文探讨了智能体监控的独特挑战,包括无限输入空间、非确定性行为,以及如何通过标注队列、LLM替代人工评估和专用工具(如LangSmith的Insights Agent、在线评估和仪表板)来扩展评估,并强调了跨职能团队协作的重要性。

  • 智能体具有无限输入空间,语言模型对细微变化敏感,导致行为非确定性。
  • 生产监控需关注自然语言交互本身,而不仅是系统指标。
站内正文

使用本地小语言模型构建AI代理

本文介绍了如何在自己的计算机上使用小型语言模型(SLM)构建完全本地运行的AI代理,无需互联网连接或API费用。涵盖AI代理和SLM的概念、本地运行的优势、Ollama和LangChain的设置、逐步构建代理以及添加记忆和工具的方法,并讨论了SLM的局限性。

  • AI代理是使用语言模型进行推理和决策的程序,比普通聊天机器人更强大。
  • 小型语言模型(如Phi-3、Mistral 7B)可在标准硬件上运行,提供隐私和零成本。
站内正文

Cerebras

Cerebras生态系统正将超低延迟推理从差异化优势转变为关键基础设施。通过其晶圆级芯片架构,Cerebras在推理速度上比传统GPU系统快15倍,并迅速扩展模型支持、云服务和开发者工具集成,使开发者能够轻松利用这一速度构建从代理、编码助手到语音界面等新一代应用。生态系统的快速扩展——包括支持主流开源模型、通过云市场提供服务、以及集成LangChain、Docker等工具——正在将速度转化为实际生产力,推动AI推理进入宽带时代。

  • Cerebras的晶圆级芯片架构实现高达15倍的推理速度提升,是行业领先的低延迟解决方案。
  • 生态系统快速扩展:支持多种主流开源模型,并通过云市场和自服务云降低使用门槛。
站内正文

公司导航