精华速览

Snowflake旗下Observe即将推出Agent Observability功能，进入私有预览阶段，目标是解决企业部署AI智能体后日益突出的质量与成本失衡问题。智能体即使不报错，也可能检索到错误信息或生成低质量响应；多步骤工作流涉及多次提示词、工具调用、检索和重试，使Token消耗与成本难以归因。同时，智能体产生的遥测数据远多于传统应用，团队为控制成本常被迫采样或丢弃数据，导致排查时信息缺失。新功能通过兼容OpenTelemetry的SDK采集提示词、模型输出、工具调用和Token用量，提供对话搜索、性能与成本监控、在线LLM裁判评估，并借助Snowflake存储与计算分离架构保留高保真遥测数据。

要点透视

  • Snowflake Observe的Agent Observability功能即将开放私有预览，定位为监控、调试和优化AI智能体及大语言模型应用的可观测性工具。
  • 该功能提供可选且兼容OpenTelemetry的SDK，可捕获提示词、模型生成结果、检索操作、工具调用、Token使用量和会话ID，已验证支持LangChain、Anthropic Agents SDK和OpenAI Agents SDK。
  • 团队可通过Agent Explorer跨追踪记录、会话和对话搜索，定位智能体调用了哪些工具，以及故障或异常响应从何处开始出现。
  • Observe支持对生产流量开展在线LLM-as-judge评估，识别模型幻觉、安全护栏失效和低质量响应，并将评估结果与底层Span和Trace关联。
  • 智能体追踪记录比传统应用更长、跨度更多、单跨度数据量更大，推高了遥测数据保留成本；Observe以事件方式存储跨度，通过追踪ID和对话ID查询，支持延迟到达的跨度。
  • Observe的遥测湖仓基础架构将存储与计算分离，利用云对象存储降低详细遥测数据的保留成本，并按搜索、分析和调试需求独立扩展计算资源。
  • 该功能从追踪数据中提取延迟、错误、Token使用量和预估成本等指标，帮助比较不同智能体、模型和工作流，识别不必要的重试或昂贵模型选择等低效环节。
  • 存储层支持Apache Iceberg，采集层支持OTLP端点，团队可在埋点、存储和查询引擎之间保持灵活性，降低被专有数据格式锁定的风险。

文章拆解

AI智能体进入企业生产环境后，可观测性问题正在从“能不能看到”升级为“看不看得起、看不看得懂”。传统应用监控关注延迟和错误率，但智能体的输出具有非确定性：请求成功不代表答案正确，响应流畅也不代表成本合理。素材显示，多步骤工作流中的提示词输入、工具调用、信息检索、重试和模型生成都会推高Token消耗，而仅看Token总量无法判断支出是否创造了价值。这解释了Snowflake为何将质量评估、成本归因和追踪调试放在同一产品中。

从技术路径看，Observe的策略是“开放采集+湖仓存储+业务关联”。采集端遵循OpenTelemetry生成式AI语义约定，并支持LangChain、Anthropic和OpenAI的智能体SDK，降低团队更换框架后的重复埋点成本；存储端把跨度作为事件写入Snowflake，并借助Iceberg和存储计算分离保留高保真数据。这一设计针对的痛点是：团队为控制遥测成本而采样或丢弃数据，恰恰在故障调查时失去关键上下文。

对用户和行业的影响体现在两个层面。工程团队可以用Agent Explorer还原一次对话的完整执行顺序，判断问题出在检索、工具选择、模型响应还是底层服务；管理者则能把智能体行为与客户体验、问题解决率、转化率或内部任务完成情况关联，从而决定AI预算投向何处。在线LLM裁判评估把“质量”变成可持续监控的指标，使低成本模型是否真的更优、高成本模型是否带来实质提升，有了可比较的依据。

值得关注的变量包括：私有预览阶段的实际接入成本与评估准确性尚待确认；在线裁判本身也会消耗模型调用资源，若配置不当可能反向推高AI预算；OTel生成式AI语义约定仍在演进，标准兼容性能否长期保持尚待确认；此外，遥测数据保留得越完整，数据治理与隐私边界问题就越突出，企业在生产环境中需明确提示词和工具输入输出的留存策略。总体看，该功能试图把性能、质量和成本放进同一套可观测框架，但能否成为企业智能体运维的通用底座，仍取决于预览后的落地反馈与生态适配速度。

查看原文