多模态输入与输出

​

多模态用户输入

result = agent.invoke({
    "messages": [{
        "role": "user",
        "content": [
            {"type": "text", "text": "这张截图中有什么内容？"},
            {"type": "image", "url": "https://example.com/screenshot.png"},
        ],
    }],
})

​

内置 read_file 工具

​

自定义工具输出

from langchain.tools import tool


@tool
def capture_screenshot() -> list[dict]:
    """截取当前页面的截图。"""
    return [
        {"type": "text", "text": "当前页面的截图："},
        {"type": "image", "url": "https://example.com/page.png"},
    ]

​

上下文压缩与多模态内容

• 卸载 仅衡量文本 token。非文本块（包括图像）在替换消息中被保留，而不是被压缩。仅包含图像的消息不会仅根据图像大小被卸载。
• 摘要 将较旧的消息压缩为纯文本摘要。该范围内的图像、音频、视频和文件块不会被带入——模型只能看到摘要撰写者对它们的描述。低于保留阈值的近期消息保持不变。 当摘要运行时，较早轮次中的媒体块会从活动上下文中移除：
  # 之前 —— 模型在早期对话轮次中接收到图像块
  [
      HumanMessage(
          content=[
              {"type": "text", "text": "你在这张图表中看到了什么趋势？"},
              {"type": "image", "base64": IMG, "mime_type": "image/png"},
          ]
      ),
      ToolMessage(
          content=[
              {"type": "text", "text": "更新后的图表："},
              {"type": "image", "base64": IMG, "mime_type": "image/png"},
          ],
          tool_call_id="call_chart_1",
      ),
      AIMessage(content="根据图表趋势，第三季度的收入有所增长。"),
      HumanMessage(content="用一句话总结我们的分析。"),
  ]
  
  # 之后 —— 这些轮次被合并为文本；图像块已消失
  {"content": (
      "用户询问了一张截图图表中的趋势。"
      "工具返回了一张更新后的图表。智能体确认了第三季度的收入增长。"
  )}
  
  原始对话仍以文本形式写入文件系统。有关触发条件、保留阈值和完整流程，请参阅摘要。

• 将图像、屏幕截图和图表存储在文件系统后端或外部对象存储中，然后通过消息传递文件路径或 URL。
• 在长期运行的对话中，优先使用引用而非 Base64 编码的图像块。
• 使用子智能体进行图像密集型检查，以便主智能体获得紧凑的文本结果。
• 当你的提供商对图像收取大量 token 时，可以调整摘要阈值或提供自定义 token 计数器。