Module
Models & Authentication
Platform
Windows
AionUi Version
v2.1.46
Bug Description
标题:aionui 未正确调用多模态API,导致图片识别功能异常
问题描述:
环境信息
模型:Qwen3.6-32B(本地部署)
对比客户端:opencode(正常) vs aionui(异常)
模型能力:支持多模态(text + image 输入)
预期行为
图片识别应通过多模态API直接传递图像数据给模型,模型返回准确的图像内容描述。
实际行为
opencode 配置正确(已添加 modalities: { input: ["text", "image"] }),图片识别结果准确。
aionui 未走多模态API通道,而是通过 read / skill 等工具读取图片二进制/元数据后,将文本信息转发给模型,模型实际接收到的输入不包含图像像素数据,导致输出结果为毫无依据的“瞎编”内容。
根因分析
aionui 在图片处理流程中,绕过了模型原生支持的 image_url / base64 输入方式,采用了“工具链中转”方案,使多模态模型降级为纯文本模型使用,丧失了视觉识别能力。
期望修复
图片输入应直接通过多模态API的 image 字段传递,而非通过文本工具中转。
建议参考 opencode 的多模态配置方式,使 aionui 支持标准的 content: [{ type: "image_url", image_url: {...} }] 格式。
Steps to Reproduce
Expected Behavior
图片识别应通过多模态API直接传递图像数据给模型,模型返回准确的图像内容描述。
Actual Behavior
opencode 配置正确(已添加 modalities: { input: ["text", "image"] }),图片识别结果准确。
aionui 未走多模态API通道,而是通过 read / skill 等工具读取图片二进制/元数据后,将文本信息转发给模型,模型实际接收到的输入不包含图像像素数据,导致输出结果为毫无依据的“瞎编”内容。
Additional Context
No response
Module
Models & Authentication
Platform
Windows
AionUi Version
v2.1.46
Bug Description
标题:aionui 未正确调用多模态API,导致图片识别功能异常
问题描述:
环境信息
模型:Qwen3.6-32B(本地部署)
对比客户端:opencode(正常) vs aionui(异常)
模型能力:支持多模态(text + image 输入)
预期行为
图片识别应通过多模态API直接传递图像数据给模型,模型返回准确的图像内容描述。
实际行为
opencode 配置正确(已添加 modalities: { input: ["text", "image"] }),图片识别结果准确。
aionui 未走多模态API通道,而是通过 read / skill 等工具读取图片二进制/元数据后,将文本信息转发给模型,模型实际接收到的输入不包含图像像素数据,导致输出结果为毫无依据的“瞎编”内容。
根因分析
aionui 在图片处理流程中,绕过了模型原生支持的 image_url / base64 输入方式,采用了“工具链中转”方案,使多模态模型降级为纯文本模型使用,丧失了视觉识别能力。
期望修复
图片输入应直接通过多模态API的 image 字段传递,而非通过文本工具中转。
建议参考 opencode 的多模态配置方式,使 aionui 支持标准的 content: [{ type: "image_url", image_url: {...} }] 格式。
Steps to Reproduce
Expected Behavior
图片识别应通过多模态API直接传递图像数据给模型,模型返回准确的图像内容描述。
Actual Behavior
opencode 配置正确(已添加 modalities: { input: ["text", "image"] }),图片识别结果准确。
aionui 未走多模态API通道,而是通过 read / skill 等工具读取图片二进制/元数据后,将文本信息转发给模型,模型实际接收到的输入不包含图像像素数据,导致输出结果为毫无依据的“瞎编”内容。
Additional Context
No response