Skip to content

[Bug]: 本地模型的多模态支持 #3863

Description

@mdreamfly

Module

Models & Authentication

Platform

Windows

AionUi Version

v2.1.46

Bug Description

标题:aionui 未正确调用多模态API,导致图片识别功能异常

问题描述:

环境信息

模型:Qwen3.6-32B(本地部署)

对比客户端:opencode(正常) vs aionui(异常)

模型能力:支持多模态(text + image 输入)

预期行为
图片识别应通过多模态API直接传递图像数据给模型,模型返回准确的图像内容描述。

实际行为

opencode 配置正确(已添加 modalities: { input: ["text", "image"] }),图片识别结果准确。

aionui 未走多模态API通道,而是通过 read / skill 等工具读取图片二进制/元数据后,将文本信息转发给模型,模型实际接收到的输入不包含图像像素数据,导致输出结果为毫无依据的“瞎编”内容。

根因分析
aionui 在图片处理流程中,绕过了模型原生支持的 image_url / base64 输入方式,采用了“工具链中转”方案,使多模态模型降级为纯文本模型使用,丧失了视觉识别能力。

期望修复

图片输入应直接通过多模态API的 image 字段传递,而非通过文本工具中转。

建议参考 opencode 的多模态配置方式,使 aionui 支持标准的 content: [{ type: "image_url", image_url: {...} }] 格式。

Steps to Reproduce

Image

Expected Behavior

图片识别应通过多模态API直接传递图像数据给模型,模型返回准确的图像内容描述。

Actual Behavior

opencode 配置正确(已添加 modalities: { input: ["text", "image"] }),图片识别结果准确。

aionui 未走多模态API通道,而是通过 read / skill 等工具读取图片二进制/元数据后,将文本信息转发给模型,模型实际接收到的输入不包含图像像素数据,导致输出结果为毫无依据的“瞎编”内容。

Additional Context

No response

Metadata

Metadata

Assignees

Labels

area/model-auth模型与认证bugSomething isn't working

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions