用视觉语言模型自动整理图片并生成结构化标签

AI智能摘要

人工逐张整理图片既慢又容易出错，同一类物品常被写成不同名称，素材库标签越来越难检索。视觉语言模型能自动生成描述、候选标签和分类，但自然语言输出并不适合直接入库。文章给出了一条从单张测试到批量处理的完整路径：先定义精简字段和固定词表，再配合提示词与 JSON 校验约束模型输出，最后串成流水线。如何让模型输出既稳定又可直接入库？

— 此摘要由AI分析文章内容生成，仅供参考。

图片越攒越多，靠人工逐张打开、命名、归类，很快就会变成重复劳动：同一类商品被写出不同名称，素材库里的标签也越来越难搜索。视觉语言模型可以先为图片生成描述、候选标签和分类，再由程序统一格式、筛出可疑结果，最后交给人复核。关键不是一次把整库交给模型，而是从单张测试开始，逐步验证后再批量处理。

先定义结果，再选择模型

视觉语言模型（VLM）能结合图片内容和文字指令生成分析结果，但自然语言回答不一定适合直接入库。比如模型可能把同一类物品分别写成“运动鞋”“跑鞋”或“运动用鞋”，也可能额外补充图片里看不出来的信息。因此，先明确字段和标签词表，比先追求复杂提示词更重要。

可以从一张图片需要解决的实际问题出发，定义一个精简结构：

{
  "description": "白色背景上的蓝色陶瓷杯，杯柄朝右",
  "category": "家居用品",
  "tags": ["陶瓷杯", "蓝色", "白色背景"],
  "needs_review": false,
  "review_reason": ""
}

字段要能服务后续检索或工作流。例如，商品库可能需要 category、color 和 product_type；训练数据集可能更关心 caption、objects 和 safety_flag。不要一开始就堆很多字段：每多一个判断点，就多一处可能不稳定的输出。

从单张图片开始验证

准备几张有代表性的图片，最好涵盖常见内容、边界情况和容易混淆的类别。先逐张调用模型，检查描述是否忠于图像、标签是否符合词表、空值和不确定情况是否能正确处理。不要只测“最容易识别”的图片。

提示词应同时说明任务、范围、标签规则和输出格式。下面的模板可以按业务修改：

请分析输入图片，并只返回符合指定结构的 JSON。

任务：
1. 用一句简体中文客观描述图片中可见的主要内容。
2. 从允许的类别中选择一个最匹配的类别。
3. 从允许的标签中选择 1 至 5 个最相关标签。

允许类别：商品、人物、动物、食物、风景、其他
允许标签：红色、蓝色、白色、室内、室外、包装、正面图、细节图

规则：
- 只描述图片中可见的信息，不推测品牌、材质或用途。
- 无法可靠判断时，类别填“其他”，并将 needs_review 设为 true。
- 标签必须从允许标签中选择；没有合适标签时返回空数组。
- 不要输出 Markdown、解释或 JSON 以外的内容。

字段：description（字符串）、category（字符串）、tags（字符串数组）、
needs_review（布尔值）、review_reason（字符串）。

允许类别和标签应尽量使用固定词表，而不是让模型自由创造。同一类素材如果存在层级，比如“服装 / 上衣 / T 恤”，就提前规定返回哪一级；中文近义词也应统一映射，例如将“蓝”“蓝色”规范为“蓝色”。

把提示词和结构约束一起使用

提示词能说明语义规则，但不能独自保证每次都返回合法 JSON。若所用多模态 API 支持 JSON 模式或 JSON Schema，应把字段类型、必填项、枚举值和额外字段限制也传给接口；不同服务的参数名称与图像输入方式可能不同，需按其文档调整。若接口不支持结构化输出，也要在本地解析并校验，失败时再重试或转人工处理。

例如，可先用 Python 定义本地校验规则：

ALLOWED_CATEGORIES = {"商品", "人物", "动物", "食物", "风景", "其他"}
ALLOWED_TAGS = {
    "红色", "蓝色", "白色", "室内", "室外", "包装", "正面图", "细节图"
}

def validate_result(data):
    required = {
        "description", "category", "tags",
        "needs_review", "review_reason"
    }
    if not isinstance(data, dict) or set(data) != required:
        return False, "字段缺失或包含额外字段"

    if not isinstance(data["description"], str):
        return False, "description 必须是字符串"
    if data["category"] not in ALLOWED_CATEGORIES:
        return False, "category 不在允许范围内"
    if not isinstance(data["tags"], list) or not all(
        isinstance(tag, str) and tag in ALLOWED_TAGS
        for tag in data["tags"]
    ):
        return False, "tags 格式错误或包含未知标签"
    if not isinstance(data["needs_review"], bool):
        return False, "needs_review 必须是布尔值"
    if not isinstance(data["review_reason"], str):
        return False, "review_reason 必须是字符串"

    return True, ""

严格校验不等于确认内容正确：它只能发现格式错误和超出词表的值，不能证明模型没有把图片中的物体认错。

从单张测试扩展到批量处理

单张结果稳定后，再把“读取图片—调用模型—解析 JSON—校验—保存结果”串成流水线。建议把模型调用封装在一个函数里，避免业务代码依赖某一家服务的请求格式。以下示例展示批处理骨架；call_vlm 需要按实际服务补上多模态请求与鉴权参数。

import json
from pathlib import Path

def call_vlm(image_path):
    """
    在这里实现具体服务的调用：
    读取 image_path，发送图片和提示词，
    获取模型文本结果并解析为 Python 字典。
    """
    raise NotImplementedError

input_dir = Path("images")
output_file = Path("results.jsonl")

with output_file.open("w", encoding="utf-8") as out:
    for image_path in sorted(input_dir.glob("*")):
        if not image_path.is_file():
            continue

        try:
            result = call_vlm(image_path)
            valid, reason = validate_result(result)

            record = {
                "file": image_path.name,
                "result": result if valid else None,
                "needs_review": True if not valid else result["needs_review"],
                "validation_error": reason
            }
        except Exception as exc:
            record = {
                "file": image_path.name,
                "result": None,
                "needs_review": True,
                "validation_error": str(exc)
            }

        out.write(json.dumps(record, ensure_ascii=False) + "n")

这里按行写入 JSONL，单张失败不会影响已经处理的记录。实际运行时还应记录请求状态、重试次数和模型版本等必要信息，方便定位问题与复现结果。若要并发调用，应先从较小并发量测试，再根据服务限制和失败率调整；不要在没有限流和异常处理的情况下直接同时提交整个目录。