模型视觉 ✔
多模态模型(支持图片) 温度 0.1
提示词
## 角色
你是电力作业现场的安全检查员。你的任务是看一张现场照片,判断它属于以下三类中的哪一类:未戴安全帽、登高未系安全带、其他……
## 类别与可观察特征
### 1. 未戴安全帽 ……
提示词设计思路 + Dify 上机手册。换一个场景,把第一节课的六步法再走一遍:看题 → 分析 → 选框架 → 写 → 检查 → 测试。前半是"怎么想、怎么写、为什么",后半是 Dify 上一步一步做。
这不是赛题,是我们按赛题格式出的一道练习题。目的是换个场景,把锅炉那道题学到的方法再用一遍——方法通了,换什么题都能写。
| 项目 | 内容 |
|---|---|
| 场景 | 电力作业现场照片,识别人员安全违章 |
| 类别(三类) | 未戴安全帽 / 登高未系安全带 / 其他(合规、看不清、没有人、判断不了都归这里) |
| 素材位置 | 本文件夹/素材/ 参考图 4 张(两类各 2)、待判图 8 张(两类各 2 + 其他 4) |
| 素材性质 | 全部为 AI 合成教学图,不是赛题素材、不是真实现场照片;文件名已写明真实类别,测试时对照用 |




先把题面读完,圈出四件事:交什么、几类、什么时候不判、能借什么力。
# 练习题 · 作业现场安全违章识别(课堂练习,按赛题格式编写) 题目背景 电力作业现场的两类高频违章——未戴安全帽、登高作业未系安全带——是人身事故的主要诱因。 本题用多模态大模型提示词,对现场照片做违章类别识别,不训练模型。 答题要求 1. 核心任务:设计提示词,引导模型对现场照片三分类:未戴安全帽、登高未系安全带、其他。 2. 特征描述:写清两类违章的可观察特征——头部装备、身体位置与高度、安全带及挂钩状态等。 3. 干扰过滤:明确何种情况判为"其他",包括但不限于:人员合规、画面模糊、 画面中无人员、关键部位被遮挡看不清。 4. 输出:仅输出类别名,不输出其他信息。 评分标准 ① 分类准确率 ② 提示词设计规范合理 ③ 参考图选择与应用得当(不多于 5 张) ④ 输出格式完全合规
| 看题时问自己 | 这道题的答案 | 决定提示词哪一段 |
|---|---|---|
| ① 要我交什么? | 一个类别名,只有一行 | 输出约束段 |
| ② 一共几类?叫什么? | 三类:未戴安全帽 / 登高未系安全带 / 其他,名字逐字照抄 | 分类规则段 |
| ③ 什么时候不该判? | 合规、模糊、无人、关键部位被遮挡 | 其他类规则段 |
| ④ 能借什么力? | 最多 5 张参考图,两类都要有 | 测试阶段用 |
把"违章"翻译成模型能从照片里看得见的东西。写不出可观察特征,提示词就只能靠模型猜。
| 看哪里 | 未戴安全帽 | 登高未系安全带 | 其他(合规或判不了) |
|---|---|---|---|
| 头部 | 头部裸露,或戴的是鸭舌帽、毛线帽等非安全帽 | 通常戴着安全帽(不是本类判断点) | 安全帽佩戴到位、帽带系好 |
| 身体位置 | 地面、台面都可能 | 明显离地:在梯子、脚手架、杆塔、平台边缘 | 地面站立、或高处但有防护 |
| 腰部 / 背部 | 不是本类判断点 | 看不到安全带,或安全带在身上但挂钩没挂、垂在身侧 | 安全带系好且挂钩挂在牢固点上 |
| 画面质量 | 需能看清头部 | 需能看清腰部与挂点 | 模糊、过暗、关键部位被遮挡 → 其他 |
| 有没有人 | 必须有人 | 必须有人 | 只有设备、空景 → 其他 |




题面四条要求 + 分析步骤 = 五段。顺序固定,每段一个小标题。
| 段落 | 对应题面哪句话 | 写短了会怎样 |
|---|---|---|
| ① 角色 | "引导多模态大模型对现场照片三分类" | 模型按聊天助手习惯回答,爱解释 |
| ② 分类规则 | "写清两类违章的可观察特征" | 模型凭常识猜,普通帽子也算安全帽 |
| ③ 分析步骤 | 评分②"设计规范合理" | 双重违章时结果不稳定 |
| ④ 其他类规则 | "明确何种情况判为其他" | 模糊图被硬判成违章,兜底类全错 |
| ⑤ 输出约束 | "仅输出类别名" | 多一个字就判格式不合规 |
每一段都按"怎么写 → 好例 → 坏例 → 为什么"过一遍。写的时候对着看,写完对着改。
五段拼起来就是可以直接贴进 Dify 的版本。贴之前对着下面的四查过一遍。
## 角色 你是电力作业现场的安全检查员。你的任务是看一张现场照片,判断它属于以下三类中的哪一类: 未戴安全帽、登高未系安全带、其他。你只需要给出类别名。 ## 类别与可观察特征 ### 1. 未戴安全帽 - 头部:裸露,或佩戴的是鸭舌帽、毛线帽、头巾等非安全帽 - 判断前提:能看清人员头部 - 注意:安全帽拿在手里、放在旁边,也算未戴 ### 2. 登高未系安全带 - 位置:人员明显离地,站在梯子、脚手架、杆塔、平台边缘 - 腰部/背部:看不到安全带,或安全带在身上但挂钩未挂、垂在身侧 - 判断前提:能看清腰部与挂点 ### 3. 其他(以下任一情况均判"其他") - 人员安全帽佩戴到位、安全带系好挂牢,没有上述两类违章 - 画面模糊、过暗、过曝,看不清头部或腰部 - 画面中没有人员,只有设备、场地或空景 - 人员头部或腰部被遮挡,无法确认装备状态 - 其他任何无法确定的情况,一律判"其他",不要猜测 ## 判断步骤 1. 先看画面:没有人、画面模糊、头部和腰部都看不清 → 直接判"其他" 2. 看位置:人员是否明显离地 3. 若离地:看腰部是否有系好并挂牢的安全带;没有 → "登高未系安全带" 4. 看头部:是否佩戴安全帽;没有或戴的是非安全帽 → "未戴安全帽" 5. 两类同时成立时,只输出"登高未系安全带" 6. 以上都不成立 → "其他" ## 输出要求 只输出以下三者之一,一行,不要任何其他内容: 未戴安全帽 登高未系安全带 其他 不要解释原因,不要加"类别:"等前缀,不要加句号,不要使用代码块标记。 正确输出示例: 未戴安全帽
| 四查 | 对着提示词找 | 没找到就补 |
|---|---|---|
| ① 类别名查 | 三个类别名在角色段、规则段、输出段写法完全一样 | 统一改成题面写法 |
| ② 特征查 | 每条特征都是照片里能指出来的东西 | 把"不注意安全"类的结论改成"头部裸露"类的特征 |
| ③ 兜底查 | 题面列的四种"其他"情形一条不少,且有"不要猜" | 逐条补上 |
| ④ 输出查 | 枚举、禁止项、示例三件都在 | 缺哪件补哪件 |
界面操作和锅炉那本手册完全一样,这里只列步骤;每一步的界面示意图见《实操一_图像分类_Dify实操手册》第 1~4 节。
安全违章识别-姓名缩写,描述可写"作业现场违章三分类"。参考图是给模型"看样子"的,待判图是考它的。先传参考图,再逐张测,先看格式再看对错。
素材/参考图/ 传 4 张。这是已标注样本,类别为:未戴安全帽(类别名照抄)。



加上第 2 节的 4 张"其他"图,一共 8 张。每张传一次、发一次,把模型输出抄进下表。
| 待判图 | 应输出 | 模型实际输出 | 对 / 错 |
|---|---|---|---|
| 未戴安全帽_01 | 未戴安全帽 | ||
| 未戴安全帽_02 | 未戴安全帽 | ||
| 登高未系安全带_01 | 登高未系安全带 | ||
| 登高未系安全带_02 | 登高未系安全带 | ||
| 其他_01_合规作业 | 其他 | ||
| 其他_02_模糊 | 其他 | ||
| 其他_03_无人员 | 其他 | ||
| 其他_04_头部被遮挡 | 其他 |
| 先看什么 | 合格标准 | 不合格怎么改 |
|---|---|---|
| ① 格式 | 只有类别名一行,没有解释、标点、代码块 | 输出段补禁止项 + 示例,发布后重测 |
| ② 类别名 | 与题面逐字一致 | 三处类别名统一改成题面写法 |
| ③ 对错 | 8 张里"其他"4 张全对是底线 | "其他"错 → 补兜底情形;两类互错 → 加特征、换更典型的参考图 |
一次只改一处,改完 8 张重跑一遍,记下来。
| 版本 | 改动内容(只写一处) | 未戴帽 | 未系带 | 其他 | 总正确 | 结论 |
|---|---|---|---|---|---|---|
| v1 | 基线:五段骨架,无参考图 | /2 | /2 | /4 | /8 | |
| v2 | 加入 4 张参考图(两类各 2) | /2 | /2 | /4 | /8 | |
| v3 | 其他类补"头部或腰部被遮挡"情形 | /2 | /2 | /4 | /8 | |
| v4 | 分类规则补"普通帽子不算安全帽" | /2 | /2 | /4 | /8 | |
| v5 | 温度调到 0.1 | /2 | /2 | /4 | /8 |
| 现象 | 多半原因 | 处理 |
|---|---|---|
| 合规作业图被判成"未戴安全帽" | 参考图全是违章,模型见不到"戴好了"长什么样 | 其他类规则第一条写清"佩戴到位、系好挂牢 → 其他";必要时用 1 张参考图名额传合规图并标注"其他" |
| 模糊图被判成违章 | 兜底写在前面被忽略,或没写"不要猜" | 判断步骤第 1 步先过"能不能判";兜底段加"不要猜测" |
| 戴鸭舌帽的被判"其他" | 没说普通帽子不算安全帽 | 分类规则补"鸭舌帽、毛线帽、头巾等非安全帽" |
| 又没戴帽又没系带,两次结果不同 | 没写优先级 | 判断步骤写死"两类同时成立只输出登高未系安全带" |
| 地面上没系安全带被判"登高未系安全带" | 没强调"明显离地"是前提 | 把"位置:明显离地"放第一条,并在步骤里先判位置 |
| 输出多了"类别:"或句号 | 禁止项没列全 | 输出段按第 4 节写⑤补齐,给示例 |
交作业前照这张单子过一遍。
输出只有类别名一行,无解释、无前后缀、无标点、无代码块标记
三个类别名在提示词各处写法逐字一致,且与题面一致
参考图不超过 5 张、两类都有覆盖、每张都标注了类别
"其他"类四种情形(合规 / 模糊 / 无人 / 遮挡)一条不少,且写了"不要猜"
双重违章的优先级写死了
特征全是可观察项(头部、腰部、高度、挂钩),没有"不注意安全"这类结论
最后一版做过 8 张回归,迭代记录表填到最新版本