华电新疆公司 · 集团 AI 竞赛赛前培训 · 第一天 · 第二节

实操一(场景二)· 作业现场安全违章识别

提示词设计思路 + Dify 上机手册。换一个场景,把第一节课的六步法再走一遍:看题 → 分析 → 选框架 → 写 → 检查 → 测试。前半是"怎么想、怎么写、为什么",后半是 Dify 上一步一步做。

环境:客户本地 Dify + 学员账号 素材:课堂合成教学图 12 张(参考图 4 + 待判图 8) 产出:一条可提交提示词 + 一张迭代记录表

0开始之前:场景说明与素材

这不是赛题,是我们按赛题格式出的一道练习题。目的是换个场景,把锅炉那道题学到的方法再用一遍——方法通了,换什么题都能写。

项目内容
场景电力作业现场照片,识别人员安全违章
类别(三类)未戴安全帽 / 登高未系安全带 / 其他(合规、看不清、没有人、判断不了都归这里)
素材位置本文件夹/素材/ 参考图 4 张(两类各 2)、待判图 8 张(两类各 2 + 其他 4)
素材性质全部为 AI 合成教学图,不是赛题素材、不是真实现场照片;文件名已写明真实类别,测试时对照用
未戴安全帽 · 参考 1人员头部裸露,无安全帽
未戴安全帽 · 参考 2厂房内作业,头部裸露(近景)
登高未系安全带 · 参考 1离地作业,腰部无安全带与挂钩
登高未系安全带 · 参考 2杆上作业,安全带未挂、吊挂在身侧
和锅炉题的区别:锅炉题看的是"物"(爆口形态),这题看的是"人 + 装备 + 位置"。特征不一样,但提示词的骨架一模一样。

1第一步 看题:练习题题面

先把题面读完,圈出四件事:交什么、几类、什么时候不判、能借什么力。

# 练习题 · 作业现场安全违章识别(课堂练习,按赛题格式编写)
题目背景
电力作业现场的两类高频违章——未戴安全帽、登高作业未系安全带——是人身事故的主要诱因。
本题用多模态大模型提示词,对现场照片做违章类别识别,不训练模型。

答题要求
1. 核心任务:设计提示词,引导模型对现场照片三分类:未戴安全帽、登高未系安全带、其他。
2. 特征描述:写清两类违章的可观察特征——头部装备、身体位置与高度、安全带及挂钩状态等。
3. 干扰过滤:明确何种情况判为"其他",包括但不限于:人员合规、画面模糊、
   画面中无人员、关键部位被遮挡看不清。
4. 输出:仅输出类别名,不输出其他信息。

评分标准
① 分类准确率 ② 提示词设计规范合理 ③ 参考图选择与应用得当(不多于 5 张) ④ 输出格式完全合规
看题时问自己这道题的答案决定提示词哪一段
① 要我交什么?一个类别名,只有一行输出约束段
② 一共几类?叫什么?三类:未戴安全帽 / 登高未系安全带 / 其他,名字逐字照抄分类规则段
③ 什么时候不该判?合规、模糊、无人、关键部位被遮挡其他类规则段
④ 能借什么力?最多 5 张参考图,两类都要有测试阶段用

2第二步 分析:三类各看什么

把"违章"翻译成模型能从照片里看得见的东西。写不出可观察特征,提示词就只能靠模型猜。

看哪里未戴安全帽登高未系安全带其他(合规或判不了)
头部头部裸露,或戴的是鸭舌帽、毛线帽等非安全帽通常戴着安全帽(不是本类判断点)安全帽佩戴到位、帽带系好
身体位置地面、台面都可能明显离地:在梯子、脚手架、杆塔、平台边缘地面站立、或高处但有防护
腰部 / 背部不是本类判断点看不到安全带,或安全带在身上但挂钩没挂、垂在身侧安全带系好且挂钩挂在牢固点上
画面质量需能看清头部需能看清腰部与挂点模糊、过暗、关键部位被遮挡 → 其他
有没有人必须有人必须有人只有设备、空景 → 其他

边界:这四张都该判"其他"

合规作业帽戴好、带挂好——没有违章就是"其他"
画面模糊看不清头部和腰部,不能硬猜
无人员只有设备,没有判断对象
头部被遮挡看不到有没有戴帽,判不了
最容易踩的坑:一个人既没戴帽又在高处没系带怎么办?题面只允许输出一个类别,提示词里要事先规定优先级(本手册约定:登高未系安全带优先,因为后果更重)。不写,模型每次随机选一个。

3第三步 选框架:五段骨架

题面四条要求 + 分析步骤 = 五段。顺序固定,每段一个小标题。

① 角色你是谁、看什么、输出什么
② 分类规则每类一段可观察特征
③ 分析步骤先看什么再看什么、冲突怎么定
④ 其他类规则四种情形逐条写
⑤ 输出约束只输出类别名一行
段落对应题面哪句话写短了会怎样
① 角色"引导多模态大模型对现场照片三分类"模型按聊天助手习惯回答,爱解释
② 分类规则"写清两类违章的可观察特征"模型凭常识猜,普通帽子也算安全帽
③ 分析步骤评分②"设计规范合理"双重违章时结果不稳定
④ 其他类规则"明确何种情况判为其他"模糊图被硬判成违章,兜底类全错
⑤ 输出约束"仅输出类别名"多一个字就判格式不合规

4第四步 写:五段逐段写,正反例对照

每一段都按"怎么写 → 好例 → 坏例 → 为什么"过一遍。写的时候对着看,写完对着改。

写① 角色:一句话说清身份、看什么、交什么

  1. 身份要贴场景:电力作业现场安全检查员,不是"AI 助手"。
  2. 把任务说死:看一张照片 → 判断属于三类中的哪一类。
  3. 顺手把输出口径带一句:只给类别名。
✔ 这样写好
你是电力作业现场的安全检查员。你的任务是看一张现场照片,判断它属于以下三类中的哪一类:未戴安全帽、登高未系安全带、其他。你只需要给出类别名。
为什么好:身份、输入、输出、类别名全在一句话里,模型从第一行就知道自己在做"分类",不是"聊天"。
✘ 这样写不好
你是一个乐于助人的 AI 助手,请帮我看看这张图片有什么安全问题。
为什么不好:"看看有什么问题"是开放题,模型会写一段分析;没有类别名,输出永远对不上评分。

写② 分类规则:每类一段,只写看得见的

  1. 类别名逐字照抄题面,用「###」或序号单独起一段。
  2. 每类按"看哪里 → 看到什么"写 3~5 条,全部是可观察项(头部、腰部、高度、挂钩)。
  3. 把容易混的情况点出来:"普通帽子不算安全帽"。
✔ 这样写好
### 1. 未戴安全帽 - 头部:裸露,或佩戴的是鸭舌帽、毛线帽、头巾等非安全帽 - 判断前提:能看清人员头部 - 注意:安全帽拿在手里、放在旁边,也算未戴 ### 2. 登高未系安全带 - 位置:人员明显离地,站在梯子、脚手架、杆塔、平台边缘 - 腰部/背部:看不到安全带,或安全带在身上但挂钩未挂、垂在身侧 - 判断前提:能看清腰部与挂点
为什么好:每条都是照片里能指出来的东西;"拿在手里也算未戴""挂钩未挂"把最常见的漏判堵住了。
✘ 这样写不好
1. 未戴安全帽:工人不注意安全,没有做好头部防护。 2. 登高未系安全带:高处作业存在坠落风险,防护措施不到位。
为什么不好:"不注意安全""防护不到位"是结论,不是特征。模型看图时找不到对应的东西,只能靠感觉。

写③ 分析步骤:先看什么、再看什么、撞车怎么办

  1. 先判能不能判:有没有人、清不清楚、关键部位看得见吗。
  2. 再按顺序看:位置(是否离地)→ 腰部(安全带)→ 头部(安全帽)。
  3. 写死优先级:两类同时出现时输出哪一个。
✔ 这样写好
### 判断步骤 1. 先看画面:没有人、画面模糊、头部和腰部都看不清 → 直接判"其他" 2. 看位置:人员是否明显离地(梯子、脚手架、杆塔、平台边缘) 3. 若离地:看腰部是否有系好并挂牢的安全带;没有 → "登高未系安全带" 4. 看头部:是否佩戴安全帽;没有或戴的是非安全帽 → "未戴安全帽" 5. 两类同时成立时,只输出"登高未系安全带" 6. 以上都不成立 → "其他"
为什么好:顺序固定、每一步有出口,双重违章有唯一答案;同一张图每次跑结果一样。
✘ 这样写不好
请仔细观察图片,综合分析各种安全因素,给出最合理的判断。
为什么不好:"仔细""综合""合理"没有任何可执行动作。模型今天先看帽子、明天先看带子,结果飘。

写④ 其他类规则:四种情形逐条写,放在正常类别之后

  1. 把题面的四种情形一条一条列出来:合规、模糊、无人、遮挡。
  2. 加一句"不确定就归其他,不要猜"。
  3. 位置放在两类违章之后——先告诉模型什么是违章,再告诉它什么时候别判。
✔ 这样写好
### 3. 其他(以下任一情况均判"其他") - 人员安全帽佩戴到位、安全带系好挂牢,没有上述两类违章 - 画面模糊、过暗、过曝,看不清头部或腰部 - 画面中没有人员,只有设备、场地或空景 - 人员头部或腰部被遮挡,无法确认装备状态 - 其他任何无法确定的情况,一律判"其他",不要猜测
为什么好:把"其他"从"剩下的"变成了"明确的四种 + 一条兜底",模糊图不再被硬判成违章。
✘ 这样写不好
3. 其他:不属于上面两类的。
为什么不好:模糊图看着像有人没戴帽,模型会倾向判违章;没有"不要猜"这句,兜底类几乎全错。

写⑤ 输出约束:只输出类别名一行,并举例

  1. 写清格式:只输出三者之一,一行。
  2. 把禁止项列出来:不解释、不加标点、不加前缀、不加代码块标记。
  3. 给一个正确输出的样子,模型照着来。
✔ 这样写好
### 输出要求 只输出以下三者之一,一行,不要任何其他内容: 未戴安全帽 登高未系安全带 其他 不要解释原因,不要加"类别:"等前缀,不要加句号,不要使用代码块标记。 正确输出示例: 未戴安全帽
为什么好:枚举 + 禁止项 + 示例三件齐全,输出格式这一项评分基本拿满。
✘ 这样写不好
最后给出你的分类结果。
为什么不好:模型会输出"根据分析,该图片属于:未戴安全帽。"——多出的每一个字都让格式判定不合规。

5第五步 检查:拼起来的完整提示词

五段拼起来就是可以直接贴进 Dify 的版本。贴之前对着下面的四查过一遍。

## 角色
你是电力作业现场的安全检查员。你的任务是看一张现场照片,判断它属于以下三类中的哪一类:
未戴安全帽、登高未系安全带、其他。你只需要给出类别名。

## 类别与可观察特征
### 1. 未戴安全帽
- 头部:裸露,或佩戴的是鸭舌帽、毛线帽、头巾等非安全帽
- 判断前提:能看清人员头部
- 注意:安全帽拿在手里、放在旁边,也算未戴

### 2. 登高未系安全带
- 位置:人员明显离地,站在梯子、脚手架、杆塔、平台边缘
- 腰部/背部:看不到安全带,或安全带在身上但挂钩未挂、垂在身侧
- 判断前提:能看清腰部与挂点

### 3. 其他(以下任一情况均判"其他")
- 人员安全帽佩戴到位、安全带系好挂牢,没有上述两类违章
- 画面模糊、过暗、过曝,看不清头部或腰部
- 画面中没有人员,只有设备、场地或空景
- 人员头部或腰部被遮挡,无法确认装备状态
- 其他任何无法确定的情况,一律判"其他",不要猜测

## 判断步骤
1. 先看画面:没有人、画面模糊、头部和腰部都看不清 → 直接判"其他"
2. 看位置:人员是否明显离地
3. 若离地:看腰部是否有系好并挂牢的安全带;没有 → "登高未系安全带"
4. 看头部:是否佩戴安全帽;没有或戴的是非安全帽 → "未戴安全帽"
5. 两类同时成立时,只输出"登高未系安全带"
6. 以上都不成立 → "其他"

## 输出要求
只输出以下三者之一,一行,不要任何其他内容:
未戴安全帽
登高未系安全带
其他
不要解释原因,不要加"类别:"等前缀,不要加句号,不要使用代码块标记。
正确输出示例:
未戴安全帽
四查对着提示词找没找到就补
① 类别名查三个类别名在角色段、规则段、输出段写法完全一样统一改成题面写法
② 特征查每条特征都是照片里能指出来的东西把"不注意安全"类的结论改成"头部裸露"类的特征
③ 兜底查题面列的四种"其他"情形一条不少,且有"不要猜"逐条补上
④ 输出查枚举、禁止项、示例三件都在缺哪件补哪件

6Dify 操作:建 Agent、选模型、贴提示词

界面操作和锅炉那本手册完全一样,这里只列步骤;每一步的界面示意图见《实操一_图像分类_Dify实操手册》第 1~4 节。

  1. 登录本地 Dify,左侧导航点 Agents(智能体),右上角 + 创建。
  2. 名称填 安全违章识别-姓名缩写,描述可写"作业现场违章三分类"。
  3. 进入配置页,先点顶部「模型」→ 模型设置,选带视觉能力的多模态模型;纯文本模型看不了图。
  4. 温度调到 0 ~ 0.2(分类任务要稳定),最大输出长度给小(只有一行)。
  5. 把第 5 节的完整提示词整段复制,粘进「提示词」文本框。
  6. 点右上角 发布更新。不发布,预览跑的还是旧版本。
安全违章识别-LWX · 配置界面示意图
配置模型设置 发布更新
模型视觉 ✔
多模态模型(支持图片) 温度 0.1
提示词
## 角色 你是电力作业现场的安全检查员。你的任务是看一张现场照片,判断它属于以下三类中的哪一类:未戴安全帽、登高未系安全带、其他…… ## 类别与可观察特征 ### 1. 未戴安全帽 ……
预览已发布
[已上传 1 张图片]
登高未系安全带
📎 从本地上传 | 发送
图 6-1 配置页:左侧贴提示词并发布,右侧预览传图测试(HTML 绘制示意,非真实截图)
常见错:建成了"聊天助手 / 文本生成"而不是 Agent,预览框里就没有传图按钮。

7第六步 测试:传参考图与单图测试

参考图是给模型"看样子"的,待判图是考它的。先传参考图,再逐张测,先看格式再看对错。

7.1 传参考图(4 张,不超过 5 张)

  1. 在预览框点「从本地上传」,从 素材/参考图/ 传 4 张。
  2. 每张跟一句说明:这是已标注样本,类别为:未戴安全帽(类别名照抄)。
  3. 两类各 2 张,不要全传一类——评分③看的就是"选得当不当"。"其他"类不传参考图,靠规则兜底。

7.2 单图测试(8 张待判图)

未戴安全帽_01应输出:未戴安全帽
未戴安全帽_02应输出:未戴安全帽
登高未系安全带_01应输出:登高未系安全带
登高未系安全带_02应输出:登高未系安全带

加上第 2 节的 4 张"其他"图,一共 8 张。每张传一次、发一次,把模型输出抄进下表。

待判图应输出模型实际输出对 / 错
未戴安全帽_01未戴安全帽  
未戴安全帽_02未戴安全帽  
登高未系安全带_01登高未系安全带  
登高未系安全带_02登高未系安全带  
其他_01_合规作业其他  
其他_02_模糊其他  
其他_03_无人员其他  
其他_04_头部被遮挡其他  

看结果的三个顺序

先看什么合格标准不合格怎么改
① 格式只有类别名一行,没有解释、标点、代码块输出段补禁止项 + 示例,发布后重测
② 类别名与题面逐字一致三处类别名统一改成题面写法
③ 对错8 张里"其他"4 张全对是底线"其他"错 → 补兜底情形;两类互错 → 加特征、换更典型的参考图

8迭代记录与常见问题

一次只改一处,改完 8 张重跑一遍,记下来。

版本改动内容(只写一处)未戴帽未系带其他总正确结论
v1基线:五段骨架,无参考图/2/2/4/8 
v2加入 4 张参考图(两类各 2)/2/2/4/8 
v3其他类补"头部或腰部被遮挡"情形/2/2/4/8 
v4分类规则补"普通帽子不算安全帽"/2/2/4/8 
v5温度调到 0.1/2/2/4/8 

这道题特有的常见问题

现象多半原因处理
合规作业图被判成"未戴安全帽"参考图全是违章,模型见不到"戴好了"长什么样其他类规则第一条写清"佩戴到位、系好挂牢 → 其他";必要时用 1 张参考图名额传合规图并标注"其他"
模糊图被判成违章兜底写在前面被忽略,或没写"不要猜"判断步骤第 1 步先过"能不能判";兜底段加"不要猜测"
戴鸭舌帽的被判"其他"没说普通帽子不算安全帽分类规则补"鸭舌帽、毛线帽、头巾等非安全帽"
又没戴帽又没系带,两次结果不同没写优先级判断步骤写死"两类同时成立只输出登高未系安全带"
地面上没系安全带被判"登高未系安全带"没强调"明显离地"是前提把"位置:明显离地"放第一条,并在步骤里先判位置
输出多了"类别:"或句号禁止项没列全输出段按第 4 节写⑤补齐,给示例

9提交前自检与保密口径

交作业前照这张单子过一遍。

输出只有类别名一行,无解释、无前后缀、无标点、无代码块标记

三个类别名在提示词各处写法逐字一致,且与题面一致

参考图不超过 5 张、两类都有覆盖、每张都标注了类别

"其他"类四种情形(合规 / 模糊 / 无人 / 遮挡)一条不少,且写了"不要猜"

双重违章的优先级写死了

特征全是可观察项(头部、腰部、高度、挂钩),没有"不注意安全"这类结论

最后一版做过 8 张回归,迭代记录表填到最新版本

保密口径:本手册 12 张图全部为 AI 合成教学图。课堂与作业不上传真实现场照片、真实人员影像到任何外部服务;讲师用外部账号演示时不传入客户内部数据。