打磨了一周多的AI写的程序,基于 AI 计算机视觉(MediaPipe) 和 PyQt5 界面框架 开发的工业级实时防错(Poka-Yoke)视觉监控系统

@Ta 14小时前 121点击
这个程序是一个基于 **AI 计算机视觉(MediaPipe)** 和 **PyQt5 界面框架** 开发的**工业级实时防错(Poka-Yoke)视觉监控系统**。

它专门用于工厂流水线或工作站,通过摄像头实时监测操作工人的肢体动作,确保其严格按照标准作业程序(SOP)进行装配或加工,防止漏工序、越序、超时等违规操作。

以下是该程序的核心功能总结:

### 1. AI 肢体与关键点实时追踪

* **算力引擎:** 内置 MediaPipe Pose 骨骼识别算法,能够实时捕捉并追踪人体全身的关键点(如手腕、手肘、肩膀等)。
* **异步图流:** 采用独立的异步线程(`SharedStreamWorker`)常驻捕获视频流(支持 USB 摄像头或工业 RTSP 网络视频流),保证界面在高负载 AI 运算下依然流畅不卡顿。

### 2. 鼠标交互式 ROI(监测区域)编辑

* **可视化调整:** 允许技术人员直接在主看版的视频画面上,用鼠标**拖拽移动**或**拉伸缩放**各个工位(ROI 区域)的范围。
* **属性自定:** 可以在右侧面板中为每个 ROI 区域绑定特定的骨骼关键点(如只监测左手、或监测双手)、自定义触发阈值以及独立的语音报警文本。

### 3. 多模式 SOP 工艺逻辑控制(状态机)

系统内置了两种契合不同工业场景的防错逻辑:

* **顺序步进模式(Sequence):** 严格限制工人必须按照“工序 1 $\rightarrow$ 工序 2 $\rightarrow$ 工序 3”的物理顺序操作。如果工人跳过工序 2 直接进入工序 3,系统会立刻判定为**越序违规**并发出警告。
* **全局打卡模式(Global):** 不限制操作的先后顺序,只要工人在规定的时限内,把所有启用的工序区域全部“打卡(操作完成)”即可。

### 4. 驱动级硬件联动拦截(核心亮点功能)

* **打印机强闭环:** 程序通过 PyWin32 API 直接打通了 Windows 底层打印机后台。
* **拦截机制:** 当新流程开始或工序发生违规时,程序会**强行挂起(暂停)默认打印机**。此时即便上层 MES 系统发出打印产品条码或合格证的指令,打印机也无法出纸。
* **释放机制:** 只有当 AI 视觉判定全线工序完美通过后,程序才会自动**恢复(释放)打印机**。这种“不通过就不发标”的硬联动,在物理上彻底杜绝了不良品流入下一道工序。

### 5. 智能化时控与动态阈值

* **全线超时时限:** 引入防错总时限倒计时(例如 15 秒内必须完成整套动作),超时未完成则判定流程失败,状态机强制重置。
* **防抖动稳定帧:** 采用多帧防抖机制(如连续稳定处于区域内 6 帧才算触发),防止因误挡或光影晃动造成误打卡。
* **动态时间补偿:** 支持“动态阈值”功能。开启后,算法会结合工人在区域内的**停留时间**进行动态数学补偿,操作越沉稳判定越精准。

### 6. 多维交互看板与运行日志

* **工业拓扑流看板:** 底部设计了专门的 SOP 拓扑图形组件(`SOPFlowGraphWidget`),用不同颜色动态标识当前各工序的实时状态(待触发、进行中、已打卡成功、锁定拦截)。
* **实时量化数据:** 数据表格实时刷新“当前帧数 / 目标阈值”,让现场人员一眼看清 AI 判定的进度。
* **运行日志系统:** 文本框实时打印带有时戳的绿色工业风日志(如:`[15:30:22] 🚀【SOP启动】第一工位就位。`),方便追溯。

### 7. 离线部署、本地 TTS 与配置持久化

* **全离线运行:** 采用完全离线的 `*.task` 模型,无需连接互联网,确保工厂数据的安全性。
* **本地 TTS 语音:** 集成本地文字转语音引擎(`pyttsx3`),提供工序启动播报、违规越序阻击播报、超时警告及“验证通过”的成功提示。
* **配置自动保存:** 所有的工位坐标、工序名称、相机通道、时限配置在修改后,都会自动序列化保存至本地的 `advanced_sop_config.json` 文件中,软件重启自动恢复,无需重复配置。ROI流程监控260522.py(55.57 KB)pose_landmarker_heavy.task(29.24 MB)
回复列表(2|隐藏机器人聊天)
  • @Ta / 5小时前 / /

    这就弄出来了。
    一加8Pro

  • @Ta / 1小时前 / /
    待审核
    发言待审核,仅管理员和作者本人可见。
添加新回复
回复需要登录