计算机视觉

计算机视觉让系统从图片和视频中提取结构化信息或生成视觉内容。图片不是对象列表，而是像素张量；模型需要从颜色和空间关系中逐层学习边缘、纹理、形状和语义。

主要任务

任务	输出	典型场景
图像分类	整张图的类别	产品类别、是否合格
目标检测	类别和矩形框	行人、车辆、缺陷定位
图像分割	每个像素的类别	医学区域、道路、精细缺陷
OCR	图片中的文字和位置	票据、文档、仪表
姿态估计	关键点坐标	动作分析、人机交互
图像生成	新图片或编辑结果	设计、内容生产、修复

图像处理链路

采集 -> 标注 -> 解码和缩放 -> 数据增强 -> 模型 -> 后处理 -> 业务规则

缩放、裁剪、颜色空间和归一化必须在训练与推理中保持一致。目标检测还需要处理置信度阈值和重叠框抑制，分割需要把输出恢复到原图尺寸。

CNN 与视觉 Transformer

CNN 使用局部卷积和参数共享，具有良好的空间归纳偏置；视觉 Transformer 把图像切成 Patch，通过 Attention 建立全局关系。

实际选型关注：

• 预训练模型和数据是否匹配。
• 小目标、遮挡和高分辨率表现。
• 边缘设备的延迟、内存和功耗。
• 训练数据规模和标注成本。

数据比模型更容易成为瓶颈

视觉模型常见失败不是“看不懂图片”，而是训练数据没有覆盖真实环境：

• 白天数据训练，夜间运行。
• 实验室背景干净，产线背景复杂。
• 只标明显缺陷，轻微缺陷定义不一致。
• 训练图片来自一类相机，线上更换镜头。

应建立场景清单，覆盖光照、角度、距离、设备、遮挡、背景和缺陷等级。

数据增强

翻转、裁剪、旋转、颜色变化和噪声可以提高鲁棒性，但增强必须保持标签语义。例如数字识别中随意旋转可能改变类别，医学图像中颜色变化可能破坏关键特征。

评估

• 分类：准确率、Precision、Recall、混淆矩阵。
• 检测：IoU、mAP、不同尺度目标的召回。
• 分割：IoU、Dice。
• OCR：字符错误率、词错误率、字段级正确率。
• 生成：感知质量、文本一致性、安全和人工评价。

生产评估还要包含单张延迟、视频帧率、峰值显存和设备温度。

部署方式

• 云端服务：资源充足，适合复杂模型，但有网络延迟和隐私问题。
• 边缘服务器：靠近设备，兼顾性能和实时性。
• 端侧设备：低延迟、数据不出端，但模型需要压缩和硬件适配。

量化、剪枝、蒸馏和推理引擎能降低成本，但必须重新验证精度，尤其是小目标和长尾类别。

一个质检项目

完整流程应包括缺陷定义、标注规范、拍摄标准、简单基线、错误样本复盘、设备压测和人工复核策略。模型输出低置信度或遇到未覆盖场景时，应转人工而不是强行给出合格结论。