算法工作经验

本文主要记录工程上算法工作的经验。主要知识来源于自己的经验和"微信公众号：AI爱罗说"的文章。

注：本文是工程层面的经验，主要是CV算法方向。

1.算法的确定性

对于神经网络来说，算法是个黑盒，但是用户要的却是明确的输出，因此我们要尽可能保证我们的算法稳定。

定性描述

可预测性，即看到这张图就可以知道，运行某一个算法功能，它输出的结果是什么？而不是等运行完了才能知道结果怎么样？
一致性，在输入图片有一定波动情况下，输出结果要有一致性，比如：如果我们是室外场景的识别，光照的变化不应带来识别结果的波动，如果光照变化是事先知晓会遇到的问题功能在设计的时候就得能容忍这部分的不动。

产生不确定性的原因

问题天然的不确定性。例如分类问题，0-1中间的0.4-0.6中间区域本就存在分歧。
工作流程导致的不确定性。训练模型和标注数据的人之间对任务理解的不一致，训练模型和使用模型的人之间对任务理解的不一致。
技术底层的不确定性。数据的质量，数量，广泛程度都影响性能。大模型很多时候行，单纯的也只是事先见到了更广泛的数据。

"目前以深度学习为基础构建起来的视觉算法，本质上是一套概率模型，依赖于喂给它的数据是否支持它应对所面临的复杂问题"

如何建立确定性

找到客户的本质需求用户从不同角度出发会提出不同的需求。
确定指标，明确数据，难点。要提前告知客户，我们在什么样的场景下一定行，什么样的场景下不行，你能不能接受。最好就是95%通过，剩下5%都是有争议的场景（人都不能准确判断）。
模型工作要扎实。
- 简单的场景要一定成功。（1）训练数据的场景丰富度大于数据集数量；（2）数据集质量大于数据集数量；（3）控制模型要解决问题的边界，边界应该先窄后宽，不能让模型一开始就混沌；（4）模型数据集的入库必须由一个人把关，只能有一套标准；（5）模型冷启动后，训练数据的添加，每一张都应该有它的使命，一定要有针对性；
- 添加必要的先验知识。除了视频流本身，我们还可以拿到一些额外的内容。例如摄像头，就会知道周遭的一些固定信息。
- 实在没法解决的问题，不能让它开放的给客户，要在系统级别闭环掉。例如，淘宝的拍照搜索，假如算法真没搜到，你给一个近似的结果，千万不能告诉用户没有结果。

2. 算法的可行性分析

确定性的建立 根据第一大点，在项目开始一定要建立确定性。边界之外的不要给产品预期
算法调研 在算法调研阶段，我们要将需求转换为技术点。在根据技术点来找行业发展和方法，复现一些SOTA方案。
竞品调研 一般可研的时间有限，我们可能没时间验证所有的问题点。那加速的方法就是直接看竞品的效果。

3. 算法的测试

AI类算法测试不同于过去类算法测试，很多东西是一个黑盒，你也不知道为什么，往往需要通过结果来判断。

设计初就要测试参与 产品设计功能的时候就得介入，详细的了解功能研发的前因后果。重点关注：功能设计的底层原因，理解了产品的底层需求，有助于更好的设计测试用例。
测试用例建立 输入输出是什么？运行的场景是啥？性能要求是啥？评价指标怎么设计，不要陷入算法细节。
前期定性后期定量 研发初期问题一般很多，如果是属于随便捞几张数据，都有问题的阶段，那就没必要定量，搂一眼，总结下问题类型，直接让研发解决就好。等搂一眼发现不了问题了，再费心思走定量测试，确认性能上限，才有意义。

1.算法的确定性

对于神经网络来说，算法是个黑盒，但是用户要的却是明确的输出，因此我们要尽可能保证我们的算法稳定。

定性描述

可预测性，即看到这张图就可以知道，运行某一个算法功能，它输出的结果是什么？而不是等运行完了才能知道结果怎么样？

一致性，在输入图片有一定波动情况下，输出结果要有一致性，比如：如果我们是室外场景的识别，光照的变化不应带来识别结果的波动，如果光照变化是事先知晓会遇到的问题功能在设计的时候就得能容忍这部分的不动。

产生不确定性的原因

问题天然的不确定性。例如分类问题，0-1中间的0.4-0.6中间区域本就存在分歧。

工作流程导致的不确定性。训练模型和标注数据的人之间对任务理解的不一致，训练模型和使用模型的人之间对任务理解的不一致。

技术底层的不确定性。数据的质量，数量，广泛程度都影响性能。大模型很多时候行，单纯的也只是事先见到了更广泛的数据。

"目前以深度学习为基础构建起来的视觉算法，本质上是一套概率模型，依赖于喂给它的数据是否支持它应对所面临的复杂问题"

如何建立确定性

找到客户的本质需求用户从不同角度出发会提出不同的需求。

确定指标，明确数据，难点。要提前告知客户，我们在什么样的场景下一定行，什么样的场景下不行，你能不能接受。最好就是95%通过，剩下5%都是有争议的场景（人都不能准确判断）。

模型工作要扎实。

简单的场景要一定成功。（1）训练数据的场景丰富度大于数据集数量；（2）数据集质量大于数据集数量；（3）控制模型要解决问题的边界，边界应该先窄后宽，不能让模型一开始就混沌；（4）模型数据集的入库必须由一个人把关，只能有一套标准；（5）模型冷启动后，训练数据的添加，每一张都应该有它的使命，一定要有针对性；
添加必要的先验知识。除了视频流本身，我们还可以拿到一些额外的内容。例如摄像头，就会知道周遭的一些固定信息。
实在没法解决的问题，不能让它开放的给客户，要在系统级别闭环掉。例如，淘宝的拍照搜索，假如算法真没搜到，你给一个近似的结果，千万不能告诉用户没有结果。

2. 算法的可行性分析

确定性的建立 根据第一大点，在项目开始一定要建立确定性。边界之外的不要给产品预期

算法调研 在算法调研阶段，我们要将需求转换为技术点。在根据技术点来找行业发展和方法，复现一些SOTA方案。

竞品调研 一般可研的时间有限，我们可能没时间验证所有的问题点。那加速的方法就是直接看竞品的效果。

3. 算法的测试

AI类算法测试不同于过去类算法测试，很多东西是一个黑盒，你也不知道为什么，往往需要通过结果来判断。

设计初就要测试参与 产品设计功能的时候就得介入，详细的了解功能研发的前因后果。重点关注：功能设计的底层原因，理解了产品的底层需求，有助于更好的设计测试用例。

测试用例建立 输入输出是什么？运行的场景是啥？性能要求是啥？评价指标怎么设计，不要陷入算法细节。

前期定性后期定量 研发初期问题一般很多，如果是属于随便捞几张数据，都有问题的阶段，那就没必要定量，搂一眼，总结下问题类型，直接让研发解决就好。等搂一眼发现不了问题了，再费心思走定量测试，确认性能上限，才有意义。

算法工作经验

算法工作经验

1.算法的确定性

2. 算法的可行性分析

3. 算法的测试

Related Skills

<h1 align="center">

- Identify gaps

2. Apply Deepthink Protocol (reason about dependencies

算法工作经验

1.算法的确定性

2. 算法的可行性分析

3. 算法的测试