剔除 异常值 的一般原则是啥

剔除“异常值”的一般原则是啥?

1、设置为Null值；此类处理最简单，而且绝大多数情况下均使用此类处理；直接将异常值“干掉”，相当于没有该异常值。如果异常值不多时建议使用此类方法。

3西格玛原则表示什么意思

经验法则，又叫3-sigma法则或者68-95-97原则，用于对已知平均数和标准差的正态分布数据进行快速推算。

σ原则是拉依达准则，拉依达准则是指先假设一组检测数据只含有随机误差，对其进行计算处理得到标准偏差，按一定概率确定一个区间，认为凡超过这个区间的误差，就不属于随机误差而是粗大误差，含有该误差的数据应予以剔除。

sigma原则：数值分布在（μ—3σ，μ+3σ)中的概率为0.9974 其中在正态分布中σ代表标准差，μ代表均值x=μ即为图像的对称轴。

在正态分布中σ代表标准差，μ代表均值。x=μ即为图像的对称轴。

正态分布的3σ准则是：若X服从正态分布N（μ，σ^2），则X取值在区间（μ-3σ，μ+3σ）之外的概率很小，是小概率事件，通常认为在一次试验里是不会发生的。正态分布是高斯在研究误差时所发现的分布。

正负3倍标准差之外的数字可以视为异常值。所需注意的是，没有这条原则。统计学是理论，当用于不同的学科的时候异常值的取值都不一样。

如何判别测量数据中是否有异常

1、在3原则下，异常值如超过3倍标准差，那么可以将其视为异常值。正负3的概率是97%，那么距离平均值3之外的值出现的概率为P(|x-u| 3) = 0.003，属于极个别的小概率事件。

2、所有数据中，至少有24/25（或96%)的数据位于平均数5个标准差范围内。所以如果我们一般是把超过三个离散值的数据称之为异常值。这个方法在实际应用中很方便的使用，但是他只有在单个属性的情况下才适用。

3、最后，异常值可以表示与问题相关的数据实例的示例，例如欺诈检测和计算机安全性中的异常。异常值是极端值，远远超出其他观察值。例如，在正态分布中，异常值可以是分布尾部的值。

4、可以通过数据清洗与整理来判断，具体方法如下：数据清洗：当发现数据中的缺失与异常值时进行数据处理。

结合正态分布的3σ原则,说明什么是统计上的离群点

1、sigma原则：数值分布在（μ—3σ，μ+3σ)中的概率为0.9974 ；其中在正态分布中σ代表标准差，μ代表均值x=μ即为图像的对称轴。

2、在正态分布中σ代表标准差，μ代表均值。x=μ即为图像的对称轴。

3、异常值也称离群值，具体地说，判断标准依据实际情况，根据业务知识及实际需要而定。