在不保存所有变量的情况下如何算出方差？

[anzu]

据 apache commons-math SummaryStatistics 描述：

Computes summary statistics for a stream of data values added using the addValue method. The data values are not stored in memory, so this class can be used to compute statistics for very large data streams.

这个类有提供计算方差 getVariance() 方法的，那么问题来了，如果不保存每一个变量(data value)，又如何能算出方差？

根据方差计算公式，计算过程中需要计算每一个变量与均值的差值的，如果不断地 addValue()，那么均值也会不断变动，差值也随之变动，因此需要保存所有变量直到最后均值固定下来后一次性算出。

所以我不明白 apache 是怎么做到的？

[iuyoy]

https://math.stackexchange.com/questions/198336/how-to-calculate-standard-deviation-with-streaming-inputs

[MinQ]

方差的递推公式

[raymanr]

猜测是使用流只读取部分数据, 遍历两次, 先求得均值再求方差? 虽然感觉这种遍历两次的算法很不优雅... 但是好像确实算是个解决方案?

[MinQ]

@raymanr 不用，一次就行了
https://segmentfault.com/a/1190000019752163

[raymanr]

@MinQ 哎, 数学基础不扎实呀, 虽然猜想过有这个算法, 但是自己没想过去推导或者搜索, 但是直觉就觉得这种方法很丑陋

[BiteTheDust]

https://github.com/BiteTheDDDDt/Sometime/blob/master/Simplest%20ver/%E8%AF%B4%E6%98%8E.md
里面讲到只用序列的一次方和与二次方和求解标准差 不需要知道每一项具体是多少
算是比较常规的优化操作了

[yanqiyu]

不保存任何数？肯定要有状态啊
<x^2>-<x>^2 是一般计算方差的公式，你需要三个状态，x^2 的求和，x 的求和以及数据个数

[yanqiyu]

没看英语部分，那上面的步骤就满足你的正文描述了，数学证明很简单，把<(x-<x>)^2>展开就行

[xcstream]

当前方差 平均数 新的数 可以计算下一轮