重要性采样（Importance Sampling）
知乎看到的一篇介绍重要性采样的文章，分享给大家
原文链接：https://zhuanlan.zhihu.com/p/41217212
蒙特卡洛积分重要性采样是蒙特卡洛积分的一种采样策略，所以在介绍重要性采样之前我们先来介绍一下蒙特卡洛积分的一些基本内容。首先，当我们想要求一个函数 https://www.zhihu.com/equation?tex=f%28x%29 在区间 https://www.zhihu.com/equation?tex=%5Ba%2Cb%5D 上的积分 https://www.zhihu.com/equation?tex=%5Cint_%7Ba%7D%5E%7Bb%7Df%28x%29dx 时有可能会面临一个问题，那就是积分曲线难以解析，无法直接求积分。这时候我们可以采用一种估计的方式，即在区间 https://www.zhihu.com/equation?tex=%5Ba%2Cb%5D 上进行采样： https://www.zhihu.com/equation?tex=%5Cleft%5C%7B+x_%7B1%7D%2Cx_%7B2%7D...%2Cx_%7Bn%7D+%5Cright%5C%7D ，值为 https://www.zhihu.com/equation?tex=%5Cleft%5C%7B+f%28x_%7B1%7D+%29%2Cf%28x_%7B2%7D%29%2C...%2Cf%28x_%7Bn%7D%29%5Cright%5C%7D https://www.zhihu.com/equation?tex=%5Cleft%5C%7B+f%28x_%7B1%7D+%29%2Cf%28x_%7B2%7D%29%2C...%2Cf%28x_%7Bn%7D%29%5Cright%5C%7D如果采样是均匀的，即如下图所示：https://pic2.zhimg.com/80/v2-f651c32480a979828d078a52bb312765_720w.jpg均匀采样那么显然可以得到这样的估计： https://www.zhihu.com/equation?tex=%5Cint_%7Ba%7D%5E%7Bb%7Df%28x%29dx%3D%5Cfrac%7Bb-a%7D%7BN%7D%5Csum_%7Bi%3D1%7D%5E%7BN%7D%7Bf%28x_%7Bi%7D%29%7D ，在这里 https://www.zhihu.com/equation?tex=%5Cfrac%7Bb-a%7D%7BN%7D 可以看作是上面小长方形的底部的“宽”，而 https://www.zhihu.com/equation?tex=f%28x_%7Bi%7D%29 则是竖直的“长”。重要性采样上述的估计方法随着取样数的增长而越发精确，那么有什么方法能够在一定的抽样数量基础上来增加准确度，减少方差呢？这就需要我们人为地对抽样的分布进行干预，首先我们看下图：https://pic1.zhimg.com/80/v2-b536af222e5daa57fb3df2d28d741450_720w.jpg很明显在圆形区域的函数值对积分的贡献比方形区域要大很多，所以我们可以在抽样的时候以更大的概率抽取圆形区域的样本，这样一来就能够提高估计的准确度。假设我们以分布 https://www.zhihu.com/equation?tex=p%28x%29 在原函数上进行采样：https://pic4.zhimg.com/80/v2-f3dbb9e6e58f01526aa82078740fa62f_720w.jpg依照这个分布进行采样我们一定程度上可以使得在原函数对积分贡献大的区域获得更多的采样机会。但这时我们不能对 https://www.zhihu.com/equation?tex=%5Cleft%5C%7B+f%28x_%7B1%7D+%29%2Cf%28x_%7B2%7D%29%2C...%2Cf%28x_%7Bn%7D%29%5Cright%5C%7D 进行简单的求和平均来获得估计值，因为此时采样不是均匀分布的，小矩形的“宽”并不等长，所以我们要对其进行加权，这个权重就是重要性权重。在得到重要性权重之前我们要重新思考一个问题：为什么我们要引入一个新的分布 https://www.zhihu.com/equation?tex=p%28x%29 ？原因就是原函数 https://www.zhihu.com/equation?tex=f%28x%29 也许本身就是定义在一个分布之上的，我们定义这个分布为 https://www.zhihu.com/equation?tex=%5Cpi%28x%29 ，我们无法直接从 https://www.zhihu.com/equation?tex=%5Cpi%28x%29 上进行采样，所以另辟蹊径重新找到一个更加简明的分布 https://www.zhihu.com/equation?tex=p%28x%29 ，从它进行取样，希望间接地求出 https://www.zhihu.com/equation?tex=f%28x%29 在分布 https://www.zhihu.com/equation?tex=%5Cpi%28x%29 下的期望。搞清楚了这一点我们可以继续分析了。首先我们知道函数 https://www.zhihu.com/equation?tex=f%28x%29 在概率分布 https://www.zhihu.com/equation?tex=%5Cpi%28x%29 下的期望为： https://www.zhihu.com/equation?tex=E%5Bf%5D%3D%5Cint_%7Bx%7D%5E%7B%7D%5Cpi%28x%29f%28x%29dx ，但是这个期望的值我们无法直接得到，因此我们需要借助 https://www.zhihu.com/equation?tex=p%28x%29 来进行采样，当我们在 https://www.zhihu.com/equation?tex=p%28x%29 上采样 https://www.zhihu.com/equation?tex=%5Cleft%5C%7B+%7Bx_%7B1%7D%2Cx_%7B2%7D%2C...%2Cx_%7Bn%7D%7D%5Cright%5C%7D 后可以估计 https://www.zhihu.com/equation?tex=f 在分布 https://www.zhihu.com/equation?tex=p%28x%29 下的期望为： https://www.zhihu.com/equation?tex=E%5Bf%5D%3D%5Cint_%7Bx%7D%5E%7B%7Dp%28x%29f%28x%29dx%5Capprox+%5Cfrac%7B1%7D%7BN%7D%5Csum_%7Bi%3D1%7D%5E%7BN%7D%7Bf%28x_%7Bi%7D%29%7D 。接着我们可以对式子进行改写，即： https://www.zhihu.com/equation?tex=%5Cpi%28x%29f%28x%29%3Dp%28x%29%5Cfrac%7B%5Cpi%28x%29%7D%7Bp%28x%29%7Df%28x%29 ，所以我们可以得到：https://www.zhihu.com/equation?tex=%5Cqquad+%5Cqquad+%5Cqquad+%5Cqquad+E%5Bf%5D%3D%5Cint_%7Bx%7D%5E%7B%7Dp%28x%29%5Cfrac%7B%5Cpi%28x%29%7D%7Bp%28x%29%7Df%28x%29dx这个式子我们可以看作是函数 https://www.zhihu.com/equation?tex=%5Cfrac%7B%5Cpi%28x%29%7D%7Bp%28x%29%7Df%28x%29 定义在分布 https://www.zhihu.com/equation?tex=p%28x%29 上的期望，当我们在 https://www.zhihu.com/equation?tex=p%28x%29 上采样 https://www.zhihu.com/equation?tex=%5Cleft%5C%7B+%7Bx_%7B1%7D%2Cx_%7B2%7D%2C...%2Cx_%7Bn%7D%7D%5Cright%5C%7D 后可以估计 https://www.zhihu.com/equation?tex=f 的期望https://www.zhihu.com/equation?tex=E%5Bf%5D%3D%5Cfrac%7B1%7D%7BN%7D%5Csum_%7Bi%3D1%7D%5E%7BN%7D%7B%5Cfrac%7B%5Cpi%28x_%7Bi%7D%29%7D%7Bp%28x_%7Bi%7D%29%7Df%28x_%7Bi%7D%29%7D ，在这里 https://www.zhihu.com/equation?tex=%5Cfrac%7B%5Cpi%28x_%7Bi%7D%29%7D%7Bp%28x_%7Bi%7D%29%7D 就是重要性权重。
页:
[1]