Метод минимума среднеквадратической ошибки - Не ошибается лишь тот, кто ничего не делает!

In statistics and signal processing, a minimum mean square error (MMSE) estimator is an estimation method which minimizes the mean square error (MSE), which is a common measure of estimator quality, of the fitted values of a dependent variable. In the Bayesian setting, the term MMSE more specifically refers to estimation with quadratic loss function. In such case, the MMSE estimator is given by the posterior mean of the parameter to be estimated. Since the posterior mean is cumbersome to calculate, the form of the MMSE estimator is usually constrained to be within a certain class of functions. Linear MMSE estimators are a popular choice since they are easy to use, easy to calculate, and very versatile. It has given rise to many popular estimators such as the Wiener–Kolmogorov filter and Kalman filter.

Motivation[edit]

The term MMSE more specifically refers to estimation in a Bayesian setting with quadratic cost function. The basic idea behind the Bayesian approach to estimation stems from practical situations where we often have some prior information about the parameter to be estimated. For instance, we may have prior information about the range that the parameter can assume; or we may have an old estimate of the parameter that we want to modify when a new observation is made available; or the statistics of an actual random signal such as speech. This is in contrast to the non-Bayesian approach like minimum-variance unbiased estimator (MVUE) where absolutely nothing is assumed to be known about the parameter in advance and which does not account for such situations. In the Bayesian approach, such prior information is captured by the prior probability density function of the parameters; and based directly on Bayes theorem, it allows us to make better posterior estimates as more observations become available. Thus unlike non-Bayesian approach where parameters of interest are assumed to be deterministic, but unknown constants, the Bayesian estimator seeks to estimate a parameter that is itself a random variable. Furthermore, Bayesian estimation can also deal with situations where the sequence of observations are not necessarily independent. Thus Bayesian estimation provides yet another alternative to the MVUE. This is useful when the MVUE does not exist or cannot be found.

Definition[edit]

Let be a hidden random vector variable, and let be a known random vector variable (the measurement or observation), both of them not necessarily of the same dimension. An estimator of is any function of the measurement . The estimation error vector is given by and its mean squared error (MSE) is given by the trace of error covariance matrix

${displaystyle operatorname {MSE} =operatorname {tr} left{operatorname {E} {({hat {x}}-x)({hat {x}}-x)^{T}}right}=operatorname {E} {({hat {x}}-x)^{T}({hat {x}}-x)},}$

where the expectation is taken over conditioned on . When is a scalar variable, the MSE expression simplifies to ${displaystyle operatorname {E} left{({hat {x}}-x)^{2}right}}$ . Note that MSE can equivalently be defined in other ways, since

${displaystyle operatorname {tr} left{operatorname {E} {ee^{T}}right}=operatorname {E} left{operatorname {tr} {ee^{T}}right}=operatorname {E} {e^{T}e}=sum _{i=1}^{n}operatorname {E} {e_{i}^{2}}.}$

The MMSE estimator is then defined as the estimator achieving minimal MSE:

${displaystyle {hat {x}}_{operatorname {MMSE} }(y)=operatorname {argmin} _{hat {x}}operatorname {MSE} .}$

Properties[edit]

When the means and variances are finite, the MMSE estimator is uniquely defined^[1] and is given by:

${displaystyle {hat {x}}_{operatorname {MMSE} }(y)=operatorname {E} {xmid y}.}$

In other words, the MMSE estimator is the conditional expectation of

given the known observed value of the measurements. Also, since ${displaystyle {hat {x}}_{mathrm {MMSE} }}$ is the posterior mean, the error covariance matrix $C_{e}$ is equal to the posterior covariance ${displaystyle C_{X|Y}}$ matrix,

${displaystyle C_{e}=C_{X|Y}}$ .

The MMSE estimator is unbiased (under the regularity assumptions mentioned above):

${displaystyle operatorname {E} {{hat {x}}_{operatorname {MMSE} }(y)}=operatorname {E} {operatorname {E} {xmid y}}=operatorname {E} {x}.}$

The MMSE estimator is asymptotically unbiased and it converges in distribution to the normal distribution:

${displaystyle {sqrt {n}}({hat {x}}_{operatorname {MMSE} }-x)xrightarrow {d} {mathcal {N}}left(0,I^{-1}(x)right),}$

where

is the Fisher information of

. Thus, the MMSE estimator is asymptotically efficient.

${displaystyle operatorname {E} {({hat {x}}_{operatorname {MMSE} }-x)g(y)}=0}$

for all

in closed, linear subspace ${displaystyle {mathcal {V}}={g(y)mid g:mathbb {R} ^{m}rightarrow mathbb {R} ,operatorname {E} {g(y)^{2}}<+infty }}$

of the measurements. For random vectors, since the MSE for estimation of a random vector is the sum of the MSEs of the coordinates, finding the MMSE estimator of a random vector decomposes into finding the MMSE estimators of the coordinates of X separately:

${displaystyle operatorname {E} {(g_{i}^{*}(y)-x_{i})g_{j}(y)}=0,}$

for all i and j. More succinctly put, the cross-correlation between the minimum estimation error ${displaystyle {hat {x}}_{operatorname {MMSE} }-x}$ and the estimator

should be zero,

${displaystyle operatorname {E} {({hat {x}}_{operatorname {MMSE} }-x){hat {x}}^{T}}=0.}$

Linear MMSE estimator[edit]

In many cases, it is not possible to determine the analytical expression of the MMSE estimator. Two basic numerical approaches to obtain the MMSE estimate depends on either finding the conditional expectation or finding the minima of MSE. Direct numerical evaluation of the conditional expectation is computationally expensive since it often requires multidimensional integration usually done via Monte Carlo methods. Another computational approach is to directly seek the minima of the MSE using techniques such as the stochastic gradient descent methods ; but this method still requires the evaluation of expectation. While these numerical methods have been fruitful, a closed form expression for the MMSE estimator is nevertheless possible if we are willing to make some compromises.

One possibility is to abandon the full optimality requirements and seek a technique minimizing the MSE within a particular class of estimators, such as the class of linear estimators. Thus, we postulate that the conditional expectation of given is a simple linear function of , , where the measurement is a random vector, is a matrix and is a vector. This can be seen as the first order Taylor approximation of . The linear MMSE estimator is the estimator achieving minimum MSE among all estimators of such form. That is, it solves the following the optimization problem:

${displaystyle min _{W,b}operatorname {MSE} qquad {text{s.t.}}qquad {hat {x}}=Wy+b.}$

One advantage of such linear MMSE estimator is that it is not necessary to explicitly calculate the posterior probability density function of . Such linear estimator only depends on the first two moments of and . So although it may be convenient to assume that and are jointly Gaussian, it is not necessary to make this assumption, so long as the assumed distribution has well defined first and second moments. The form of the linear estimator does not depend on the type of the assumed underlying distribution.

The expression for optimal and is given by:

$W=C_{XY}C_{Y}^{-1}.$

where , the $C_{{XY}}$ is cross-covariance matrix between and , the $C_{{Y}}$ is auto-covariance matrix of .

Thus, the expression for linear MMSE estimator, its mean, and its auto-covariance is given by

${displaystyle {hat {x}}=C_{XY}C_{Y}^{-1}(y-{bar {y}})+{bar {x}},}$

{displaystyle operatorname {E} {{hat {x}}}={bar {x}},}

$C_{hat {X}}=C_{XY}C_{Y}^{-1}C_{YX},$

where the $C_{{YX}}$ is cross-covariance matrix between and .

Lastly, the error covariance and minimum mean square error achievable by such estimator is

$C_{e}=C_{X}-C_{hat {X}}=C_{X}-C_{XY}C_{Y}^{-1}C_{YX},$

${displaystyle operatorname {LMMSE} =operatorname {tr} {C_{e}}.}$

Univariate case[edit]

For the special case when both and are scalars, the above relations simplify to

${displaystyle {hat {x}}={frac {sigma _{XY}}{sigma _{Y}^{2}}}(y-{bar {y}})+{bar {x}}=rho {frac {sigma _{X}}{sigma _{Y}}}(y-{bar {y}})+{bar {x}},}$

${displaystyle sigma _{e}^{2}=sigma _{X}^{2}-{frac {sigma _{XY}^{2}}{sigma _{Y}^{2}}}=(1-rho ^{2})sigma _{X}^{2},}$

where ${displaystyle rho ={frac {sigma _{XY}}{sigma _{X}sigma _{Y}}}}$ is the Pearson’s correlation coefficient between and .

The above two equations allows us to interpret the correlation coefficient either as normalized slope of linear regression

${displaystyle left({frac {{hat {x}}-{bar {x}}}{sigma _{X}}}right)=rho left({frac {y-{bar {y}}}{sigma _{Y}}}right)}$

or as square root of the ratio of two variances

${displaystyle rho ^{2}={frac {sigma _{X}^{2}-sigma _{e}^{2}}{sigma _{X}^{2}}}={frac {sigma _{hat {X}}^{2}}{sigma _{X}^{2}}}}$

When rho =0 , we have and ${displaystyle sigma _{e}^{2}=sigma _{X}^{2}}$ . In this case, no new information is gleaned from the measurement which can decrease the uncertainty in . On the other hand, when , we have ${displaystyle {hat {x}}={frac {sigma _{XY}}{sigma _{Y}}}(y-{bar {y}})+{bar {x}}}$ and ${displaystyle sigma _{e}^{2}=0}$ . Here is completely determined by , as given by the equation of straight line.

Computation[edit]

Standard method like Gauss elimination can be used to solve the matrix equation for . A more numerically stable method is provided by QR decomposition method. Since the matrix $C_{Y}$ is a symmetric positive definite matrix, can be solved twice as fast with the Cholesky decomposition, while for large sparse systems conjugate gradient method is more effective. Levinson recursion is a fast method when $C_{Y}$ is also a Toeplitz matrix. This can happen when is a wide sense stationary process. In such stationary cases, these estimators are also referred to as Wiener–Kolmogorov filters.

Linear MMSE estimator for linear observation process[edit]

Let us further model the underlying process of observation as a linear process: y=Ax+z , where is a known matrix and is random noise vector with the mean and cross-covariance $C_{XZ}=0$ . Here the required mean and the covariance matrices will be

{displaystyle operatorname {E} {y}=A{bar {x}},}

$C_{Y}=AC_{X}A^{T}+C_{Z},$

$C_{XY}=C_{X}A^{T}.$

Thus the expression for the linear MMSE estimator matrix further modifies to

$W=C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}.$

Putting everything into the expression for , we get

${hat {x}}=C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}(y-A{bar {x}})+{bar {x}}.$

Lastly, the error covariance is

$C_{e}=C_{X}-C_{hat {X}}=C_{X}-C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}AC_{X}.$

The significant difference between the estimation problem treated above and those of least squares and Gauss–Markov estimate is that the number of observations m, (i.e. the dimension of ) need not be at least as large as the number of unknowns, n, (i.e. the dimension of ). The estimate for the linear observation process exists so long as the m-by-m matrix $(AC_{X}A^{T}+C_{Z})^{-1}$ exists; this is the case for any m if, for instance, $C_{Z}$ is positive definite. Physically the reason for this property is that since is now a random variable, it is possible to form a meaningful estimate (namely its mean) even with no measurements. Every new measurement simply provides additional information which may modify our original estimate. Another feature of this estimate is that for m < n, there need be no measurement error. Thus, we may have $C_{Z}=0$ , because as long as $AC_{X}A^{T}$ is positive definite, the estimate still exists. Lastly, this technique can handle cases where the noise is correlated.

Alternative form[edit]

An alternative form of expression can be obtained by using the matrix identity

$C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}A^{T}C_{Z}^{-1},$

which can be established by post-multiplying by $(AC_{X}A^{T}+C_{Z})$ and pre-multiplying by $(A^{T}C_{Z}^{-1}A+C_{X}^{-1}),$ to obtain

$W=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}A^{T}C_{Z}^{-1},$

and

$C_{e}=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}.$

Since can now be written in terms of $C_{e}$ as $W=C_{e}A^{T}C_{Z}^{-1}$ , we get a simplified expression for as

${hat {x}}=C_{e}A^{T}C_{Z}^{-1}(y-A{bar {x}})+{bar {x}}.$

In this form the above expression can be easily compared with weighed least square and Gauss–Markov estimate. In particular, when $C_{X}^{-1}=0$ , corresponding to infinite variance of the apriori information concerning , the result $W=(A^{T}C_{Z}^{-1}A)^{-1}A^{T}C_{Z}^{-1}$ is identical to the weighed linear least square estimate with $C_{Z}^{-1}$ as the weight matrix. Moreover, if the components of are uncorrelated and have equal variance such that $C_{Z}=sigma ^{2}I,$ where is an identity matrix, then $W=(A^{T}A)^{-1}A^{T}$ is identical to the ordinary least square estimate.

Sequential linear MMSE estimation[edit]

In many real-time applications, observational data is not available in a single batch. Instead the observations are made in a sequence. One possible approach is to use the sequential observations to update an old estimate as additional data becomes available, leading to finer estimates. One crucial difference between batch estimation and sequential estimation is that sequential estimation requires an additional Markov assumption.

In the Bayesian framework, such recursive estimation is easily facilitated using Bayes’ rule. Given observations, $y_{1},ldots ,y_{k}$ , Bayes’ rule gives us the posterior density of $x_{k}$ as

${displaystyle {begin{aligned}p(x_{k}|y_{1},ldots ,y_{k})&propto p(y_{k}|x,y_{1},ldots ,y_{k-1})p(x_{k}|y_{1},ldots ,y_{k-1})\&=p(y_{k}|x_{k})p(x_{k}|y_{1},ldots ,y_{k-1}).end{aligned}}}$

The ${displaystyle p(x_{k}|y_{1},ldots ,y_{k})}$ is called the posterior density, ${displaystyle p(y_{k}|x_{k})}$ is called the likelihood function, and ${displaystyle p(x_{k}|y_{1},ldots ,y_{k-1})}$ is the prior density of k-th time step. Here we have assumed the conditional independence of $y_{k}$ from previous observations ${displaystyle y_{1},ldots ,y_{k-1}}$ given as

${displaystyle p(y_{k}|x_{k},y_{1},ldots ,y_{k-1})=p(y_{k}|x_{k}).}$

This is the Markov assumption.

The MMSE estimate $hat{x}_k$ given the k-th observation is then the mean of the posterior density ${displaystyle p(x_{k}|y_{1},ldots ,y_{k})}$ . With the lack of dynamical information on how the state changes with time, we will make a further stationarity assumption about the prior:

${displaystyle p(x_{k}|y_{1},ldots ,y_{k-1})=p(x_{k-1}|y_{1},ldots ,y_{k-1}).}$

Thus, the prior density for k-th time step is the posterior density of (k-1)-th time step. This structure allows us to formulate a recursive approach to estimation.

In the context of linear MMSE estimator, the formula for the estimate will have the same form as before: ${hat {x}}=C_{XY}C_{Y}^{-1}(y-{bar {y}})+{bar {x}}.$ However, the mean and covariance matrices of and will need to be replaced by those of the prior density ${displaystyle p(x_{k}|y_{1},ldots ,y_{k-1})}$ and likelihood ${displaystyle p(y_{k}|x_{k})}$ , respectively.

For the prior density ${displaystyle p(x_{k}|y_{1},ldots ,y_{k-1})}$ , its mean is given by the previous MMSE estimate,

${displaystyle {bar {x}}_{k}=mathrm {E} [x_{k}|y_{1},ldots ,y_{k-1}]=mathrm {E} [x_{k-1}|y_{1},ldots ,y_{k-1}]={hat {x}}_{k-1}}$

and its covariance matrix is given by the previous error covariance matrix,

${displaystyle C_{X_{k}|Y_{1},ldots ,Y_{k-1}}=C_{X_{k-1}|Y_{1},ldots ,Y_{k-1}}=C_{e_{k-1}},}$

as per by the properties of MMSE estimators and the stationarity assumption.

Similarly, for the linear observation process, the mean of the likelihood ${displaystyle p(y_{k}|x_{k})}$ is given by ${displaystyle {bar {y}}_{k}=A{bar {x}}_{k}=A{hat {x}}_{k-1}}$ and the covariance matrix is as before

${displaystyle {begin{aligned}C_{Y_{k}|X_{k}}&=AC_{X_{k}|Y_{1},ldots ,Y_{k-1}}A^{T}+C_{Z}=AC_{e_{k-1}}A^{T}+C_{Z}.end{aligned}}}$

The difference between the predicted value of $Y_{k}$ , as given by ${displaystyle {bar {y}}_{k}=A{hat {x}}_{k-1}}$ , and its observed value $y_{k}$ gives the prediction error ${displaystyle {tilde {y}}_{k}=y_{k}-{bar {y}}_{k}}$ , which is also referred to as innovation or residual. It is more convenient to represent the linear MMSE in terms of the prediction error, whose mean and covariance are ${displaystyle mathrm {E} [{tilde {y}}_{k}]=0}$ and ${displaystyle C_{{tilde {Y}}_{k}}=C_{Y_{k}|X_{k}}}$ .

Hence, in the estimate update formula, we should replace and $C_{X}$ by ${displaystyle {hat {x}}_{k-1}}$ and ${displaystyle C_{e_{k-1}}}$ , respectively. Also, we should replace and $C_{Y}$ by ${displaystyle {bar {y}}_{k-1}}$ and ${displaystyle C_{{tilde {Y}}_{k}}}$ . Lastly, we replace $C_{{XY}}$ by

${displaystyle {begin{aligned}C_{X_{k}Y_{k}|Y_{1},ldots ,Y_{k-1}}&=C_{e_{k-1}{tilde {Y}}_{k}}=C_{e_{k-1}}A^{T}.end{aligned}}}$

Thus, we have the new estimate as new observation $y_{k}$ arrives as

${displaystyle {begin{aligned}{hat {x}}_{k}&={hat {x}}_{k-1}+C_{e_{k-1}{tilde {Y}}_{k}}C_{{tilde {Y}}_{k}}^{-1}(y_{k}-{bar {y}}_{k})\&={hat {x}}_{k-1}+C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1}(y_{k}-A{hat {x}}_{k-1})end{aligned}}}$

and the new error covariance as

${displaystyle C_{e_{k}}=C_{e_{k-1}}-C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1}AC_{e_{k-1}}.}$

From the point of view of linear algebra, for sequential estimation, if we have an estimate ${hat {x}}_{1}$ based on measurements generating space $Y_{1}$ , then after receiving another set of measurements, we should subtract out from these measurements that part that could be anticipated from the result of the first measurements. In other words, the updating must be based on that part of the new data which is orthogonal to the old data.

The repeated use of the above two equations as more observations become available lead to recursive estimation techniques. The expressions can be more compactly written as

${displaystyle W_{k}=C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1},}$

${displaystyle {hat {x}}_{k}={hat {x}}_{k-1}+W_{k}(y_{k}-A{hat {x}}_{k-1}),}$

${displaystyle C_{e_{k}}=(I-W_{k}A)C_{e_{k-1}}.}$

The matrix $W_{k}$ is often referred to as the Kalman gain factor. The alternative formulation of the above algorithm will give

${displaystyle C_{e_{k}}^{-1}=C_{e_{k-1}}^{-1}+A^{T}C_{Z}^{-1}A,}$

${displaystyle W_{k}=C_{e_{k}}A^{T}C_{Z}^{-1},}$

${displaystyle {hat {x}}_{k}={hat {x}}_{k-1}+W_{k}(y_{k}-A{hat {x}}_{k-1}),}$

The repetition of these three steps as more data becomes available leads to an iterative estimation algorithm. The generalization of this idea to non-stationary cases gives rise to the Kalman filter. The three update steps outlined above indeed form the update step of the Kalman filter.

Special case: scalar observations[edit]

As an important special case, an easy to use recursive expression can be derived when at each k-th time instant the underlying linear observation process yields a scalar such that ${displaystyle y_{k}=a_{k}^{T}x_{k}+z_{k}}$ , where $a_{k}$ is n-by-1 known column vector whose values can change with time, $x_{k}$ is n-by-1 random column vector to be estimated, and $z_{k}$ is scalar noise term with variance . After (k+1)-th observation, the direct use of above recursive equations give the expression for the estimate $hat{x}_{k+1}$ as:

${displaystyle {hat {x}}_{k+1}={hat {x}}_{k}+w_{k+1}(y_{k+1}-a_{k+1}^{T}{hat {x}}_{k})}$

where $y_{{k+1}}$ is the new scalar observation and the gain factor $w_{k+1}$ is n-by-1 column vector given by

${displaystyle w_{k+1}={frac {C_{e_{k}}a_{k+1}}{sigma _{k+1}^{2}+a_{k+1}^{T}C_{e_{k}}a_{k+1}}}.}$

The ${displaystyle C_{e_{k+1}}}$ is n-by-n error covariance matrix given by

${displaystyle C_{e_{k+1}}=(I-w_{k+1}a_{k+1}^{T})C_{e_{k}}.}$

Here, no matrix inversion is required. Also, the gain factor, $w_{k+1}$ , depends on our confidence in the new data sample, as measured by the noise variance, versus that in the previous data. The initial values of and $C_{e}$ are taken to be the mean and covariance of the aprior probability density function of .

Alternative approaches: This important special case has also given rise to many other iterative methods (or adaptive filters), such as the least mean squares filter and recursive least squares filter, that directly solves the original MSE optimization problem using stochastic gradient descents. However, since the estimation error cannot be directly observed, these methods try to minimize the mean squared prediction error ${displaystyle mathrm {E} {{tilde {y}}^{T}{tilde {y}}}}$ . For instance, in the case of scalar observations, we have the gradient ${displaystyle nabla _{hat {x}}mathrm {E} {{tilde {y}}^{2}}=-2mathrm {E} {{tilde {y}}a}.}$ Thus, the update equation for the least mean square filter is given by

${displaystyle {hat {x}}_{k+1}={hat {x}}_{k}+eta _{k}mathrm {E} {{tilde {y}}_{k}a_{k}},}$

where $eta _{k}$ is the scalar step size and the expectation is approximated by the instantaneous value ${displaystyle mathrm {E} {a_{k}{tilde {y}}_{k}}approx a_{k}{tilde {y}}_{k}}$ . As we can see, these methods bypass the need for covariance matrices.

[edit]

In many practical applications, the observation noise is uncorrelated. That is, $C_{Z}$ is a diagonal matrix. In such cases, we can update the estimate $hat{x}_{k+1}$ iteratively, using the scalar update formulas as:

${displaystyle w_{k+1}^{(ell )}={frac {C_{e_{k}}^{(ell )}A_{k+1}^{(ell )T}}{C_{Z_{k+1}}^{(ell )}+A_{k+1}^{(ell )}C_{e_{k}}^{(ell )}(A_{k+1}^{(ell )T})}}}$

${displaystyle C_{e_{k+1}}^{(ell )}=(I-w_{k+1}^{(ell )}A_{k+1}^{(ell )})C_{e_{k}}^{(ell )}}$

${displaystyle {hat {x}}_{k+1}^{(ell )}={hat {x}}_{k}^{(ell -1)}+w_{k+1}^{(ell )}(y_{k+1}^{(ell )}-A_{k+1}^{(ell )}{hat {x}}_{k}^{(ell -1)})}$

Examples[edit]

Example 1[edit]

We shall take a linear prediction problem as an example. Let a linear combination of observed scalar random variables ${displaystyle z_{1},z_{2}}$ and ${displaystyle z_{3}}$ be used to estimate another future scalar random variable ${displaystyle z_{4}}$ such that ${displaystyle {hat {z}}_{4}=sum _{i=1}^{3}w_{i}z_{i}}$ . If the random variables ${displaystyle z=[z_{1},z_{2},z_{3},z_{4}]^{T}}$ are real Gaussian random variables with zero mean and its covariance matrix given by

${displaystyle operatorname {cov} (Z)=operatorname {E} [zz^{T}]=left[{begin{array}{cccc}1&2&3&4\2&5&8&9\3&8&6&10\4&9&10&15end{array}}right],}$

then our task is to find the coefficients $w_{i}$ such that it will yield an optimal linear estimate ${displaystyle {hat {z}}_{4}}$ .

In terms of the terminology developed in the previous sections, for this problem we have the observation vector ${displaystyle y=[z_{1},z_{2},z_{3}]^{T}}$ , the estimator matrix $W=[w_{1},w_{2},w_{3}]$ as a row vector, and the estimated variable ${displaystyle x=z_{4}}$ as a scalar quantity. The autocorrelation matrix $C_{Y}$ is defined as

${displaystyle C_{Y}=left[{begin{array}{ccc}E[z_{1},z_{1}]&E[z_{2},z_{1}]&E[z_{3},z_{1}]\E[z_{1},z_{2}]&E[z_{2},z_{2}]&E[z_{3},z_{2}]\E[z_{1},z_{3}]&E[z_{2},z_{3}]&E[z_{3},z_{3}]end{array}}right]=left[{begin{array}{ccc}1&2&3\2&5&8\3&8&6end{array}}right].}$

The cross correlation matrix $C_{{YX}}$ is defined as

${displaystyle C_{YX}=left[{begin{array}{c}E[z_{4},z_{1}]\E[z_{4},z_{2}]\E[z_{4},z_{3}]end{array}}right]=left[{begin{array}{c}4\9\10end{array}}right].}$

We now solve the equation $C_{Y}W^{T}=C_{YX}$ by inverting $C_{Y}$ and pre-multiplying to get

${displaystyle C_{Y}^{-1}C_{YX}=left[{begin{array}{ccc}4.85&-1.71&-0.142\-1.71&0.428&0.2857\-0.142&0.2857&-0.1429end{array}}right]left[{begin{array}{c}4\9\10end{array}}right]=left[{begin{array}{c}2.57\-0.142\0.5714end{array}}right]=W^{T}.}$

So we have ${displaystyle w_{1}=2.57,}$ ${displaystyle w_{2}=-0.142,}$ and $w_{{3}}=.5714$
as the optimal coefficients for ${displaystyle {hat {z}}_{4}}$ . Computing the minimum
mean square error then gives ${displaystyle leftVert erightVert _{min }^{2}=operatorname {E} [z_{4}z_{4}]-WC_{YX}=15-WC_{YX}=.2857}$ .^[2] Note that it is not necessary to obtain an explicit matrix inverse of $C_{Y}$ to compute the value of . The matrix equation can be solved by well known methods such as Gauss elimination method. A shorter, non-numerical example can be found in orthogonality principle.

Example 2[edit]

Consider a vector formed by taking observations of a fixed but unknown scalar parameter disturbed by white Gaussian noise. We can describe the process by a linear equation y=1x+z , where $1=[1,1,ldots ,1]^{T}$ . Depending on context it will be clear if represents a scalar or a vector. Suppose that we know $[-x_{0},x_{0}]$ to be the range within which the value of is going to fall in. We can model our uncertainty of by an aprior uniform distribution over an interval $[-x_{0},x_{0}]$ , and thus will have variance of $sigma _{X}^{2}=x_{0}^{2}/3.$ . Let the noise vector be normally distributed as $N(0,sigma _{Z}^{2}I)$ where is an identity matrix. Also and are independent and $C_{XZ}=0$ . It is easy to see that

${displaystyle {begin{aligned}&operatorname {E} {y}=0,\&C_{Y}=operatorname {E} {yy^{T}}=sigma _{X}^{2}11^{T}+sigma _{Z}^{2}I,\&C_{XY}=operatorname {E} {xy^{T}}=sigma _{X}^{2}1^{T}.end{aligned}}}$

Thus, the linear MMSE estimator is given by

${begin{aligned}{hat {x}}&=C_{XY}C_{Y}^{-1}y\&=sigma _{X}^{2}1^{T}(sigma _{X}^{2}11^{T}+sigma _{Z}^{2}I)^{-1}y.end{aligned}}$

We can simplify the expression by using the alternative form for as

${displaystyle {begin{aligned}{hat {x}}&=left(1^{T}{frac {1}{sigma _{Z}^{2}}}I1+{frac {1}{sigma _{X}^{2}}}right)^{-1}1^{T}{frac {1}{sigma _{Z}^{2}}}Iy\&={frac {1}{sigma _{Z}^{2}}}left({frac {N}{sigma _{Z}^{2}}}+{frac {1}{sigma _{X}^{2}}}right)^{-1}1^{T}y\&={frac {sigma _{X}^{2}}{sigma _{X}^{2}+sigma _{Z}^{2}/N}}{bar {y}},end{aligned}}}$

where for $y=[y_{1},y_{2},ldots ,y_{N}]^{T}$ we have ${bar {y}}={frac {1^{T}y}{N}}={frac {sum _{i=1}^{N}y_{i}}{N}}.$

Similarly, the variance of the estimator is

$sigma _{hat {X}}^{2}=C_{XY}C_{Y}^{-1}C_{YX}={Big (}{frac {sigma _{X}^{2}}{sigma _{X}^{2}+sigma _{Z}^{2}/N}}{Big )}sigma _{X}^{2}.$

Thus the MMSE of this linear estimator is

${displaystyle operatorname {LMMSE} =sigma _{X}^{2}-sigma _{hat {X}}^{2}={Big (}{frac {sigma _{Z}^{2}}{sigma _{X}^{2}+sigma _{Z}^{2}/N}}{Big )}{frac {sigma _{X}^{2}}{N}}.}$

For very large , we see that the MMSE estimator of a scalar with uniform aprior distribution can be approximated by the arithmetic average of all the observed data

${displaystyle {hat {x}}={frac {1}{N}}sum _{i=1}^{N}y_{i},}$

while the variance will be unaffected by data $sigma _{hat {X}}^{2}=sigma _{X}^{2},$ and the LMMSE of the estimate will tend to zero.

However, the estimator is suboptimal since it is constrained to be linear. Had the random variable also been Gaussian, then the estimator would have been optimal. Notice, that the form of the estimator will remain unchanged, regardless of the apriori distribution of , so long as the mean and variance of these distributions are the same.

Example 3[edit]

Consider a variation of the above example: Two candidates are standing for an election. Let the fraction of votes that a candidate will receive on an election day be Thus the fraction of votes the other candidate will receive will be 1-x. We shall take as a random variable with a uniform prior distribution over [0,1] so that its mean is and variance is $sigma _{X}^{2}=1/12.$ A few weeks before the election, two independent public opinion polls were conducted by two different pollsters. The first poll revealed that the candidate is likely to get $y_{1}$ fraction of votes. Since some error is always present due to finite sampling and the particular polling methodology adopted, the first pollster declares their estimate to have an error $z_{1}$ with zero mean and variance $sigma _{Z_{1}}^{2}.$ Similarly, the second pollster declares their estimate to be $y_{2}$ with an error $z_{2}$ with zero mean and variance $sigma _{Z_{2}}^{2}.$ Note that except for the mean and variance of the error, the error distribution is unspecified. How should the two polls be combined to obtain the voting prediction for the given candidate?

As with previous example, we have

${begin{aligned}y_{1}&=x+z_{1}\y_{2}&=x+z_{2}.end{aligned}}$

Here, both the ${displaystyle operatorname {E} {y_{1}}=operatorname {E} {y_{2}}={bar {x}}=1/2}$ . Thus, we can obtain the LMMSE estimate as the linear combination of $y_{1}$ and $y_{2}$ as

${hat {x}}=w_{1}(y_{1}-{bar {x}})+w_{2}(y_{2}-{bar {x}})+{bar {x}},$

where the weights are given by

${begin{aligned}w_{1}&={frac {1/sigma _{Z_{1}}^{2}}{1/sigma _{Z_{1}}^{2}+1/sigma _{Z_{2}}^{2}+1/sigma _{X}^{2}}},\w_{2}&={frac {1/sigma _{Z_{2}}^{2}}{1/sigma _{Z_{1}}^{2}+1/sigma _{Z_{2}}^{2}+1/sigma _{X}^{2}}}.end{aligned}}$

Here, since the denominator term is constant, the poll with lower error is given higher weight in order to predict the election outcome. Lastly, the variance of is given by

$sigma _{hat {X}}^{2}={frac {1/sigma _{Z_{1}}^{2}+1/sigma _{Z_{2}}^{2}}{1/sigma _{Z_{1}}^{2}+1/sigma _{Z_{2}}^{2}+1/sigma _{X}^{2}}}sigma _{X}^{2},$

which makes $sigma _{hat {X}}^{2}$ smaller than $sigma _{X}^{2}.$ Thus, the LMMSE is given by

${displaystyle mathrm {LMMSE} =sigma _{X}^{2}-sigma _{hat {X}}^{2}={frac {1}{1/sigma _{Z_{1}}^{2}+1/sigma _{Z_{2}}^{2}+1/sigma _{X}^{2}}}.}$

In general, if we have pollsters, then ${displaystyle {hat {x}}=sum _{i=1}^{N}w_{i}(y_{i}-{bar {x}})+{bar {x}},}$ where the weight for i-th pollster is given by ${displaystyle w_{i}={frac {1/sigma _{Z_{i}}^{2}}{sum _{j=1}^{N}1/sigma _{Z_{j}}^{2}+1/sigma _{X}^{2}}}}$ and the LMMSE is given by ${displaystyle mathrm {LMMSE} ={frac {1}{sum _{j=1}^{N}1/sigma _{Z_{j}}^{2}+1/sigma _{X}^{2}}}.}$

Example 4[edit]

Suppose that a musician is playing an instrument and that the sound is received by two microphones, each of them located at two different places. Let the attenuation of sound due to distance at each microphone be $a_{1}$ and $a_{2}$ , which are assumed to be known constants. Similarly, let the noise at each microphone be $z_{1}$ and $z_{2}$ , each with zero mean and variances $sigma _{Z_{1}}^{2}$ and $sigma _{Z_{2}}^{2}$ respectively. Let denote the sound produced by the musician, which is a random variable with zero mean and variance $sigma _{X}^{2}.$ How should the recorded music from these two microphones be combined, after being synced with each other?

We can model the sound received by each microphone as

${begin{aligned}y_{1}&=a_{1}x+z_{1}\y_{2}&=a_{2}x+z_{2}.end{aligned}}$

Here both the ${displaystyle operatorname {E} {y_{1}}=operatorname {E} {y_{2}}=0}$ . Thus, we can combine the two sounds as

$y=w_{1}y_{1}+w_{2}y_{2}$

where the i-th weight is given as

${displaystyle w_{i}={frac {a_{i}/sigma _{Z_{i}}^{2}}{sum _{j}a_{j}^{2}/sigma _{Z_{j}}^{2}+1/sigma _{X}^{2}}}.}$

Notes[edit]

^ «Mean Squared Error (MSE)». www.probabilitycourse.com. Retrieved 9 May 2017.
^ Moon and Stirling.

Motivation[edit]

Definition[edit]

${displaystyle operatorname {MSE} =operatorname {tr} left{operatorname {E} {({hat {x}}-x)({hat {x}}-x)^{T}}right}=operatorname {E} {({hat {x}}-x)^{T}({hat {x}}-x)},}$

${displaystyle operatorname {tr} left{operatorname {E} {ee^{T}}right}=operatorname {E} left{operatorname {tr} {ee^{T}}right}=operatorname {E} {e^{T}e}=sum _{i=1}^{n}operatorname {E} {e_{i}^{2}}.}$

The MMSE estimator is then defined as the estimator achieving minimal MSE:

${displaystyle {hat {x}}_{operatorname {MMSE} }(y)=operatorname {argmin} _{hat {x}}operatorname {MSE} .}$

Properties[edit]

When the means and variances are finite, the MMSE estimator is uniquely defined^[1] and is given by:

${displaystyle {hat {x}}_{operatorname {MMSE} }(y)=operatorname {E} {xmid y}.}$

In other words, the MMSE estimator is the conditional expectation of

${displaystyle C_{e}=C_{X|Y}}$ .

The MMSE estimator is unbiased (under the regularity assumptions mentioned above):

${displaystyle operatorname {E} {{hat {x}}_{operatorname {MMSE} }(y)}=operatorname {E} {operatorname {E} {xmid y}}=operatorname {E} {x}.}$

The MMSE estimator is asymptotically unbiased and it converges in distribution to the normal distribution:

${displaystyle {sqrt {n}}({hat {x}}_{operatorname {MMSE} }-x)xrightarrow {d} {mathcal {N}}left(0,I^{-1}(x)right),}$

where

is the Fisher information of

. Thus, the MMSE estimator is asymptotically efficient.

${displaystyle operatorname {E} {({hat {x}}_{operatorname {MMSE} }-x)g(y)}=0}$

for all

in closed, linear subspace ${displaystyle {mathcal {V}}={g(y)mid g:mathbb {R} ^{m}rightarrow mathbb {R} ,operatorname {E} {g(y)^{2}}<+infty }}$

${displaystyle operatorname {E} {(g_{i}^{*}(y)-x_{i})g_{j}(y)}=0,}$

for all i and j. More succinctly put, the cross-correlation between the minimum estimation error ${displaystyle {hat {x}}_{operatorname {MMSE} }-x}$ and the estimator

should be zero,

${displaystyle operatorname {E} {({hat {x}}_{operatorname {MMSE} }-x){hat {x}}^{T}}=0.}$

Linear MMSE estimator[edit]

${displaystyle min _{W,b}operatorname {MSE} qquad {text{s.t.}}qquad {hat {x}}=Wy+b.}$

The expression for optimal and is given by:

$W=C_{XY}C_{Y}^{-1}.$

where , the $C_{{XY}}$ is cross-covariance matrix between and , the $C_{{Y}}$ is auto-covariance matrix of .

Thus, the expression for linear MMSE estimator, its mean, and its auto-covariance is given by

${displaystyle {hat {x}}=C_{XY}C_{Y}^{-1}(y-{bar {y}})+{bar {x}},}$

$C_{hat {X}}=C_{XY}C_{Y}^{-1}C_{YX},$

where the $C_{{YX}}$ is cross-covariance matrix between and .

Lastly, the error covariance and minimum mean square error achievable by such estimator is

$C_{e}=C_{X}-C_{hat {X}}=C_{X}-C_{XY}C_{Y}^{-1}C_{YX},$

${displaystyle operatorname {LMMSE} =operatorname {tr} {C_{e}}.}$

Univariate case[edit]

For the special case when both and are scalars, the above relations simplify to

${displaystyle {hat {x}}={frac {sigma _{XY}}{sigma _{Y}^{2}}}(y-{bar {y}})+{bar {x}}=rho {frac {sigma _{X}}{sigma _{Y}}}(y-{bar {y}})+{bar {x}},}$

${displaystyle sigma _{e}^{2}=sigma _{X}^{2}-{frac {sigma _{XY}^{2}}{sigma _{Y}^{2}}}=(1-rho ^{2})sigma _{X}^{2},}$

where ${displaystyle rho ={frac {sigma _{XY}}{sigma _{X}sigma _{Y}}}}$ is the Pearson’s correlation coefficient between and .

The above two equations allows us to interpret the correlation coefficient either as normalized slope of linear regression

${displaystyle left({frac {{hat {x}}-{bar {x}}}{sigma _{X}}}right)=rho left({frac {y-{bar {y}}}{sigma _{Y}}}right)}$

or as square root of the ratio of two variances

${displaystyle rho ^{2}={frac {sigma _{X}^{2}-sigma _{e}^{2}}{sigma _{X}^{2}}}={frac {sigma _{hat {X}}^{2}}{sigma _{X}^{2}}}}$

Computation[edit]

Linear MMSE estimator for linear observation process[edit]

$C_{Y}=AC_{X}A^{T}+C_{Z},$

$C_{XY}=C_{X}A^{T}.$

Thus the expression for the linear MMSE estimator matrix further modifies to

$W=C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}.$

Putting everything into the expression for , we get

${hat {x}}=C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}(y-A{bar {x}})+{bar {x}}.$

Lastly, the error covariance is

$C_{e}=C_{X}-C_{hat {X}}=C_{X}-C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}AC_{X}.$

Alternative form[edit]

An alternative form of expression can be obtained by using the matrix identity

$C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}A^{T}C_{Z}^{-1},$

which can be established by post-multiplying by $(AC_{X}A^{T}+C_{Z})$ and pre-multiplying by $(A^{T}C_{Z}^{-1}A+C_{X}^{-1}),$ to obtain

$W=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}A^{T}C_{Z}^{-1},$

and

$C_{e}=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}.$

Since can now be written in terms of $C_{e}$ as $W=C_{e}A^{T}C_{Z}^{-1}$ , we get a simplified expression for as

${hat {x}}=C_{e}A^{T}C_{Z}^{-1}(y-A{bar {x}})+{bar {x}}.$

Sequential linear MMSE estimation[edit]

In the Bayesian framework, such recursive estimation is easily facilitated using Bayes’ rule. Given observations, $y_{1},ldots ,y_{k}$ , Bayes’ rule gives us the posterior density of as

${displaystyle {begin{aligned}p(x|y_{1},ldots ,y_{k})&propto p(y_{k}|x,y_{1},ldots ,y_{k-1})p(x|y_{1},ldots ,y_{k-1})&=p(y_{k}|x)p(x|y_{1},ldots ,y_{k-1}).end{aligned}}}$

The ${displaystyle p(x|y_{1},ldots ,y_{k})}$ is called the posterior density, ${displaystyle p(y_{k}|x)}$ is called the likelihood function, and ${displaystyle p(x|y_{1},ldots ,y_{k-1})}$ is the prior density of k-th time step. Note that the prior density for k-th time step is the posterior density of (k-1)-th time step. This structure allows us to formulate a recursive approach to estimation. Here we have assumed the conditional independence of $y_{k}$ from previous observations ${displaystyle y_{1},ldots ,y_{k-1}}$ given as

${displaystyle p(y_{k}|x,y_{1},ldots ,y_{k-1})=p(y_{k}|x).}$

This is the Markov assumption.

The MMSE estimate $hat{x}_k$ given the th observation is then the mean of the posterior density ${displaystyle p(x|y_{1},ldots ,y_{k})}$ . Here, we have implicitly assumed that the statistical properties of does not change with time. In other words, is stationary.

In the context of linear MMSE estimator, the formula for the estimate will have the same form as before. However, the mean and covariance matrices of and will need to be replaced by those of the prior density ${displaystyle p(x|y_{1},ldots ,y_{k-1})}$ and likelihood ${displaystyle p(y_{k}|x)}$ , respectively.

The mean and covariance matrix of the prior density ${displaystyle p(x|y_{1},ldots ,y_{k-1})}$ is given by the previous MMSE estimate, ${displaystyle {bar {x}}_{k-1}={hat {x}}_{k-1}}$ , and the error covariance matrix,

${displaystyle C_{X|Y_{1},ldots ,Y_{k-1}}=mathrm {E} [(x-{hat {x}}_{k-1})(x-{hat {x}}_{k-1})^{T}]=C_{e_{k-1}},}$

respectively, as per by the property of MMSE estimators.

Similarly, for the linear observation process, the mean and covariance matrix of the likelihood ${displaystyle p(y_{k}|x)}$ is given by ${displaystyle {bar {y}}_{k}=A{hat {x}}_{k-1}}$ and

${displaystyle {begin{aligned}C_{Y_{k}|X}&=mathrm {E} [(y_{k}-{bar {y}}_{k})(y_{k}-{bar {y}}_{k})^{T}]&=mathrm {E} [(A(x-{bar {x}}_{k-1})+z)(A(x-{bar {x}}_{k-1})+z)^{T}]&=AC_{e_{k-1}}A^{T}+C_{Z}.end{aligned}}}$

The difference between the predicted value of $y_{k}$ , as given by ${displaystyle {bar {y}}_{k}=A{hat {x}}_{k-1}}$ , and the observed value of $y_{k}$ gives the prediction error ${displaystyle {tilde {y}}_{k}=y_{k}-{bar {y}}_{k}}$ , which is also referred to as innovation. It is more convenient to represent the linear MMSE in terms of the prediction error, whose mean and covariance are ${displaystyle mathrm {E} [{tilde {y}}_{k}]=0}$ and

${displaystyle C_{{tilde {Y}}_{k}}=C_{Y_{k}|X}}$ .

${displaystyle {begin{aligned}C_{e_{k-1}{tilde {Y}}_{k}}&=mathrm {E} [(x-{hat {x}}_{k-1})(y_{k}-{bar {y}}_{k})^{T}]&=mathrm {E} [(x-{hat {x}}_{k-1})(A(x-{hat {x}}_{k-1})+z)^{T}]&=C_{e_{k-1}}A^{T}.end{aligned}}}$

Thus, we have the new estimate as

${displaystyle {begin{aligned}{hat {x}}_{k}&={hat {x}}_{k-1}+C_{e_{k-1}{tilde {Y}}_{k}}C_{{tilde {Y}}_{k}}^{-1}(y_{k}-{bar {y}}_{k})&={hat {x}}_{k-1}+C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1}(y_{k}-A{hat {x}}_{k-1})end{aligned}}}$

and the new error covariance as

${displaystyle C_{e_{k}}=C_{e_{k-1}}-C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1}AC_{e_{k-1}}.}$

The repeated use of the above two equations as more observations become available lead to recursive estimation techniques. The expressions can be more compactly written as

${displaystyle W_{k}=C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1},}$

${displaystyle {hat {x}}_{k}={hat {x}}_{k-1}+W_{k}(y_{k}-A{hat {x}}_{k-1}),}$

${displaystyle C_{e_{k}}=(I-W_{k}A)C_{e_{k-1}}.}$

The matrix $W_{k}$ is often referred to as the Kalman gain factor. The alternative formulation of the above algorithm will give

${displaystyle C_{e_{k}}^{-1}=C_{e_{k-1}}^{-1}+A^{T}C_{Z}^{-1}A,}$

${displaystyle W_{k}=C_{e_{k}}A^{T}C_{Z}^{-1},}$

${displaystyle {hat {x}}_{k}={hat {x}}_{k-1}+W_{k}(y_{k}-A{hat {x}}_{k-1}),}$

Special case: scalar observations[edit]

${displaystyle {hat {x}}_{k+1}={hat {x}}_{k}+w_{k+1}(y_{k+1}-a_{k+1}^{T}{hat {x}}_{k})}$

where $y_{{k+1}}$ is the new scalar observation and the gain factor $w_{k+1}$ is n-by-1 column vector given by

${displaystyle w_{k+1}={frac {C_{e_{k}}a_{k+1}}{sigma _{k+1}^{2}+a_{k+1}^{T}C_{e_{k}}a_{k+1}}}.}$

The ${displaystyle C_{e_{k+1}}}$ is n-by-n error covariance matrix given by

${displaystyle C_{e_{k+1}}=(I-w_{k+1}a_{k+1}^{T})C_{e_{k}}.}$

${displaystyle {hat {x}}_{k+1}={hat {x}}_{k}+eta _{k}mathrm {E} {{tilde {y}}_{k}a_{k}},}$

Examples[edit]

Example 1[edit]

${displaystyle operatorname {cov} (Z)=operatorname {E} [zz^{T}]=left[{begin{array}{cccc}1&2&3&42&5&8&93&8&6&104&9&10&15end{array}}right],}$

then our task is to find the coefficients $w_{i}$ such that it will yield an optimal linear estimate ${displaystyle {hat {z}}_{4}}$ .

${displaystyle C_{Y}=left[{begin{array}{ccc}E[z_{1},z_{1}]&E[z_{2},z_{1}]&E[z_{3},z_{1}]E[z_{1},z_{2}]&E[z_{2},z_{2}]&E[z_{3},z_{2}]E[z_{1},z_{3}]&E[z_{2},z_{3}]&E[z_{3},z_{3}]end{array}}right]=left[{begin{array}{ccc}1&2&32&5&83&8&6end{array}}right].}$

The cross correlation matrix $C_{{YX}}$ is defined as

${displaystyle C_{YX}=left[{begin{array}{c}E[z_{4},z_{1}]E[z_{4},z_{2}]E[z_{4},z_{3}]end{array}}right]=left[{begin{array}{c}4910end{array}}right].}$

We now solve the equation $C_{Y}W^{T}=C_{YX}$ by inverting $C_{Y}$ and pre-multiplying to get

${displaystyle C_{Y}^{-1}C_{YX}=left[{begin{array}{ccc}4.85&-1.71&-0.142-1.71&0.428&0.2857-0.142&0.2857&-0.1429end{array}}right]left[{begin{array}{c}4910end{array}}right]=left[{begin{array}{c}2.57-0.142.5714end{array}}right]=W^{T}.}$

Example 2[edit]

${displaystyle {begin{aligned}&operatorname {E} {y}=0,&C_{Y}=operatorname {E} {yy^{T}}=sigma _{X}^{2}11^{T}+sigma _{Z}^{2}I,&C_{XY}=operatorname {E} {xy^{T}}=sigma _{X}^{2}1^{T}.end{aligned}}}$

Thus, the linear MMSE estimator is given by

${begin{aligned}{hat {x}}&=C_{XY}C_{Y}^{-1}y&=sigma _{X}^{2}1^{T}(sigma _{X}^{2}11^{T}+sigma _{Z}^{2}I)^{-1}y.end{aligned}}$

We can simplify the expression by using the alternative form for as

${displaystyle {begin{aligned}{hat {x}}&=left(1^{T}{frac {1}{sigma _{Z}^{2}}}I1+{frac {1}{sigma _{X}^{2}}}right)^{-1}1^{T}{frac {1}{sigma _{Z}^{2}}}Iy&={frac {1}{sigma _{Z}^{2}}}left({frac {N}{sigma _{Z}^{2}}}+{frac {1}{sigma _{X}^{2}}}right)^{-1}1^{T}y&={frac {sigma _{X}^{2}}{sigma _{X}^{2}+sigma _{Z}^{2}/N}}{bar {y}},end{aligned}}}$

where for $y=[y_{1},y_{2},ldots ,y_{N}]^{T}$ we have ${bar {y}}={frac {1^{T}y}{N}}={frac {sum _{i=1}^{N}y_{i}}{N}}.$

Similarly, the variance of the estimator is

$sigma _{hat {X}}^{2}=C_{XY}C_{Y}^{-1}C_{YX}={Big (}{frac {sigma _{X}^{2}}{sigma _{X}^{2}+sigma _{Z}^{2}/N}}{Big )}sigma _{X}^{2}.$

Thus the MMSE of this linear estimator is

${displaystyle operatorname {LMMSE} =sigma _{X}^{2}-sigma _{hat {X}}^{2}={Big (}{frac {sigma _{Z}^{2}}{sigma _{X}^{2}+sigma _{Z}^{2}/N}}{Big )}{frac {sigma _{X}^{2}}{N}}.}$

For very large , we see that the MMSE estimator of a scalar with uniform aprior distribution can be approximated by the arithmetic average of all the observed data

${displaystyle {hat {x}}={frac {1}{N}}sum _{i=1}^{N}y_{i},}$

while the variance will be unaffected by data $sigma _{hat {X}}^{2}=sigma _{X}^{2},$ and the LMMSE of the estimate will tend to zero.

Example 3[edit]

As with previous example, we have

${begin{aligned}y_{1}&=x+z_{1}y_{2}&=x+z_{2}.end{aligned}}$

Here, both the ${displaystyle operatorname {E} {y_{1}}=operatorname {E} {y_{2}}={bar {x}}=1/2}$ . Thus, we can obtain the LMMSE estimate as the linear combination of $y_{1}$ and $y_{2}$ as

${hat {x}}=w_{1}(y_{1}-{bar {x}})+w_{2}(y_{2}-{bar {x}})+{bar {x}},$

where the weights are given by

${begin{aligned}w_{1}&={frac {1/sigma _{Z_{1}}^{2}}{1/sigma _{Z_{1}}^{2}+1/sigma _{Z_{2}}^{2}+1/sigma _{X}^{2}}},w_{2}&={frac {1/sigma _{Z_{2}}^{2}}{1/sigma _{Z_{1}}^{2}+1/sigma _{Z_{2}}^{2}+1/sigma _{X}^{2}}}.end{aligned}}$

Here, since the denominator term is constant, the poll with lower error is given higher weight in order to predict the election outcome. Lastly, the variance of is given by

$sigma _{hat {X}}^{2}={frac {1/sigma _{Z_{1}}^{2}+1/sigma _{Z_{2}}^{2}}{1/sigma _{Z_{1}}^{2}+1/sigma _{Z_{2}}^{2}+1/sigma _{X}^{2}}}sigma _{X}^{2},$

which makes $sigma _{hat {X}}^{2}$ smaller than $sigma _{X}^{2}.$ Thus, the LMMSE is given by

${displaystyle mathrm {LMMSE} =sigma _{X}^{2}-sigma _{hat {X}}^{2}={frac {1}{1/sigma _{Z_{1}}^{2}+1/sigma _{Z_{2}}^{2}+1/sigma _{X}^{2}}}.}$

In general, if we have pollsters, then ${displaystyle {hat {x}}=sum _{i=1}^{N}w_{i}(y_{i}-{bar {x}})+{bar {x}},}$ where the weight for i-th pollster is given by $w_{i}={frac {1/sigma _{Z_{i}}^{2}}{sum _{i=1}^{N}1/sigma _{Z_{i}}^{2}+1/sigma _{X}^{2}}}$ and the LMMSE is given by ${displaystyle mathrm {LMMSE} ={frac {1}{sum _{i=1}^{N}1/sigma _{Z_{i}}^{2}+1/sigma _{X}^{2}}}.}$

Example 4[edit]

We can model the sound received by each microphone as

${begin{aligned}y_{1}&=a_{1}x+z_{1}y_{2}&=a_{2}x+z_{2}.end{aligned}}$

Here both the ${displaystyle operatorname {E} {y_{1}}=operatorname {E} {y_{2}}=0}$ . Thus, we can combine the two sounds as

$y=w_{1}y_{1}+w_{2}y_{2}$

where the i-th weight is given as

$w_{i}={frac {a_{i}/sigma _{Z_{i}}^{2}}{sum _{i}a_{i}^{2}/sigma _{Z_{i}}^{2}+1/sigma _{X}^{2}}}.$

Notes[edit]

^ «Mean Squared Error (MSE)». www.probabilitycourse.com. Retrieved 9 May 2017.
^ Moon and Stirling.

Motivation[edit]

Definition[edit]

${displaystyle operatorname {MSE} =operatorname {tr} left{operatorname {E} {({hat {x}}-x)({hat {x}}-x)^{T}}right}=operatorname {E} {({hat {x}}-x)^{T}({hat {x}}-x)},}$

${displaystyle operatorname {tr} left{operatorname {E} {ee^{T}}right}=operatorname {E} left{operatorname {tr} {ee^{T}}right}=operatorname {E} {e^{T}e}=sum _{i=1}^{n}operatorname {E} {e_{i}^{2}}.}$

The MMSE estimator is then defined as the estimator achieving minimal MSE:

${displaystyle {hat {x}}_{operatorname {MMSE} }(y)=operatorname {argmin} _{hat {x}}operatorname {MSE} .}$

Properties[edit]

When the means and variances are finite, the MMSE estimator is uniquely defined^[1] and is given by:

${displaystyle {hat {x}}_{operatorname {MMSE} }(y)=operatorname {E} {xmid y}.}$

In other words, the MMSE estimator is the conditional expectation of

${displaystyle C_{e}=C_{X|Y}}$ .

The MMSE estimator is unbiased (under the regularity assumptions mentioned above):

${displaystyle operatorname {E} {{hat {x}}_{operatorname {MMSE} }(y)}=operatorname {E} {operatorname {E} {xmid y}}=operatorname {E} {x}.}$

The MMSE estimator is asymptotically unbiased and it converges in distribution to the normal distribution:

${displaystyle {sqrt {n}}({hat {x}}_{operatorname {MMSE} }-x)xrightarrow {d} {mathcal {N}}left(0,I^{-1}(x)right),}$

where

is the Fisher information of

. Thus, the MMSE estimator is asymptotically efficient.

${displaystyle operatorname {E} {({hat {x}}_{operatorname {MMSE} }-x)g(y)}=0}$

for all

in closed, linear subspace ${displaystyle {mathcal {V}}={g(y)mid g:mathbb {R} ^{m}rightarrow mathbb {R} ,operatorname {E} {g(y)^{2}}<+infty }}$

${displaystyle operatorname {E} {(g_{i}^{*}(y)-x_{i})g_{j}(y)}=0,}$

for all i and j. More succinctly put, the cross-correlation between the minimum estimation error ${displaystyle {hat {x}}_{operatorname {MMSE} }-x}$ and the estimator

should be zero,

${displaystyle operatorname {E} {({hat {x}}_{operatorname {MMSE} }-x){hat {x}}^{T}}=0.}$

Linear MMSE estimator[edit]

${displaystyle min _{W,b}operatorname {MSE} qquad {text{s.t.}}qquad {hat {x}}=Wy+b.}$

The expression for optimal and is given by:

$W=C_{XY}C_{Y}^{-1}.$

where , the $C_{{XY}}$ is cross-covariance matrix between and , the $C_{{Y}}$ is auto-covariance matrix of .

Thus, the expression for linear MMSE estimator, its mean, and its auto-covariance is given by

${displaystyle {hat {x}}=C_{XY}C_{Y}^{-1}(y-{bar {y}})+{bar {x}},}$

$C_{hat {X}}=C_{XY}C_{Y}^{-1}C_{YX},$

where the $C_{{YX}}$ is cross-covariance matrix between and .

Lastly, the error covariance and minimum mean square error achievable by such estimator is

$C_{e}=C_{X}-C_{hat {X}}=C_{X}-C_{XY}C_{Y}^{-1}C_{YX},$

${displaystyle operatorname {LMMSE} =operatorname {tr} {C_{e}}.}$

Univariate case[edit]

For the special case when both and are scalars, the above relations simplify to

${displaystyle {hat {x}}={frac {sigma _{XY}}{sigma _{Y}^{2}}}(y-{bar {y}})+{bar {x}}=rho {frac {sigma _{X}}{sigma _{Y}}}(y-{bar {y}})+{bar {x}},}$

${displaystyle sigma _{e}^{2}=sigma _{X}^{2}-{frac {sigma _{XY}^{2}}{sigma _{Y}^{2}}}=(1-rho ^{2})sigma _{X}^{2},}$

where ${displaystyle rho ={frac {sigma _{XY}}{sigma _{X}sigma _{Y}}}}$ is the Pearson’s correlation coefficient between and .

The above two equations allows us to interpret the correlation coefficient either as normalized slope of linear regression

${displaystyle left({frac {{hat {x}}-{bar {x}}}{sigma _{X}}}right)=rho left({frac {y-{bar {y}}}{sigma _{Y}}}right)}$

or as square root of the ratio of two variances

${displaystyle rho ^{2}={frac {sigma _{X}^{2}-sigma _{e}^{2}}{sigma _{X}^{2}}}={frac {sigma _{hat {X}}^{2}}{sigma _{X}^{2}}}}$

Computation[edit]

Linear MMSE estimator for linear observation process[edit]

$C_{Y}=AC_{X}A^{T}+C_{Z},$

$C_{XY}=C_{X}A^{T}.$

Thus the expression for the linear MMSE estimator matrix further modifies to

$W=C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}.$

Putting everything into the expression for , we get

${hat {x}}=C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}(y-A{bar {x}})+{bar {x}}.$

Lastly, the error covariance is

$C_{e}=C_{X}-C_{hat {X}}=C_{X}-C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}AC_{X}.$

Alternative form[edit]

An alternative form of expression can be obtained by using the matrix identity

$C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}A^{T}C_{Z}^{-1},$

which can be established by post-multiplying by $(AC_{X}A^{T}+C_{Z})$ and pre-multiplying by $(A^{T}C_{Z}^{-1}A+C_{X}^{-1}),$ to obtain

$W=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}A^{T}C_{Z}^{-1},$

and

$C_{e}=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}.$

Since can now be written in terms of $C_{e}$ as $W=C_{e}A^{T}C_{Z}^{-1}$ , we get a simplified expression for as

${hat {x}}=C_{e}A^{T}C_{Z}^{-1}(y-A{bar {x}})+{bar {x}}.$

Sequential linear MMSE estimation[edit]

In the Bayesian framework, such recursive estimation is easily facilitated using Bayes’ rule. Given observations, $y_{1},ldots ,y_{k}$ , Bayes’ rule gives us the posterior density of as

${displaystyle {begin{aligned}p(x|y_{1},ldots ,y_{k})&propto p(y_{k}|x,y_{1},ldots ,y_{k-1})p(x|y_{1},ldots ,y_{k-1})&=p(y_{k}|x)p(x|y_{1},ldots ,y_{k-1}).end{aligned}}}$

${displaystyle p(y_{k}|x,y_{1},ldots ,y_{k-1})=p(y_{k}|x).}$

This is the Markov assumption.

${displaystyle C_{X|Y_{1},ldots ,Y_{k-1}}=mathrm {E} [(x-{hat {x}}_{k-1})(x-{hat {x}}_{k-1})^{T}]=C_{e_{k-1}},}$

respectively, as per by the property of MMSE estimators.

Similarly, for the linear observation process, the mean and covariance matrix of the likelihood ${displaystyle p(y_{k}|x)}$ is given by ${displaystyle {bar {y}}_{k}=A{hat {x}}_{k-1}}$ and

${displaystyle C_{{tilde {Y}}_{k}}=C_{Y_{k}|X}}$ .

Thus, we have the new estimate as

and the new error covariance as

${displaystyle C_{e_{k}}=C_{e_{k-1}}-C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1}AC_{e_{k-1}}.}$

The repeated use of the above two equations as more observations become available lead to recursive estimation techniques. The expressions can be more compactly written as

${displaystyle W_{k}=C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1},}$

${displaystyle {hat {x}}_{k}={hat {x}}_{k-1}+W_{k}(y_{k}-A{hat {x}}_{k-1}),}$

${displaystyle C_{e_{k}}=(I-W_{k}A)C_{e_{k-1}}.}$

The matrix $W_{k}$ is often referred to as the Kalman gain factor. The alternative formulation of the above algorithm will give

${displaystyle C_{e_{k}}^{-1}=C_{e_{k-1}}^{-1}+A^{T}C_{Z}^{-1}A,}$

${displaystyle W_{k}=C_{e_{k}}A^{T}C_{Z}^{-1},}$

${displaystyle {hat {x}}_{k}={hat {x}}_{k-1}+W_{k}(y_{k}-A{hat {x}}_{k-1}),}$

Special case: scalar observations[edit]

${displaystyle {hat {x}}_{k+1}={hat {x}}_{k}+w_{k+1}(y_{k+1}-a_{k+1}^{T}{hat {x}}_{k})}$

where $y_{{k+1}}$ is the new scalar observation and the gain factor $w_{k+1}$ is n-by-1 column vector given by

${displaystyle w_{k+1}={frac {C_{e_{k}}a_{k+1}}{sigma _{k+1}^{2}+a_{k+1}^{T}C_{e_{k}}a_{k+1}}}.}$

The ${displaystyle C_{e_{k+1}}}$ is n-by-n error covariance matrix given by

${displaystyle C_{e_{k+1}}=(I-w_{k+1}a_{k+1}^{T})C_{e_{k}}.}$

${displaystyle {hat {x}}_{k+1}={hat {x}}_{k}+eta _{k}mathrm {E} {{tilde {y}}_{k}a_{k}},}$

Examples[edit]

Example 1[edit]

${displaystyle operatorname {cov} (Z)=operatorname {E} [zz^{T}]=left[{begin{array}{cccc}1&2&3&42&5&8&93&8&6&104&9&10&15end{array}}right],}$

then our task is to find the coefficients $w_{i}$ such that it will yield an optimal linear estimate ${displaystyle {hat {z}}_{4}}$ .

The cross correlation matrix $C_{{YX}}$ is defined as

${displaystyle C_{YX}=left[{begin{array}{c}E[z_{4},z_{1}]E[z_{4},z_{2}]E[z_{4},z_{3}]end{array}}right]=left[{begin{array}{c}4910end{array}}right].}$

We now solve the equation $C_{Y}W^{T}=C_{YX}$ by inverting $C_{Y}$ and pre-multiplying to get

Example 2[edit]

${displaystyle {begin{aligned}&operatorname {E} {y}=0,&C_{Y}=operatorname {E} {yy^{T}}=sigma _{X}^{2}11^{T}+sigma _{Z}^{2}I,&C_{XY}=operatorname {E} {xy^{T}}=sigma _{X}^{2}1^{T}.end{aligned}}}$

Thus, the linear MMSE estimator is given by

${begin{aligned}{hat {x}}&=C_{XY}C_{Y}^{-1}y&=sigma _{X}^{2}1^{T}(sigma _{X}^{2}11^{T}+sigma _{Z}^{2}I)^{-1}y.end{aligned}}$

We can simplify the expression by using the alternative form for as

where for $y=[y_{1},y_{2},ldots ,y_{N}]^{T}$ we have ${bar {y}}={frac {1^{T}y}{N}}={frac {sum _{i=1}^{N}y_{i}}{N}}.$

Similarly, the variance of the estimator is

$sigma _{hat {X}}^{2}=C_{XY}C_{Y}^{-1}C_{YX}={Big (}{frac {sigma _{X}^{2}}{sigma _{X}^{2}+sigma _{Z}^{2}/N}}{Big )}sigma _{X}^{2}.$

Thus the MMSE of this linear estimator is

${displaystyle operatorname {LMMSE} =sigma _{X}^{2}-sigma _{hat {X}}^{2}={Big (}{frac {sigma _{Z}^{2}}{sigma _{X}^{2}+sigma _{Z}^{2}/N}}{Big )}{frac {sigma _{X}^{2}}{N}}.}$

For very large , we see that the MMSE estimator of a scalar with uniform aprior distribution can be approximated by the arithmetic average of all the observed data

${displaystyle {hat {x}}={frac {1}{N}}sum _{i=1}^{N}y_{i},}$

while the variance will be unaffected by data $sigma _{hat {X}}^{2}=sigma _{X}^{2},$ and the LMMSE of the estimate will tend to zero.

Example 3[edit]

As with previous example, we have

${begin{aligned}y_{1}&=x+z_{1}y_{2}&=x+z_{2}.end{aligned}}$

Here, both the ${displaystyle operatorname {E} {y_{1}}=operatorname {E} {y_{2}}={bar {x}}=1/2}$ . Thus, we can obtain the LMMSE estimate as the linear combination of $y_{1}$ and $y_{2}$ as

${hat {x}}=w_{1}(y_{1}-{bar {x}})+w_{2}(y_{2}-{bar {x}})+{bar {x}},$

where the weights are given by

Here, since the denominator term is constant, the poll with lower error is given higher weight in order to predict the election outcome. Lastly, the variance of is given by

$sigma _{hat {X}}^{2}={frac {1/sigma _{Z_{1}}^{2}+1/sigma _{Z_{2}}^{2}}{1/sigma _{Z_{1}}^{2}+1/sigma _{Z_{2}}^{2}+1/sigma _{X}^{2}}}sigma _{X}^{2},$

which makes $sigma _{hat {X}}^{2}$ smaller than $sigma _{X}^{2}.$ Thus, the LMMSE is given by

${displaystyle mathrm {LMMSE} =sigma _{X}^{2}-sigma _{hat {X}}^{2}={frac {1}{1/sigma _{Z_{1}}^{2}+1/sigma _{Z_{2}}^{2}+1/sigma _{X}^{2}}}.}$

Example 4[edit]

We can model the sound received by each microphone as

${begin{aligned}y_{1}&=a_{1}x+z_{1}y_{2}&=a_{2}x+z_{2}.end{aligned}}$

Here both the ${displaystyle operatorname {E} {y_{1}}=operatorname {E} {y_{2}}=0}$ . Thus, we can combine the two sounds as

$y=w_{1}y_{1}+w_{2}y_{2}$

where the i-th weight is given as

$w_{i}={frac {a_{i}/sigma _{Z_{i}}^{2}}{sum _{i}a_{i}^{2}/sigma _{Z_{i}}^{2}+1/sigma _{X}^{2}}}.$

Notes[edit]

^ «Mean Squared Error (MSE)». www.probabilitycourse.com. Retrieved 9 May 2017.
^ Moon and Stirling.

Спектральная плотность вычисляется по известной корреляционной функции при помощи формул.

Вопросы
самоконтроля:

Дайте
определение спектральной плотности.
Какой
функцией является спектральная
плотность.
Как
вычисляется спектральная плотность
по известной корреляционной функции.

Лекция 59

Цель
лекции: ознакомиться
с расчетами по минимуму среднеквадратичной
ошибки случайной величины.

Задачи лекции:

Расчет
по минимуму среднеквадратичной ошибки
случайной величины.
Критерий
минимума среднеквадратичной ошибки
при одновременном действии полезного
сигнала и помехи.

Желаемый
результат:

Студенты
должны знать:

Расчет
по минимуму среднеквадратичной ошибки
случайной величины.
Критерий
минимума среднеквадратичной ошибки
при одновременном действии полезного
сигнала и помехи.

Учебный материал Расчеты по минимуму среднеквадратичной ошибки

Если
на автоматическую систему действуют
одновременно полезный сигнал и помеха,
то возникает задача оптимального расчета
системы с тем, чтобы получить наименьшую
результирующую ошибку. С точки зрения
наилучшего воспроизведения полезного
сигнала система должна иметь возможно
большую полосу пропускания, а с точки
зрения наилучшего подавления помехи
система, наоборот, должна иметь возможно
меньшую полосу пропускания. Критерием
получения оптимального решения здесь
будет минимальное значение результирующей
ошибки системы, определяемой полезным
сигналом и помехой.

Для случайных
величин наиболее просто определить
среднеквадратичную ошибку, поэтому ее
и используют для оценки точности
автоматической системы.

Рассмотрим
расчет системы по критерию
минимума среднеквадратичной ошибки
при одновременном действии полезного
сигнала и помехи.

Согласно
этому критерию, нежелательность ошибки
пропорциональна квадрату ее величины.
Такая постановка является часто логичной,
но она не может, конечно, претендовать
на полную универсальность. В некоторых
случаях например при стрельбе по
какой-либо цели, все ошибки, большие
некоторого значения, являются одинаково
нежелательными. Однако средний квадрат
ошибки системы регулирования

практически
во всех случаях является наиболее просто
вычисляемой величиной, что и определило
использование этого критерия.

Возможны
несколько формулировок задачи. Наиболее
просто задача может быть сформулирована
так. Если имеется какая-то система
автоматического регулирования
заданной структуры, то необходимо так
выбрать параметры этой системы, чтобы
получить минимум среднеквадратичной
ошибки при заданных статистических
характеристиках полезного сигнала и
помехи.

Эта
задача решается следующим образом. По
спектральной плотности ошибки путем
ее интегрирования находится дисперсия.
Дисперсия получается зависящей от
вероятностных характеристик полезного
сигнала, помехи и параметров системы.
Затем ищутся условия, которые должны
быть наложены на параметры системы,
чтобы получить минимум дисперсии. При
достаточно простом выражении для
дисперсии это может быть определено
непосредственным дифференцированием
и приравниванием нулю частных производных.

В
более сложных случаях приходится искать
минимум дисперсии путем числового
задания интересующих параметров и
построения соответствующих графиков,
а также расчетом на ЭВМ.

Нахождение
оптимальной передаточной функции еще
не означает, что реальная автоматическая
система может быть выполнена оптимальной,
так как реализация ее может быть сопряжена
с большими трудностями. Оптимальную
передаточную функцию, за исключением
простейших случаев, следует считать
идеальной функцией, к которой по
возможности надо стремиться при
выполнении реальной автоматической
системы.

Вопросы
самоконтроля:

Какую
величину используют для оценки точности
автоматической системы со случайными
сигналами.
Дайте
определение критерию
минимума среднеквадратичной ошибки
при одновременном действии полезного
сигнала и помехи.
Как
определяется минимум
дисперсии.

Соседние файлы в папке лекции

Критерий — минимум — среднеквадратичная ошибка

Cтраница 1

Критерий минимума среднеквадратичной ошибки используется для решения более сложных задач по сравнению с задачей определения оптимальных параметров при известной структуре системы.
[1]

Идея приближения по критерию минимума среднеквадратичной ошибки, как уже указывалось, не единственна.
[2]

Тх корректирующего устройства по критерию минимума среднеквадратичной ошибки, если полезный сигнал и помеха независимы и приложены к одной точке системы.
[3]

Первое из этих условий удовлетворялось и при синтезе по критерию минимума среднеквадратичной ошибки.
[4]

Адекватность полученной модели и необходимость ее коррекции оценивают чаще всего по критерию минимума среднеквадратичной ошибки. Этот метод наиболее целесообразен.
[5]

Причем объем вычислений может быть значительно уменьшен за счет незначительного ухудшения качества, фильтрации по критерию минимума среднеквадратичной ошибки.
[6]

В большинстве практически встречающихся случаев представляется возможным, хотя бы в первом приближении, рассматривать процессы изменения технологических величин или других производственных показателей как стационарные случайные функции с нормальным распределением. Поэтому обычно критерий минимума среднеквадратичной ошибки является наиболее приемлемым в качестве критерия наилучшего предсказания в большинстве рассматриваемых задач управления.
[7]

Кроме того, по критерию минимума среднеквадратичной ошибки определяются оптимальная структура и передаточная функция замкнутой системы, обеспечивающие минимальную величину погрешности.
[8]

Анализ и синтез нелинейных систем с неизвестной структурой предлагается проводить с помощью многопеременных прямоугольных функций. Практически реализуемый алгоритм с применением этих функций получен на основе критерия минимума среднеквадратичной ошибки. Алгоритм применим при входных стационарных сигналах с произвольной плотностью распределения вероятностей.
[9]

Задача заключается в оценке значений, к-рые реализация рассматриваемого процесса ( или нек-рых его параметров, таких, как ср. Здесь в большинстве случаев определяется инвариантный во времени линейный реализуемый фильтр, оптимизирующий оценку по критерию минимума среднеквадратичной ошибки. Возможны и часто желательны др. критерии, но указанный критерий отличается математич. Для решения задач такого рода часто применяется теория Винера — Колмогорова. В этой теории предполагается, что сигнал S ( t) характеризуется только статистич. Мешающий шум N ( t) представляет также чисто случайный процесс, комбинируется с сигналом аддитивно и может быть с ним связан статистически. Далее предполагается, что накопление и обработка данных совершаются только над прошлым процессов на входе, к-рые считаются стационарными в широком смысле и имеющими положительно определенные ковариант-ные ф-ции. Кроме того, в большинстве случаев реализуются оптимальные линейные фильтры, к-рые не только реализуемы, но также и инвариантны во времени. При этих условиях импульсная переходная ф-ция линейного фильтра определяется из интегр.
[10]

Задача заключается в оценке значений, к-рые реализация рассматриваемого процесса ( или нек-рых его параметров, таких, как ср. Здесь в большинство случаев определяется инвариантный во времени линейный реализуемый фильтр, оптимизирующий оценку по критерию минимума среднеквадратичной ошибки. Возможны и часто желательны др. критерии, но указанный критерий отличается математич. Для решения задач такого рода часто применяется теория Винера — Колмогорова. В этой теории предполагается, что сигнал S ( t) характеризуется только статпстич. Мешающий шум N ( t) представляет также чисто случайный процесс, комбинируется с сигналом аддитивно и может быть с ним связан статистически. Далее предполагается, что накопление и обработка данных совершаются только над прошлым процессов па входе, к-рые считаются стационарными в широком смысле и имеющими положительно определенные ковариант-ные ф-ции. Кроме того, в большинстве случаев реализуются оптимальные линейные фильтры, к-рые не только реализуемы, но также и инвариантны во времени. При этих условиях импульсная переходная ф-ция линейного фильтра определяется из интегр.
[11]

После определения среднеквадратичной ошибки необходимо обеспечить минимальное значение ее. Наиболее просто задача решается путем минимизации среднеквадратичной ошибки по тому или иному параметру системы при заданных воздействиях. В качестве параметров, которые желательно сделать оптимальными на основе критерия минимума среднеквадратичной ошибки, могут рассматриваться различные постоянные, имеющие большое значение для определения динамических свойств системы.
[12]

Страницы:

Анализ систем на основе критерия минимума среднеквадратичной ошибки [c.189]

Если ковариационные функции процессов Х( ) и У(/) известны точно, то можно воспользоваться винеровским критерием минимума среднеквадратичной ошибки Этот критерий утверждает, что функция /г(и) должна быть выбрана так, чтобы минимизировать среднеквадратичную ошибку шумовой компоненты, т е [c.190]

Синтез следящих систем. Одно из первых инженерных применений анализа на основе критерия минимума среднеквадратичной ошибки было сделано при синтезировании следящих систем для зенитных орудий и в радиолокационных следящих системах [5] Например, от радиолокационной следящей системы требуется, чтобы она следила за самолетом несмотря на возмущения отра- [c.189]

Другое применение критерий минимума среднеквадратичной ошибки находит в задаче об идентификации системы В этом случае в распоряжении имеются входной сигнал и соответствующий ему выходной сигнал от некоторой системы, требуется вывести линейное приближение к этой системе для дальнейшего его использования при управлении или моделировании Предположим, например, что система представляет собой черный ящик (рис 5 7). Если вход является реализацией случайного процесса Х 1), то выход можно рассматривать как реализацию случайного процесса У(0< где [c.190]

Оптимальное в любом смысле корреляционное окно, например (7 2 3), будет зависеть от неизвестного спектра Гхх(/). Этот недостаток свойствен не только спектральному анализу Вообще говоря, справедливо правило, согласно которому наилучший план действий должен опираться на некоторые представления об истинном положении вещей Следовательно, очень валено проводить четкое различие между планированием спектрального анализа до сбора данных и самим анализом данных, после того как они собраны Мы хотели бы использовать критерии минимума среднеквадратичной ошибки или какой-нибудь аналогичный критерий до проведения спектрального анализа, чтобы решить, например, какой длины нужно взять запись Но после того как данные собраны, могло бы оказаться, что наши представления относительно Гхх (/) были абсолютно неправильны [c.26]

Если плотность вероятности ге ([х у) симметрична относительно среднего значения гпг [х у и унимодальна (т. е. монотонно невозрастающая функция [х — /П] [х у ), то байесовская оценка (5.18) совпадает с оценкой по критерию максимума апостериорной плотности вероятности. В этом случае функция С (х) не должна быть обязательно выпуклой, а лишь монотонно неубывающей функцией х (см. приложение С). Так как нормальная плотность вероятности унимодальна, то всегда, когда плотность вероятности ге ([х I у) нормальна, оценка по максимуму апостериорной плотности вероятности совпадает с широким классом байесовских оценок, который включает оценки по минимуму среднеквадратичной ошибки (или минимуму дисперсии). [c.158]

Источник

В статистических данных и обработки сигналов , A минимальной среднеквадратической ошибки ( MMSE ) оценки является метод оценки , который минимизирует среднеквадратичную ошибку (MSE), которая является общей мерой оценки качества, из подогнанных значений зависимой переменной . В байесовской установке термин MMSE более конкретно относится к оценке с квадратичной функцией потерь . В таком случае оценка MMSE задается апостериорным средним значением параметра, который необходимо оценить. Поскольку вычисление апостериорного среднего затруднительно, форма оценки MMSE обычно ограничивается определенным классом функций. Линейные оценщики MMSE — популярный выбор, поскольку они просты в использовании, легко вычисляются и очень универсальны. Это породило множество популярных оценок , таких как фильтр Винера-Колмогорова и фильтра Калмана .

Мотивация

Термин MMSE более конкретно относится к оценке в байесовской среде с квадратичной функцией стоимости. Основная идея байесовского подхода к оценке проистекает из практических ситуаций, когда у нас часто есть некоторая предварительная информация о параметре, который нужно оценить. Например, у нас может быть предварительная информация о диапазоне, который может принимать параметр; или у нас может быть старая оценка параметра, который мы хотим изменить, когда станет доступным новое наблюдение; или статистика фактического случайного сигнала, такого как речь. Это контрастирует с небайесовским подходом, таким как несмещенная оценка с минимальной дисперсией (MVUE), где предполагается, что о параметре заранее ничего не известно и который не учитывает такие ситуации. В байесовском подходе такая априорная информация фиксируется априорной функцией плотности вероятности параметров; и основанный непосредственно на теореме Байеса , он позволяет нам делать более точные апостериорные оценки по мере появления большего количества наблюдений. Таким образом, в отличие от небайесовского подхода, при котором представляющие интерес параметры считаются детерминированными, но неизвестными константами, байесовская оценка стремится оценить параметр, который сам по себе является случайной величиной. Кроме того, байесовская оценка также может иметь дело с ситуациями, когда последовательность наблюдений не обязательно независима. Таким образом, байесовская оценка представляет собой еще одну альтернативу MVUE. Это полезно, когда MVUE не существует или не может быть найден.

Определение

Пусть будет скрытой случайной векторной переменной, и пусть будет известной случайной векторной переменной (измерение или наблюдение), причем обе они не обязательно имеют одинаковую размерность. Оценка по какой — либо функции измерения . Вектор ошибки оценки задается выражением, а его среднеквадратическая ошибка (MSE) задается следом ковариационной матрицы ошибок. Икс Икс

${ displaystyle operatorname {MSE} = operatorname {tr} left { operatorname {E} {({ hat {x}} - x) ({ hat {x}} - x) ^ {T } } right } = operatorname {E} {({ hat {x}} - x) ^ {T} ({ hat {x}} - x) },}$

где ожидание берется за и . Когда — скалярная переменная, выражение MSE упрощается до . Обратите внимание, что MSE может быть эквивалентно определено другими способами, поскольку
Икс Икс ${ displaystyle operatorname {E} left {({ hat {x}} - x) ^ {2} right }}$

${ displaystyle operatorname {tr} left { operatorname {E} {ee ^ {T} } right } = operatorname {E} left { operatorname {tr} {ee ^ { T} } right } = operatorname {E} {e ^ {T} e } = sum _ {i = 1} ^ {n} operatorname {E} {e_ {i} ^ { 2} }.}$

Затем оценщик MMSE определяется как оценщик, достигающий минимальной MSE:

${ displaystyle { hat {x}} _ { operatorname {MMSE}} (y) = operatorname {argmin} _ { hat {x}} operatorname {MSE}.}$

Характеристики

Когда средние значения и дисперсии конечны, оценка MMSE определяется однозначно и определяется следующим образом:

${ displaystyle { hat {x}} _ { operatorname {MMSE}} (y) = operatorname {E} {x mid y }.}$

Другими словами, оценка MMSE — это условное ожидание данного известного наблюдаемого значения измерений. Икс

Оценка MMSE является беспристрастной (согласно предположениям регулярности, упомянутым выше):

${ displaystyle operatorname {E} {{ hat {x}} _ { operatorname {MMSE}} (y) } = operatorname {E} { operatorname {E} {x mid y } } = operatorname {E} {x }.}$

Оценщик MMSE асимптотически несмещен и сходится по распределению к нормальному распределению:

${ sqrt {n}} ({ hat {x}} - x) { xrightarrow {d}} { mathcal {N}} left (0, I ^ {- 1} (x) right),$

где есть информация Фишера из . Таким образом, оценка MMSE асимптотически эффективна . Я (х)

${ displaystyle operatorname {E} {({ hat {x}} _ { operatorname {MMSE}} -x) g (y) } = 0}$

для всех в замкнутом линейном подпространстве измерений. Для случайных векторов, поскольку MSE для оценки случайного вектора является суммой MSE координат, нахождение оценки MMSE для случайного вектора разлагается на нахождение оценок MMSE для координат X по отдельности:
г (г)

${ displaystyle { mathcal {V}} = {g (y) mid g: mathbb {R} ^ {m} rightarrow mathbb {R}, operatorname {E} {g (y) ^ {2} } <+ infty }}$

${ displaystyle operatorname {E} {(g_ {i} ^ {*} (y) -x_ {i}) g_ {j} (y) } = 0,}$

для всех i и j . Говоря более кратко, взаимная корреляция между минимальной ошибкой оценки и средством оценки должна быть равна нулю,
${ displaystyle { hat {x}} _ { operatorname {MMSE}} -x}$

${ displaystyle operatorname {E} {({ hat {x}} _ { operatorname {MMSE}} -x) { hat {x}} ^ {T} } = 0.}$

Линейный оценщик MMSE

Во многих случаях невозможно определить аналитическое выражение оценки MMSE. Два основных численных подхода для получения оценки MMSE зависят либо от нахождения условного ожидания, либо от нахождения минимумов MSE. Прямая численная оценка условного ожидания требует больших вычислительных ресурсов, поскольку часто требует многомерного интегрирования, обычно выполняемого с помощью методов Монте-Карло . Другой вычислительный подход заключается в прямом поиске минимумов MSE с использованием таких методов, как методы стохастического градиентного спуска ; но этот метод по-прежнему требует оценки ожидания. Хотя эти численные методы оказались плодотворными, выражение в закрытой форме для оценки MMSE, тем не менее, возможно, если мы готовы пойти на некоторые компромиссы.

Одна из возможностей состоит в том, чтобы отказаться от требований полной оптимальности и найти метод минимизации MSE в рамках определенного класса оценщиков, такого как класс линейных оценщиков. Таким образом, мы постулируем , что условное математическое ожидание данности является простым линейной функцией , где измерение является случайным вектором, является матрицей и является вектором. Это можно рассматривать как приближение Тейлора первого порядка . Линейный оценщик MMSE — это оценщик, достигающий минимальной MSE среди всех оценщиков такой формы. То есть решает следующие задачи оптимизации:
Икс

${ displaystyle min _ {W, b} operatorname {MSE} qquad { text {st}} qquad { hat {x}} = Wy + b.}$

Одним из преимуществ такого линейного средства оценки MMSE является то, что нет необходимости явно вычислять апостериорную функцию плотности вероятности . Такая линейная оценка зависит только от первых двух моментов и . Таким образом, хотя может быть удобно предположить, что и являются вместе гауссовыми, нет необходимости делать это предположение, пока предполагаемое распределение имеет хорошо определенные первый и второй моменты. Форма линейной оценки не зависит от типа предполагаемого базового распределения.
Икс Икс Икс

Выражение для оптимального и определяется выражением:

$W = C_ {XY} C_ {Y} ^ {- 1}.$

где , является кросс-ковариационная матрица между и , то есть автоматически ковариационная матрица .
$C _ {{XY}}$ Икс $C _ {{Y}}$

Таким образом, выражение для линейной оценки MMSE, его среднего значения и автоковариации имеет вид

{ hat {x}} = W (y - { bar {y}}) + { bar {x}},

$C _ { hat {X}} = C_ {XY} C_ {Y} ^ {- 1} C_ {YX},$

где — матрица кросс-ковариации между и .
$C _ {{YX}}$ Икс

Наконец, ковариация ошибки и минимальная среднеквадратичная ошибка, достижимые такой оценкой, равны

$C_ {e} = C_ {X} -C _ { hat {X}} = C_ {X} -C_ {XY} C_ {Y} ^ {- 1} C_ {YX},$

${ displaystyle operatorname {LMMSE} = operatorname {tr} {C_ {e} }.}$

Вывод по принципу ортогональности

Пусть у нас есть оптимальная линейная оценка MMSE, заданная как , где мы должны найти выражение для и . Требуется, чтобы оценка MMSE была беспристрастной. Это означает,

{ displaystyle operatorname {E} {{ hat {x}} } = operatorname {E} {x }.}

Подставляя выражение для выше, мы получаем

где и . Таким образом, мы можем переписать оценку как

и выражение для ошибки оценки принимает вид

{ hat {x}} - x = W (y - { bar {y}}) - (x - { bar {x}}).

Исходя из принципа ортогональности, мы можем иметь , где возьмем . Здесь левый член
${ displaystyle operatorname {E} {({ hat {x}} - x) (y - { bar {y}}) ^ {T} } = 0}$

${ displaystyle { begin {align} operatorname {E} {({ hat {x}} - x) (y - { bar {y}}) ^ {T} } & = operatorname {E } {(W (y - { bar {y}}) - (x - { bar {x}})) (y - { bar {y}}) ^ {T} } \ & = W operatorname {E} {(y - { bar {y}}) (y - { bar {y}}) ^ {T} } - operatorname {E} {(x - { bar {x}}) (y - { bar {y}}) ^ {T} } \ & = WC_ {Y} -C_ {XY}. end {выровнено}}}$

Приравнивая к нулю, мы получаем искомое выражение для as

${ displaystyle W = C_ {XY} C_ {Y} ^ {- 1}.}$

Является кросс-ковариационная матрица между Х и Y, а это автоматически ковариационная матрица Y. Так , выражение может быть также переписана в терминах , как
$C _ {{XY}}$ $C _ {{Y}}$ $C_ {XY} = C_ {YX} ^ {T}$ $C _ {{YX}}$

${ displaystyle W ^ {T} = C_ {Y} ^ {- 1} C_ {YX}.}$

Таким образом, полное выражение для линейной оценки MMSE имеет вид

${ displaystyle { hat {x}} = C_ {XY} C_ {Y} ^ {- 1} (y - { bar {y}}) + { bar {x}}.}$

Поскольку оценка сама по себе является случайной величиной с , мы также можем получить ее автоковариацию как

${ displaystyle { begin {align} C _ { hat {X}} & = operatorname {E} {({ hat {x}} - { bar {x}}) ({ hat {x} } - { bar {x}}) ^ {T} } \ & = W operatorname {E} {(y - { bar {y}}) (y - { bar {y}}) ^ {T} } W ^ {T} \ & = WC_ {Y} W ^ {T}. \ конец {выровнен}}}$

Подставляя выражение для и , получаем
$W ^ {T}$

$C _ { hat {X}} = C_ {XY} C_ {Y} ^ {- 1} C_ {YX}.$

Наконец, ковариация линейной ошибки оценки MMSE будет тогда выражена как

${ displaystyle { begin {align} C_ {e} & = operatorname {E} {({ hat {x}} - x) ({ hat {x}} - x) ^ {T} } \ & = operatorname {E} {({ hat {x}} - x) (W (y - { bar {y}}) - (x - { bar {x}})) ^ { T} } \ & = underbrace { operatorname {E} {({ hat {x}} - x) (y - { bar {y}}) ^ {T} }} _ {0 } W ^ {T} - operatorname {E} {({ hat {x}} - x) (x - { bar {x}}) ^ {T} } \ & = - operatorname { E} {(W (y - { bar {y}}) - (x - { bar {x}})) (x - { bar {x}}) ^ {T} } \ & = operatorname {E} {(x - { bar {x}}) (x - { bar {x}}) ^ {T} } - W operatorname {E} {(y - { bar {y}}) (x - { bar {x}}) ^ {T} } \ & = C_ {X} -WC_ {YX}. end {align}}}$

Первый член в третьей строке равен нулю из-за принципа ортогональности. Поскольку мы можем переписать в терминах ковариационных матриц как
$W = C_ {XY} C_ {Y} ^ {- 1}$ $C_ {e}$

$C_ {e} = C_ {X} -C_ {XY} C_ {Y} ^ {- 1} C_ {YX}.$

Мы можем признать, что это то же самое, что и. Таким образом, минимальная среднеквадратичная ошибка, достижимая такой линейной оценкой, равна
$C_ {e} = C_ {X} -C _ { hat {X}}.$

${ displaystyle operatorname {LMMSE} = operatorname {tr} {C_ {e} }}$

Одномерный случай

Для особого случая, когда оба и являются скалярами, приведенные выше отношения упрощаются до
Икс

${ displaystyle { hat {x}} = { frac { sigma _ {XY}} { sigma _ {Y} ^ {2}}} (y - { bar {y}}) + { bar {x}} = rho { frac { sigma _ {X}} { sigma _ {Y}}} (y - { bar {y}}) + { bar {x}},}$

${ displaystyle sigma _ {e} ^ {2} = sigma _ {X} ^ {2} - { frac { sigma _ {XY} ^ {2}} { sigma _ {Y} ^ {2 }}} = (1- rho ^ {2}) sigma _ {X} ^ {2},}$

где — коэффициент корреляции Пирсона между и .
rho Икс

Вычисление

Стандартный метод, такой как исключение Гаусса, может использоваться для решения матричного уравнения для . Более стабильный в числовом отношении метод обеспечивается методом QR-разложения . Поскольку матрица является симметричной положительно определенной матрицей, ее можно решить в два раза быстрее с помощью разложения Холецкого , в то время как для больших разреженных систем метод сопряженных градиентов более эффективен. Рекурсия Левинсона — это быстрый метод, когда она также является матрицей Теплица . Это может произойти, когда это стационарный процесс в широком смысле . В таких стационарных случаях эти оценки также называют фильтрами Винера – Колмогорова .
$C_ {Y}$ $C_ {Y}$

Линейная оценка MMSE для процесса линейного наблюдения

Давайте далее смоделируем основной процесс наблюдения как линейный процесс:, где — известная матрица, а — вектор случайного шума со средним значением и кросс-ковариацией . Здесь искомое среднее и ковариационные матрицы будут
$C_ {XZ} = 0$

$C_ {Y} = AC_ {X} A ^ {T} + C_ {Z},$

$C_ {XY} = C_ {X} A ^ {T}.$

Таким образом, выражение для матрицы линейной оценки MMSE дополнительно изменяется на

$W = C_ {X} A ^ {T} (AC_ {X} A ^ {T} + C_ {Z}) ^ {- 1}.$

Подставляя все в выражение для , получаем

${ hat {x}} = C_ {X} A ^ {T} (AC_ {X} A ^ {T} + C_ {Z}) ^ {- 1} (yA { bar {x}}) + { bar {x}}.$

Наконец, ковариация ошибок равна

$C_ {e} = C_ {X} -C _ { hat {X}} = C_ {X} -C_ {X} A ^ {T} (AC_ {X} A ^ {T} + C_ {Z}) ^ {-1} AC_ {X}.$

Существенное различие между описанной выше задачей оценивания и проблемой наименьших квадратов и оценкой Гаусса-Маркова состоит в том, что количество наблюдений m (т. Е. Размерность ) не обязательно должно быть по крайней мере таким же большим, как количество неизвестных n (т. Е. размер ). Оценка для процесса линейного наблюдения существует при условии, что M матрицы с размерностью м матрица существует; это так для любого m, если, например, положительно определено. Физическая причина этого свойства заключается в том, что, поскольку теперь это случайная величина, можно сформировать значимую оценку (а именно ее среднее значение) даже без измерений. Каждое новое измерение просто предоставляет дополнительную информацию, которая может изменить нашу первоначальную оценку. Еще одна особенность этой оценки состоит в том, что при m < n погрешности измерения быть не должно. Таким образом, мы можем иметь , потому что, пока она положительно определена, оценка все еще существует. Наконец, этот метод может обрабатывать случаи, когда шум коррелирован.
Икс $(AC_ {X} A ^ {T} + C_ {Z}) ^ {- 1}$ $C_ {Z}$ Икс $C_ {Z} = 0$ $AC_ {X} A ^ {T}$

Альтернативная форма

Альтернативная форма выражения может быть получена с помощью матричного тождества

$C_ {X} A ^ {T} (AC_ {X} A ^ {T} + C_ {Z}) ^ {- 1} = (A ^ {T} C_ {Z} ^ {- 1} A + C_ { X} ^ {- 1}) ^ {- 1} A ^ {T} C_ {Z} ^ {- 1},$

что может быть установлено путем последующего умножения на и предварительного умножения на, чтобы получить
$(AC_ {X} A ^ {T} + C_ {Z})$ $(A ^ {T} C_ {Z} ^ {- 1} A + C_ {X} ^ {- 1}),$

$W = (A ^ {T} C_ {Z} ^ {- 1} A + C_ {X} ^ {- 1}) ^ {- 1} A ^ {T} C_ {Z} ^ {- 1},$

а также

$C_ {e} = (A ^ {T} C_ {Z} ^ {- 1} A + C_ {X} ^ {- 1}) ^ {- 1}.$

Поскольку теперь можно записать в терминах as , мы получаем упрощенное выражение для as
$C_ {e}$ $W = C_ {e} A ^ {T} C_ {Z} ^ {- 1}$

${ hat {x}} = C_ {e} A ^ {T} C_ {Z} ^ {- 1} (yA { bar {x}}) + { bar {x}}.$

В таком виде приведенное выше выражение легко сравнить с взвешенным методом наименьших квадратов и оценкой Гаусса – Маркова . В частности, когда , соответствующий бесконечной дисперсии априорной информации относительно , результат идентичен взвешенной линейной оценке по методу наименьших квадратов с использованием весовой матрицы. Более того, если компоненты не коррелированы и имеют одинаковую дисперсию, так что где — единичная матрица, то она идентична обычной оценке методом наименьших квадратов.
$C_ {X} ^ {- 1} = 0$ Икс $W = (A ^ {T} C_ {Z} ^ {- 1} A) ^ {- 1} A ^ {T} C_ {Z} ^ {- 1}$ $C_ {Z} ^ {- 1}$ $C_ {Z} = sigma ^ {2} I,$ $W = (A ^ {T} A) ^ {- 1} A ^ {T}$

Последовательная линейная оценка MMSE

Во многих приложениях реального времени данные наблюдений недоступны в виде единого пакета. Вместо этого наблюдения производятся последовательно. Наивное применение предыдущих формул заставило бы нас отбросить старую оценку и пересчитать новую оценку по мере поступления свежих данных. Но тогда мы теряем всю информацию, предоставленную старым наблюдением. Когда наблюдения являются скалярными величинами, один из возможных способов избежать таких повторных вычислений — сначала объединить всю последовательность наблюдений, а затем применить стандартную формулу оценки, как это сделано в Примере 2. Но это может быть очень утомительно, поскольку количество наблюдений увеличивается, поэтому увеличивается размер матриц, которые необходимо инвертировать и умножать. Также этот метод трудно распространить на случай векторных наблюдений. Другой подход к оценке на основе последовательных наблюдений — просто обновить старую оценку по мере появления дополнительных данных, что приведет к более точным оценкам. Таким образом, желателен рекурсивный метод, при котором новые измерения могут изменять старые оценки. В этих обсуждениях подразумевается предположение, что статистические свойства не меняются со временем. Другими словами, стационарен.
Икс Икс

Для последовательной оценки, если у нас есть оценка, основанная на измерениях, генерирующих пространство , то после получения другого набора измерений мы должны вычесть из этих измерений ту часть, которую можно было бы ожидать по результатам первых измерений. Другими словами, обновление должно быть основано на той части новых данных, которая ортогональна старым данным.
${ hat {x}} _ {1}$ $Г_ {1}$

Предположим, что оптимальная оценка была сформирована на основе прошлых измерений и что матрица ковариации ошибок равна . Для процессов линейного наблюдения наилучшей оценкой, основанной на прошлых наблюдениях и, следовательно, старой оценке , является . Вычитая из , получаем ошибку предсказания
${ hat {x}} _ {1}$ $C_ {e_ {1}}$ ${ hat {x}} _ {1}$ ${ hat {y}} = А { hat {x}} _ {1}$

${ tilde {y}} = y - { hat {y}} = A (x - { hat {x}} _ {1}) + z = Ae_ {1} + z$

Новая оценка, основанная на дополнительных данных, теперь

${ hat {x}} _ {2} = { hat {x}} _ {1} + C_ {X { tilde {Y}}} C _ { tilde {Y}} ^ {- 1} { тильда {y}},$

где — кросс-ковариация между и и — автоковариация $C_ {X { tilde {Y}}}$ Икс $C _ { tilde {Y}}$

Используя тот факт, что и , мы можем получить ковариационные матрицы в терминах ковариации ошибок как
$х = { hat {x}} _ {1} + e_ {1}$

$C _ { tilde {Y}} = AC_ {e_ {1}} A ^ {T} + C_ {Z},$

${ displaystyle C_ {X { tilde {Y}}} = operatorname {E} {({ hat {x}} _ {1} + e_ {1} - { bar {x}}) (Ae_ {1} + z) ^ {T} } = C_ {e_ {1}} A ^ {T}.}$

Собирая все вместе, мы получаем новую оценку как

${ hat {x}} _ {2} = { hat {x}} _ {1} + C_ {e_ {1}} A ^ {T} (AC_ {e_ {1}} A ^ {T} + C_ {Z}) ^ {- 1} (yA { hat {x}} _ {1}),$

и новая ковариация ошибок как

$C_ {e_ {2}} = C_ {e_ {1}} - C_ {e_ {1}} A ^ {T} (AC_ {e_ {1}} A ^ {T} + C_ {Z}) ^ {- 1} AC_ {e_ {1}}.$

Повторное использование двух вышеупомянутых уравнений по мере того, как становится доступным больше наблюдений, приводит к методам рекурсивной оценки. Более компактно выражения можно записать как

${ displaystyle K_ {t + 1} = C_ {e_ {t}} A ^ {T} (AC_ {e_ {t}} A ^ {T} + C_ {Z}) ^ {- 1},}$
${ displaystyle { hat {x}} _ {t + 1} = { hat {x}} _ {t} + K_ {t + 1} (yA { hat {x}} _ {t}), }$
${ displaystyle C_ {e_ {t + 1}} = (I-K_ {t + 1} A) C_ {e_ {t}}.}$

Матрицу часто называют коэффициентом усиления. Повторение этих трех шагов по мере того, как становится доступным больше данных, приводит к итерационному алгоритму оценки. Обобщение этой идеи на нестационарные случаи приводит к созданию фильтра Калмана . Три этапа обновления, описанные выше, действительно образуют этап обновления фильтра Калмана.

Частный случай: скалярные наблюдения

В качестве важного частного случая может быть получено простое в использовании рекурсивное выражение, когда в каждый t-й момент времени основной процесс линейного наблюдения выдает скаляр, такой что , где — известный вектор-столбец размером n на 1, значения которого могут изменяться со временем , представляет собой оцениваемый случайный вектор-столбец размером n на 1 и представляет собой скалярный шумовой член с дисперсией . После ( t +1) -го наблюдения прямое использование приведенных выше рекурсивных уравнений дает выражение для оценки как:
${ displaystyle y_ {t} = a_ {t} ^ {T} x_ {t} + z_ {t}}$ $x_ {t}$ $z_ {t}$ $sigma _ {t} ^ {2}$ ${ displaystyle { hat {x}} _ {t + 1}}$

${ displaystyle { hat {x}} _ {t + 1} = { hat {x}} _ {t} + k_ {t + 1} (y_ {t + 1} -a_ {t + 1} ^ {T} { hat {x}} _ {t})}$

где это новое наблюдение скалярного и коэффициент усиления является п его-1 вектор — столбца задается
${ displaystyle y_ {t + 1}}$ $к_ {т + 1}$

${ Displaystyle к_ {т + 1} = { гидроразрыва {(С_ {е}) _ {т} а_ {т + 1}} { sigma _ {т + 1} ^ {2} + а_ {т + 1 } ^ {T} (C_ {e}) _ {t} a_ {t + 1}}}.}$

Является п матрицы с размерностью п ошибка ковариационная матрица задается
${ displaystyle (C_ {e}) _ {t + 1}}$

${ displaystyle (C_ {e}) _ {t + 1} = (I-k_ {t + 1} a_ {t + 1} ^ {T}) (C_ {e}) _ {t}.}$

Здесь инверсия матрицы не требуется. Кроме того, коэффициент усиления зависит от нашей уверенности в новой выборке данных, измеренной по дисперсии шума, по сравнению с предыдущими данными. За начальные значения и принимаются среднее значение и ковариация априорной функции плотности вероятности .
$к_ {т + 1}$ $C_ {e}$ Икс

Альтернативные подходы: этот важный частный случай также привел к появлению многих других итерационных методов (или адаптивных фильтров ), таких как фильтр наименьших средних квадратов и рекурсивный фильтр наименьших квадратов , которые напрямую решают исходную проблему оптимизации MSE с использованием стохастических градиентных спусков . Однако, поскольку ошибку оценки нельзя непосредственно наблюдать, эти методы пытаются минимизировать среднеквадратичную ошибку прогноза . Например, в случае скалярных наблюдений у нас есть градиент. Таким образом, уравнение обновления для фильтра наименьших квадратов имеет вид
${ displaystyle mathrm {E} {{ tilde {y}} ^ {T} { tilde {y}} }}$ ${ displaystyle nabla _ { hat {x}} mathrm {E} {{ tilde {y}} ^ {2} } = - 2 mathrm {E} {{ tilde {y}} а }.}$

${ displaystyle { hat {x}} _ {t + 1} = { hat {x}} _ {t} + eta _ {t} mathrm {E} {{ tilde {y}} _ {t} a_ {t} },}$

где — размер скалярного шага, а математическое ожидание аппроксимируется мгновенным значением . Как мы видим, эти методы обходят необходимость в ковариационных матрицах.
${ displaystyle eta _ {t}}$ ${ displaystyle mathrm {E} {a_ {t} { tilde {y}} _ {t} } приблизительно a_ {t} { tilde {y}} _ {t}}$

Примеры

Пример 1

В качестве примера возьмем задачу линейного прогнозирования . Пусть линейная комбинация наблюдаемых скалярных случайных величин и будет использоваться для оценки другой будущей скалярной случайной величины, такой что . Если случайные величины являются действительными гауссовскими случайными величинами с нулевым средним и ее ковариационная матрица, заданная формулой
${ displaystyle z_ {1}, z_ {2}}$ ${ displaystyle z_ {3}}$ ${ displaystyle z_ {4}}$ ${ displaystyle { hat {z}} _ {4} = sum _ {i = 1} ^ {3} w_ {i} z_ {i}}$ ${ displaystyle z = [z_ {1}, z_ {2}, z_ {3}, z_ {4}] ^ {T}}$

${ displaystyle operatorname {cov} (Z) = operatorname {E} [zz ^ {T}] = left [{ begin {array} {cccc} 1 & 2 & 3 & 4 \ 2 & 5 & 8 & 9 \ 3 & 8 & 6 & 10 \ 4 & 9 & 10 & 15 end { массив}} right],}$

то наша задача — найти такие коэффициенты , чтобы получить оптимальную линейную оценку .
$w_ {i}$ ${ displaystyle { hat {z}} _ {4}}$

В терминах терминологии, разработанной в предыдущих разделах, для этой задачи у нас есть вектор наблюдения , матрица оценки как вектор-строка и оцениваемая переменная как скалярная величина. Матрица автокорреляции определяется как
${ Displaystyle у = [z_ {1}, z_ {2}, z_ {3}] ^ {T}}$ $Ш = [ш_ {1}, ш_ {2}, ш_ {3}]$ ${ displaystyle x = z_ {4}}$ $C_ {Y}$

${ Displaystyle C_ {Y} = left [{ begin {array} {ccc} E [z_ {1}, z_ {1}] & E [z_ {2}, z_ {1}] и E [z_ {3} , z_ {1}] \ E [z_ {1}, z_ {2}] & E [z_ {2}, z_ {2}] & E [z_ {3}, z_ {2}] \ E [z_ { 1}, z_ {3}] & E [z_ {2}, z_ {3}] & E [z_ {3}, z_ {3}] end {array}} right] = left [{ begin {array } {ccc} 1 & 2 & 3 \ 2 & 5 & 8 \ 3 & 8 & 6 end {array}} right].}$

Матрица взаимной корреляции определяется как
$C _ {{YX}}$

${ Displaystyle C_ {YX} = left [{ begin {array} {c} E [z_ {4}, z_ {1}] \ E [z_ {4}, z_ {2}] \ E [ z_ {4}, z_ {3}] end {array}} right] = left [{ begin {array} {c} 4 \ 9 \ 10 end {array}} right].}$

Теперь мы решаем уравнение путем инвертирования и предварительного умножения, чтобы получить
$C_ {Y} W ^ {T} = C_ {YX}$ $C_ {Y}$

${ displaystyle C_ {Y} ^ {- 1} C_ {YX} = left [{ begin {array} {ccc} 4.85 & -1.71 & -0.142 \ - 1.71 & 0.428 & 0.2857 \ - 0.142 & 0 .2857 & -0,1429 end {array}} right] left [{ begin {array} {c} 4 \ 9 \ 10 end {array}} right] = left [{ begin {array } {c} 2,57 \ - 0,142 \ 0,5714 end {array}} right] = W ^ {T}.}$

Итак, у нас есть и
в качестве оптимальных коэффициентов для . Тогда вычисление минимальной среднеквадратичной ошибки дает . Обратите внимание, что нет необходимости получать явную матрицу, обратную для вычисления значения . Матричное уравнение может быть решено с помощью хорошо известных методов, таких как метод исключения Гаусса. Более короткий нечисловой пример можно найти в принципе ортогональности .
${ displaystyle w_ {1} = 2,57,}$ ${ displaystyle w_ {2} = - 0,142,}$ $w _ {{3}} =. 5714$ ${ displaystyle { hat {z}} _ {4}}$ ${ displaystyle left Vert e right Vert _ { min} ^ {2} = operatorname {E} [z_ {4} z_ {4}] - WC_ {YX} = 15-WC_ {YX} = .2857}$ $C_ {Y}$

Пример 2

Рассмотрим вектор, сформированный путем наблюдений за фиксированным, но неизвестным скалярным параметром, нарушенным белым гауссовским шумом. Мы можем описать процесс линейным уравнением , где . В зависимости от контекста будет ясно, представляет ли он скаляр или вектор. Предположим, что мы знаем, что это диапазон, в который будет попадать значение. Мы можем смоделировать нашу неопределенность с помощью априорного равномерного распределения по интервалу и, таким образом, будем иметь дисперсию . Пусть вектор шума распределен нормально, как где — единичная матрица. Также и независимы и . Легко увидеть, что
Икс $1 = [1,1, ldots, 1] ^ {T}$ $[-x_ {0}, x_ {0}]$ Икс Икс $[-x_ {0}, x_ {0}]$ Икс $sigma _ {X} ^ {2} = x_ {0} ^ {2} / 3.$ $N (0, sigma _ {Z} ^ {2} I)$ Икс $C_ {XZ} = 0$

${ displaystyle { begin {align} & operatorname {E} {y } = 0, \ & C_ {Y} = operatorname {E} {yy ^ {T} } = sigma _ {X } ^ {2} 11 ^ {T} + sigma _ {Z} ^ {2} I, \ & C_ {XY} = operatorname {E} {xy ^ {T} } = sigma _ {X } ^ {2} 1 ^ {T}. End {выравнивается}}}$

Таким образом, линейная оценка MMSE имеет вид

${ begin {align} { hat {x}} & = C_ {XY} C_ {Y} ^ {- 1} y \ & = sigma _ {X} ^ {2} 1 ^ {T} ( sigma _ {X} ^ {2} 11 ^ {T} + sigma _ {Z} ^ {2} I) ^ {- 1} y. end {выровнено}}$

Мы можем упростить выражение, используя альтернативную форму для as

${ displaystyle { begin {align} { hat {x}} & = left (1 ^ {T} { frac {1} { sigma _ {Z} ^ {2}}} I1 + { frac { 1} { sigma _ {X} ^ {2}}} right) ^ {- 1} 1 ^ {T} { frac {1} { sigma _ {Z} ^ {2}}} Iy \ & = { frac {1} { sigma _ {Z} ^ {2}}} left ({ frac {N} { sigma _ {Z} ^ {2}}} + { frac {1} { sigma _ {X} ^ {2}}} right) ^ {- 1} 1 ^ {T} y \ & = { frac { sigma _ {X} ^ {2}} { sigma _ {X} ^ {2} + sigma _ {Z} ^ {2} / N}} { bar {y}}, end {align}}}$

где у нас есть $y = [y_ {1}, y_ {2}, ldots, y_ {N}] ^ {T}$ ${ bar {y}} = { frac {1 ^ {T} y} {N}} = { frac { sum _ {i = 1} ^ {N} y_ {i}} {N}}.$

Точно так же дисперсия оценки равна

$sigma _ { hat {X}} ^ {2} = C_ {XY} C_ {Y} ^ {- 1} C_ {YX} = { Big (} { frac { sigma _ {X} ^ { 2}} { sigma _ {X} ^ {2} + sigma _ {Z} ^ {2} / N}} { Big)} sigma _ {X} ^ {2}.$

Таким образом, MMSE этой линейной оценки

${ displaystyle operatorname {LMMSE} = sigma _ {X} ^ {2} - sigma _ { hat {X}} ^ {2} = { Big (} { frac { sigma _ {Z} ^ {2}} { sigma _ {X} ^ {2} + sigma _ {Z} ^ {2} / N}} { Big)} { frac { sigma _ {X} ^ {2} } {N}}.}$

Для очень больших мы видим, что оценка MMSE скаляра с равномерным априорным распределением может быть аппроксимирована средним арифметическим всех наблюдаемых данных.

${ displaystyle { hat {x}} = { frac {1} {N}} sum _ {i = 1} ^ {N} y_ {i},}$

в то время как дисперсия не будет зависеть от данных, и LMMSE оценки будет стремиться к нулю.
$sigma _ { hat {X}} ^ {2} = sigma _ {X} ^ {2},$

Однако оценка является неоптимальной, поскольку ограничена линейностью. Если бы случайная величина также была гауссовой, тогда оценка была бы оптимальной. Обратите внимание, что форма оценки останется неизменной, независимо от априорного распределения , до тех пор, пока среднее и дисперсия этих распределений одинаковы.
Икс Икс

Пример 3

Рассмотрим вариант приведенного выше примера: на выборах баллотируются два кандидата. Пусть доля голосов , что кандидат получит на день выборов будет Таким образом доля голосов, другой кандидат получит будет Примем как случайная величина с равномерным априорное распределение , так что его среднее значение и дисперсия Несколько За несколько недель до выборов два независимых опроса общественного мнения провели два независимых опроса общественного мнения. Первый опрос показал, что кандидат, скорее всего, наберет небольшую часть голосов. Так как некоторые ошибки всегда присутствует из — за конечной выборки и методологии частности опроса , принятого, первый опросчик объявляет свою оценку , чтобы иметь ошибку с нулевым средним и дисперсией Аналогично, второй опросчик объявляет свою оценку , чтобы быть с ошибкой с нулевым средним и дисперсией Обратите внимание, что, за исключением среднего значения и дисперсии ошибки, распределение ошибок не указано. Как следует объединить эти два опроса, чтобы получить прогноз голосования для данного кандидата?
1-х. Икс [0,1] $sigma _ {X} ^ {2} = 1/12.$ $г_ {1}$ $z_ {1}$ $sigma _ {Z_ {1}} ^ {2}.$ $г_ {2}$ $z_ {2}$ $sigma _ {Z_ {2}} ^ {2}.$

Как и в предыдущем примере, у нас есть

${ begin {выравнивается} y_ {1} & = x + z_ {1} \ y_ {2} & = x + z_ {2}. end {выравнивается}}$

Здесь оба файла . Таким образом, мы можем получить оценку LMMSE как линейную комбинацию и как
${ displaystyle operatorname {E} {y_ {1} } = operatorname {E} {y_ {2} } = { bar {x}} = 1/2}$ $г_ {1}$ $г_ {2}$

${ hat {x}} = w_ {1} (y_ {1} - { bar {x}}) + w_ {2} (y_ {2} - { bar {x}}) + { bar { Икс}},$

где веса даны как

${ begin {align} w_ {1} & = { frac {1 / sigma _ {Z_ {1}} ^ {2}} {1 / sigma _ {Z_ {1}} ^ {2} +1 / sigma _ {Z_ {2}} ^ {2} + 1 / sigma _ {X} ^ {2}}}, \ w_ {2} & = { frac {1 / sigma _ {Z_ { 2}} ^ {2}} {1 / sigma _ {Z_ {1}} ^ {2} + 1 / sigma _ {Z_ {2}} ^ {2} + 1 / sigma _ {X} ^ {2}}}. End {выравнивается}}$

Здесь, поскольку член знаменателя постоянен, опросу с меньшей ошибкой дается более высокий вес, чтобы предсказать результат выборов. Наконец, дисперсия прогноза определяется выражением

$sigma _ { hat {X}} ^ {2} = { frac {1 / sigma _ {Z_ {1}} ^ {2} + 1 / sigma _ {Z_ {2}} ^ {2} } {1 / sigma _ {Z_ {1}} ^ {2} + 1 / sigma _ {Z_ {2}} ^ {2} + 1 / sigma _ {X} ^ {2}}} sigma _ {X} ^ {2},$

что делает меньше, чем $sigma _ { hat {X}} ^ {2}$ $sigma _ {X} ^ {2}.$

В общем, если у нас есть опросчики, то где вес для i-го опроса определяется как ${ displaystyle { hat {x}} = sum _ {i = 1} ^ {N} w_ {i} (y_ {i} - { bar {x}}) + { bar {x}}, }$ ${ displaystyle w_ {i} = { frac {1 / sigma _ {Z_ {i}} ^ {2}} { sum _ {i = 1} ^ {N} 1 / sigma _ {Z_ {i }} ^ {2} + 1 / sigma _ {X} ^ {2}}}.}$

Пример 4

Предположим, что музыкант играет на инструменте, и звук улавливается двумя микрофонами, каждый из которых расположен в двух разных местах. Пусть ослабление звука из-за расстояния до каждого микрофона равно и , которые считаются известными константами. Аналогично, пусть шум на каждом микрофоне будет и , каждый с нулевым средним значением и дисперсией и соответственно. Позвольте обозначить звук, издаваемый музыкантом, который является случайной величиной с нулевым средним значением и дисперсией. Как следует объединить записанную музыку с этих двух микрофонов после синхронизации друг с другом?
$а_ {1}$ $а_ {2}$ $z_ {1}$ $z_ {2}$ $sigma _ {Z_ {1}} ^ {2}$ $sigma _ {Z_ {2}} ^ {2}$ Икс $sigma _ {X} ^ {2}.$

Мы можем смоделировать звук, получаемый каждым микрофоном, как

${ begin {align} y_ {1} & = a_ {1} x + z_ {1} \ y_ {2} & = a_ {2} x + z_ {2}. end {выравнивается}}$

Здесь оба файла . Таким образом, мы можем объединить два звука как
${ displaystyle operatorname {E} {y_ {1} } = operatorname {E} {y_ {2} } = 0}$

$y = w_ {1} y_ {1} + w_ {2} y_ {2}$

где i-й вес задается как

$w_ {i} = { frac {a_ {i} / sigma _ {Z_ {i}} ^ {2}} { sum _ {i} a_ {i} ^ {2} / sigma _ {Z_ { i}} ^ {2} + 1 / sigma _ {X} ^ {2}}}.$

Смотрите также

Байесовская оценка
Среднеквадратичная ошибка
Наименьших квадратов
Несмещенная оценка с минимальной дисперсией (MVUE)
Принцип ортогональности
Фильтр Винера
Фильтр Калмана
Линейное предсказание
Эквалайзер с нулевым форсированием

Примечания

^
«Среднеквадратичная ошибка (MSE)» . www.probabilitycourse.com . Дата обращения 9 мая 2017 .
^ Мун и Стирлинг.

дальнейшее чтение

Джонсон, Д. «Оценщики минимальной среднеквадратичной ошибки» . Связи. Архивировано из минимальных среднеквадратичных оценщиков ошибок оригинала 25 июля 2008 года . Проверено 8 января 2013 года .
Джейнс, ET (2003). Теория вероятностей: логика науки . Издательство Кембриджского университета. ISBN 978-0521592710.
Bibby, J .; Тутенбург, Х. (1977). Прогнозирование и улучшенная оценка в линейных моделях . Вайли. ISBN 9780471016564.
Lehmann, EL; Казелла, Г. (1998). «Глава 4». Теория точечного оценивания (2-е изд.). Springer. ISBN 0-387-98502-6.
Кей, С.М. (1993). Основы статистической обработки сигналов: теория оценивания . Прентис Холл. стр. 344 -350. ISBN 0-13-042268-1.
Люенбергер, Д.Г. (1969). «Глава 4, Оценка методом наименьших квадратов». Оптимизация методами векторного пространства (1-е изд.). Вайли. ISBN 978-0471181170.
Луна, ТЗ; Стирлинг, WC (2000). Математические методы и алгоритмы обработки сигналов (1-е изд.). Прентис Холл. ISBN 978-0201361865.
Ван Trees, HL (1968). Выявление, оценка и теория модуляции, часть I . Нью-Йорк: Вили. ISBN 0-471-09517-6.
Хайкин, СО (2013). Теория адаптивного фильтра (5-е изд.). Прентис Холл. ISBN 978-0132671453.

Источник

Тема
работы:

«Методы
оценки канала связи для системы передачи данных по технологии OFDM»

Часть
2

Выполнила:

студентка
группы 218

Ведяскина
Юлия

В предыдущей статье была обоснована необходимость в оценке систем передачи данных, использующих технологию OFDM. Данная
статья посвящена классификации и анализу методов оценки канала связи для OFDM-сигналов.

1.
Оценка канала на основе тренировочных символов

Тренировочные
символы могут быть использованы для оценки канала, и, как правило, обеспечивают
хорошую производительность. Тем не менее, при их использовании уменьшается
эффективность передачи, это связано с затратами дополнительного частотного ресурса при их
передаче. В случаях, когда использование тренировочных символов допустимо,
широко применяются методы наименьших квадратов и минимума среднеквадратичной
ошибки (minimum-mean-square-error -MMSE). Будем считать, что все поднесущие
ортогональны (нет межсимвольной интерференции). Тогда тренировочные символы для
N поднесущих могут быть представлены следующей диагональной матрицей:

где
X[k] обозначает
пилот-сигнал на k-ой
поднесущей. X задается диагональной матрицей, по
причине того, что все поднесущие ортогональны. Это возможно благодаря наличию у
тренировочных символов защитного интервала. Ортогональность поднесущих
позволяет рассматривать прохождение сигнала через частотно-селективный канал
как циклическую свёртку с его импульсной характеристикой и даёт возможность
легко переходить от временного представления сигналов к частотному. Учитывая,
что усиление канала H[k] для каждой
поднесущей k,
принятый сигнал Y[k] может быть
записан в виде:

где
H—
неизвестный вектор-столбец частотной характеристики канала, и Z — вектор-столбец аддитивного белого
гауссовского шума, определяемый как .

2. Метод наименьших квадратов

Метод Наименьших
квадратов (LS) –заключается в оценке канала H таким образом, чтобы минимизировать функцию
затрат:

где верхний индекс ^H означает эрмитово сопряжение.Установив производную функции H по отношению к нулю,

Мы имеем уравнение , которое дает
решение для оценки канала LS , а именно:

Обозначим каждый компонент оценки канала LS как .
Так как X
считается диагональю в связи с отсутствием МСИ, оценка канала H^{^}_LS может быть записана для каждой поднесущей как

Поскольку матрица X является диагональной, то алгоритм оценивания по методу наименьших
квадратов заключается в простом (поэлементном) делении в частотной области
принятой реализации тренировочного символа Y на известную неискаженную копию. Данный
метод непосредственно выдает необходимую оценку канала в частотной области, без
дополнительной обработки, пригодную для эквалайзинга информационных
OFDM-символов перед их когерентной демодуляцией. Среднеквадратичная
ошибка (MSE) этой оценки канала определяется как:

Благодаря своей простоте, метод LS широко используется для оценки канала.Полученные значения
оценки канала нужно интерполировать.

Представим реализацию данного метода в среде Matlab в виде отдельной функции

Листинг 1

function H_LS = LS_CE(Y,Xp,pilot_loc,Nfft,Nps,int_opt)

% Оценка канала методом наименьших квадратов

% Входные данные:

% Y = Принятый сигнал в частотной области

% Xp = Пилот сигнал

% pilot_loc = номера
поднесущих, на которых расположены пилоты

% Nfft = размерность БПФ

% Nps = расстояние между пилотами

% int_opt = тип интерполяции: ‘linear‘-линейная или %’spline‘-сплайн интерполяция

% Выходные данные:

% H_LS = оценка канала методом наименьших
квадратов

Np=Nfft/Nps; %число пилот-сигналов

k=1:Np;

LS_est(k) =
Y(pilot_loc(k))./Xp(k); % Оценка канала

x=[1: Nfft];

H_int = interp1(pilot_loc,LS_est, x, int_opt); % Интерполяция

H_LS=H_int;

end

3. ML Метод максимума
правдоподобия

Для устранения межсимвольной интерференции и
правильной работы OFDM — системы необходимо, чтобы длина импульсной
характеристики канала h(n) была меньше длины защитного интервала. Это позволяет
уменьшить число оцениваемых параметров. Очевидно, что уменьшение числа оцениваемых параметров
(за счет известной априори информации)
при сохранении объема обрабатываемых данных увеличит точность
оценивания. Для
вектора импульсной характеристики, имеющего вид при использовании матрицы преобразования Фурье размерности N × L принятый
сигнал можно записать, как:

При домножении данного
равенства слева на матрицу X^-1 можно получить явное выражение для оценки
вектора импульсной характеристики:

Данная оценка
импульсной переходной характеристики канала называется
оценкой по методу максимального правдоподобия (МП). Процесс оценивания по
методу МП сводится к умножению принятого сигнала на заранее вычисленную матрицу и требует априорного знания длины канала L.
Несложно
показать, что если положить длину L оцениваемой импульсной характеристики
канала равной длине OFDM-символа N, то матрица превратится в
единичную. Следовательно, оценки МП и LS будут совпадать.

Оценка канала методом
максимального правдоподобия (листинг 2) сводится к нахождению оценки импульсной
характеристики, вычисление которой связано с матрицей преобразования Фурье. На
основе полученной оценки ИХ находится требуемая оценка АЧХ канала связи.

Реализация данного метода в среде Matlab представлена в листинге 2

Листинг 2

function H_ML =
ML_CE(Y,Xp,pilot_loc,Nfft,Nps,h1,Nofdm)

%Оценка
канала методом максимального правдоподобия

% Входные
данные:

% Y = Принятый сигнал в частотной
области

% Xp = Пилот сигнал

% pilot_loc = номера поднесущих, на которых расположены

%пилоты

% Nfft = размерность БПФ

% Nofdm =
общее количество поднесущих в OFDM символе

% Nps = расстояние между пилотами

% h1
= Импульсная характеристика канала

% Выходные
данные:

% H_ML
= ML оценка канала

%length(h1)=4

Fsum=0;

for k=1:Nps

for
n=0:length(h1)-1

F=exp(-sqrt(-1)*2*pi*k*n/Nofdm); %Нахождение %матрицы
преобразования Фурье

Fsum=Fsum+F;

end

h=10*ctranspose(Fsum)*Y(pilot_loc(k))/(Xp(k)*ctranspose(Fsum)*Fsum);%Нахождение оценки ИХ

h2= fft(h,length(h1));

H1 = fft(h2,Nfft); %Нахождение
оценки АЧХ

H_ML=H1;

end

4. Метод минимума среднеквадратичной ошибки(MMSE)

Рассмотрим уравнение: . При использовании
матрицы весов W можно определить функцию , которая соответствует
оценке методом MMSE. Ссылаясь на рисунок 1, MMSE оценка канала H задается как

Рисунок 1 — Схема
MMSE метода

На следующем этапе оценки определяется лучшая (линейная) оценка с точки
зрения матрицы
весов W таким образом, чтобы среднеквадратичная
ошибка в вышеприведенном
уравнении сводилась к минимуму. Принцип ортогональности даёт то, что вектор ошибки оценки ортогонален , так что

где R_AB является кросс- корреляционной матрицей N*N матриц A и B .

, где — автокорреляционная матрица .

является кросс-корреляционной матрицей между
истинным вектором канала и временным вектором оценки канала в частотной
области. Таким образом, оценка MMSE
канала равна

Реализация данного метода в среде Matlab представлена в виде отдельной функции ( листинг 3)

Листинг 3

function H_MMSE = MMSE_CE(Y,Xp,pilot_loc,Nfft,Nps,h,SNR)

%function H_MMSE =
MMSE_CE(Y,Xp,pilot_loc,Nfft,Nps,h,ts,SNR)

% Оценка канала методом минимума среднеквадратичной ошибки

% Входные данные:

% Y = Принятый сигнал в частотной области

% Xp = Пилот сигнал

% pilot_loc = номера поднесущих, на
которых расположены

%пилоты

% N = размер FFT

% Nps = расстояние между пилотами

% h = Импульсная характеристика канала

% ts = Период дискретизации

% SNR =
ОСШ[dB]

% Выходные данные:

% H_MMSE = MMSE оценка канала

%H = fft(h,N);

j=sqrt(-1);

snr = 10^(SNR*0.1);% переводим ОСШ в разы

Np=Nfft/Nps;% вычисляем количество пилотов

k=1:Np;

H_tilde = Y(1,pilot_loc(k))./Xp(k); % Оценка методом наименьших квадратов

k=0:length(h)-1; %k_ts = k*ts;

hh = h*h’;

tmp = h.*conj(h).*k; %tmp = h.*conj(h).*k_ts;-матрица-строка

r = sum(tmp)/hh;

r2 = tmp*k.’/hh; %r2 = tmp*k_ts.’/hh;

tau_rms = sqrt(r2-r^2); %
rms delay

df = 1/Nfft; %1/(ts*Nfft);

j2pi_tau_df =
j*2*pi*tau_rms*df;

K1 = repmat([0:Nfft-1].’,1,Np);%расширяем матрицу-столбец 8 раз
вправо

K2 = repmat([0:Np-1],Nfft,1);% расширяем матрицу-строку 64 раза
вниз

rf =
1./(1+j2pi_tau_df*(K1-K2*Nps));

K3 =
repmat([0:Np-1].’,1,Np);

K4 = repmat([0:Np-1],Np,1);

rf2 =
1./(1+j2pi_tau_df*Nps*(K3-K4));

Rhp = rf;

Rpp = rf2 +
eye(length(H_tilde),length(H_tilde))/snr;

H_MMSE =
transpose(Rhp*inv(Rpp)*H_tilde.’);%
MMSE оценкаканала

end

Список использованной литературы

1.Манелис В.Б. Оценка и адаптация параметров сигналов подвижных телекоммуникационных систем:автореферат диссертации.Воронеж,2010.

2.Крейнделин В.Б, Колесников А.В. Оценивание
параметров канала в системах связи с
ортогональным частотным мультиплексированием:учебное пособие. Москва,2010.

3.Долгих Д.А. Алгоритмы и устройства обработки сигналов на основе ортогонального частотного мультиплексирования:диссертация. Томск,2008

4.»Методы оценки канала связи для системы передачи данных по технологии OFDM» Часть 1

Источник исходных кодов

1 MIMO-OFDM Wireless Communications with MATLAB.2010.-стр 194.

Источник

Motivation[edit]

Definition[edit]

Properties[edit]

Linear MMSE estimator[edit]

Univariate case[edit]

Computation[edit]

Linear MMSE estimator for linear observation process[edit]

Alternative form[edit]

Sequential linear MMSE estimation[edit]

Special case: scalar observations[edit]

[edit]

Examples[edit]

Example 1[edit]

Example 2[edit]

Example 3[edit]

Example 4[edit]

See also[edit]

Notes[edit]

Further reading[edit]

Motivation[edit]

Definition[edit]

Properties[edit]

Linear MMSE estimator[edit]

Univariate case[edit]

Computation[edit]

Linear MMSE estimator for linear observation process[edit]

Alternative form[edit]

Sequential linear MMSE estimation[edit]

Special case: scalar observations[edit]

Examples[edit]

Example 1[edit]

Example 2[edit]

Example 3[edit]

Example 4[edit]

See also[edit]

Notes[edit]

Further reading[edit]

Motivation[edit]

Definition[edit]

Properties[edit]

Linear MMSE estimator[edit]

Univariate case[edit]

Computation[edit]

Linear MMSE estimator for linear observation process[edit]

Alternative form[edit]

Sequential linear MMSE estimation[edit]

Special case: scalar observations[edit]

Examples[edit]

Example 1[edit]

Example 2[edit]

Example 3[edit]

Example 4[edit]

See also[edit]

Notes[edit]

Further reading[edit]

Спектральная плотность вычисляется по известной корреляционной функции при помощи формул.

Лекция 59

Учебный материал Расчеты по минимуму среднеквадратичной ошибки

Критерий — минимум — среднеквадратичная ошибка

Мотивация

Определение

Характеристики

Линейный оценщик MMSE

Одномерный случай

Вычисление

Линейная оценка MMSE для процесса линейного наблюдения

Альтернативная форма

Последовательная линейная оценка MMSE

Частный случай: скалярные наблюдения

Примеры

Пример 1

Пример 2

Пример 3

Пример 4

Смотрите также

Примечания

дальнейшее чтение