Статистическая ошибка измерения

Статистическая погрешность — это та неопределенность в оценке истинного значения измеряемой величины, которая возникает из-за того, что несколько повторных измерений тем же самым инструментом дали различающиеся результаты. Возникает она, как правило, из-за того, что результаты измерения в микромире не фиксированы, а вероятностны. Она тесно связана с объемом статистики: обычно чем больше данных, тем меньше статистическая погрешность и тем точнее результат измерения. Среди всех типов погрешностей она, пожалуй, самая безобидная: понятно, как ее считать, и понятно, как с ней бороться.

Статистическая погрешность: чуть подробнее

Предположим, что ваш детектор может очень точно измерить какую-то величину в каждом конкретном столкновении. Это может быть энергия или импульс какой-то родившейся частицы, или дискретная величина (например, сколько мюонов родилось в событии), или вообще элементарный ответ «да» или «нет» на какой-то вопрос (например, родилась ли в этом событии хоть одна частица с импульсом больше 100 ГэВ).

Это конкретное число, полученное в одном столкновении, почти бессмысленно. Скажем, взяли вы одно событие и выяснили, что в нём хиггсовский бозон не родился. Никакой научной пользы от такого единичного факта нет. Законы микромира вероятностны, и если вы организуете абсолютно такое же столкновение протонов, то картина рождения частиц вовсе не обязана повторяться, она может оказаться совсем другой. Если бозон не родился сейчас, не родился в следующем столкновении, то это еще ничего не говорит о том, может ли он родиться вообще и как это соотносится с теоретическими предсказаниями. Для того, чтобы получить какое-то осмысленное число в экспериментах с элементарными частицами, надо повторить эксперимент много раз и набрать статистику одинаковых столкновений. Всё свое рабочее время коллайдеры именно этим и занимаются, они накапливают статистику, которую потом будут обрабатывать экспериментаторы.

В каждом конкретном столкновении результат измерения может быть разный. Наберем статистику столкновений и усредним по ней результат. Этот средний результат, конечно, тоже не фиксирован, он может меняться в зависимости от статистики, но он будет намного стабильнее, он не будет так сильно прыгать от одной статистической выборки к другой. У него тоже есть некая неопределенность (в статистическом анализе она так и называется: «неопределенность среднего»), но она обычно небольшая. Вот эта величина и называется статистической погрешностью измерения.

Итак, когда экспериментаторы предъявляют измерение какой-то величины, то они сообщают результат усреднения этой величины по всей набранной статистике столкновений и сопровождают его статистической погрешностью. Именно такие средние значения имеют физический смысл, только их может предсказывать теория.

Есть, конечно, и иной источник статистической погрешности: недостаточный контроль условий эксперимента при повторном измерении. Если в физике частиц этот источник можно попытаться устранить, по крайней мере, в принципе, то в других разделах естественных наук он выходит на первый план; например, в медицинских исследованиях каждый человек отличается от другого по большому числу параметров.

Как считать статистическую погрешность?

Существует теория расчета статистической погрешности, в которую мы, конечно, вдаваться не будем. Но есть одно очень простое правило, которое легко запомнить и которое срабатывает почти всегда. Пусть у вас есть статистическая выборка из N столкновений и в ней присутствует n событий какого-то определенного типа. Тогда в другой статистической выборке из N событий, набранной в тех же условиях, можно ожидать примерно n ± √n таких событий. Поделив это на N, мы получим среднюю вероятность встретить такое событие и погрешность среднего: n/N ± √n/N. Оценка истинного значения вероятности такого типа события примерно соответствует этому выражению.

Сразу же, впрочем, подчеркнем, что эта простая оценка начинает сильно «врать», когда количество событий очень мало. В науке обсчета маленькой статистики есть много дополнительных тонкостей.

Более серьезное (но умеренно краткое) введение в методы статистической обработки данных в применении к экспериментам на LHC см. в лекциях arXiv.1307.2487.

Именно поэтому эксперименты в физике элементарных частиц стараются оптимизировать не только по энергии, но и по светимости. Ведь чем больше светимость, тем больше столкновений будет произведено — значит, тем больше будет статистическая выборка. И уже это позволит сделать измерения более точными — даже без каких-либо улучшений в эксперименте. Примерная зависимость тут такая: если вы увеличите статистику в k раз, то относительные статистические погрешности уменьшатся примерно в √k раз.

Этот пример — некая симуляция того, как могло бы происходить измерение массы ρ-мезона свыше полувека назад, на заре адронной физики, если бы он был вначале обнаружен в процессе e⁺e^– → π⁺π^–. А теперь перенесемся в наше время.

Сейчас этот процесс изучен вдоль и поперек, статистика набрана огромная (миллионы событий), а значит, и масса ρ-мезона сейчас определена несравнимо точнее. На рис. 3 показано современное состояние дел в этой области масс. Если ранние эксперименты еще имели какие-то существенные погрешности, то сейчас они практически неразличимы глазом. Огромная статистика позволила не только измерить массу (примерно равна 775 МэВ с точностью в десятые доли МэВ), но и заметить очень странную форму этого пика. Такая форма получается потому, что практически в том же месте на шкале масс находится и другой мезон, ω(782), который «вмешивается» в процесс и искажает форму ρ-мезонного пика.

Другой, гораздо более реальный пример влияния статистики на процесс поиска и изучения хиггсовского бозона обсуждался в новости Анимации показывают, как в данных LHC зарождался хиггсовский сигнал.

Обработка результатов эксперимента в
биохимии, заключается в применении
методов математической статистики для
оценки значений различных физических
величин характеризующих изучаемые
объекты, и (или) зависимости этих величин
от одного либо нескольких изменяемых
внешних условий (например, температура,
давление, тип катализатора). Обработка
результатов эксперимента включает, как
правило, также и определение точности
данных, полученных при его проведении.

Результаты измерений обычно содержат
случайные ошибки, поэтому статистические
оценки выполняют только при наличии
серии измерений – так называемой
случайной выборки. Для оценки измеряемого
значения какой-либо величины или
исследуемой зависимости ее от внешних
условий по данным выборки рассчитывают
выборочные параметры, характеризующие
статистическое распределение ошибок
в проведенном эксперименте. Такое
распределение, как правило, подчиняется
нормальному закону, конкретный вид
которого определяют два параметра –
выборочное среднее и выборочная
дисперсия.

Точность получаемых оценок устанавливают
с помощью статистических критериев
Стьюдента (t-критерий), Фишера (F-критерий)
и т. д. При этом количественными мерами
служат вероятность β и уровень значимости
статистического критерия р=1-β. При
заданных требованиях на точность
результатов измерений доверительная
вероятность (уровень значимости)
определяет надежность полученной
оценки.

Методы статистической обработки
результатов измерений позволяют оценить
систематические и случайные погрешности
измерений.

1. Погрешности вычислительного эксперимента

Погрешность является неотъемлемой
частью любого измерения.

Погрешность– количественная
характеристика неопределенности, или
неоднозначности, результата измерения.
Ее оценивают, исходя из всей информации,
накопленной при подготовке и выполнении
измерений. Эту информацию обрабатывают
для совместного одновременного
определения окончательного результата
измерения и его погрешности. Окончательный
результат нельзя расценивать как
«истинное значение» измеряемой физической
величины, так как в этом нет смысла из-за
наличия погрешности. Погрешность можно
разделить на несколько классов.

1. Промахи
или грубые погрешности.

Такие погрешности возникают вследствие
неисправности измерительных приборов
или ошибок в эксперименте, сделанных
по невнимательности. Естественно
стремление избегать промахи, но если
стало понятно, что они все-таки допущены,
соответствующие им результаты измерений
просто отбрасывают.

2. Систематические
погрешности.

Приборная погрешность. Систематическая
погрешность, присутствующая в результатах
измерений, выполненных с помощью любого
измерительного прибора, как правило,
неизвестна и не может быть учтена. Ее
можно оценить только путем сравнения
показаний прибора с показаниями другого,
более точного. Иногда результаты
специально проведенного сравнения
приводят в паспорте прибора, однако
чаще указывают максимально возможную
погрешность для приборов данного типа.

Модельная
погрешность. В основу любого
экспериментального исследования,
сопряженного с измерениями, заложена
модель. Модель содержит наиболее полное
физическое описание исследуемого
объекта или процесса, которое позволяет
составить его математическое описание,
а именно, набор математических соотношений,
включающих в себя физические величины.
Они выступают в роли переменных и
параметров, которыми могут быть величины,
непосредственно измеряемые в ходе
эксперимента, и величины, значения
которых требуется определить, исходя
из всей совокупности экспериментальных
данных. В итоге модель представляет
собой математическую конструкцию,
базирующуюся на физических представлениях.

Только
на основании эксперимента можно сделать
обоснованное заключение о приемлемости
описания полученных данных с помощью
использованной теоретической модели.
Зафиксированные несоответствия
построенной модели, фактически – теории,
и эксперимента, служат важнейшим стимулом
развития науки, требуя уточнять
представления о природе окружающего
физического мира. В свое время именно
отчетливо зарегистрированные
несоответствия привели к созданию
теории равновесного теплового излучения,
квантовой механики, теории относительности.

С
другой стороны, неверно построенная
модель, в которой не нашли отражения
какие-то важные процессы или факторы,
влияющие на результат измерений, также
приводит к несоответствиям. Как следствие,
измеряемые в эксперименте величины,
вычисляемые по полученным из модели
рабочим формулам, содержат погрешности,
которые носят название модельных
погрешностей. В эксперименте лабораторную
установку стараются поместить в такие
условия, которые были бы максимально
близки к требованиям модели. Однако
полностью исключить несоответствие
модели и экспериментальной ситуации
удается далеко не всегда.

К
разряду модельных может быть отнесена
погрешность взвешивания на рычажных
весах. Согласно закону Архимеда вес
тела и гирь уменьшается из-за действия
выталкивающей силы воздуха. Напомним,
что 1 куб.м. воздуха весит примерно 10 Н.
Для того, чтобы правильно найти массу
взвешиваемого тела, опять же, нужно
ввести поправки на потерю веса гирями
и самим телом. Вместе с тем, как и при
любых измерениях, здесь необходим
разумный подход. Например, при работе
с грубыми техническими весами бессмысленно
вводить поправку на Архимедову силу,
так как она окажется много меньше
погрешностей, вносимых в результат
измерения гирями и самими весами.

Следует
особо отметить, что модельные погрешности
являются наиболее сложными для анализа
и учета.

3. Случайные
погрешности.

Из
самого названия следует, что при повторных
измерениях погрешности этого типа
демонстрируют свою случайную природу.
Возникают они вследствие множества
причин, совместное воздействие которых
на каждое отдельное измерение невозможно
учесть или заранее установить. Такими
причинами могут оказаться, к примеру,
незначительные колебания температуры
различных деталей и узлов установки,
скачки напряжения, вибрации, турбулентные
движения воздуха, трение в механизмах,
ошибки считывания показаний приборов
и т.п. Единственно возможный способ
объективного учета случайных погрешностей
состоит в определении их статистических
закономерностей, проявляющихся в
результатах многократных измерений.
Рассчитанные статистические оценки
вносят в окончательный результат
измерения.

Для
оценки погрешности используют различные
числовые характеристики: пусть x₁,
х₂, … х_nобозначаютnрезультатов измерений
величины, истинное значение которойX.

1. Среднее значение находится по формуле:

Это
среднее значение принимают за приближенное
(наиболее вероятное) значение измеряемой
величины.

1. Дисперсия – среднеквадратичная
   погрешность. Рассеяние результатов
   измерений относительно среднего
   значения принято характеризовать
   дисперсией ΔS²:

1. Стандартное отклонение:
   

2. Абсолютная погрешность результата –
   доверительный интервал– Δх –
   характеризует попадание случайной
   величины в доверительный интервал с
   доверительной вероятностью α:

,

где t_a–
коэффициент Стьюдента зависит от
доверительной вероятности и числа
проведенных экспериментов. В математической
статистике коэффициент Стьюдента
вычислен для различных значений, и его
можно найти в таблице.

Для n=5 (число измерений) и α=0.95, коэффициент
Стьюдента — 2.570

Обычно для расчетов доверительного
интервала пользуются значениями α=0,95;
иногда достаточно α=0,90, но при ответственных
измерениях требуется более высокая
надежность (α= 0,99).

1. Относительная погрешность:
   

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

• #
• #
• #
• #
• #
• #
• #
• #
• #
• #
• #

From Wikipedia, the free encyclopedia

In statistics and optimization, errors and residuals are two closely related and easily confused measures of the deviation of an observed value of an element of a statistical sample from its «true value» (not necessarily observable). The error of an observation is the deviation of the observed value from the true value of a quantity of interest (for example, a population mean). The residual is the difference between the observed value and the estimated value of the quantity of interest (for example, a sample mean). The distinction is most important in regression analysis, where the concepts are sometimes called the regression errors and regression residuals and where they lead to the concept of studentized residuals.
In econometrics, «errors» are also called disturbances.^[1][2][3]

Introduction[edit]

Suppose there is a series of observations from a univariate distribution and we want to estimate the mean of that distribution (the so-called location model). In this case, the errors are the deviations of the observations from the population mean, while the residuals are the deviations of the observations from the sample mean.

A statistical error (or disturbance) is the amount by which an observation differs from its expected value, the latter being based on the whole population from which the statistical unit was chosen randomly. For example, if the mean height in a population of 21-year-old men is 1.75 meters, and one randomly chosen man is 1.80 meters tall, then the «error» is 0.05 meters; if the randomly chosen man is 1.70 meters tall, then the «error» is −0.05 meters. The expected value, being the mean of the entire population, is typically unobservable, and hence the statistical error cannot be observed either.

A residual (or fitting deviation), on the other hand, is an observable estimate of the unobservable statistical error. Consider the previous example with men’s heights and suppose we have a random sample of n people. The sample mean could serve as a good estimator of the population mean. Then we have:

• The difference between the height of each man in the sample and the unobservable population mean is a statistical error, whereas
• The difference between the height of each man in the sample and the observable sample mean is a residual.

Note that, because of the definition of the sample mean, the sum of the residuals within a random sample is necessarily zero, and thus the residuals are necessarily not independent. The statistical errors, on the other hand, are independent, and their sum within the random sample is almost surely not zero.

One can standardize statistical errors (especially of a normal distribution) in a z-score (or «standard score»), and standardize residuals in a t-statistic, or more generally studentized residuals.

In univariate distributions[edit]

If we assume a normally distributed population with mean μ and standard deviation σ, and choose individuals independently, then we have

and the sample mean

is a random variable distributed such that:

The statistical errors are then

with expected values of zero,^[4] whereas the residuals are

The sum of squares of the statistical errors, divided by σ², has a chi-squared distribution with n degrees of freedom:

However, this quantity is not observable as the population mean is unknown. The sum of squares of the residuals, on the other hand, is observable. The quotient of that sum by σ² has a chi-squared distribution with only n − 1 degrees of freedom:

This difference between n and n − 1 degrees of freedom results in Bessel’s correction for the estimation of sample variance of a population with unknown mean and unknown variance. No correction is necessary if the population mean is known.

[edit]

It is remarkable that the sum of squares of the residuals and the sample mean can be shown to be independent of each other, using, e.g. Basu’s theorem. That fact, and the normal and chi-squared distributions given above form the basis of calculations involving the t-statistic:

where represents the errors, represents the sample standard deviation for a sample of size n, and unknown σ, and the denominator term accounts for the standard deviation of the errors according to:^[5]

The probability distributions of the numerator and the denominator separately depend on the value of the unobservable population standard deviation σ, but σ appears in both the numerator and the denominator and cancels. That is fortunate because it means that even though we do not know σ, we know the probability distribution of this quotient: it has a Student’s t-distribution with n − 1 degrees of freedom. We can therefore use this quotient to find a confidence interval for μ. This t-statistic can be interpreted as «the number of standard errors away from the regression line.»^[6]

Regressions[edit]

In regression analysis, the distinction between errors and residuals is subtle and important, and leads to the concept of studentized residuals. Given an unobservable function that relates the independent variable to the dependent variable – say, a line – the deviations of the dependent variable observations from this function are the unobservable errors. If one runs a regression on some data, then the deviations of the dependent variable observations from the fitted function are the residuals. If the linear model is applicable, a scatterplot of residuals plotted against the independent variable should be random about zero with no trend to the residuals.^[5] If the data exhibit a trend, the regression model is likely incorrect; for example, the true function may be a quadratic or higher order polynomial. If they are random, or have no trend, but «fan out» — they exhibit a phenomenon called heteroscedasticity. If all of the residuals are equal, or do not fan out, they exhibit homoscedasticity.

However, a terminological difference arises in the expression mean squared error (MSE). The mean squared error of a regression is a number computed from the sum of squares of the computed residuals, and not of the unobservable errors. If that sum of squares is divided by n, the number of observations, the result is the mean of the squared residuals. Since this is a biased estimate of the variance of the unobserved errors, the bias is removed by dividing the sum of the squared residuals by df = n − p − 1, instead of n, where df is the number of degrees of freedom (n minus the number of parameters (excluding the intercept) p being estimated — 1). This forms an unbiased estimate of the variance of the unobserved errors, and is called the mean squared error.^[7]

Another method to calculate the mean square of error when analyzing the variance of linear regression using a technique like that used in ANOVA (they are the same because ANOVA is a type of regression), the sum of squares of the residuals (aka sum of squares of the error) is divided by the degrees of freedom (where the degrees of freedom equal n − p − 1, where p is the number of parameters estimated in the model (one for each variable in the regression equation, not including the intercept)). One can then also calculate the mean square of the model by dividing the sum of squares of the model minus the degrees of freedom, which is just the number of parameters. Then the F value can be calculated by dividing the mean square of the model by the mean square of the error, and we can then determine significance (which is why you want the mean squares to begin with.).^[8]

However, because of the behavior of the process of regression, the distributions of residuals at different data points (of the input variable) may vary even if the errors themselves are identically distributed. Concretely, in a linear regression where the errors are identically distributed, the variability of residuals of inputs in the middle of the domain will be higher than the variability of residuals at the ends of the domain:^[9] linear regressions fit endpoints better than the middle. This is also reflected in the influence functions of various data points on the regression coefficients: endpoints have more influence.

Thus to compare residuals at different inputs, one needs to adjust the residuals by the expected variability of residuals, which is called studentizing. This is particularly important in the case of detecting outliers, where the case in question is somehow different from the others in a dataset. For example, a large residual may be expected in the middle of the domain, but considered an outlier at the end of the domain.

Other uses of the word «error» in statistics[edit]

The use of the term «error» as discussed in the sections above is in the sense of a deviation of a value from a hypothetical unobserved value. At least two other uses also occur in statistics, both referring to observable prediction errors:

The mean squared error (MSE) refers to the amount by which the values predicted by an estimator differ from the quantities being estimated (typically outside the sample from which the model was estimated).
The root mean square error (RMSE) is the square-root of MSE.
The sum of squares of errors (SSE) is the MSE multiplied by the sample size.

Sum of squares of residuals (SSR) is the sum of the squares of the deviations of the actual values from the predicted values, within the sample used for estimation. This is the basis for the least squares estimate, where the regression coefficients are chosen such that the SSR is minimal (i.e. its derivative is zero).

Likewise, the sum of absolute errors (SAE) is the sum of the absolute values of the residuals, which is minimized in the least absolute deviations approach to regression.

The mean error (ME) is the bias.
The mean residual (MR) is always zero for least-squares estimators.

See also[edit]

References[edit]

• Cook, R. Dennis; Weisberg, Sanford (1982). Residuals and Influence in Regression (Repr. ed.). New York: Chapman and Hall. ISBN 041224280X. Retrieved 23 February 2013.
• Cox, David R.; Snell, E. Joyce (1968). «A general definition of residuals». Journal of the Royal Statistical Society, Series B. 30 (2): 248–275. JSTOR 2984505.
• Weisberg, Sanford (1985). Applied Linear Regression (2nd ed.). New York: Wiley. ISBN 9780471879572. Retrieved 23 February 2013.
• «Errors, theory of», Encyclopedia of Mathematics, EMS Press, 2001 [1994]

External links[edit]

• Media related to Errors and residuals at Wikimedia Commons