Рассчитать объем выборки при заданной точности ошибки - Не ошибается лишь тот, кто ничего не делает!

Необходимый
объем выборки
– объем
(численность) выборочной совокупности,
который с определенной вероятностью
обеспечит заданную точность результатов
наблюдения (при проектировании выборочного
наблюдения с заранее заданным значением
допустимой ошибки).

Формулы
для вычисления необходимого объема
выборки выводятся непосредственно из
формул предельных ошибок выборки путем
несложных преобразований, в результате
которых получаются следующие выражения
для необходимых вычислений.

При
повторном
отборе:

–
для средней
количественного признака
;

–
для доли
(альтернативного признака)
.

При
бесповторном
отборе:

–
для средней
количественного признака
;

–
для доли
(альтернативного признака)
.

Относительно
приведенных формул можно отметить
следующее:

а)
объем генеральной выборки в формулах
должен быть выражен только в
единицах, а
не в тысячах или в миллионах и т.п.
единицах

б)
данные формулы показывают, что с
увеличением предполагаемой ошибки
выборки необходимый объем выборки
значительно уменьшается;

в)
для достижения заданной точности
необходимая численность бесповторной
выборки (при
всех прочих равных условиях) меньше
необходимой численности выборки при
повторном
отборе;

г)
для расчета объема выборки необходимо
знать дисперсию, которая может быть
заимствована из проводимых ранее
обследований данной или аналогичной
совокупности, а при отсутствии таковых
необходимо провести специальное
выборочное обследование небольшого
объема;

д)
если дисперсия изучаемого альтернативного
признака (доли) неизвестна, то можно
использовать ее максимально возможное
значение:
=0.5(1
– 0.5) = 0.25.

е)
вычисленное по формулам значение n
всегда округляют в большую сторону
(например, если в результате вычисления
получен результат n
= 86.3 ед., то для достижения желаемого
результата должны быть охвачены 87 ед.).

4. Механическая (систематическая) выборка.

Механическая
(систематическая) выборка
состоит в том, что отбор единиц в
выборочную совокупность из генеральной,
разбитой по нейтральному признаку на
равные интервалы (группы), производится
таким образом, что из каждой такой группы
в выборку отбирается лишь одна единица
(чтобы избежать систематической ошибки,
отбираться должна единица, которая
находится в середине каждой группы).

Таким образом,
механическая выборка может быть применена
в тех случаях, когда генеральная
совокупность каким-либо способом
упорядочена, т.е. имеется определенная
последовательность в расположении
единиц, например, по алфавиту,
местоположению, в порядке возрастания
или убывания какого-либо показателя,
не связанного с изучаемым свойством, и
т.д. (табельные номера работников, списки
избирателей, телефонные номера
респондентов, номера домов и квартир).

После
упорядочения генеральной совокупности
заданное число отбирают механически,
через определенные равные интервалы
(интервал
отбора
определяется как частное от деления
100% на установленный процент
отбора;
процент
отбора
есть процентное выражение пропорции
отбора;
пропорция
отбора
определяется соотнесением объемов
выборочной и генеральной совокупностей;
например, если из совокупности в 500000
ед. предполагается отобрать 10000 ед., то
пропорция
отбора
составит 10000/500000 = 1/50 (проверяться будет
каждая 50-я единица), т.е. процент
отбора будет
равняться 2%, т.о., получим 2%-ю выборку).

Опасность
систематической ошибки при механической
выборке может появиться вследствие
случайного совпадения выбранного
интервала и циклических закономерностей
в расположении единиц генеральной
совокупности.

Замечание.
При достаточно большой совокупности
механический отбор по точности результатов
близок к собственно-случайному. Поэтому,
для определения средней ошибки
механической выборки, также необходимой
ее численности используются формулы
собственно-случайной бесповторной
выборки.

Источник

При
повторном
отборе:

–
для средней
количественного признака
;

–
для доли
(альтернативного признака)
.

При
бесповторном
отборе:

–
для средней
количественного признака
;

–
для доли
(альтернативного признака)
.

Относительно
приведенных формул можно отметить
следующее:

4. Механическая (систематическая) выборка.

Один из первых шагов при планировании количественного маркетингового исследования – определение объема выборки.

Калькулятор для расчета достаточного объема выборки
Калькулятор ошибки выборки для доли признака
Калькулятор ошибки выборки для среднего значения
Калькулятор значимости различий долей
Калькулятор значимости различий средних

1. Формула (даже две)

Бытует заблуждение, что чем больше объем генеральной совокупности, тем больше должен быть объем выборки маркетингового исследования. Это отчасти так, когда объем выборки сопоставим с размером генеральной совокупности. Например, при опросах организаций (B2B).

Если речь идет об исследовании жителей городов, то не важно, Москва это или Рязань – оптимальный объем выборки будет одинаков в обоих городах. Этот принцип следует из закона больших чисел и применим, только если выборка простая случайная.

На рис.1. пример выборки 15000 человек (!) при опросе в муниципальном районе. Возможно, от численности населения взяли 10%?
Размер выборки никогда не рассчитывается как процент от генеральной совокупности!

Рис.1. Размер выборки 15000 человек, как реальный пример некомпетентности (или хуже).

В таких случаях для расчета объема выборки используется следующая формула:

где

n – объем выборки,
Z – коэффициент, зависящий от выбранного исследователем доверительного уровня,
p – доля респондентов с наличием исследуемого признака,
q = 1 – p – доля респондентов, у которых исследуемый признак отсутствует,
∆ – предельная ошибка выборки.

Доверительный уровень – это вероятность того, что реальная доля лежит в границах полученного доверительного интервала: выборочная доля (p) ± ошибка выборки (Δ). Доверительный уровень устанавливает сам исследователь в соответствии со своими требованиями к надежности полученных результатов. Чаще всего применяются доверительные уровни, равные 0,95 или 0,99. В маркетинговых исследованиях, как правило, выбирается доверительный уровень, равный 0,95. При этом уровне коэффициент Z равен 1,96.

Значения p и q чаще всего неизвестны до проведения исследования и принимаются за 0,5. При этом значении размер ошибки выборки максимален.

Допустимая предельная ошибка выборки выбирается исследователем в зависимости от целей исследования. Считается, что для принятия бизнес-решений ошибка выборки должна быть не больше 4%. Этому значению соответствует объем выборки 500-600 респондентов. Для важных стратегических решений целесообразно минимизировать ошибку выборки.

Рассмотрим кривую зависимости ошибки выборки от ее объема (Рис.2).

Рис.2. Зависимость ошибки выборки от ее объема при 95% доверительном уровне

Как видно из диаграммы, с ростом объема выборки значение ошибки уменьшается все медленнее. Так, при объеме выборки 1500 человек предельная ошибка выборки составит ±2,5%, а при объеме 2000 человек – ±2,2%. То есть, при определенном объеме выборки дальнейшее его увеличение не дает значительного выигрыша в ее точности.

ШПАРГАЛКА (скопируйте ссылку или текст)

Подходы к решению проблемы:

Случай 1. Генеральная совокупность значительно больше выборки:

Случай 2. Генеральная совокупность сопоставима с объемом выборки: (см. раздел исследований B2B)

где
n – объем выборки,

N – объем генеральной совокупности,

Z – коэффициент, зависящий от выбранного исследователем доверительного уровня,

p – доля респондентов с наличием исследуемого признака,

q = 1 – p – доля респондентов, у которых исследуемый признак отсутствует, (значения p и q обычно принимаются за 0,5, поскольку точно неизвестны до проведения исследования)

∆ – предельная ошибка выборки.

Например,

рассчитаем ошибку выборки объемом 1000 человек при 95% доверительном уровне, если генеральная совокупность значительно больше объема выборки:

Ошибка выборки = 1,96 * КОРЕНЬ(0,5*0,5/1000) = 0,031 = ±3,1%

При расчете объема выборки следует также учитывать стоимость проведения исследования. Например, при цене за 1 анкету 200 рублей стоимость опроса 1000 человек составит 200 000 рублей, а опрос 1500 человек будет стоить 300 000 рублей. Увеличение затрат в полтора раза сократит ошибку выборки всего на 0,6%, что обычно неоправданно экономически.

2. Причины «раздувать» выборку

Анализ полученных данных обычно включает в себя и анализ подвыборок, объемы которых меньше основной выборки. Поэтому ошибка для выводов по подвыборкам больше, чем ошибка по выборке в целом. Если планируется анализ подгрупп / сегментов, объем выборки должен быть увеличен (в разумных пределах).

Рис.3 демонстрирует данную ситуацию. Если для исследования авиапассажиров используется выборка численностью 500 человек, то для выводов по выборке в целом ошибка составляет 4,4%, что вполне приемлемо для принятия бизнес-решений. Но при делении выборки на подгруппы в зависимости от цели поездки, выводы по каждой подгруппе уже недостаточно точны. Если мы захотим узнать какие-либо количественные характеристики группы пассажиров, совершающих бизнес-поездку и покупавших билет самостоятельно, ошибка полученных показателей будет достаточно велика. Даже увеличение выборки до 2000 человек не обеспечит приемлемой точности выводов по этой подвыборке.

Рис.3. Проектирование объема выборки с учетом необходимости анализа подвыборок

Другой пример – анализ подгрупп потребителей услуг торгово-развлекательного центра (Рис.4).

Рис.4. Потенциальный спрос на услуги торгово-развлекательного центра

При объеме выборки в 1000 человек выводы по каждой отдельной услуге (например, социально-демографический профиль, частота пользования, средний чек и др.) будут недостаточно точными для использования в бизнес планировании. Особенно это касается наименее популярных услуг (Таблица 1).

Таблица 1. Ошибка по подвыборкам потенциальных потребителей услуг торгово-развлекательного центра при выборке 1000 чел.

Чтобы ошибка в самой малочисленной подвыборке «Ночной клуб» составила меньше 5%, объем выборки исследования должен составлять около 4000 человек. Но это будет означать 4-кратное удорожание проекта. В таких случаях возможно компромиссное решение:

увеличение выборки до 1800 человек, что даст достаточную точность для 6 самых популярных видов услуг (от кинотеатра до парка аттракционов);
добор 200-300 пользователей менее популярных услуг с опросом по укороченной анкете (см. Таблицу 2).

Таблица 2. Разница в ошибке выборки по подвыборкам при разных объемах выборки.

При обсуждении с исследовательским агентством точности результатов планируемого исследования рекомендуется принимать во внимание бюджет, требования к точности результатов в целом по выборке и в разрезе подгрупп. Если бюджет не позволяет получить информацию с приемлемой ошибкой, лучше пока отложить проект (или поторговаться).

КАЛЬКУЛЯТОРЫ ДЛЯ РАСЧЕТА СТАТИСТИЧЕСКИХ ПОКАЗАТЕЛЕЙ И ОПРЕДЕЛЕНИЯ ЗНАЧИМОСТИ РАЗЛИЧИЙ:

КАЛЬКУЛЯТОР ДЛЯ РАСЧЕТА
ДОСТАТОЧНОГО ОБЪЁМА ВЫБОРКИ

Доверительный уровень:

Ошибка выборки (?):
%

Объём генеральной совокупности (N):
(можно пропустить, если больше 100 000)

РЕЗУЛЬТАТ

Один из важных вопросов, на которые нужно ответить при планировании исследования, — это оптимальный объем выборки. Слишком маленькая выборка не сможет обеспечить приемлемую точность результатов опроса, а слишком большая приведет к лишним расходам.

Онлайн-калькулятор объема выборки поможет рассчитать оптимальный размер выборки, исходя из максимально приемлемого для исследователя размера ошибки выборки.

Все дальнейшие формулы и расчеты относятся только к простой случайной выборке!
Формулы для других типов выборки отличаются.

Объем выборки рассчитывается по следующим формулам

1) если объем выборки значительно меньше генеральной совокупности:

(в данной формуле не используется показатель объема генеральной совокупности N)

2) если объем выборки сопоставим с объемом генеральной совокупности:

В приведенных формулах:

Z – коэффициент, зависящий от выбранного исследователем доверительного уровня. Доверительный уровень (или доверительная вероятность) – это вероятность того, что реальное значение измеряемого показателя (по всей генеральной совокупности) находится в пределах доверительного интервала, полученного в исследовании. Доверительный уровень выбирает сам исследователь, исходя из требований к надежности результатов исследования. В маркетинговых исследованиях обычно применяется 95%-й доверительный уровень. Ему соответствует значение Z = 1,96.

N – объем генеральной совокупности. Генеральная совокупность – это все люди, которые изучаются в исследовании (например, все покупатели соков и нектаров, постоянно проживающие в Москве и Московской области). Если генеральная совокупность значительно больше объема выборки (в сотни и более раз), ее размером можно пренебречь (формула 1).

p – доля респондентов с наличием исследуемого признака. Например, если 20% опрошенных заинтересованы в новом продукте, то p = 0,2.

q = 1 — p – доля респондентов, у которых исследуемый признак отсутствует. Значения p и q обычно принимаются за 0,5, поскольку точно неизвестны до проведения исследования. При этом значении размер ошибки выборки максимален. В данном калькуляторе значения p и q по умолчанию равны 0,5.

Δ– предельная ошибка выборки (для доли признака), приемлемая для исследователя. Считается, что для принятия бизнес-решений ошибка выборки не должна превышать 4%.

n – объем выборки. Объем выборки – это количество людей, которые опрашиваются в исследовании.

ПРИМЕР РАСЧЕТА ОБЪЕМА ВЫБОРКИ:

Допустим, мы хотим рассчитать объем выборки, предельная ошибка которой составит 4%. Мы принимаем доверительный уровень, равный 95%. Генеральная совокупность значительно больше выборки. Тогда объем выборки составит:

n = 1,96 * 1,96 * 0,5 * 0,5 / (0,04 * 0,04) = 600,25 ≈ 600 человек

Таким образом, если мы хотим получить результаты с предельной ошибкой 4%, нам нужно опросить 600 человек.

КАЛЬКУЛЯТОР ОШИБКИ ВЫБОРКИ ДЛЯ ДОЛИ ПРИЗНАКА

Доверительный уровень:

Объём выборки (n):

Объём генеральной совокупности (N):
(можно пропустить, если больше 100 000)

Доля признака (p):
%

РЕЗУЛЬТАТ

Зная объем выборки исследования, можно рассчитать значение ошибки выборки (или, другими словами, погрешность выборки).

Если бы в ходе исследования мы могли опросить абсолютно всех интересующих нас людей, мы могли бы быть на 100% уверены в полученном результате. Но ввиду экономической нецелесообразности сплошного опроса применяют выборочный подход, когда опрашивается только часть генеральной совокупности. Выборочный метод не гарантирует 100%-й точности измерения, но, тем не менее, вероятность ошибки может быть сведена к приемлемому минимуму.

Все дальнейшие формулы и расчеты относятся только к простой случайной выборке! Формулы для других типов выборки отличаются.

Ошибка выборки для доли признака рассчитывается по следующим формулам.

1) если объем выборки значительно меньше генеральной совокупности:

(в данной формуле не используется показатель объема генеральной совокупности N)

2) если объем выборки сопоставим с объемом генеральной совокупности:

В приведенных формулах:

N – объем генеральной совокупности. Генеральная совокупность – это все люди, которые изучаются в исследовании (например, все покупатели шоколада, постоянно проживающие в Москве). Если генеральная совокупность значительно больше объема выборки (в сотни и более раз), ее размером можно пренебречь (формула 1).

n – объем выборки. Объем выборки – это количество людей, которые опрашиваются в исследовании. Существует заблуждение, что чем больше объем генеральной совокупности, тем больше должен быть и объем выборки маркетингового исследования. Это отчасти так, когда объем выборки сопоставим с объемом генеральной совокупности. Например, при опросах организаций (B2B). Если же речь идет об исследовании жителей городов, то не важно, Москва это или Рязань – оптимальный объем выборки будет одинаков в обоих городах. Этот принцип следует из закона больших чисел и применим, только если выборка простая случайная. ВАЖНО: если предполагается сравнивать какие-то группы внутри города, например, жителей разных районов, то выборку следует рассчитывать для каждой такой группы.

Δ– предельная ошибка выборки.

Таким образом, зная объем выборки исследования, мы можем заранее оценить показатель ее ошибки.
А получив значение p, мы можем рассчитать доверительный интервал для доли признака: (p — ∆; p + ∆)

ПРИМЕР РАСЧЕТА ОШИБКИ ВЫБОРКИ ДЛЯ ДОЛИ ПРИЗНАКА:

Например, в ходе исследования были опрошены 1000 человек (n=1000). 20% из них заинтересовались новым продуктом (p=0,2). Рассчитаем показатель ошибки выборки по формуле 1 (выберем доверительный уровень, равный 95%):

∆ = 1,96 * КОРЕНЬ (0,2*0,8/1000) = 0,0248 = ±2,48%

Рассчитаем доверительный интервал:

(p — ∆; p + ∆) = (20% — 2,48%; 20% + 2,48%) = (17,52%; 22,48%)

Таким образом, с вероятностью 95% мы можем быть уверены, что реальная доля заинтересованных в новом продукте (среди всей генеральной совокупности) находится в пределах полученного диапазона (17,52%; 22,48%).

Если бы мы выбрали доверительный уровень, равный 99%, то для тех же значений p и n ошибка выборки была бы больше, а доверительный интервал – шире. Это логично, поскольку, если мы хотим быть более уверены в том, что наш доверительный интервал «накроет» реальное значение признака, то интервал должен быть более широким.

КАЛЬКУЛЯТОР ОШИБКИ ВЫБОРКИ ДЛЯ СРЕДНЕГО ЗНАЧЕНИЯ

Доверительный уровень:

Объём выборки (n):

Объём генеральной совокупности (N):
(можно пропустить, если больше 100 000)

Среднее значение (x̄):

Стандартное отклонение (s):

РЕЗУЛЬТАТ

Ошибка выборки для среднего значения рассчитывается по следующим формулам.

1) если объем выборки значительно меньше генеральной совокупности:

(в данной формуле не используется показатель объема генеральной совокупности N)

2) если объем выборки сопоставим с объемом генеральной совокупности:

В приведенных формулах:

N – объем генеральной совокупности. Генеральная совокупность – это все люди, которые изучаются в исследовании (например, все покупатели мороженого, постоянно проживающие в Москве). Если генеральная совокупность значительно больше объема выборки (в сотни и более раз), ее размером можно пренебречь (формула 1).

s — выборочное стандартное отклонение измеряемого показателя. В идеале на месте этого аргумента должно быть стандартное отклонение показателя в генеральной совокупности (σ), но так как обычно оно неизвестно, используется выборочное стандартное отклонение, рассчитываемое по следующей формуле:

где, x ̅ – среднее арифметическое показателя, x_i– значение i-го показателя, n – объем выборки

Δ– предельная ошибка выборки.

Зная среднее значение показателя x ̅ и ошибку ∆, мы можем рассчитать доверительный интервал для среднего значения:(x ̅ — ∆; x ̅ + ∆)

ПРИМЕР РАСЧЕТА ОШИБКИ ВЫБОРКИ ДЛЯ СРЕДНЕГО ЗНАЧЕНИЯ:

Например, в ходе исследования были опрошены 1000 человек (n=1000). Каждого из них попросили указать их примерную среднюю сумму покупки (средний чек) в известной сети магазинов. Среднее арифметическое всех ответов составило 500 руб. (x ̅=500), а стандартное отклонение составило 120 руб. (s=120). Рассчитаем показатель ошибки выборки по формуле 1 (выберем доверительный уровень, равный 95%):

∆ = 1,96 * 120 / КОРЕНЬ (1000) = 7,44

Рассчитаем доверительный интервал:

(x ̅ — ∆; x ̅ + ∆) = (500 – 7,44; 500 + 7,44) = (492,56; 507,44)

Таким образом, с вероятностью 95% мы можем быть уверены, что значение среднего чека по всей генеральной совокупности находится в границах полученного диапазона: от 492,56 руб. до 507,44 руб.

КАЛЬКУЛЯТОР ЗНАЧИМОСТИ РАЗЛИЧИЙ ДОЛЕЙ

Доверительный уровень:

	Измерение 1	Измерение 2
Доля признака (p):	%	%
Объём выборки (n):

РЕЗУЛЬТАТ

Если в прошлогоднем исследовании вашу марку вспомнили 10% респондентов, а в исследовании текущего года – 15%, не спешите открывать шампанское, пока не воспользуетесь нашим онлайн-калькулятором для оценки статистической значимости различий.

Сравнивая два разных значения, полученные на двух независимых выборках, исследователь должен убедиться, что различия статистически значимы, прежде чем делать выводы.

Как известно, выборочные исследования не обеспечивают 100%-й точности измерения (для этого пришлось бы опрашивать всю целевую аудиторию поголовно, что слишком дорого). Тем не менее, благодаря методам математической статистики, мы можем оценить точность результатов любого количественного исследования и учесть ее в выводах.

В приведенном здесь калькуляторе используется двухвыборочный z-тест для долей. Для его применения должны соблюдаться следующие условия:

Обе выборки – простые случайные
Выборки независимы (между значениями двух выборок нет закономерной связи)
Генеральные совокупности значительно больше выборок
Произведения n*p и n*(1-p), где n=размер выборки а p=доля признака, – не меньше 5.

В калькуляторе используются следующие вводные данные:

Доверительный уровень (или доверительная вероятность) – это вероятность того, что реальное значение измеряемого показателя (по всей генеральной совокупности) находится в пределах доверительного интервала, полученного в исследовании. Доверительный уровень выбирает сам исследователь, исходя из требований к надежности результатов исследования. В маркетинговых исследованиях обычно применяется 95%-й доверительный уровень.

Доля признака (p) – доля респондентов с наличием исследуемого признака. Например, если 20% опрошенных заинтересованы в новом продукте, то p = 0,2.

Объем выборки (n) – это количество людей, которые опрашиваются в исследовании.

Результат расчетов – вывод о статистической значимости или незначимости различий двух измерений.

КАЛЬКУЛЯТОР ЗНАЧИМОСТИ РАЗЛИЧИЙ СРЕДНИХ

Доверительный уровень:

	Измерение 1	Измерение 2
Среднее значение (x̄):
Стандартное отклонение (s):
Объём выборки (n):

РЕЗУЛЬТАТ

Допустим, выборочный опрос посетителей двух разных ТРЦ показал, что средний чек в одном из них равен 1000 рублей, а в другом – 1200 рублей. Следует ли отсюда вывод, что суммы среднего чека в двух этих ТРЦ действительно отличаются?

В приведенном здесь калькуляторе используется двухвыборочный z-тест для средних значений. Для его применения должны соблюдаться следующие условия:

Обе выборки – простые случайные
Выборки независимы (между значениями двух выборок нет закономерной связи)
Генеральные совокупности значительно больше выборок
Распределения значений в выборках близки к нормальному распределению.

В калькуляторе используются следующие вводные данные:

Среднее значение ( ̅x) – среднее арифметическое показателя.

Стандартное отклонение (s) – выборочное стандартное отклонение измеряемого показателя. В идеале на месте этого аргумента должно быть стандартное отклонение показателя в генеральной совокупности (σ), но так как обычно оно неизвестно, используется выборочное стандартное отклонение, рассчитываемое по следующей формуле:

где, x ̅ – среднее арифметическое показателя, x_i– значение i-го показателя, n – объем выборки

Объем выборки (n) – это количество людей, которые опрашиваются в исследовании.

Результат расчетов – вывод о статистической значимости или незначимости различий двух измерений.

Вы можете подписаться на уведомления о новых материалах СканМаркет

Sample size determination is the act of choosing the number of observations or replicates to include in a statistical sample. The sample size is an important feature of any empirical study in which the goal is to make inferences about a population from a sample. In practice, the sample size used in a study is usually determined based on the cost, time, or convenience of collecting the data, and the need for it to offer sufficient statistical power. In complicated studies there may be several different sample sizes: for example, in a stratified survey there would be different sizes for each stratum. In a census, data is sought for an entire population, hence the intended sample size is equal to the population. In experimental design, where a study may be divided into different treatment groups, there may be different sample sizes for each group.

Sample sizes may be chosen in several ways:

using experience – small samples, though sometimes unavoidable, can result in wide confidence intervals and risk of errors in statistical hypothesis testing.
using a target variance for an estimate to be derived from the sample eventually obtained, i.e., if a high precision is required (narrow confidence interval) this translates to a low target variance of the estimator.
using a target for the power of a statistical test to be applied once the sample is collected.
using a confidence level, i.e. the larger the required confidence level, the larger the sample size (given a constant precision requirement).

Introduction[edit]

Larger sample sizes generally lead to increased precision when estimating unknown parameters. For example, if we wish to know the proportion of a certain species of fish that is infected with a pathogen, we would generally have a more precise estimate of this proportion if we sampled and examined 200 rather than 100 fish. Several fundamental facts of mathematical statistics describe this phenomenon, including the law of large numbers and the central limit theorem.

In some situations, the increase in precision for larger sample sizes is minimal, or even non-existent. This can result from the presence of systematic errors or strong dependence in the data, or if the data follows a heavy-tailed distribution.

Sample sizes may be evaluated by the quality of the resulting estimates. For example, if a proportion is being estimated, one may wish to have the 95% confidence interval be less than 0.06 units wide. Alternatively, sample size may be assessed based on the power of a hypothesis test. For example, if we are comparing the support for a certain political candidate among women with the support for that candidate among men, we may wish to have 80% power to detect a difference in the support levels of 0.04 units.

Estimation[edit]

Estimation of a proportion[edit]

A relatively simple situation is estimation of a proportion. For example, we may wish to estimate the proportion of residents in a community who are at least 65 years old.

The estimator of a proportion is , where X is the number of ‘positive’ e.g., the number of people out of the n sampled people who are at least 65 years old). When the observations are independent, this estimator has a (scaled) binomial distribution (and is also the sample mean of data from a Bernoulli distribution). The maximum variance of this distribution is 0.25, which occurs when the true parameter is p = 0.5. In practice, since p is unknown, the maximum variance is often used for sample size assessments. If a reasonable estimate for p is known the quantity may be used in place of 0.25.

For sufficiently large n, the distribution of will be closely approximated by a normal distribution.^[1] Using this and the Wald method for the binomial distribution, yields a confidence interval of the form

${displaystyle left({widehat {p}}-Z{sqrt {frac {0.25}{n}}},quad {widehat {p}}+Z{sqrt {frac {0.25}{n}}}right)}$

where Z is a standard Z-score for the desired level of confidence (1.96 for a 95% confidence interval).

If we wish to have a confidence interval that is W units total in width (W/2 on each side of the sample mean), we will solve

${displaystyle Z{sqrt {frac {0.25}{n}}}=W/2}$

for n, yielding the sample size

sample sizes for binomial proportions given different confidence levels and margins of error

${displaystyle n={frac {Z^{2}}{W^{2}}}}$ , in the case of using .5 as the most conservative estimate of the proportion. (Note: W/2 = margin of error.)

In the figure below one can observe how sample sizes for binomial proportions change given different confidence levels and margins of error.

Otherwise, the formula would be ${displaystyle Z{sqrt {frac {p(1-p)}{n}}}=W/2}$ , which yields ${displaystyle n={frac {4Z^{2}p(1-p)}{W^{2}}}}$ .

For example, if we are interested in estimating the proportion of the US population who supports a particular presidential candidate, and we want the width of 95% confidence interval to be at most 2 percentage points (0.02), then we would need a sample size of (1.96)²/ (0.02²) = 9604. It is reasonable to use the 0.5 estimate for p in this case because the presidential races are often close to 50/50, and it is also prudent to use a conservative estimate. The margin of error in this case is 1 percentage point (half of 0.02).

The foregoing is commonly simplified

${displaystyle left({widehat {p}}-1.96{sqrt {frac {0.25}{n}}},{widehat {p}}+1.96{sqrt {frac {0.25}{n}}}right)}$

will form a 95% confidence interval for the true proportion. If this interval needs to be no more than W units wide, the equation

${displaystyle 4{sqrt {frac {0.25}{n}}}=W}$

can be solved for n, yielding^[2]^[3] n = 4/W² = 1/B² where B is the error bound on the estimate, i.e., the estimate is usually given as within ± B. For B = 10% one requires n = 100, for B = 5% one needs n = 400, for B = 3% the requirement approximates to n = 1000, while for B = 1% a sample size of n = 10000 is required. These numbers are quoted often in news reports of opinion polls and other sample surveys. However, the results reported may not be the exact value as numbers are preferably rounded up. Knowing that the value of the n is the minimum number of sample points needed to acquire the desired result, the number of respondents then must lie on or above the minimum.

Estimation of a mean[edit]

When estimating the population mean using an independent and identically distributed (iid) sample of size n, where each data value has variance σ², the standard error of the sample mean is:

${displaystyle {frac {sigma }{sqrt {n}}}.}$

This expression describes quantitatively how the estimate becomes more precise as the sample size increases. Using the central limit theorem to justify approximating the sample mean with a normal distribution yields a confidence interval of the form

${displaystyle left({bar {x}}-{frac {Zsigma }{sqrt {n}}},quad {bar {x}}+{frac {Zsigma }{sqrt {n}}}right)}$

where Z is a standard Z-score for the desired level of confidence (1.96 for a 95% confidence interval).

If we wish to have a confidence interval that is W units total in width (W/2 being the margin of error on each side of the sample mean), we would solve

${displaystyle {frac {Zsigma }{sqrt {n}}}=W/2}$

for n, yielding the sample size

${displaystyle n={frac {4Z^{2}sigma ^{2}}{W^{2}}}}$ .

For example, if we are interested in estimating the amount by which a drug lowers a subject’s blood pressure with a 95% confidence interval that is six units wide, and we know that the standard deviation of blood pressure in the population is 15, then the required sample size is ${displaystyle {frac {4times 1.96^{2}times 15^{2}}{6^{2}}}=96.04}$ , which would be rounded up to 97, because the obtained value is the minimum sample size, and sample sizes must be integers and must lie on or above the calculated minimum.

Required sample sizes for hypothesis tests [edit]

A common problem faced by statisticians is calculating the sample size required to yield a certain power for a test, given a predetermined Type I error rate α. As follows, this can be estimated by pre-determined tables for certain values, by Mead’s resource equation, or, more generally, by the cumulative distribution function:

Tables[edit]

^[4] Power	Cohen’s d
0.2	0.5	0.8
0.25	84	14	6
0.50	193	32	13
0.60	246	40	16
0.70	310	50	20
0.80	393	64	26
0.90	526	85	34
0.95	651	105	42
0.99	920	148	58

The table shown on the right can be used in a two-sample t-test to estimate the sample sizes of an experimental group and a control group that are of equal size, that is, the total number of individuals in the trial is twice that of the number given, and the desired significance level is 0.05.^[4] The parameters used are:

The desired statistical power of the trial, shown in column to the left.
Cohen’s d (= effect size), which is the expected difference between the means of the target values between the experimental group and the control group, divided by the expected standard deviation.

Mead’s resource equation[edit]

Mead’s resource equation is often used for estimating sample sizes of laboratory animals, as well as in many other laboratory experiments. It may not be as accurate as using other methods in estimating sample size, but gives a hint of what is the appropriate sample size where parameters such as expected standard deviations or expected differences in values between groups are unknown or very hard to estimate.^[5]

All the parameters in the equation are in fact the degrees of freedom of the number of their concepts, and hence, their numbers are subtracted by 1 before insertion into the equation.

The equation is:^[5]

where:

N is the total number of individuals or units in the study (minus 1)
B is the blocking component, representing environmental effects allowed for in the design (minus 1)
T is the treatment component, corresponding to the number of treatment groups (including control group) being used, or the number of questions being asked (minus 1)
E is the degrees of freedom of the error component and should be somewhere between 10 and 20.

For example, if a study using laboratory animals is planned with four treatment groups (T=3), with eight animals per group, making 32 animals total (N=31), without any further stratification (B=0), then E would equal 28, which is above the cutoff of 20, indicating that sample size may be a bit too large, and six animals per group might be more appropriate.^[6]

Cumulative distribution function[edit]

Let X_i, i = 1, 2, …, n be independent observations taken from a normal distribution with unknown mean μ and known variance σ². Consider two hypotheses, a null hypothesis:

and an alternative hypothesis:

for some ‘smallest significant difference’ μ^* > 0. This is the smallest value for which we care about observing a difference. Now, if we wish to (1) reject H₀ with a probability of at least 1 − β when
H_a is true (i.e. a power of 1 − β), and (2) reject H₀ with probability α when H₀ is true, then we need the following:

If z_α is the upper α percentage point of the standard normal distribution, then

${displaystyle Pr({bar {x}}>z_{alpha }sigma /{sqrt {n}}mid H_{0})=alpha }$

and so

‘Reject H₀ if our sample average (

) is more than $z_{alpha}sigma/sqrt{n}$ ‘

is a decision rule which satisfies (2). (This is a 1-tailed test.)

Now we wish for this to happen with a probability at least 1 − β when
H_a is true. In this case, our sample average will come from Normal distribution with mean μ^*. Therefore, we require

${displaystyle Pr({bar {x}}>z_{alpha }sigma /{sqrt {n}}mid H_{a})geq 1-beta }$

Through careful manipulation, this can be shown (see Statistical power Example) to happen when

${displaystyle ngeq left({frac {z_{alpha }+Phi ^{-1}(1-beta )}{mu ^{*}/sigma }}right)^{2}}$

where Phi is the normal cumulative distribution function.

Stratified sample size[edit]

With more complicated sampling techniques, such as stratified sampling, the sample can often be split up into sub-samples. Typically, if there are H such sub-samples (from H different strata) then each of them will have a sample size n_h, h = 1, 2, …, H. These n_h must conform to the rule that n₁ + n₂ + … + n_H = n (i.e., that the total sample size is given by the sum of the sub-sample sizes). Selecting these n_h optimally can be done in various ways, using (for example) Neyman’s optimal allocation.

There are many reasons to use stratified sampling:^[7] to decrease variances of sample estimates, to use partly non-random methods, or to study strata individually. A useful, partly non-random method would be to sample individuals where easily accessible, but, where not, sample clusters to save travel costs.^[8]

In general, for H strata, a weighted sample mean is

$bar x_w = sum_{h=1}^H W_h bar x_h,$

with

${displaystyle operatorname {Var} ({bar {x}}_{w})=sum _{h=1}^{H}W_{h}^{2}operatorname {Var} ({bar {x}}_{h}).}$

^[9]

The weights, W_h , frequently, but not always, represent the proportions of the population elements in the strata, and . For a fixed sample size, that is ${displaystyle n=sum n_{h}}$ ,

${displaystyle operatorname {Var} ({bar {x}}_{w})=sum _{h=1}^{H}W_{h}^{2}operatorname {Var} ({bar {x}}_{h})left({frac {1}{n_{h}}}-{frac {1}{N_{h}}}right),}$

^[10]

which can be made a minimum if the sampling rate within each stratum is made
proportional to the standard deviation within each stratum: , where ${displaystyle S_{h}={sqrt {operatorname {Var} ({bar {x}}_{h})}}}$ and is a constant such that $sum{n_h} = n$ .

An «optimum allocation» is reached when the sampling rates within the strata
are made directly proportional to the standard deviations within the strata
and inversely proportional to the square root of the sampling cost per element
within the strata, C_h :

$frac{n_h}{N_h} = frac{K S_h}{sqrt{C_h}},$ ^[11]

where is a constant such that $sum{n_h} = n$ , or, more generally, when

$n_h = frac{K' W_h S_h}{sqrt{C_h}}.$ ^[12]

Qualitative research[edit]

Sample size determination in qualitative studies takes a different approach. It is generally a subjective judgment, taken as the research proceeds.^[13] One approach is to continue to include further participants or material until saturation is reached.^[14] The number needed to reach saturation has been investigated empirically.^[15]^[16]^[17]^[18]

There is a paucity of reliable guidance on estimating sample sizes before starting the research, with a range of suggestions given.^[16]^[19]^[20]^[21] A tool akin to a quantitative power calculation, based on the negative binomial distribution, has been suggested for thematic analysis.^[22]^[21]

References[edit]

^ NIST/SEMATECH, «7.2.4.2. Sample sizes required», e-Handbook of Statistical Methods.
^ «Inference for Regression». utdallas.edu.
^ «Confidence Interval for a Proportion» Archived 2011-08-23 at the Wayback Machine
^ ^a ^b Chapter 13, page 215, in: Kenny, David A. (1987). Statistics for the social and behavioral sciences. Boston: Little, Brown. ISBN 978-0-316-48915-7.
^ ^a ^b Kirkwood, James; Robert Hubrecht (2010). The UFAW Handbook on the Care and Management of Laboratory and Other Research Animals. Wiley-Blackwell. p. 29. ISBN 978-1-4051-7523-4. online Page 29
^ Isogenic.info > Resource equation by Michael FW Festing. Updated Sept. 2006
^ Kish (1965, Section 3.1)
^ Kish (1965), p. 148.
^ Kish (1965), p. 78.
^ Kish (1965), p. 81.
^ Kish (1965), p. 93.
^ Kish (1965), p. 94.
^ Sandelowski, M. (1995). Sample size in qualitative research. Research in Nursing & Health, 18, 179–183
^ Glaser, B. (1965). The constant comparative method of qualitative analysis. Social Problems, 12, 436–445
^ Francis, Jill J.; Johnston, Marie; Robertson, Clare; Glidewell, Liz; Entwistle, Vikki; Eccles, Martin P.; Grimshaw, Jeremy M. (2010). «What is an adequate sample size? Operationalising data saturation for theory-based interview studies» (PDF). Psychology & Health. 25 (10): 1229–1245. doi:10.1080/08870440903194015. PMID 20204937. S2CID 28152749.
^ ^a ^b Guest, Greg; Bunce, Arwen; Johnson, Laura (2006). «How Many Interviews Are Enough?». Field Methods. 18: 59–82. doi:10.1177/1525822X05279903. S2CID 62237589.
^ Wright, Adam; Maloney, Francine L.; Feblowitz, Joshua C. (2011). «Clinician attitudes toward and use of electronic problem lists: A thematic analysis». BMC Medical Informatics and Decision Making. 11: 36. doi:10.1186/1472-6947-11-36. PMC 3120635. PMID 21612639.
^ Mason, Mark (2010). «Sample Size and Saturation in PhD Studies Using Qualitative Interviews». Forum Qualitative Sozialforschung. 11 (3): 8.
^ Emmel, N. (2013). Sampling and choosing cases in qualitative research: A realist approach. London: Sage.
^ Onwuegbuzie, Anthony J.; Leech, Nancy L. (2007). «A Call for Qualitative Power Analyses». Quality & Quantity. 41: 105–121. doi:10.1007/s11135-005-1098-1. S2CID 62179911.
^ ^a ^b Fugard AJB; Potts HWW (10 February 2015). «Supporting thinking on sample sizes for thematic analyses: A quantitative tool» (PDF). International Journal of Social Research Methodology. 18 (6): 669–684. doi:10.1080/13645579.2015.1005453. S2CID 59047474.
^ Galvin R (2015). How many interviews are enough? Do qualitative interviews in building energy consumption research produce reliable knowledge? Journal of Building Engineering, 1:2–12.

General references[edit]

Bartlett, J. E., II; Kotrlik, J. W.; Higgins, C. (2001). «Organizational research: Determining appropriate sample size for survey research» (PDF). Information Technology, Learning, and Performance Journal. 19 (1): 43–50.
Kish, L. (1965). Survey Sampling. Wiley. ISBN 978-0-471-48900-9.
Smith, Scott (8 April 2013). «Determining Sample Size: How to Ensure You Get the Correct Sample Size». Qualtrics. Retrieved 19 September 2018.
Israel, Glenn D. (1992). «Determining Sample Size». University of Florida, PEOD-6. Retrieved 29 June 2019.
Rens van de Schoot, Milica Miočević (eds.). 2020. Small Sample Size Solutions (Open Access): A Guide for Applied Researchers and Practitioners. Routledge.

External links[edit]

A MATLAB script implementing Cochran’s sample size formula

Sample sizes may be chosen in several ways:

using experience – small samples, though sometimes unavoidable, can result in wide confidence intervals and risk of errors in statistical hypothesis testing.
using a target variance for an estimate to be derived from the sample eventually obtained, i.e., if a high precision is required (narrow confidence interval) this translates to a low target variance of the estimator.
using a target for the power of a statistical test to be applied once the sample is collected.
using a confidence level, i.e. the larger the required confidence level, the larger the sample size (given a constant precision requirement).

Introduction[edit]