Фикбук вероятность ошибки

Вероятность, чтоб её! (слэш)

Это произведение никто не публиковал подробнее

  • Подписка
  • Прочитано
  • Рекомендовано
  • Скачано
  • Не читать
  • Прочитать позже
  • Жду окончания
  • Понравилось
  • Не понравилось
  • Заметка
  • В коллекции

Персонажи:

альфа!Чон Чонгук/омега!Ким Тэхён

Жанр:

PWP, Драма, Омегаверс, Первый раз

Метки:

Hurt/Comfort, Анальный секс, Незащищенный секс, От незнакомцев к возлюбленным, Попытка изнасилования, Счастливый финал, Течка / Гон

Предупреждения:

Мужская беременность, Нецензурная лексика, Секс с использованием посторонних предметов

Опубликован:

24.05.2019 — 05.04.2020

Чонгук хочет попробовать то, что называют сцепкой. Так хочется что бубенцы звенят. В свои 23 года он желает узнать то о чём так восхищённо и трепетно говорят старшие друзья. Альфа находит милого, позднего цветочка Тэхёна и решает попробовать с ним, ведь вероятность того, чтобы он залетел после узла близка к нулю. Везение на стороне Чонгука, не так ли?

Последнее обновление: 27 октября 2022.

Если за прошедшее время изменился статус или размер произведения, нажмите обновить

Добавить в коллекцию


Произведение еще никто не рекомендовал

Опубликовано

Обновление

Статус цикла

Конкурс

Размер, тыс. зн.

Длительность

Книги в жанре Фанфик


Найдено 4 472
книги


478 703 зн., 11,97 а.л.

Свободный доступ

Буддисты верят, что душа человека может переродиться кем угодно от букашки до барашка.
Герой этой книги переродился дубом. Он бы об этом никогда не узнал, ведь деревья не способны мыслить. Но он стал волшебным деревом, что многое меняет. Например, пробуждение памяти прошлой жизни и особые способности в новом теле…


292 637 зн., 7,32 а.л.

Свободный доступ

Попаданец в мир «Мир 2138 года», где проживает обычный японский… офисный планктон по имени Судзуки Сатору.


327 943 зн., 8,20 а.л.

Свободный доступ

Фанф на вселенную Наруто.
ГГ попаданец — не ждал, не гадал, лишь мечтал, но попал, да еще и в историю, что не особо внимательно и смотрел. Разве что с родословной свезло.
Рью — новый член клана Нара, по батюшке Узумаки и выпало ему родиться далеко не в начале известного сюжета, а аж за три с лишним десятка лет и две мировые войны до.
И выкручивайся как хочешь.


259 338 зн., 6,48 а.л.

Свободный доступ


3 461 810 зн., 86,55 а.л.

Свободный доступ

Гранд-адмирал Траун продолжает реализацию своего плана.
Операция «Алый рассвет» близится к своей кульминации.
И то, что происходит в галактике, не устраивает ровным счетом никого.
Настало время перестать церемониться с противником, который не желает слушать предупреждения.
Нас ждет развязка, исход которой удивит всех без исключения.


240 990 зн., 6,02 а.л.

Свободный доступ

Фанфик из серии «Мы же вас предупреждали или не хочу ждать, сам допишу».
Если автор не хочет, мы его заставим. Не сможем заставить, сами напишем. Не желающие — не читайте.


203 753 зн., 5,09 а.л.

Свободный доступ

Вечны проблемы Хогвартса с преподавателями. То они одержимы призраками, то абсолютно профнепригодны, а то и вовсе являются оборотнем… Но что если хотя бы раз школе повезёт?


90 265 зн., 2,26 а.л.

Свободный доступ

Перед лицом главного героя встают новые препятствия. Сможет ли их преодолеть?
Продолжение «Древние боги нового мира».


106 074 зн., 2,65 а.л.

Свободный доступ

Фанфик на Чужую Шкурку Кощиенко Андрея Геннадьевича. Часть вторая. Действие происходит в параллельной вселенной. Все совпадения имён и событий — случайны. Автор иллюстраций — Иван Тихий. Очень красиво!

Ссылка на первую книгу. https://author.today/work/163676


183 069 зн., 4,58 а.л.

Свободный доступ

Моро, ведьмак из Школы Грифона. Преданный собственным отцом, погибший после серии экспериментов… Только вот порой смерть одного даёт возможность зацепиться за жизнь другому, чужаку в этом мире. Мире, который чем-то знаком, смутная память о котором таится глубоко в закоулках пострадавшего при воплощении в чужом теле разума. Но и случайных обрывков хватает, чтобы понять главное – реальность, в которой ты оказался, стоит на пороге кровавых войн и серьёзных изменений. А коли так, то стоит попробовать найти своё место, пройти новыми для себя тропами, доступными лишь тем, кого с давних пор называют ведьмаками.


258 572 зн., 6,46 а.л.

Свободный доступ

9 307

Однажды я ударился головой и вспомнил прошлую жизнь! Там я был жителем какого-то очень странного и отстойного мира без магии, где однако же было шоу RWBY и там был парень по имени Жан, очень похожий на меня в этой жизни…

Вспомнив к своему леденящему кровь ужасу сюжет всех сезонов RWBY я понял, что такого допускать ни в коем случае нельзя и я, Жан Арк, просто обязан изменить историю моего нового мира всеми доступными мне способами…


425 291 зн., 10,63 а.л.

Свободный доступ

Очередной сферический попаданец в Поттера в вакууме.
TODO: исправить на что-то пафосное


507 542 зн., 12,69 а.л.

Свободный доступ

Попаданец ОРР (обычный русский работяга) осознавая в какой опасный мир попал решает стать звездой мафи… то-есть самым зубастым в этом болоте. Казалось бы мир сказка- хочешь гарем собирай, хочешь магию изучай, хочешь сиди себе да не напрягайся. Но зная о теневой стороне мира ГГ решает получить силу чтобы говорить с сильными мира сего на равных. Но вот получится у него или нет кто знает…


521 553 зн., 13,04 а.л.

Свободный доступ

Он провел тысячелетие в состоянии псевдожизни, сумев вырваться из плена. Путешествуя по миру без материальной оболочки, он наткнулся на поселение Листа, где бушевало пламя сражения между шиноби и демоном. Он не знал кто они, Он не ведали ни о шиноби, ни о биджу. Его жизнь была за гранью новой эры. Он тот, кто древнее самих Воинов Тени, Он старше Мудреца Шести Путей, Он тот, кто пришел из другого мира. Он не человек и не Бог, не Демон и не Дух. Он тот кто наблюдает, тот кто изучает и тот кто наслаждается вкусом этой жизни. Сила шиноби заинтересовала его, а бездыханное тело нового джинчурики манило фоном чакры и доступным сосудом. Пусть он не сможет стать «шиноби», пусть это тело будет полностью реструктурировано и Он не будет человеком, но это нисколько не помешает наблюдать и участвовать в этой жизни. Не новое приключение, а лишь продолжение старого похождения.


336 898 зн., 8,42 а.л.

Свободный доступ

Парень попадает в серию Т-800 модель 101 Арни, Скайнет отправляет его в прошлое в 1984 год не зная что у платформы есть душа.
«Внимание читатели это БЭТА версия, так что не пишите про грамматические и орфографические ошибки»


2 791 220 зн., 69,78 а.л.

Свободный доступ

Волшебник потерявший всё, спустя долгие десятилетия, ценой своей жизни, наконец, смог отомстить тому, кто забрал у него всё и превратил его жизнь в ад. Но вместо встречи с родными на том свете, он очутился в другом мире, мире, где так же присутствует магия, в теле шестнадцатилетнего юноши, который так же остался один…


589 116 зн., 14,73 а.л.

Свободный доступ

Глупо умерев, попал в мир магии, оказавшись в проклятом теле предателя крови. Эта история не о второстепенной роли Рональда Уизли, глупого мальца и не нужного сына. Нет! Это о том, как я оказался в его теле и делаю всё чтобы возвысить Род. Несогласные идут за борт.


498 030 зн., 12,45 а.л.

Свободный доступ

Второй Отряд – или же Омницукидо. Надежда и опора Общества Душ в сфере тайных операций. Секретные, отлично подготовленные агенты… Прошляпившие всё что только можно и нельзя. — Как? Почему? — История умалчивает. Но что будет, если к ним вдруг попадёт реальный спецагент? Правительственный палач, Ноль. Первый, из ряда взращённых с малолетства?..

Подавляющее преимущество «Блича», из «Катаны» только Зеро.


510 456 зн., 12,76 а.л.

Свободный доступ

Глупо умерев, попал в мир магии, оказавшись в проклятом теле предателя крови. Эта история не о второстепенной роли Рональда Уизли, глупого мальца и не нужного сына. Нет! Это о том, как я оказался в его теле и делаю всё чтобы возвысить Род. Несогласные идут за борт.


507 341 зн., 12,68 а.л.

Свободный доступ

Попадун в МКВ (отрокъ, что выжилъ) с наличием мозга(возможно) и логического мышления(вероятно). Знаком с каноном и фаноном, целью своей ставит познание мира и развитие себя любимого.


404 817 зн., 10,12 а.л.

Свободный доступ

***
В магической Британии есть один знаменательный день победы, именуемый как «в ту ночь» или «день падения Тёмного Лорда». Именно в этот день, сам того не ведая, один мальчик изменил судьбу целой страны. Для многих этот день — праздник, для одного мальчика — трагедия. Но забудем про событие восемьдесят первого года, ведь незадолго до восхождения Тёмного Лорда, в Англии, а может в мире, прошла ещё одна судьбоносная ночь. Аарон Морвид не должен был выжить в ту ночь, но вопреки своей судьбе он встретил рассвет, тем самым, возможно, изменив судьбу целого мира…
***
ОМП+АУ+МС+Преканон
Пэйринг: ОМП/сёстры Блэк


85 265 зн., 2,13 а.л.

Свободный доступ

История о попаданце в самую топовую тян в Коносубе. Герой знает канон, и настроен на приключения.


800 375 зн., 20,01 а.л.

Свободный доступ

Фанфик на аниме 2001-го года «Воин-волшебник Луи»

Весёлый раздолбай, баламут и тунеядец. Приёмный сын архимага, сам маг-недоучка и просто милый парень всё-таки угробил себя. Вот только помереть ему было не суждено, так как он уже был обещан богом войны одной из своих истовых послушниц в качестве «Героя». Увы, с мёртвыми есть небольшая загвоздка. Возвращаются немного не те, кто уходил. Хорошо это или плохо. Фанф на аниме 2001-го года Воин-волшебник Луи. Наверное, понравится тем, кто читал «А это точно детский мультик?».


672 330 зн., 16,81 а.л.

Свободный доступ

Знаете, перерождаясь в другом мире в ходе моего эксперимента я ожидал много. Но к жизни в мире с кучей убийц и маньяков из аниме про одержимого демоном пацана который должен спасти мир меня жизнь не готовила.


751 921 зн., 18,80 а.л.

Свободный доступ

Вархаммер. Мир вечной войны. Эпоха Великого Крестового Похода. Второй шанс для примарха второго легиона.

Как удалить сообщение на книге фанфиков?

Для удаления необходимо нажать на кнопку «Личный кабинет» в левом углу монитора и кнопку «удалить» справа, рядом с требуемым текстом. После этого в целях защиты от случайностей система задаст уточняющий вопрос. При подтверждении намерения удалить текст, он удаляется.

  1. Как стереть сообщение?
  2. Можно ли удалить сообщение на Фикбуке?
  3. Как удалить часть фанфика?
  4. Как удалить сообщение в сове?
  5. Как удалить сообщение после 68 минут?
  6. Как стереть отправленное сообщение?
  7. Можно ли удалить обычное сообщение?
  8. Что будет если заблокировать человека на Фикбуке?
  9. Как удалить чат в Телегра?
  10. Можно ли продать фанфик?
  11. Можно ли издать свой фанфик?
  12. Как удалить из недавних?
  13. Как удалить сообщение у собеседника?
  14. Как удалить сообщение в сообщениях у всех?
  15. Как удалить отправленный подарок у собеседника?
  16. Можно ли удалить смс сообщение?
  17. Как удалить переписку в чате?
  18. Как очистить память в сообщениях?
  19. Можно ли удалить сообщение в Слак?
  20. Как удалить свое сообщение на Фотостране?
  21. Что нельзя публиковать на Фикбуке?
  22. Чем удалить ПО?
  23. Сколько человек зарегистрировано в Фикбуке?
  24. Как удалить свою книгу с Литнет?
  25. Как оставить сообщение не прочитанным?
  26. Как удалить сообщение которое ты удалил у себя?
  27. Как в таборе удалить сообщение у собеседника?
  28. Как удалить сообщения в корзине?
  29. Как удалить сообщение без темы?
  30. Как удалить отправленное сообщение на айфоне?
  31. Как удалить сообщение Аймеседж?
  32. Как удалить чат в фэйсбуке?
  33. Как удалить сообщение на Циане?
  34. Как удалить место?
  35. Как удалить стороннее ПО?
  36. Как удалить написанное в поисковике?
  37. Как удалить беседу в сообществе?
  38. Как быстро почистить сообщения в ВК?
  39. Как удалить сообщение на Олкс?
  40. Как удалить сообщения для обоих?
  41. Как удалить отправленное сообщение у получателя?
  42. Как удалить сообщение в сообщениях у собеседника?
  43. Как удалить сообщения в телефоне?

Как стереть сообщение?

Android:

  • Откройте чат.
  • Нажмите и удерживайте сообщение, которое вы отправили в последние 3 часа.
  • Нажмите значок удаления.
  • Выберите Удалить для всех.

Можно ли удалить сообщение на Фикбуке?

Фикбук

Флуд. Без самопиара! Маша, личные сообщения на фф нельзя ни удалять, ни редактировать.

Как удалить часть фанфика?

Суперж, Салазар, с начала нажми на профиль, потом раздел фанфики. Потом нажимаешь на *мои фанфики* после нашел часть которую нужна удалить (знак удалить будит виде мусорки) и удаляешь главу только не ошибись а то можешь сам ФФ удалить так же можно и добавить часть.

Как удалить сообщение в сове?

Для этого щёлкните по сообщению, нажмите на значок с корзиной и выберите Удалить для всех. При следующем удалении система запомнит выбор и галочка уже будет стоять. Удалить сообщение можно в течение суток после отправки. Пересланные сообщения останутся в любом случае.

Как удалить сообщение после 68 минут?

После того, как вы отправили сообщение, у вас есть 68 минут для его удаления. Когда это время пройдет, пути назад уже не будет. Чтобы удалить месседж, удерживайте его, пока не появится меню управления сообщением. Нажмите на значок урны, который обозначает опцию удаления.

Как стереть отправленное сообщение?

Что нужно сделать, чтобы удалить отправленное сообщение?:

  • Выдели сообщение, которое хочешь удалить (нажми на него). Можно выбрать несколько (на телефоне нужно сначала подержать палец на одном из сообщений).
  • Нажми Удалить или кнопку в виде корзины:
  • Установи галочку Удалить для всех, если ее нет.
  • Нажми Удалить.

Можно ли удалить обычное сообщение?

Если вы отправили стандартное сообщение другому человеку — удалить его невозможно. SMS уже получено абонентом — отменить его невозможно. Если сообщение отправлено через мессенджеры — в ряде случаев их можно удалить у собеседника.

Что будет если заблокировать человека на Фикбуке?

Как только пользователя блокируют, все уведомления из личного кабинета перестают отображаться.

Как удалить чат в Телегра?

В левой колонке в списке контактов найти пользователя, чат с которым хотите удалить;:

  • Тапнуть по переписке или свайпнуть влево;
  • В открывшемся меню выбрать «Удалить»;

Можно ли продать фанфик?

И фанфикшн и фанарты нельзя продавать

Даже если ты вдруг нарисовала Микки Мауса, а потом продала принты с его изображением, или написала и выпустила фанфик о Корре в бумажной версии на Amazon, то будь готова, что однажды тебе может прийти повестка в суд за такое нарушение.

Можно ли издать свой фанфик?

Фанфик, у которого есть разрешение правообладателя

Для этого вам надо: Написать письмо в support@ridero.ru с темой «Разрешение на публикацию фанфика», в котором указать название книги, автора и приложить разрешение правообладателя на публикацию в свободной форме. Дождаться ответа от службы публикации.

Как удалить из недавних?

В правом верхнем углу экрана:

  • Откройте приложение Chrome. на телефоне или планшете Android.
  • В правом верхнем углу экрана нажмите на значок «Ещё» История. Если адресная строка находится внизу, проведите по ней вверх и коснитесь значка «История».
  • Найдите нужную запись.
  • Справа от нее нажмите на значок «Удалить».

Как удалить сообщение у собеседника?

Удаление сообщений для всех в чате:

  • Откройте чат.
  • На мобильном устройстве: Нажмите и удерживайте сообщение, которое вы отправили в последние три часа. Нажмите кнопку удаления.
  • На компьютере: Наведите курсор на сообщение, которое вы отправили в последние три часа. Нажмите.
  • Выберите Удалить для всех.

Как удалить сообщение в сообщениях у всех?

Чтобы удалить сообщения, отправленные всем:

  • Откройте чат WhatsApp, в котором вы хотите удалить сообщение.
  • Нажмите и удерживайте сообщение. Вы также можете выбрать несколько сообщений, чтобы удалить их одновременно.
  • Нажмите Удалить > Удалить у всех.

Как удалить отправленный подарок у собеседника?

Отправленные вами подарки удалить нельзя, они ведь уже не ваши. Если вы желаете удалить полученный вами подарок, то в соответствующем разделе (vk.com/gifts) в правом верхнем углу над каждым подарком есть крестик «Удалить подарок».

Можно ли удалить смс сообщение?

Для удаления sms-сообщение необходимо нажать меню-сообщение-входящие-опции-удалить. По аналогии происходит удаление сообщений из папок: исходящие, черновики, отправленные. Внимание! Для некоторых моделей путь может отличаться.

Как удалить переписку в чате?

Вы можете скрыть или удалить историю прямой переписки в Google Chat и Gmail.Как удалить прямую переписку:

  • Откройте приложение Chat или Gmail.
  • Нажмите на значок чата.
  • Выберите пользователя.
  • В верхней части экрана нажмите на имя пользователя Удалить чат.
  • Подтвердите действие.

Как очистить память в сообщениях?

Для телефонов с Android. Вариант 1:

  • Открыть настройки встроенного в телефон (стандартного) приложения для отправки и приема SMS.
  • В списке настроек искать строчку «Сообщения на SIM-карте» или «Сообщения SIM-карты». Выбрать найденный пункт меню
  • Удалить все SMS, которые откроются после выбора

Можно ли удалить сообщение в Слак?

Каждый знает, что в Slack можно редактировать последнее сообщение, нажав клавишу со стрелкой, указывающей вверх. Но не все знают, как удалить сообщение, используя клавиатуру. Нажмите клавишу со стрелкой, указывающей вверх, удалите текст, далее Enter, кликните Yes, delete this message или просто снова нажмите Enter.

Как удалить свое сообщение на Фотостране?

Если же вы хотите удалить не только переписку, но и самого собеседника, нажмите на крестик, появляющийся при наведении на диалог с ним. При удалении собеседника вы сможете выбрать, очищать ли историю переписки с ним.

Что нельзя публиковать на Фикбуке?

На «Фикбуке» нельзя публиковать чужие фанфики, тексты на иностранном языке, личные заметки. Запрещены описания сексуальных отношений героев до возраста согласия (в России — 16 лет). Fanfiction.net — один из крупнейших сайтов, посвященный фанфикшену, запущенный в 1998 году разработчиком Сингом Ли.

Чем удалить ПО?

Введите панель управления в поле поиска на панели задач, а затем в списке результатов выберите «Панель управления». Выберите Программы > Программы и компоненты. Нажмите и удерживайте (или щелкните правой кнопкой мыши) программу, которую требуется удалить, а затем выберите Удалить или Удалить или изменить.

Сколько человек зарегистрировано в Фикбуке?

На Книге Фанфиков зарегистрировано более 300,000 пользователей, из которых большая часть — читатели. Наполнением сайта занимаются авторы.

Как удалить свою книгу с Литнет?

Чтобы удалить книгу, нужно зайти на ее страницу через кнопку «Мои романы» или «Мои рассказы» в личном кабинете справа. Кнопка удаления расположена под аннотацией.

Как оставить сообщение не прочитанным?

Открой список диалогов (третья кнопка в нижнем ряду), но не открывай присланное сообщение. Нажми и подержи фотографию (аватарку) человека, написавшего сообщение. Появится окно с последними сообщениями, их можно прочитать, пока держишь палец. Они останутся непрочитанными у обоих.

Как удалить сообщение которое ты удалил у себя?

Для этого нужно нажать на сообщение, а затем вызвать меню, в котором можно выбрать: удалить сообщение только у себя или у всех.

Как в таборе удалить сообщение у собеседника?

Вы можете очистить как всю переписку, так и отдельно по одному сообщению. Кнопка для удаления отдельного сообщения (крестик), находится напротив каждого сообщения. Для того, чтобы отредактировать свое сообщение, воспользуйтесь «карандашом», которрый находится напротив каждого сообщения.

Как удалить сообщения в корзине?

Письма хранятся в корзине 30 дней. Вы можете удалить их навсегда раньше этого срока. Откройте приложение Gmail на устройстве Android. Выберите Корзина:

  • Откройте Gmail на компьютере.
  • В левом верхнем углу страницы нажмите на стрелку вниз.
  • Выберите Все.
  • Нажмите на значок «Удалить».

Как удалить сообщение без темы?

Отыщите письмо без темы. Жмите на него и удерживайте до появления верхнего меню. Кликните на символ корзины вверху.Метод №2:

  • Войдите в раздел «Сообщения» на Хоноре.
  • Найдите пустое SMS и войдите в него (если это получается).
  • Жмите справа на три точки.
  • Выберите пункт «Удалить».
  • Подтвердите действие.

Как удалить отправленное сообщение на айфоне?

Удаление сообщения:

  • Коснитесь облачка сообщения и удерживайте его, затем коснитесь «Еще».
  • Выберите сообщения, которые нужно удалить, затем коснитесь кнопки.

Как удалить сообщение Аймеседж?

Нажмите имя контакта вверху сообщения. Если вы используете iOS 14 или более ранней версии либо iPadOS, нажмите кнопку «Информация». Вы увидите фотографии и ссылки. Можно также нажать и удерживать изображение или вложение, чтобы вызвать такие команды, как «Сохранить», «Копировать», «Поделиться» и «Удалить».

Как удалить чат в фэйсбуке?

Чтобы удалить переписку:

  • Нажмите значок в верхней части Ленты.
  • Нажмите на нужную переписку, чтобы открыть ее.
  • Нажмите в правом верхнем углу экрана и выберите Удалить переписку.
  • Подтвердите свой выбор, нажав Удалить.

Как удалить сообщение на Циане?

Как удалить диалог? Удаление сообщений и диалогов в разделе «Сообщения» недоступно. Чтобы скрыть чат, вы можете перенести его в архив. Сообщения не по теме отметьте как спам.

Как удалить место?

Как удалить все места из Истории:

  • Откройте приложение «Google Карты» на телефоне или планшете Android и войдите в аккаунт.
  • Нажмите с вашим значком профиля Настройки История.
  • В строке поиска вверху нажмите на значок «Ещё» Удалить действия за определенный период.
  • Нажмите Удалить.

Как удалить стороннее ПО?

Для этого пользователь должен выполнить такие действия: Открыть панель управления через меню «Пуск» или поисковое окно. Найти и открыть пункт программ и компонентов. Найти название удаляемой программы, открыть контекстное меню и выбрать удаление.

Как удалить написанное в поисковике?

Как удалить все данные

Откройте страницу myactivity.google.com на телефоне или планшете Android. Над списком действий нажмите Удалить. Выберите вариант Все время. Удалить.

Как удалить беседу в сообществе?

Откройте раздел «Сообщения», быстро проведите по ненужной переписке пальцем справа налево и нажмите «Удалить» или «Выйти». Затем выберите «Очистить историю» или «Выйти и удалить беседу».

Как быстро почистить сообщения в ВК?

Возможности «рубить с плеча» и удалить совсем все сообщения разом у нас нет. Но если вы твердо уверены в том, что необходимо почистить историю переписки, тогда зайдите, пожалуйста, в раздел «Мессенджер», наведите курсор на нужный диалог и нажмите крестик справа от него.

Как удалить сообщение на Олкс?

Если в вашем профиле OLX вы уже отправили пользователю сообщение — изменить его или отменить отправку нельзя. Также, нет возможности удалить одно или несколько сообщений в диалоге. Мы сознательно сохраняем свою переписку, чтобы вы никогда не теряли важные детали и целостность диалога 🙂.

Как удалить сообщения для обоих?

Удаление сообщений для всех в чате:

  • Откройте чат.
  • На мобильном устройстве: Нажмите и удерживайте сообщение, которое вы отправили в последние три часа. Нажмите кнопку удаления.
  • На компьютере: Наведите курсор на сообщение, которое вы отправили в последние три часа. Нажмите.
  • Выберите Удалить для всех.

Как удалить отправленное сообщение у получателя?

К сожалению, нельзя отменить отправку письма. Когда вы нажимаете «Отправить», копия письма приходит на сервер получателя и сохраняется там.

Как удалить сообщение в сообщениях у собеседника?

Удаление сообщений у всех:

  • Откройте чат WhatsApp, в котором вы хотите удалить сообщение.
  • Нажмите и удерживайте сообщение. Вы также можете выбрать несколько сообщений, чтобы удалить их одновременно.
  • Нажмите Удалить > Удалить у всех.

Как удалить сообщения в телефоне?

Для удаления sms-сообщение необходимо нажать меню-сообщение-входящие-опции-удалить. По аналогии происходит удаление сообщений из папок: исходящие, черновики, отправленные. Внимание! Для некоторых моделей путь может отличаться.

Ответить

На этом сайте я около месяца, но уже многое могу сказать о нем, начиная с технических моментов, заканчивая общим мнением.

На сайте я прочитала уже более 50+ фанфиков, а также опубликовала 7 своих фф, которые получили достаточно отзывов и лайков. Я получила от 800 до 4000+ просмотров на каждый из своих фф, 75+ лайков на самый удачный, а также несколько добавлений в сборники.

Но обо всем по-порядку.

Что же представляет из себя сайт Фикбук?

Фикбук – это онлайн книга фанфиков, где вы можете прочитать или написать любое литературное произведение, включая фанфик по конкретному фэндому либо ориджинал. Дальше немного терминологии:

Фа́нфи́к — жаргонизм, обозначающий любительское сочинение по мотивам популярных оригинальных литературных произведений, произведений киноискусства (кинофильмов, телесериалов, аниме и т. п.), комиксов (в том числе — манги), а также компьютерных игр.

Фэндом Фэ́ндом, или фа́ндом (от англ. fandom, букв. «сообщество фанатов»), — субкультура, состоящая из поклонников (фанатов) чего-либо — как-правило, так называют поклонников определённого произведения культуры, вымышленной вселенной, художественного стиля или хобби.

Пейринг (англ. pairing) — в фанфиках два персонажа, связанные романтическими отношениями.

Ориджиналы – это ваши личные художественные произведения, которые включают полностью выдуманных вами персонажей.

Судя по всему, сайт сделан без использования какого-либо ЦМС, это видно во многом. В отличие от Фостора, на который я также писала обзор, движок Фикбука определить невозможно ни одним из сервисов. Дизайн приятный в теплых тонах, но достаточно старомодный.

На сайте есть главная страница, где представлены популярные фанфики по популярным фэндомам. Здесь же в хэдере есть форма поиска, где можно найти другие работы по конкретному фэндому. Обычно, они рассортированы по сборникам, которые создают сами пользователи.

Фикбук главная

Фикбук главная

Как только вы напишете работу, ее также могут добавить в несколько сборников. Это делают сами пользователи, ваши читатели. Весьма приятно, когда твоя работа появляется в 5-7 сборниках в течение пары дней после ее публикации. Вы также можете создать свой сборник и добавлять туда любые фф, которые вам понравились.

Прочитав любой фик, вы можете нажать кнопку «Прочитано» и эти работы появятся у вас в прочитанных, поэтому они вам не будут мешать, когда будете искать новые фанфики в этом фэндоме. Точнее, прочитанные будут выделяться серой подложкой, поэтому вам не нужно на них кликать и смотреть а новый ли это фф или это тот, что вы уже читали.

Прочитанные фанфики

Прочитанные фанфики

Если фанфик находится в статусе «В процессе», то вы можете нажать под ним кнопку «Жду продолжения», чтобы автор увидел количество человек, которые хотели бы читать его работу дальше.

Кнопка "Жду продолжения"

Кнопка «Жду продолжения»

Публикация фанфика

Создавая свой аккаунт, вы получаете возможность не только читать, но и писать фики, хотя комментировать и лайкать их можно и без регистрации.

Профайл автора Фикбук

Профайл автора Фикбук

В настройках вы можете поменять аву, личную инфу, и так далее. Чтобы получить больше возможностей редактирования, продвижения своих работ, и не только, можно приобрести улучшенный аккаунт.

Настройки профиля Фикбук

Настройки профиля Фикбук

После регистрации у вас появляется возможность получать награды за разные достижения. Например, вы получаете их за пребывание на сайте, за лайки, за комменты, и так далее.

Мои награды Фикбук

Мои награды Фикбук

Фанфики разделяются на такие виды как: слэш, гет, фэмслэш, другие виды отношений, смешанная и статья. Каждый термин на сайте объясняется, если подвести к нему курсор (то есть в ховере), поэтому если какие-то термины непонятны, их объяснение всегда можно найти сразу же на Фикбуке, никуда не заглядывая.

Вкратце объясню: слэш – гомосексуальные отношения в фанфике; фэмслэш – лесбийские отношения; гет – гетеросексуальные отношения; тогда как другие виды отношений предполагают любые отношения между вымышленными персонажами, которых не существует в реальности.

По размеру фанфики различаются на драббл, мини, миди и макси.

Драббл предполагает до 1000 слов, мини – до 20 страниц, миди – от 20 до 70 страниц и макси – от 70 и более страниц.

Конечно же, для своей публикации важно отметить рейтинг, который может быть G, PG-13, R, NC-17, NC-21. Цифры означают ограничения по возрасту, соответственно описание рейтингов вы сможете найти на Фикбуке. Последние два предполагают строгое ограничение по возрасту от 17 и 21+. Думаю, понятно, почему.

Шапка фанфика: направленность, рейтинг, размер

Шапка фанфика: направленность, рейтинг, размер

Конечно же, важно выбрать пейринг и персонажи. Если хотите отметить пейринг через слеш, то выбираете одного человека из списка, потом второго и только после этого подтверждаете пейринг.

Пейринг и персонажи

Пейринг и персонажи

Подтвердить пейринг

Подтвердить пейринг

Также можно выбрать пейринг с ОМП или ОЖП. то есть выбрать реального персонажа или знаменитость и через слеш поставить мужской или женский придуманный персонаж, то есть несуществующий образ, некоего мужчину или некую женщину, которые будут фигурировать в вашем фф и взаимодействовать с главным реальным персонажем в пейринге.

ОМП ОЖП

ОМП ОЖП

Самое интересное – это метки. Их важно всегда ставить, так как по ним будут искать ваш фанфик.

В списке меток также есть огромное количество терминов типа ау — альтернативная реальность (alternative universe — AU), флафф (наверное от слова fluffy – пушистик), означает романтику и всякие теплые отношения между персонажами, ангст – драма, трагедия, сильные психологические переживания, ООС – отклонение от каноничного поведения героев, pwp – история без сюжета, базирующаяся на сексуальных отношениях героев, и т.д.

Шапка фанфика описание

Шапка фанфика описание

Вообще, метки все сразу же идут с пояснениями, то есть перед тем, как добавить метку, вы увидите сразу же под ней четкое объяснение, что она значит.

Метки примеры Фикбук

Метки примеры Фикбук

Дальше вы добавляете описание, комментарии и прочее, сохраняете и «перескакиваете» на основную часть редактора, где можно добавить текст, а также отформатировать его HTML тегами.

Иными словами, вы просто выделяете часть текста, который нужно отформатировать и выбираете кнопки в редакторе, которые сделают его либо курсивным, либо жирным, либо отодвинут текст, чтобы он начинался с красной строки.

Внизу есть кнопка «Отформатировать текст», которая позволяет автоматически выровнять строки, превратить дефисы в тире, и так далее. После пубикации вашу работу также могут наградить за грамотность или другие ее качества.

Текстовый редактор фанфика

Текстовый редактор фанфика

Хреново, что здесь нет полноценного визуального редактора, но это, скорее всего, тоже из-за отсутствия ЦМС. Сайт работает на HTML, и форматирование текста отображается тегами.

Кроме всего прочего, на Фикбуке есть функция под названием «Публичная Бета», если вы ее включаете для зарегистрированных или незарегистрированных пользователей, то любой, кто читает ваш фанф, может выделить смущающее его слово или момент в тексте и написать вам сообщение с указанием ошибки.

Это НЕ анонимно! То есть человек, получающий такое сообщение, будет видеть, кто ему его отправил, если пользователь зарегистрирован.

Публичная бета

Публичная бета

Вы также можете выбрать индивидуальную Бету (редактора) для каждой своей работы и отправить запрос. Если человек согласится, то он получает доступ к редактированию вашего текста.

Чтобы стать Бетой, нужно пройти тест на грамматику и заполнить анкету Беты, а после, вроде бы можно предлагать в комментах свои услуги и получать заявки от авторов. Я Бетой быть не хочу, как и соавтором, реально не вижу интереса.

Бета фанфика

Бета фанфика

Однажды меня пригласили в соавторы одного фф, я согласилась и написала даже пару абзацев и диалогов. Но, так как автор посчитал нужным изменить придуманный мной сюжет, я подумала, что буду там лишней, поэтому просто удалилась из соавторов.

Мне кажется, соавторство – это когда вы заранее обсуждаете сюжет и стиль написания, а после уже пишете его. Но у нас получилось, что мне просто дали доступ к тексту, в который я просто добавила свой кусок с разрешения автора. Я придумала один поворот событий, но автор видел это по-другому и придумал другой поворот, поэтому то, что придумала я, просто жестко зарерайтили без предварительного согласования.

Самый большой недостаток функционала сайта в плане соавторства — это то, что если вы пишете текст как соавтор, а потом удаляетесь, то ваш текст автор может спокойно опубликовать и выдать за свой. То есть, если вы удаляетесь из соавторов, но оставляете свой текст, то можно сказать, вы его подарили.

Также вас спокойно может удалить автор после того, как вы напишете под его авторством работу, а дальше опубликовать ее без указания вас в списке соавторов, просто выдав вашу работу за свою. Это вполне возможный вариант, так как нет функционала, который бы защищал пользователей от подобных инцидентов.

В общем, соавторство – не лучший вариант тут, лучше все-таки либо писать свои собственные фики и быть автором либо быть Бетой, но не более.

Меню «Мои заявки» позволяет создавать и оставлять для авторов идеи пейрингов и сюжетов, чтобы они писали по ним фанфики, которые вы бы хотели прочитать.

Меню заявки Фикбук

Меню заявки Фикбук

Просто выбираете меню «Добавить заявку» и заполняете простую форму, указывая пейринг, фэндом и то, что хотели бы прочитать в этой направленности.

Форма заявки

Форма заявки

А теперь осталось ждать, пока кого-то заинтересует ваша идея пейринга и фэндом, чтобы написать фанфик по вашей заявке. Вот так примерно выглядят готовые заявки в профилях пользователей.

Пример готовой заявки Фикбук

Пример готовой заявки Фикбук

Другие функции Фикбука

Вы можете посмотреть статистику просмотров своих фф в разделе меню «Мои фанфики», а также вам будут приходить уведомления о комментах на ваши фф, комментах на фф, которые вы предварительно комментили, и о личных сообщениях.

Меню "Мои фанфики"

Меню «Мои фанфики»

Шапка фанфика с кнопкой Статистика

Шапка фанфика с кнопкой Статистика

Статистика просмотров фанфика

Статистика просмотров фанфика

В своих «Новостях» вы сможете посмотреть статистику по лайкам ваших комментов, просмотрам за день, и др.

Новости по просмотрам фанфиков

Новости по просмотрам фанфиков

В разделе меню «Обратная связь» есть возможность отправлять личные сообщения другим пользователям, получать эти сообщения от них, а также просмотреть сообщения об ошибках от публичных Бет.

Меню "Обратная связь" Фикбук

Меню «Обратная связь» Фикбук

Важный недостаток – вы не видите, когда ваши личные сообщения прочитаны, а когда нет. То есть, тут нет такой функции как в вк или вайбере, что прочитанные сообщения определенным образом подсвечиваются. Неа, тут такого нет.

Личные сообщения Фикбук

Личные сообщения Фикбук

Кроме сообщений, вы можете писать службе поддержки, но они часто игнорят.

Меню другое - служба поддержки Фикбук

Меню другое — служба поддержки Фикбук

Важный недостаток: когда вам отвечает служба поддержки, вы, конечно, получаете уведомление, но когда заходите на страницу переписки с поддержкой, тема, в которой получен ответ никак не выделяется и не подсвечивается. Она просто перескакивает вверх, но по виду выглядит также, как и остальные темы. То есть, если вы не помните, в какой теме вели переписку, то вам придется прокликать все темы, чтобы найти где именно оставлен ответ службы.

Служба поддержки Фикбук

Служба поддержки Фикбук

Админы часто добавляют огромное количество баннеров на сайт, а у меня включен Эдблок и те места, где должны быть баннеры у меня высвечиваются пробелами. Недавно вообще закинули куча баннеров прямо на страницы с фф и в шапку профиля, многие жаловались и они убрали.

У меня была ситуация, когда я написала огромную статью про религию и современность, привела примеры из разных передач, примеры из жизни, цитаты, добавила юмор, в общем статья получила определенное количество лайков и отзывов, а потом ее удалили.

Оказалось, что статьи можно писать только про писательское искусство, ну ок, вот только черновика у меня изначально не осталось, так как писала сразу на сайте. В итоге через пару недель и после длительных переписок с СП мне все таки вернули лог статьи в черновики, я сохранила текст, а черновик удалила. Теперь эту статью смогу опубликовать на другом ресурсе, она не пропала. Спасибо им за это.

Продвижение своих фанфиков

Вы также можете заказать переходы на свою работу, то есть приобрести монеты и заказать промоушн.

Монеты Фикбук

Монеты Фикбук

Ваша работа появится на главной с пометкой Ждет критики, а также будет в топе по фэндому.

Ждет критики Фикбук

Ждет критики Фикбук

Вы получаете возможность награждать комментарии, которые люди будут оставлять к вашей работе, а также комментаторы смогут поставить оценки вашему фику. В зависимости от количества монет и того, сколько переходов вы заказали будет зависеть и количество бесплатных наград для отзывов (комментариев), и других нищтяков.

Я заказала один раз продвижение своей первой работы, выбрав тариф 300 переходов, оплатила айрековскими деньгами с киви. Для такой оплаты даже не нужна идентификация.

Заказать переходы Фикбук

Заказать переходы Фикбук

Ну что, это мало что дало, отзыва я получила только 2, остальные были еще до заказа переходов. Оценок тоже мало.

Главное тут – это хорошо писать, тогда вы будете получать лайки, отзывы и прочую похвалу и без необходимости заказывать какие-то переходы.

Вас как автора также могут добавить в Избранное, как и вы, можете добавить в Избранное любого автора.

Кнопка в избранное

Кнопка в избранное

После этого, вы будете получать уведомления каждый раз, когда избранный вами автор опубликовал свою новую работу.

Меню избранные авторы

Меню избранные авторы

Мне удалось подружиться с несколькими людьми, добавив их в друзья в соц сети, поэтому этот сайт можно также назвать хорошим местом для поиска друзей по интересам.

Да, здесь есть и агрессивные авторы, и разрешен мат, и есть безграмотные авторы, но мне это не мешает.

На Фикбуке часто возникает ошибка 500, а также тут много рекламы, которая на компе то не видна, если стоит эдблок, а на телефоне приходится дополнительно ставить блокирующие приложения. Относительно функционала создателям также стоит еще немного поработать.

В вк есть куча груп, где можно заказать пиар фанфиков и любое количество лайков по 2 рубля за штуку. Также можно найти сообщества, где попросить лайк беспланто и взаимно, то есть вы лайкаете и вам лайкают. Как видим, вывести свой фф в топ популярных можно в любом случае, но это уже вам решать, хотите ли вы продвигать его таким способом или пишете именно для того, чтобы его читали и ставили лайки от души.

В целом, Фикбук – это отличный сайт для любителей читать современные произведения, а также тренировать свои навыки писательства.

Проверка корректности А/Б тестов

Время на прочтение
8 мин

Количество просмотров 7.7K

Хабр, привет! Сегодня поговорим о том, что такое корректность статистических критериев в контексте А/Б тестирования. Узнаем, как проверить, является критерий корректным или нет. Разберём пример, в котором тест Стьюдента не работает.

Меня зовут Коля, я работаю аналитиком данных в X5 Tech. Мы с Сашей продолжаем писать серию статей по А/Б тестированию, это наша третья статья. Первые две можно посмотреть тут:

  • Стратификация. Как разбиение выборки повышает чувствительность A/Б теста

  • Бутстреп и А/Б тестирование

Корректный статистический критерий

В А/Б тестировании при проверке гипотез с помощью статистических критериев можно совершить одну из двух ошибок:

  • ошибку первого рода – отклонить нулевую гипотезу, когда на самом деле она верна. То есть сказать, что эффект есть, хотя на самом деле его нет;

  • ошибку второго рода – не отклонить нулевую гипотезу, когда на самом деле она неверна. То есть сказать, что эффекта нет, хотя на самом деле он есть.

Совсем не ошибаться нельзя. Чтобы получить на 100% достоверные результаты, нужно бесконечно много данных. На практике получить столько данных затруднительно. Если совсем не ошибаться нельзя, то хотелось бы ошибаться не слишком часто и контролировать вероятности ошибок.

В статистике ошибка первого рода считается более важной. Поэтому обычно фиксируют допустимую вероятность ошибки первого рода, а затем пытаются минимизировать вероятность ошибки второго рода.

Предположим, мы решили, что допустимые вероятности ошибок первого и второго рода равны 0.1 и 0.2 соответственно. Будем называть статистический критерий корректным, если его вероятности ошибок первого и второго рода равны допустимым вероятностям ошибок первого и второго рода соответственно.

Как сделать критерий, в котором вероятности ошибок будут равны допустимым вероятностям ошибок?

Вероятность ошибки первого рода по определению равна уровню значимости критерия. Если уровень значимости положить равным допустимой вероятности ошибки первого рода, то вероятность ошибки первого рода должна стать равной допустимой вероятности ошибки первого рода.

Вероятность ошибки второго рода можно подогнать под желаемое значение, меняя размер групп или снижая дисперсию в данных. Чем больше размер групп и чем ниже дисперсия, тем меньше вероятность ошибки второго рода. Для некоторых гипотез есть готовые формулы оценки размера групп, при которых достигаются заданные вероятности ошибок.

Например, формула оценки необходимого размера групп для гипотезы о равенстве средних:

n > frac{left[ Phi^{-1} left( 1-alpha / 2 right) + Phi^{-1} left( 1-beta right) right]^2 (sigma_A^2 + sigma_B^2)}{varepsilon^2}

где alpha и beta – допустимые вероятности ошибок первого и второго рода, varepsilon – ожидаемый эффект (на сколько изменится среднее), sigma_A и sigma_B – стандартные отклонения случайных величин в контрольной и экспериментальной группах.

Проверка корректности

Допустим, мы работаем в онлайн-магазине с доставкой. Хотим исследовать, как новый алгоритм ранжирования товаров на сайте влияет на среднюю выручку с покупателя за неделю. Продолжительность эксперимента – одна неделя. Ожидаемый эффект равен +100 рублей. Допустимая вероятность ошибки первого рода равна 0.1, второго рода – 0.2.

Оценим необходимый размер групп по формуле:

import numpy as np
from scipy import stats

alpha = 0.1                     # допустимая вероятность ошибки I рода
beta = 0.2                      # допустимая вероятность ошибки II рода
mu_control = 2500               # средняя выручка с пользователя в контрольной группе
effect = 100                    # ожидаемый размер эффекта
mu_pilot = mu_control + effect  # средняя выручка с пользователя в экспериментальной группе
std = 800                       # стандартное отклонение

# исторические данные выручки для 10000 клиентов
values = np.random.normal(mu_control, std, 10000)

def estimate_sample_size(effect, std, alpha, beta):
    """Оценка необходимого размер групп."""
    t_alpha = stats.norm.ppf(1 - alpha / 2, loc=0, scale=1)
    t_beta = stats.norm.ppf(1 - beta, loc=0, scale=1)
    var = 2 * std ** 2
    sample_size = int((t_alpha + t_beta) ** 2 * var / (effect ** 2))
    return sample_size

estimated_std = np.std(values)
sample_size = estimate_sample_size(effect, estimated_std, alpha, beta)
print(f'оценка необходимого размера групп = {sample_size}')
оценка необходимого размера групп = 784

Чтобы проверить корректность, нужно знать природу случайных величин, с которыми мы работаем. В этом нам помогут исторические данные. Представьте, что мы перенеслись в прошлое на несколько недель назад и запустили эксперимент с таким же дизайном, как мы планировали запустить его сейчас. Дизайн – это совокупность параметров эксперимента, таких как: целевая метрика, допустимые вероятности ошибок первого и второго рода, размеры групп и продолжительность эксперимента, техники снижения дисперсии и т.д.

Так как это было в прошлом, мы знаем, какие покупки совершили пользователи, можем вычислить метрики и оценить значимость отличий. Кроме того, мы знаем, что эффекта на самом деле не было, так как в то время эксперимент на самом деле не запускался. Если значимые отличия были найдены, то мы совершили ошибку первого рода. Иначе получили правильный результат.

Далее нужно повторить эту процедуру с мысленным запуском эксперимента в прошлом на разных группах и временных интервалах много раз, например, 1000.

После этого можно посчитать долю экспериментов, в которых была совершена ошибка. Это будет точечная оценка вероятности ошибки первого рода.

Оценку вероятности ошибки второго рода можно получить аналогичным способом. Единственное отличие состоит в том, что каждый раз нужно искусственно добавлять ожидаемый эффект в данные экспериментальной группы. В этих экспериментах эффект на самом деле есть, так как мы сами его добавили. Если значимых отличий не будет найдено – это ошибка второго рода. Проведя 1000 экспериментов и посчитав долю ошибок второго рода, получим точечную оценку вероятности ошибки второго рода.

Посмотрим, как оценить вероятности ошибок в коде. С помощью численных синтетических А/А и А/Б экспериментов оценим вероятности ошибок и построим доверительные интервалы:

def run_synthetic_experiments(values, sample_size, effect=0, n_iter=10000):
    """Проводим синтетические эксперименты, возвращаем список p-value."""
    pvalues = []
    for _ in range(n_iter):
        a, b = np.random.choice(values, size=(2, sample_size,), replace=False)
        b += effect
        pvalue = stats.ttest_ind(a, b).pvalue
        pvalues.append(pvalue)
    return np.array(pvalues)

def print_estimated_errors(pvalues_aa, pvalues_ab, alpha):
    """Оценивает вероятности ошибок."""
    estimated_first_type_error = np.mean(pvalues_aa < alpha)
    estimated_second_type_error = np.mean(pvalues_ab >= alpha)
    ci_first = estimate_ci_bernoulli(estimated_first_type_error, len(pvalues_aa))
    ci_second = estimate_ci_bernoulli(estimated_second_type_error, len(pvalues_ab))
    print(f'оценка вероятности ошибки I рода = {estimated_first_type_error:0.4f}')
    print(f'  доверительный интервал = [{ci_first[0]:0.4f}, {ci_first[1]:0.4f}]')
    print(f'оценка вероятности ошибки II рода = {estimated_second_type_error:0.4f}')
    print(f'  доверительный интервал = [{ci_second[0]:0.4f}, {ci_second[1]:0.4f}]')

def estimate_ci_bernoulli(p, n, alpha=0.05):
    """Доверительный интервал для Бернуллиевской случайной величины."""
    t = stats.norm.ppf(1 - alpha / 2, loc=0, scale=1)
    std_n = np.sqrt(p * (1 - p) / n)
    return p - t * std_n, p + t * std_n

pvalues_aa = run_synthetic_experiments(values, sample_size, effect=0)
pvalues_ab = run_synthetic_experiments(values, sample_size, effect=effect)
print_estimated_errors(pvalues_aa, pvalues_ab, alpha)
оценка вероятности ошибки I рода = 0.0991
  доверительный интервал = [0.0932, 0.1050]
оценка вероятности ошибки II рода = 0.1978
  доверительный интервал = [0.1900, 0.2056]

Оценки вероятностей ошибок примерно равны 0.1 и 0.2, как и должно быть. Всё верно, тест Стьюдента на этих данных работает корректно.

Распределение p-value

Выше рассмотрели случай, когда тест контролирует вероятность ошибки первого рода при фиксированном уровне значимости. Если решим изменить уровень значимости с 0.1 на 0.01, будет ли тест контролировать вероятность ошибки первого рода? Было бы хорошо, если тест контролировал вероятность ошибки первого рода при любом заданном уровне значимости. Формально это можно записать так:

Для любого alpha in [0, 1] выполняется mathbb{P}(pvalue < alpha | H_0) = alpha.

Заметим, что в левой части равенства записано выражение для функции распределения p-value. Из равенства следует, что функция распределения p-value в точке X равна X для любого X от 0 до 1. Эта функция распределения является функцией распределения равномерного распределения от 0 до 1. Мы только что показали, что статистический критерий контролирует вероятность ошибки первого рода на заданном уровне для любого уровня значимости тогда и только тогда, когда при верности нулевой гипотезы p-value распределено равномерно от 0 до 1.

При верности нулевой гипотезы p-value должно быть распределено равномерно. А как должно быть распределено p-value при верности альтернативной гипотезы? Из условия для вероятности ошибки второго рода mathbb{P}(pvalue geq alpha | H_1) = beta следует, что mathbb{P}(pvalue < alpha | H_1) = 1 - beta.

Получается, график функции распределения p-value при верности альтернативной гипотезы должен проходить через точку [alpha, 1 - beta], где alpha и beta – допустимые вероятности ошибок конкретного эксперимента.

Проверим, как распределено p-value в численном эксперименте. Построим эмпирические функции распределения p-value:

import matplotlib.pyplot as plt

def plot_pvalue_distribution(pvalues_aa, pvalues_ab, alpha, beta):
    """Рисует графики распределения p-value."""
    estimated_first_type_error = np.mean(pvalues_aa < alpha)
    estimated_second_type_error = np.mean(pvalues_ab >= alpha)
    y_one = estimated_first_type_error
    y_two = 1 - estimated_second_type_error
    X = np.linspace(0, 1, 1000)
    Y_aa = [np.mean(pvalues_aa < x) for x in X]
    Y_ab = [np.mean(pvalues_ab < x) for x in X]

    plt.plot(X, Y_aa, label='A/A')
    plt.plot(X, Y_ab, label='A/B')
    plt.plot([alpha, alpha], [0, 1], '--k', alpha=0.8)
    plt.plot([0, alpha], [y_one, y_one], '--k', alpha=0.8)
    plt.plot([0, alpha], [y_two, y_two], '--k', alpha=0.8)
    plt.plot([0, 1], [0, 1], '--k', alpha=0.8)

    plt.title('Оценка распределения p-value', size=16)
    plt.xlabel('p-value', size=12)
    plt.legend(fontsize=12)
    plt.grid()
    plt.show()

plot_pvalue_distribution(pvalues_aa, pvalues_ab, alpha, beta)

P-value для синтетических А/А тестах действительно оказалось распределено равномерно от 0 до 1, а для синтетических А/Б тестов проходит через точку [alpha, 1 - beta].

Кроме оценок распределений на графике дополнительно построены четыре пунктирные линии:

  • диагональная из точки [0, 0] в точку [1, 1] – это функция распределения равномерного распределения на отрезке от 0 до 1, по ней можно визуально оценивать равномерность распределения p-value;

  • вертикальная линия с x=alpha – пороговое значение p-value, по которому определяем отвергать нулевую гипотезу или нет. Проекция на ось ординат точки пересечения вертикальной линии с функцией распределения p-value для А/А тестов – это вероятность ошибки первого рода. Проекция точки пересечения вертикальной линии с функцией распределения p-value для А/Б тестов – это мощность теста (мощность = 1 — beta). 

  • две горизонтальные линии – проекции на ось ординат точки пересечения вертикальной линии с функцией распределения p-value для А/А и А/Б тестов.

График с оценками распределения p-value для синтетических А/А и А/Б тестов позволяет проверить корректность теста для любого значения уровня значимости.

Некорректный критерий

Выше рассмотрели пример, когда тест Стьюдента оказался корректным критерием для случайных данных из нормального распределения. Может быть, все критерии всегда работаю корректно, и нет смысла каждый раз проверять вероятности ошибок?

Покажем, что это не так. Немного изменим рассмотренный ранее пример, чтобы продемонстрировать некорректную работу критерия. Допустим, мы решили увеличить продолжительность эксперимента до 2-х недель. Для каждого пользователя будем вычислять стоимость покупок за первую неделю и стоимость покупок за второю неделю. Полученные стоимости будем передавать в тест Стьюдента для проверки значимости отличий. Положим, что поведение пользователей повторяется от недели к неделе, и стоимости покупок одного пользователя совпадают.

def run_synthetic_experiments_two(values, sample_size, effect=0, n_iter=10000):
    """Проводим синтетические эксперименты на двух неделях."""
    pvalues = []
    for _ in range(n_iter):
        a, b = np.random.choice(values, size=(2, sample_size,), replace=False)
        b += effect
        # дублируем данные
        a = np.hstack((a, a,))
        b = np.hstack((b, b,))
        pvalue = stats.ttest_ind(a, b).pvalue
        pvalues.append(pvalue)
    return np.array(pvalues)

pvalues_aa = run_synthetic_experiments_two(values, sample_size)
pvalues_ab = run_synthetic_experiments_two(values, sample_size, effect=effect)
print_estimated_errors(pvalues_aa, pvalues_ab, alpha)
plot_pvalue_distribution(pvalues_aa, pvalues_ab, alpha, beta)
оценка вероятности ошибки I рода = 0.2451
  доверительный интервал = [0.2367, 0.2535]
оценка вероятности ошибки II рода = 0.0894
  доверительный интервал = [0.0838, 0.0950]

Получили оценку вероятности ошибки первого рода около 0.25, что сильно больше уровня значимости 0.1. На графике видно, что распределение p-value для синтетических А/А тестов не равномерно, оно отклоняется от диагонали. В этом примере тест Стьюдента работает некорректно, так как данные зависимые (стоимости покупок одного человека зависимы). Если бы мы сразу не догадались про зависимость данных, то оценка вероятностей ошибок помогла бы нам понять, что такой тест некорректен.

Итоги

Мы обсудили, что такое корректность статистического теста, посмотрели, как оценить вероятности ошибок на исторических данных и привели пример некорректной работы критерия.

Таким образом:

  • корректный критерий – это критерий, у которого вероятности ошибок первого и второго рода равны допустимым вероятностям ошибок первого и второго рода соответственно;

  • чтобы критерий контролировал вероятность ошибки первого рода для любого уровня значимости, необходимо и достаточно, чтобы p-value при верности нулевой гипотезы было распределено равномерно от 0 до 1.

Ошибки первого и второго рода

Выдвинутая гипотеза
может быть правильной или неправильной,
поэтому возникает необходимость её
проверки. Поскольку проверку производят
статистическими методами, её называют
статистической. В итоге статистической
проверки гипотезы в двух случаях может
быть принято неправильное решение, т.
е. могут быть допущены ошибки двух родов.

Ошибка первого
рода состоит в том, что будет отвергнута
правильная гипотеза.

Ошибка второго
рода состоит в том, что будет принята
неправильная гипотеза.

Подчеркнём, что
последствия этих ошибок могут оказаться
весьма различными. Например, если
отвергнуто правильное решение «продолжать
строительство жилого дома», то эта
ошибка первого рода повлечёт материальный
ущерб: если же принято неправильное
решение «продолжать строительство»,
несмотря на опасность обвала стройки,
то эта ошибка второго рода может повлечь
гибель людей. Можно привести примеры,
когда ошибка первого рода влечёт более
тяжёлые последствия, чем ошибка второго
рода.

Замечание 1.
Правильное решение может быть принято
также в двух случаях:

  1. гипотеза принимается,
    причём и в действительности она
    правильная;

  2. гипотеза отвергается,
    причём и в действительности она неверна.

Замечание 2.
Вероятность совершить ошибку первого
рода принято обозначать через
;
её называют уровнем значимости. Наиболее
часто уровень значимости принимают
равным 0,05 или 0,01. Если, например, принят
уровень значимости, равный 0,05, то это
означает, что в пяти случаях из ста
имеется риск допустить ошибку первого
рода (отвергнуть правильную гипотезу).

Статистический
критерий проверки нулевой гипотезы.
Наблюдаемое значение критерия

Для проверки
нулевой гипотезы используют специально
подобранную случайную величину, точное
или приближённое распределение которой
известно. Обозначим эту величину в целях
общности через
.

Статистическим
критерием

(или просто критерием) называют случайную
величину
,
которая служит для проверки нулевой
гипотезы.

Например, если
проверяют гипотезу о равенстве дисперсий
двух нормальных генеральных совокупностей,
то в качестве критерия
принимают отношение исправленных
выборочных дисперсий:.

Эта величина
случайная, потому что в различных опытах
дисперсии принимают различные, наперёд
неизвестные значения, и распределена
по закону Фишера – Снедекора.

Для проверки
гипотезы по данным выборок вычисляют
частные значения входящих в критерий
величин и таким образом получают частное
(наблюдаемое) значение критерия.

Наблюдаемым
значением
называют значение критерия, вычисленное
по выборкам. Например, если по двум
выборкам найдены исправленные выборочные
дисперсиии,
то наблюдаемое значение критерия.

Критическая
область. Область принятия гипотезы.
Критические точки

После выбора
определённого критерия множество всех
его возможных значений разбивают на
два непересекающихся подмножества:
одно из них содержит значения критерия,
при которых нулевая гипотеза отвергается,
а другая – при которых она принимается.

Критической
областью называют совокупность значений
критерия, при которых нулевую гипотезу
отвергают.

Областью принятия
гипотезы (областью допустимых значений)
называют совокупность значений критерия,
при которых гипотезу принимают.

Основной принцип
проверки статистических гипотез можно
сформулировать так: если наблюдаемое
значение критерия принадлежит критической
области – гипотезу отвергают, если
наблюдаемое значение критерия принадлежит
области принятия гипотезы – гипотезу
принимают.

Поскольку критерий
— одномерная случайная величина, все её
возможные значения принадлежат некоторому
интервалу. Поэтому критическая область
и область принятия гипотезы также
являются интервалами и, следовательно,
существуют точки, которые их разделяют.

Критическими
точками (границами)
называют точки, отделяющие критическую
область от области принятия гипотезы.

Различают
одностороннюю (правостороннюю или
левостороннюю) и двустороннюю критические
области.

Правосторонней
называют критическую область, определяемую
неравенством
>,
где— положительное число.

Левосторонней
называют критическую область, определяемую
неравенством
<,
где— отрицательное число.

Односторонней
называют правостороннюю или левостороннюю
критическую область.

Двусторонней
называют критическую область, определяемую
неравенствами
где.

В частности, если
критические точки симметричны относительно
нуля, двусторонняя критическая область
определяется неравенствами ( в
предположении, что
>0):

,
или равносильным неравенством
.

Отыскание
правосторонней критической области

Как найти критическую
область? Обоснованный ответ на этот
вопрос требует привлечения довольно
сложной теории. Ограничимся её элементами.
Для определённости начнём с нахождения
правосторонней критической области,
которая определяется неравенством
>,
где>0.
Видим, что для отыскания правосторонней
критической области достаточно найти
критическую точку. Следовательно,
возникает новый вопрос: как её найти?

Для её нахождения
задаются достаточной малой вероятностью
– уровнем значимости
.
Затем ищут критическую точку,
исходя из требования, чтобы при условии
справедливости нулевой гипотезы
вероятность того, критерийпримет значение, большее,
была равна принятому уровню значимости:
Р(>)=.

Для каждого критерия
имеются соответствующие таблицы, по
которым и находят критическую точку,
удовлетворяющую этому требованию.

Замечание 1.
Когда
критическая точка уже найдена, вычисляют
по данным выборок наблюдаемое значение
критерия и, если окажется, что
>,
то нулевую гипотезу отвергают; если же<,
то нет оснований, чтобы отвергнуть
нулевую гипотезу.

Пояснение. Почему
правосторонняя критическая область
была определена, исходя из требования,
чтобы при справедливости нулевой
гипотезы выполнялось соотношение

Р(>)=?
(*)

Поскольку вероятность
события
>мала (— малая вероятность), такое событие при
справедливости нулевой гипотезы, в силу
принципа практической невозможности
маловероятных событий, в единичном
испытании не должно наступить. Если всё
же оно произошло, т.е. наблюдаемое
значение критерия оказалось больше,
то это можно объяснить тем, что нулевая
гипотеза ложна и, следовательно, должна
быть отвергнута. Таким образом, требование
(*) определяет такие значения критерия,
при которых нулевая гипотеза отвергается,
а они и составляют правостороннюю
критическую область.

Замечание 2.
Наблюдаемое значение критерия может
оказаться большим
не потому, что нулевая гипотеза ложна,
а по другим причинам (малый объём выборки,
недостатки методики эксперимента и
др.). В этом случае, отвергнув правильную
нулевую гипотезу, совершают ошибку
первого рода. Вероятность этой ошибки
равна уровню значимости.
Итак, пользуясь требованием (*), мы с
вероятностьюрискуем совершить ошибку первого рода.

Замечание 3. Пусть
нулевая гипотеза принята; ошибочно
думать, что тем самым она доказана.
Действительно, известно, что один пример,
подтверждающий справедливость некоторого
общего утверждения, ещё не доказывает
его. Поэтому более правильно говорить,
«данные наблюдений согласуются с нулевой
гипотезой и, следовательно, не дают
оснований её отвергнуть».

На практике для
большей уверенности принятия гипотезы
её проверяют другими способами или
повторяют эксперимент, увеличив объём
выборки.

Отвергают гипотезу
более категорично, чем принимают.
Действительно, известно, что достаточно
привести один пример, противоречащий
некоторому общему утверждению, чтобы
это утверждение отвергнуть. Если
оказалось, что наблюдаемое значение
критерия принадлежит критической
области, то этот факт и служит примером,
противоречащим нулевой гипотезе, что
позволяет её отклонить.

Отыскание
левосторонней и двусторонней критических
областей***

Отыскание
левосторонней и двусторонней критических
областей сводится (так же, как и для
правосторонней) к нахождению соответствующих
критических точек. Левосторонняя
критическая область определяется
неравенством
<(<0).
Критическую точку находят, исходя из
требования, чтобы при справедливости
нулевой гипотезы вероятность того, что
критерий примет значение, меньшее,
была равна принятому уровню значимости:
Р(<)=.

Двусторонняя
критическая область определяется
неравенствами
Критические
точки находят, исходя из требования,
чтобы при справедливости нулевой
гипотезы сумма вероятностей того, что
критерий примет значение, меньшееили большее,
была равна принятому уровню значимости:

.
(*)

Ясно, что критические
точки могут быть выбраны бесчисленным
множеством способов. Если же распределение
критерия симметрично относительно нуля
и имеются основания (например, для
увеличения мощности) выбрать симметричные
относительно нуля точки (-
(>0),
то

Учитывая (*), получим
.

Это соотношение
и служит для отыскания критических
точек двусторонней критической области.
Критические точки находят по соответствующим
таблицам.

Дополнительные
сведения о выборе критической области.
Мощность критерия

Мы строили
критическую область, исходя из требования,
чтобы вероятность попадания в неё
критерия была равна
при условии, что нулевая гипотеза
справедлива. Оказывается целесообразным
ввести в рассмотрение вероятность
попадания критерия в критическую область
при условии, что нулевая гипотеза неверна
и, следовательно, справедлива конкурирующая.

Мощностью критерия
называют вероятность попадания критерия
в критическую область при условии, что
справедлива конкурирующая гипотеза.
Другими словами, мощность критерия есть
вероятность того, что нулевая гипотеза
будет отвергнута, если верна конкурирующая
гипотеза.

Пусть для проверки
гипотезы принят определённый уровень
значимости и выборка имеет фиксированный
объём. Остаётся произвол в выборе
критической области. Покажем, что её
целесообразно построить так, чтобы
мощность критерия была максимальной.
Предварительно убедимся, что если
вероятность ошибки второго рода (принять
неправильную гипотезу) равна
,
то мощность равна 1-.
Действительно, если— вероятность ошибки второго рода, т.е.
события «принята нулевая гипотеза,
причём справедливо конкурирующая», то
мощность критерия равна 1 —.

Пусть мощность 1

возрастает; следовательно, уменьшается
вероятностьсовершить ошибку второго рода. Таким
образом, чем мощность больше, тем
вероятность ошибки второго рода меньше.

Итак, если уровень
значимости уже выбран, то критическую
область следует строить так, чтобы
мощность критерия была максимальной.
Выполнение этого требования должно
обеспечить минимальную ошибку второго
рода, что, конечно, желательно.

Замечание 1.
Поскольку вероятность события «ошибка
второго рода допущена» равна
,
то вероятность противоположного события
«ошибка второго рода не допущена» равна
1 —,
т.е. мощности критерия. Отсюда следует,
что мощность критерия есть вероятность
того, что не будет допущена ошибка
второго рода.

Замечание 2. Ясно,
что чем меньше вероятности ошибок
первого и второго рода, тем критическая
область «лучше». Однако при заданном
объёме выборки уменьшить одновременно
иневозможно; если уменьшить,
тобудет возрастать. Например, если принять=0,
то будут приниматься все гипотезы, в
том числе и неправильные, т.е. возрастает
вероятностьошибки второго рода.

Как же выбрать
наиболее целесообразно? Ответ на этот
вопрос зависит от «тяжести последствий»
ошибок для каждой конкретной задачи.
Например, если ошибка первого рода
повлечёт большие потери, а второго рода
– малые, то следует принять возможно
меньшее.

Если
уже выбрано, то, пользуясь теоремой Ю.
Неймана и Э.Пирсона, можно построить
критическую область, для которойбудет минимальным и, следовательно,
мощность критерия максимальной.

Замечание 3.
Единственный способ одновременного
уменьшения вероятностей ошибок первого
и второго рода состоит в увеличении
объёма выборок.

Соседние файлы в папке Лекции 2 семестр

  • #
  • #
  • #
  • #

Понравилась статья? Поделить с друзьями:
  • Фикбук благие знамения работа над ошибками
  • Фильм исправить все ошибки
  • Фикбук 502 ошибка
  • Фильм жестокая ошибка
  • Фильм единственная моя ошибка