Проверить китайский текст на ошибки

Система исправления ошибок китайского языка на основе модели грамматики

Сюй Мин составлен

Адрес бумаги:http://www.anthology.aclweb.org/W/W14/W14-6827.pdf
Связанные проекты с открытым исходным кодом:https://github.com/shibing624/pycorrector

Резюме

В этой статье представлена ​​задача проверки китайской орфографии (CSC) нашей системы в SIGHAN-8 Bake-Off. Наша система предназначена для обнаружения и исправления орфографических ошибок по предложению. Как мы знаем, CSC остается актуальной темой и сегодня, и это нерешенная проблема. Моделирование на языке N-грамм (LM) широко используется в CSC благодаря своей простоте и мощности. Мы предлагаем модель, сочетающую двоичную и троичную грамматику и сегментацию китайских слов. Кроме того, мы используем динамическое программирование для повышения эффективности и методы сглаживания, чтобы справиться с разреженностью N-мерных данных грамматики в обучающих данных. Результаты оценки показывают, что наша система CSC имеет хорошую применимость.

1. Введение

Проверка орфографии — обычная задача любого письменного языка, и ее можно использовать для автоматического обнаружения и исправления орфографических ошибок, сделанных человеком (Wu et al., 2013). Автоматическая коррекция орфографии началась еще в 1960-х годах (Kukic, 1992). Система проверки орфографии должна иметь возможности как обнаружения ошибок, так и исправления ошибок. Обнаружение ошибок относится к обнаружению различных типов орфографических ошибок в тексте, а исправление ошибок относится к дальнейшему исправлению обнаруженных неправильных символов.

В последние десятилетия китайский как иностранный язык переживает бум. В ближайшие несколько лет число изучающих китайский как иностранный язык (CFL) увеличится (Xiong et al., 2014). Автоматическая проверка правописания китайского языка сегодня стала важной задачей. С этой целью в SIGHAN Bake-off была организована задача проверки китайской орфографии (CSC), которая предоставляет платформу для сравнения и исследования китайских систем автоматической проверки орфографии. Однако, в отличие от английского или других алфавитных языков, китайский — это язык, состоящий из тональных слогов и символов, где произношение каждого символа состоит из тональных слогов (Chen et al., 2013). В китайском языке нет разделителей или границ между словами, а длина каждого китайского «слова» очень мала, в большинстве случаев оно может состоять только из двух или трех символов. Кроме того, существует больше типов орфографических ошибок, чем в других языках, потому что многие китайские иероглифы имеют схожую форму или произношение, и даже некоторые символы похожи по форме и произношению (Wu et al., 2010; Liu et al., 2011).

Пока что ведется много исследований. Например, модели, основанные на правилах (Jiang et al., 2012; Chiu et al., 2013), модели n-арной грамматики (Wu et al., 2010; Wang et al., 2013; Chen et al., 2013; Huang et al., 2014), Теория графов (Bao et al., 2011; Jia et al., 2013; Xin et al., 2014), методы статистического обучения (Han, Chang, 2013; Xiong et al., 2014) и т. Д.

Языковая модель (LM) широко используется в CSC. На данный момент наиболее широко используемой и наиболее зрелой языковой моделью является языковая модель N-граммы (Jelinek, 1999), поскольку она проста и легка для понимания. Мы также продолжаем использовать языковую модель N-грамм и предлагаем модель обнаружения и исправления орфографических ошибок, сочетающую двоичную и троичную грамматику. Мы сегментировали слова на этапе предварительной обработки, что в определенной степени улучшило производительность системы. Кроме того, чтобы сократить время выполнения программы, принят метод динамического программирования, а для решения проблемы разреженности данных в обучающей выборке используется метод аддитивного сглаживания.

Остальная часть этой статьи структурирована следующим образом: в разделе 2 мы кратко представляем нашу систему CSC, наборы ошибок и выбор N в грамматике N-грамматики; в разделе 3 подробно описывается наша модель китайского языка; результаты оценки представлены в разделе 4. Он приведен в разделе; последняя часть подводит итоги статьи и надеется на дальнейшую работу.

2. Введение в систему

2.1 Обзор системы

На рисунке 1 показана блок-схема нашей системы CSC. Система в основном состоит из четырех частей: сегментация китайских слов, набор путаницы, корпус и языковая модель. Он состоит из следующих шагов:

• Шаг 1. Используйте технологию сегментации китайских слов, чтобы сегментировать данное предложение. Результат сегментации слов будет использован в качестве основы для следующего шага.
• Шаг 2: В соответствии с условием оценки система собирает неадекватный набор соответствующих слов в предложении.
• Шаг 3. Для каждого символа, который может быть заменен в этом предложении (согласно соответствующим условиям), система пронумерует каждое слово в своем наборе путаницы, чтобы заменить исходное слово. После этого шага мы получим набор предложений-кандидатов.
• Шаг 4: Система использует комбинированную двоичную и троичную грамматическую языковую модель (с использованием двоичной грамматики и троичной грамматики в соответствии с различными условиями) для расчета оценки каждого предложения-кандидата. Мы используем корпус CCL и корпус Sogou, чтобы генерировать частоту N-грамматики. Наконец, в качестве окончательного результата выбирается предложение с наивысшим баллом.

Чтобы сократить время выполнения шагов 3 и 4, мы используем динамическое программирование для оптимизации алгоритма.

2.2 Набор путаницы

Набор путаницы, набор данных, состоящий из легко путаемых символов и слов, играет ключевую роль в обнаружении и исправлении орфографических ошибок в тексте (Wang et al., 2013). Большинство китайских иероглифов имеют схожие характеристики по форме или произношению. Поскольку метод ввода пиньинь в настоящее время является самым популярным методом ввода на китайском языке, при построении набора путаницы, используемого в нашей системе, преобладает похожее произношение. Кроме того, похожих признаков не так много, но все же есть значительная часть (Liu et al., 2011). Персонажи с похожим письмом также добавлены в наш набор путаницы. Следовательно, набор путаницы, используемый системой, создается множеством правил с ограничениями, включая подобное произношение и похожие глифы.

Некоторые китайские иероглифы с похожим произношением, такие как китайские омофоны (« » и « »), носовые («Zang») и неназальные («Zan»), скрученный язык («Find» и нескручивающийся язык («Zao»)) Подождите.

Кроме того, сюда входят и другие непонятные условия (на основе статистики), такие как «жена» — «xi», «невестка» — «су» и т. Д.

Для китайских иероглифов схожей формы, таких как одинаковые корни китайских иероглифов (« » и « ») и аналогичные методы ввода Wubi (« » и « »).

Все эти правила ограничиваются штрихами китайских иероглифов, чтобы уменьшить размер путаницы, установленной для каждого символа.

2.3 Языковая модель

Поскольку языковые модели могут использоваться для измерения беглости данного текста, многие предыдущие исследователи использовали языковые модели для прогнозирования правильных слов, чтобы заменить предполагаемые неправильные слова в предложениях (Chen et al., 2009; Liu et al., 2011; Wu et al. Люди, 2010). На сегодняшний день наиболее широко используемой и эффективной языковой моделью является модель грамматики N-грамматики (Jelinek, 1999) из-за ее простоты и достоверного предсказания.

Очень важно выбрать порядок n-грамм при моделировании n-грамм. Модели n-грамм более высокого порядка, такие как 4 грамма или 5 граммов и более крупные корпуса, как правило, улучшают качество модели и, следовательно, вызывают меньшее затруднение текста. Однако n-граммовые модели высокого порядка обычно разрежены, что приводит к некоторым результатам с нулевой условной вероятностью (Chen et al., 2013). По этой причине мы используем модель бинарной грамматики или модель троичной грамматики, основанную на разных правилах, чтобы определить, какой символ является лучшим корректирующим выбором. В частности, в нашей системе, в соответствии с результатом сегментации китайского слова, оценивается, есть ли в нем непрерывное слово с длиной больше или равной 2. Если длина слова равна 2, используется двоичная модель, а если она больше 2, используется троичная модель. .

3 Модель китайской N-грамматики

3.1 Бинарная грамматическая модель

Для китайской строки, если в предложении есть ошибка, неправильное слово появится в непрерывной строке слов после сегментации китайского слова. Как правило, длина последовательных предложений не превышает 2 после разделения предложений без ошибок. Согласно этому суждению, когда длина следующих друг за другом слов равна 2, система будет использовать модель двойной грамматики для обнаружения и исправления ошибок.

Например, в предложении типа «Ли Даньянь — это действительно вопрос и упоминание» результат сокращения слов будет «Ли Даньянь / чжэн / да / один / вопрос / вопрос», а «вопрос» — это исправленный результат слова «упоминание». Если есть несколько мест, где длина последовательных слов равна 2, что означает, что в предложении может быть несколько орфографических ошибок, то мы используем модель бинарной грамматики в соответствующих местах. Например, после вырезания слов предложение «Ли Даньянь действительно вопрос Вэня» будет «Ли Даньянь / / Да / Да / Да / Один / Вэнь / Название», где первое «Да» должно быть «вещь», И «Вэнь» должно быть «спросить».

Вероятность строки в модели двоичной грамматики аппроксимируется произведением условных вероятностей каждого слова (Jelinek, 1999). В модели двоичной грамматики мы делаем предположение, что вероятность слова зависит только от предыдущего слова. . В нашей системе модель бинарной грамматики используется следующим образом: заменяет старую строку словом из двух кортежей с наибольшим количеством очков в качестве правильной строки.

3.2 Тройная грамматическая модель

Для упомянутой выше модели бинарной грамматики мы полагаем, что если длина последовательных слов превышает 2, модель бинарной грамматики не подходит для выражения вероятности предложения. Поскольку есть три или более последовательных слова, у нас есть основания полагать, что предложения, которые появляются в опечатке, могут быть последовательными. Поэтому в этом случае мы используем троичную модель для обнаружения и исправления ошибок.

В вышеупомянутой трехэлементной грамматической модели наше приближение вероятности слова зависит только от вероятности двух слов перед ним.

3.3 Определение функции оценки

Сначала мы определяем предложение-кандидат, которое получено из исходного предложения путем замены набора путаницы. Используйте функцию подсчета баллов, чтобы выбрать наиболее подходящий вариант предложения. На рис. 2 (а) и (b) показаны псевдокоды, которые используют двоичные и троичные модели для представления функции оценки.

На рис. 3 (a) и (b) показаны примеры использования двоичной модели и тройной модели для вычисления функции оценки.

3.4 Динамическое программирование

Относительно просто, сказать особо нечего.

3.5 Аддитивное разглаживание

В статистике аддитивное сглаживание или его псевдонимы сглаживание Лапласа и сглаживание Лидстоуна — это методы, используемые для сглаживания данных (Chen et al., 1996).
В нашей модели данные компенсируют количество появлений каждой строки в корпусе. Из-за разреженности обучающих данных, то есть китайских иероглифов, которые не появляются в обучающих данных, мы используем аддитивное сглаживание, чтобы облегчить эту проблему разреженности данных.
Мы переопределяем новую функцию расчета баллов, как показано на рисунке 5.

4 эксперимент

4.1 Задача

Для запекания SIGHAN-8 организована задача проверки правописания на китайском языке. Цель этого предмета — определить возможности китайской системы проверки орфографии и надеяться на создание более совершенной технологии проверки орфографии на китайском языке. Статья состоит из нескольких предложений с орфографическими ошибками или без них, а именно: несколько слов, пропущенные слова, неправильный порядок и неправильный выбор слов. Каждый символ или пунктуация считается позицией. Если в предложении есть орфографическая ошибка, система должна автоматически вернуть неправильный символ и позицию правильного символа. Предоставьте два обучающих данных (CLP-SIGHAN 2014 CSC Datasets 3 и SIGHAN-7 CSC Datasets), а также данные CFL.

4.2 Критерии оценки

Правильный критерий:
(1) Уровень обнаружения: все позиции неправильных символов в данном абзаце должны полностью соответствовать золотому стандарту.
(2) Уровень исправления. Все положения исправления и слова исправления должны полностью соответствовать золотому стандарту.

4.3 Результаты оценки

В задании по проверке правописания на китайском языке SIGHAN-8 приняли участие 9 команд. Шесть из девяти команд представили результаты. Для формального тестирования каждый участник имеет право представить до трех результатов с использованием разных моделей или настроек параметров. Наконец, было отправлено 15 результатов.

Три результата нашей системы
Результаты трех отправок нашей системой следующие:
Первый раз (триграмма + сегментация слов): сначала замените каждое слово в предложении соответствующим набором ошибок по очереди, а затем используйте трехграммную модель для вычисления нового балла предложения. В то же время мы используем сегментацию предложений как один из критериев для подсчета баллов. Другими словами, мы считаем, что чем меньше общее количество сегментаций, тем выше оценка предложения, то есть количество сегментов обратно пропорционально количеству оценок.
Второй раз (комбинированная двухграмма и триграмма + сегментация слов): комбинированная двухграммная и трехграммная языковая модель и метод, предложенный в этой статье.
Третий раз (триграмма): используйте метод первого раза, но нет результатов сегментации китайских слов. Это метод, который мы предложили в прошлом году в задании Bake-Off 2014 (Huang et al., 2014). Мы используем его как базовую модель.

Проверка второго результата
В таблице 1 показаны три верхних балла проверки второго результата, то есть результатов использования различных параметров аддитивного сглаживания, и их значения параметров равны 30, 35 и 40 соответственно. Мы используем методы и параметры TEST1 для отправки в качестве окончательного результата задачи.

Конечный результат задачи исправления ошибок SIGHAN Chinese
В таблице 2 показаны результаты итогового теста. Run1, Run2 и Run3 — это результаты трех прогонов, представленных нашей системой с использованием разных методов. «Лучший» означает наивысший балл по каждой метрике в задаче CSC. «Среднее» представляет собой среднее значение 15 результатов.
Согласно результатам в таблице 2, мы видим, что результаты нашей системы близки к средним. Главный недостаток нашей системы — скорость отзыва. Причина может заключаться в том, что мы не применили отдельный модуль обнаружения ошибок.

Хотя по сравнению с базовой моделью троичной грамматической модели, модель, использующая комбинированную двоичную грамматику и троичную грамматику, была улучшена лучше, но потенциальные возможности модели грамматики N-грамматики используются далеко не полностью. В следующем разделе будут представлены некоторые типичные ошибки текущей системы, а некоторые возможные улучшения будут суммированы в разделе 5.

4.4 Анализ ошибок

На рисунке 6 показаны некоторые типичные примеры ошибок в нашей системе («O» представляет исходное предложение, а «M» — исправленное предложение):

5 Заключение и перспективы

В этой статье рассказывается об участии Южно-Китайского сельскохозяйственного университета (SCAU) в задаче проверки правописания китайского языка SIGHAN-8. Комбинированная модель двоичного и троичного языка грамматики, предложенная в этой статье, помогает улучшить результаты обнаружения и исправления. Сегментация слов выполняется на входном предложении, и метод динамического программирования применяется для повышения эффективности алгоритма для большого объема вычислений в процессе вычисления троичной грамматической модели. Метод аддитивного сглаживания используется для решения проблемы разреженности данных в обучающей выборке. Кроме того, мы оптимизируем точность исправления, добавляя похожие символы (похожие на wubi) в набор путаницы.

Это наша вторая попытка выполнить задачу проверки орфографии на китайском языке.Результаты оценки последнего теста SIGHAN-8 показывают, что по сравнению с методом, предложенным в прошлогодней задаче CLP-SIGHAN Bake-Off 2014 CSC, обнаружение ошибок F-значение (DF) и исправление ошибок F Стоимость (CF) увеличилась на 9,7% и 6,3% соответственно. Языковые модели широко используются в задачах исправления ошибок китайского языка. Однако языковая модель N-граммы фокусируется только на захвате локальной контекстной информации или словарных правил языка. В будущей работе будет изучаться языковое моделирование семантической информации большого диапазона для дальнейшего улучшения задачи исправления ошибок на китайском языке. Что еще более важно, нам все еще необходимо провести дополнительные исследования, чтобы решить проблему непредумышленного убийства персонажей (слишком много исправлений), чтобы сделать китайскую систему исправления ошибок более совершенной.

Рекомендации

Zhuowei Bao, Benny Kimelfeld, Yunyao Li. 2011. A Graph Approach to Spelling Correction in Domain- th Centric Search. In Proceedings of the 49 Annual Meeting of the Association for Computational Linguistics (ACL 2011), pp.905–914.

Stanley F. Chen, Joshua Goodman. 1996. An Empirical Study of Smoothing Techniques for th Language Modeling. In Proceedings of the 34 Annual Meeting of the Association for Computational Linguistics (ACL 1996), pp.310-318.

Berlin Chen. 2009. Word Topic Models for Spoken Document Retrieval and Transcription. ACM Transactions on Asian Language Information Processing, Vol. 8, No. 1, pp. 2: 1-2: 27.

Kuan-Yu Chen, Hung-Shin Lee, Chung-Han Lee , et al.. 2013. A Study of Language Modeling for Chinese Spelling Check. In Proceedings of the Seventh 7th Workshop on Chinese Language Processing (SIGHAN-7), Nagoya, Japan, 14 Oct., 2013, pp. 79–83.

Hsun-wen Chiu, Jian-cheng Wu and Jason S. Chang. 2013. Chinese Spelling Checker Based on Statistical Machine Translation. In Proceedings of the 7 th SIGHAN Workshop on Chinese Language Processing (SIGHAN-7), Nagoya, Japan, 14 Oct., 2013, pp. 49-53.

Dongxu Han, Baobao Chang. 2013. A Maximum Entropy Approach to Chinese Spelling Check. In Proceedings of the 7 th SIGHAN Workshop on Chinese Language Processing (SIGHAN-7), Nagoya, Japan, 14 Oct., 2013, pp. 74-78.

Qiang Huang, Peijie Huang, Xinrui Zhang, et al.. 2014. Chinese spelling check system based on tri- gram model. In Proceedings of the Third CIPS-SIGHAN Language Joint Conference on Chinese Language Processing (CLP-2014), Wuhan, China, 20-21 Oct., 2014. pp.173-178.

Проверка орфографии текста

Хотите проверить текст на ошибки?

Наш сервис по проверки орфографии онлайн к вашим услугам!

Что умеет наша программа Текстовод:

• осуществлять проверку до 250-ти страниц целиком. Что составляет порядка 500 тысяч символов. Во время проверки текст не разбивается на части.

• находить орфографические, грамматические, синтаксические, морфологические, логические ошибки и ошибки в согласовании,

• искать двойные запятые,

• находить пропущенные или лишние буквы, дублирующиеся слова,

• сохранять структуру вашего текста. Всё оформление (таблицы, списки, абзацы и т.п.) останется в нетронутом виде.

• автоматически корректировать небольшие ошибки и опечатки (например, строчная буква в начале строки заменяется на заглавную),

• считать количество символов и слов, учитывая пробелы,

• осуществлять проверку текстов на разных языках,

• хранить настройки выбранного вами языка. Данная функция открыта для зарегистрированных пользователей.

Какие существуют лимиты на проверку?

Минимальный порог — одно слово.


Максимальный порог символов для не зарегистрированных гостей — 10 тысяч за 1 проверку правописания.

Пользователям, прошедшим регистрацию, можно проверить орфографию в режиме онлайн 100 тысяч знаков.

Пользователям, оформившим PRO-версию, открыта проверка текстов размером в 500 тыс.символов включительно. Также, выбирая функцию PRO, вам выделяется отдельная очередь на проверку и отключается показ рекламы. Пополните баланс и выберите подходящий для вас пакет.

Алгоритм работы программы:

1. Введите в форму ваш текст. Чтобы скопировать и вставить текст, воспользуйтесь комбинацией клавиш ctrl + c и ctrl + v.

* если текст очень большой, поставьте галочку PRO -версия.

2. Нажмите кнопку «Орфография». Проверка правописания началась. 

* на этой странице вы можете бесплатно проверить этот же текст на уникальность, применить к нему синонимайзер или же воспользоваться авторерайтом.

3. Вероятные ошибки выделены ярким цветом.

4. Чтобы разобраться с ошибкой, наведите на неё курсор. Из предложенного списка вариантов исправления, выберите необходимый.

Что делает программа самостоятельно?

• корректирует знаки препинания. В автоматическом режиме убираются не нужные пробелы перед знаками препинания и добавляются необходимые после них (в строгом соответствии с нормами по оформлению текстов). Также, вы можете сделать это самостоятельно.

• устраняет парные пробелы или предлагает это сделать вручную.

На каких языках работает программа?

По умолчанию стоит русский язык.

При работе с иностранным языком, сервис проверки орфографии автоматически определяет язык. Также, вы можете выбрать нужный язык самостоятельно.

Наш сервис в своей работе применяет мультиязычный словарь.

Список доступных языков:

Arabic, Belarusian, Breton, Catalan, Catalan (Valencian), Chinese, Danish, Dutch, English, English (Australian), English (Canadian), English (GB), English (New Zealand), English (South African), English (US), Esperanto, French, Galician, German, German (Austria), German (Germany), German (Swiss), Greek, Irish, Italian, Japanese, Khmer, Persian, Polish, Portuguese, Portuguese (Angola preAO), Portuguese (Brazil), Portuguese (Moçambique preAO), Portuguese (Portugal), Romanian, Russian, Simple German, Slovak, Slovenian, Spanish, Swedish, Tagalog, Tamil, Ukrainian.

Историю проверок можно посмотреть кликнув на «история» внизу формы.

Наше приложение проверки орфографии доступно для Android и IOS. 


Также, вы можете воспользоваться нашим API.

Инструмент проверки текста на орфографические и грамматические ошибки онлайн, позволит исправить
самые громоздкие
ошибки, с высокой степенью точности и скорости, а
также улучшить свой письменный русский язык.

Если возможно несколько исправлений, вам будет предложено выбрать одно из них.
Слова в которых допущены ошибки выделяются разными цветами, можно кликнуть на подсвеченное слово,
посмотреть описание ошибки
и выбрать исправленный вариант.

Инструмент поддерживает 8 языков.

Орфография

Написать текст без каких-либо орфографических или пунктуационных ошибок достаточно сложно даже
специалистам.
Наша автоматическая проверка
орфографии
может помочь профессионалам, студентам, владельцам веб-сайтов, блогерам и авторам получать текст
практически без ошибок. Это не только поможет им исправить текст, но и
получить информацию о том, почему использование слова неправильно в данном контексте.

Что входит в проверку текста?

• грамматические ошибки;
• стиль;
• логические ошибки;
• проверка заглавных/строчных букв;
• типографика;
• проверка пунктуации;
• общие правила правописания;
• дополнительные правила;

Грамматика

Для поиска грамматических ошибок инструмент содержит более 130 правил.

• Деепричастие и предлог
• Деепричастие и предлог
• «Не» с прилагательными/причастиями
• «Не» с наречиями
• Числительные «оба/обе»
• Согласование прилагательного с существительным
• Число глагола при однородных членах
• И другие

Грамматические ошибки вида: «Идя по улице, у меня развязался шнурок»

• Грамматическая ошибка: Идя по улице, у меня…

• Правильно выражаться: Когда я шёл по улице, у меня развязался шнурок.

Пунктуация

Чтобы найти пунктуационные ошибки и правильно расставить запятые в тексте, инструмент содержит более
60 самых важных правил.

• Пунктуация перед союзами
• Слова не являющиеся вводными
• Сложные союзы не разделяются «тогда как», «словно как»
• Союзы «а», «но»
• Устойчивое выражение
• Цельные выражения
• Пробелы перед знаками препинания
• И другие

Разберем предложение, где пропущена запятая «Парень понял как мальчик сделал эту модель»

• Пунктуационная ошибка, пропущена запятая: Парень понял,

• «Парень понял, как мальчик сделал эту модель»

Какие языки поддерживает инструмент?

Для поиска ошибок вы можете вводить текст не только на Русском
языке, инструмент поддерживает проверку орфографии на Английском, Немецком и Французском

Приложение доступно в Google Play