Файл: Белоногов Г.Г. Автоматизированные информационные системы.pdf

по коду свертки, а адреса остальных слов в группе — по кодам связи.

В информационно-поисковых системах наряду со сло­ варями слов применяются словари словосочетании. Эти словари обычно хранятся в памяти машины в пословных кодах и каждому словосочетанию ставится в соответст­ вие его номер. Количество слов в словосочетаниях может быть различным. Соответственно этому пословные коды словосочетаний имеют разную длину и могут записы­ ваться в одной, двух и т. д. ячейках памяти ЭВМ.

Словосочетания могут упорядочиваться по различным признакам: по длине кодов, по численным значениям ко­ дов, по длине и по численным значениям кодоводновре­ менно и т. д. Для поиска в словаре могут применяться способы, рассмотренные в гл. 5 (способ деления пополам, способ разделителей и др.). Если состав словаря часто изменяется, то наиболее удобным оказывается узловой способ поиска. По этому способу словосочетания, содер­ жащие одинаковые коды слов, объединяются в ассоциа­ тивные цепочки. Каждое словосочетание может входить одновременно в несколько ассоциативных церочек (по числу слов, входящих в его состав), а общее число цепо­ чек определяется количеством разных слов, встречаю­ щихся в словаре словосочетаний. В адресной части сло­ варя (см. рис. 5.2) для каждого кода слова указывается адрес его первого вхождения в словосочетание. Обраще­ ние к адресной части производится по сверткам кодов слов. В качестве сверток могут быть выбраны, например, п младших разрядов кода слова.

Группы (узлы) адресных отсылок, представляющие в памяти машины словосочетания, могут иметь разную длину. Поэтому для обнаружения границ словосочетаний необходимо ввести разделительные знаки. В качестве таковых могут выступать кодовые комбинации, отличные от кодов адресных отсылок, или кодовые комбинации, записываемые в специально отведенные для этого участ­ ки ячеек памяти. Для удобства поиска в словаре рядом с каждой группой адресных отсылок, представляющей словосочетание, может записываться пословный код это­ го словосочетания.

94

Г л а в а 7 ТОЧНЫЕ ПРОЦЕДУРЫ МОРФОЛОГИЧЕСКОГО АНАЛИЗА И СИНТЕЗА СЛОВ

Морфологическая классификация слов

При автоматическом переводе текстовых сообщений с русского языка на информационный возникает задача отождествления различных форм одного и того же слова и получения к ним грамматической информации. Эта задача может быть выполнена как путем морфологиче­

встречающиеся) формы слов. Принципы автоматического отождествления слов и их синтез с помощью словаря словоформ описаны в работе [24] и здесь не рассматри­ ваются. В настоящей главе и гл. 8 основное внимание уделяется способам автоматического морфологического анализа и синтеза слов.

Различные способы морфологического анализа раз­ рабатывались в связи с задачей автоматического пере­ вода текстовых сообщений с русского языка на иностран­ ные или с иностранных языков на русский (см., например, работы [48, 62, 90, 133]). Мы проиллюстрируем идею морфологического анализа и синтеза русских слов на примере того алгоритма, который был разработан авто­ ром совместно с Т. С. Белоноговой и А. К. Родионовой

ипроверен на ЭВМ.

Врезультате морфологического анализа основы слов заменяются их порядковыми номерами по словарю и сопровождаются грамматической информацией, которую могут нести формы слов без учета окружения в тексте. Морфологический синтез слов является заключительным этапом процесса декодирования сообщений, записанных на информационном языке, в результате которого осу­ ществляется формирование буквенного кода слова по номеру основы и сопровождающей его грамматической информации. В основу построения алгоритмов автомати­ ческого морфологического анализа и синтеза положено разбиение всех слов на классы, определяющие характер изменения буквенного состава форм слов. Эти классы

условно названы м о р ф о л о г и ч е с к ими.

95

Изменения форм слов могут носить различный ха­ рактер. Они могут быть связаны как с изменением ос­ новы слова, так и с изменением его окончания. Измене­

ние окончаний является основным способом образова­ ния различных форм слов. В русском языке оно исполь­ зуется как самостоятельно, так и в сочетании с измене­ нием основ слов.

По характеру изменения буквенного состава все ос­ новы слов могут быть отнесены к одному из следующих

типа IV относятся, в частности, супплетивные формы слов (например, следующие формы слов: кто, кого, кем, что, чего, он, ему и др.).

Морфологические классы слов делятся на два вида: 1) основоизменительные классы, характеризующие систе­ му изменения основ, и 2) флективные классы слов. Флективные классы изменяемых слов выделялись на ос­ нове анализа их синтаксической функции и систем падеж­ ных, личных и родовых окончаний. Классы неизменяе­ мых слов выделялись только по синтаксическому принци­ пу. Список флективных классов слов приведен в табл. 7.1, а распределение частот их появления в текстах и в сло­ варях— в приложении 1.

По своей синтаксической функции изменяемые слова объединены в следующие группы: 1) существительные; 2) прилагательные; 3) глаголы в личной форме; 4) гла­ голы прошедшего времени, краткие прилагательные и причастия; 5) количественные числительные. Группа «существительные», в свою очередь, состоит из несколь­ ких подгрупп, выделенных по признакам рода и одушев­ ленности (для существительных мужского и женского рода). В каждой группе и подгруппе слова распределе­ ны по флективным классам.

Флективный класс может быть охарактеризован либо некоторой системой признаков, либо словом-представи- телем, которое является носителем этих признаков

96

Т а б л и ц а 7.1

ФЛ ЕКТИВНЫ Е КЛАССЫ СЛ О В

А. Существительные

Сущ ест вит ельны е м уж ского рода неодуш евленны е

* Символ . + * обозначает нулевое окончание.

П р о д о л ж е н и е т а б л . 7.1

99

fc . П р и л а г а т е л ь н ы е

Г. Глаголы прошедшего врем ени, краткие прилагательны е

ипричастия9