Файл: Белоногов Г.Г. Автоматизированные информационные системы.pdf

Скачать файл (13,62Мб)

Заказать решение

ВУЗ: Не указан

Категория: Не указан

Дисциплина: Не указана

Добавлен: 11.04.2024

Просмотров: 153

Скачиваний: 3

ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.

			Т а б л и ц а 8.2
Вероятность	однозначного определения		грамматических
классов	слов	по их конечным буквосочетаниям
Максимальное количество		Вероятность однозначного	Объемы списков букв и
Максимальное количество		Вероятность однозначного	буквосочетаний, необходи
букв в признаках грамма		определения классов	мые для определения
тических классов		слов	классов слов
1		0,635	31
2		0,837	481
3		0,928	1137
4		0,974	3184
5		0,976	3282

варя, неправильно расклассифицированных по двухбук венным признакам, превосходило заданный порог (число девять). Этот порог выбирался таким образом, чтобы общее количество слов, неправильно расклассифициро ванных по двухбуквенным признакам без привлечения третьей и четвертой буквы, было меньше 5% от объема словаря. Количество отобранных согласно этому усло вию трехбуквенных и четырехбуквенных признаков в сумме с общим количеством двухбуквенных признаков

приведено	в третьей	и четвертой	строках табл.	8.2
(в третьем	столбце).	Пятая буква	привлекалась	для

уточнения класса слова только тогда, когда количество словоформ, неправильно расклассифицированных по двухбуквенным и четырехбуквенным признакам, было больше двух. Суммарный объем перечней двухбуквен ных, четырехбуквенных и пятибуквенных признаков ука зан в пятой строке табл. 8.2.

В табл. 8.2 приведены результаты статистического анализа словаря без учета частоты встречаемости слов в текстах. Аналогичные подсчеты, проведенные раздель


но для редких слов (для слов	с частотой		употребления
в текстах, равной единице) и	для	всех остальных		слов
частотного словаря, показали,	что	вероятность правиль
ного определения классов по	последним		буквам	слов

практически не зависит от частоты их встречаемости в текстах.

Многоступенчатая система признаков для определе ния классов слов по их концам неудобна для практиче ского использования, да и объемы списков буквосочета

140

ний, приведенные в табл. 8.2, довольно велики. Поэтому было принято решение использовать в алгоритме авто матического опознавания классов слов только двухбук

венные и четырехбуквенные			признаки:	двухбуквенные
признаки — в	полном	объеме, а четырехбуквенные —
в сокращенном	(только	в тех	случаях,	когда число сло

воформ словаря с неправильно определенными по двух буквенному признаку классами оказывалось больше сорока пяти). Получилось двадцать списков четырехбук венных признаков (по числу наиболее «неточных» двух буквенных признаков).

Было введено также следующее ограничение: если список четырехбуквенных признаков включал менее 64 элементов, то он сохранялся неизменным, в против ном случае в нем оставлялись только 64 наиболее часто встречающихся элемента.

Списки двухбуквенных и четырехбуквенных призна ков для определения классов слов приведены в табл. 8.3 и 8.4. Каждой строке 8.3 поставлена в соответствие вто

рая	от конца буква слова, а каждому столбцу — послед
няя	буква слова. На пересечении строк и столбцов ука

заны классы слов или (в случае многозначности двух буквенного признака) сочетания из двух классов. В сочетании классов на первом месте стоит более веро ятный класс, а на втором — менее вероятный. В круглых скобках указаны номера списков из таблицы четырех буквенных признаков (табл. 8.4).

Таблица четырехбуквенных признаков классов (табл. 8.4) построена по иному принципу, чем табл. 8.3. Она расчленена на двадцать списков, а в каждом списке дан перечень сочетаний четвертой и третьей букв от кон ца слова с указанием соответствующих им грамматиче ских классов.

Алгоритм автоматического определения грамматиче ских классов слов работает в следующем порядке:

1)Выделить две последние буквы анализируемого слова. Перейти к п. 2.

2)По сочетанию букв, выделенных в п. 1, обратить

ся к табл. 8.3 и выбрать соответствующую клетку этой таблицы. Перейти к п. 3.

3) Проверить содержимое клетки, выбранной в п. 2, на наличие отсылочного номера к табл. 8.4. При наличии отсылочного номера перейти к п. 5, при отсутствии — к. п. 4.

141

								Т а б	л и ц а 8 . 3
	Таблица	двухбук вен н ы х признаков				для определения
	грамматических классов слов					по	их концам
2-я буква				1-я буква
2-я буква		б	в	г	д		е		ж	3
	а	б	в	г	д		е		ж	3
а	с	с	н ,с	с	с, н		с		с	с
б	с	—	—	—	с		с		—	—
в	С, Гп	—	с	__	с		с, н		—	—
г	С	_	_	_	_		с		_	_
д	С, н	—	—	-__	—		с, н		с	—
е	-—	с	с ,н	с	с, н		п ,н		с	С, Сл
ж	С, Гп	с	— —		—		(3)		—	—
ж	С, Гп	с	— —		—		н ,с		—	—
3'	С, Сл	— ■— _			—		с		—	—
и	. Сі	—	н .с	с, Гп	с		с, п		с	С, Сл
й	—	—	—	—	с		(4)		—*	—
й	—	—	—	—	с		с		—*	—
к	с, н	.—	с	__.	—		с		—	—
л	Гп, С	с		с	—		С, Сл		—	—
м	(1)	с	—	—	—		С, Сл		—	—
	С, Гп	с	—	—	—		С, Сл		—	—
	Гп, С	—	—	с	С, Сл		С, II		—	—
II	(2)	С, Сл	с, и	С, 1п	с, н		н,	п	Гп	с
0	■--	С, Сл	с, и	С, 1п	с, н		н,	п	Гп	с
0	С	—		—	—		с			_
II			—						—	—
II	С, Гп	с	с	С, Гп	с		С,	II	с	_
р	С, г	—	с	—	—		С, Гл		—	_
с	С	—	.—	_	—		С, II		—	_
с	—	—
т			н	с, н	С, Гп		с		с	с
У	с		н	с, н	С, Гп		с		с	с
ф	с	—	—		—		с		—	—
Ц	с	—	—		—		с,	н	—	—
ч		_	,. −	_	_				_
	с	—	—	—	—		II, с		—	—
	с, л	—	.—	—	.—		с,	II	—	—
ш		—	—	—	—				—	_
ш	С, Гп	с	с, н	.—	—		н, с			—
Щ	—	с	с, н	—.			II		—
ы	—	с	__				с		—
ь	—	—					—		—
э	—	—		с	С		—		—	с
ю

я— — н — с ,н — — —

Пробел	Сл	Сл	Сл	—	буква	—	—	—
				—	—	—	—	—
2-я буква	И	й	к	І-я	м	н	о	II
ва	И			л	м			II
ва	с	—	—	—	—	С, Гп	с, н	с
б	—	—	—		11	—		—
б	с	—	—	с	—	С	с, н	—
г	с		—	с	—	—	II, с	—
д	с, н	—	—	—	с	—	с , н	—
д	с, н	—			с	—	с , н	—

142

П р о д о л ж ен и е т а б л . 8 .3

І-я буква

2-я буква

с ,

Гп,

с , п

Гп, С

—

(7)

—

(10)

(12)

—

с , н

—

■—■

—

с , н

—

— •

—

t ,

С л

II,

С , Гп

Гп,

П , Гл

С, Гп

С , Гп

(8)

—

.—

с ,

—

II,

____

Гп,

—

Гп,

(5)

м *

П ,

——

■—

Гп,

(С)

Н , Гп

С , С л

—

(13)

С , п

п , С С , Гп

п , с

—

(9)

(11)

. ---

— ■ ,

—

С ,

С л

с , н

—

с, н

—

С,

сл

С , Гп

—

— .

С , Гп

С , С л

С , Г л

—

С ,

С л

—

с,нн

с, п

—

С ,

Гп

—

Гп,

—

'__

—

__.

—

Гп,

— '

—

С , Гп

1-я

—

П робел

С л

—

2-я буква

буква

С,

Гп

с,

С, Гл

—

— -

— ■

—

С, Сл

—

— .

С,

Сл

с ,

Гп Гл, С

—

с, п

с,

—■

—

(14)

—

—-

—

с, н

—

— .

—

— .

Гл, С

п, с

143

						П родолж е нив т а б л . 8 -3
2-» буква					1-ябуква
2-» буква	р	с	т	У 1		ф	X	ц	ч
	р	с	т	У 1		ф	X	ц	ч
й	—	с	с	с		—	—	—	—
к	—	с	с	с,	н	с	— .	—	—
л	—	—	с	с		с	— .	—	—
м	—	—	—	п, с		с	с	—	.—
н	с	с	с	п		Сл	с	—	—
ѳ	с	С, Гп	с, п	—		Сл	с, н	—	—
п	с	—	—	с		—	—	—	—
р	с	с	с	с		—	н, с	—	—
с	с	с	С, Гл	с		—	—	—	—
т	с	—	.—	с, п		—	—	—	—
у	с	с	Гл, С	—		—	с	—	с
ф	с	—-	с	с		—	— ■	—	—
X	—	с	с	с		—	—	—	—
д	— -	—	_	С, Гл			_	—	—
ч	— -	—	_	С, Гл		—	_	—	—
ш	—	—	с	с		—	—	—	—
щ	—	с	С, Гп	L.		_	п, н	_	с
ы	—	с	С, Гп	—		_	п, н	_	с
ь	—	с	с	—		—	—	—	—
э	—	с	с	— — — — —
ю	—	с	Гл, С	—		—	—	—	с
я	—	—	Гл, Гп	—		—	с	—	с
Пробел	—	Сл	—	Сл		—	—	—	—
2-я буква					1-я буква
2-я буква	ш	щ	ы	ь		э	ю	я
	ш	щ	ы	ь		э	ю	я
а	п						Гл, С	II, н
б	—	—	С, Сл	с, н		—		419)
б	—	—	С, Сл	с, н		—	—	с
в	—	—	С, Гп	н		—	с	Н ,
д	_	_	с	С, Сл		_	_.	н, с
е	п	—	—	с		—	с	с
3	_	_	с	LJ		__	_	н
3	_	_	с	С, н		__	_	н
и	—	с	—			—	с, н	с
й	-	—	—			—	с	с
л	_	_	С, Гп	с,	н	_	С, Гл	С, Сл
м	—	—	С, Гп	с	н	—	_	С, Сл
н	—	—	Гп, С	с,	н	с	с	с
ѳ	—	—	(16)			—	п, с	с
ѳ	—	—	п			—	п, с	с
	с		Li	с, н		—		сГн
р	с		с	с, н		—	С, Гл	сГн

144

Смотрите также файлы

Блок М. Апология истории или ремесло историка.pdf

Контрольная работа по теме Евразия.docx

Сынып Малім.docx

Сынып Ю. Гагарин атындаы 16 мектеплицейі.docx

Архивные гистологические препараты доброкачественных и злокачественных опухолей, подозрительные на опухолевый рост, со специфическим воспалением (туберкулёз, сифилис и т д.) хранятся в патологоанатомическом отделении B.docx

Файл: Белоногов Г.Г. Автоматизированные информационные системы.pdf

Смотрите также файлы

Информация

Списки файлов

Дополнительно