Source Code for Me (s-c.me)

Copy Source | Copy HTML

1. namespace Lucene.Net.Analysis.Morphology
2. {
3.     using LEMMATIZERLib;//морфология
4.     using System;
5.     using System.Collections.Generic;
6.     using System.Configuration;
7.     using System.Data;
8.     using System.Diagnostics;
9.     using System.IO;
10.     using System.Text;
11.     using System.Text.RegularExpressions;
12.     using System.Web;
13.     using System.Web.Security;
14.     using System.Web.UI;
15.     using System.Web.UI.WebControls;
16.     using System.Web.UI.WebControls.WebParts;
17.     using System.Web.UI.HtmlControls;
18.  
19.     /// <summary>
20.     /// Работа с морфологией для анг. и русского языка
21.     /// </summary>
22.     public class MorphENRU
23.     {
24.         /// <summary>
25.         /// Регулярное выражение для определения английских слов
26.         /// </summary>
27.         private Regex rWordEn = new Regex(@"[a-z0-9]+", RegexOptions.Singleline | RegexOptions.Compiled
28.             | RegexOptions.ExplicitCapture);
29.  
30.         /// <summary>Анализатор английских слов</summary>
31.         private ILemmatizer Lemmatizer_en;
32.  
33.         /// <summary>
34.         /// Анализатор русских слов
35.         /// </summary>
36.         private ILemmatizer Lemmatizer_ru;
37.  
38.  
39.         public MorphENRU()
40.         {
41.             //в конструкторе нужно загрузить морфологию
42.             try
43.             {
44.                 Lemmatizer_ru = new LemmatizerRussianClass();
45.                 Lemmatizer_ru.LoadDictionariesRegistry();
46.                 Lemmatizer_en = new LemmatizerEnglishClass();
47.                 Lemmatizer_en.LoadDictionariesRegistry();
48.                 Debug.WriteLine("Загрузка морфологи успешно завершена.");
49.             }
50.             catch (Exception e)
51.             {
52.                 Debug.WriteLine("Ошибка при открытиии морфологического словаря: " + e.Message);
53.                 //ошибка может быть по многим причинам - например,
54.                 //кто-то удалил файлы словарей или истекла лицензия,
55.                 //тогда игнорируем морфологию
56.                 Lemmatizer_ru = null;
57.                 Lemmatizer_en = null;
58.             }
59.         }
60.  
61.         /// <summary>
62.         /// Делаем слово морфологически инвариантным
63.         /// </summary>
64.         /// <param name="word"></param>
65.         /// <returns></returns>
66.         public List<string> NormalizeWord(string word)
67.         {
68.             List<string> WordList = null;
69.             if (Lemmatizer_ru != null &&
70.     Lemmatizer_en != null)
71.             {
72.                 //если ошибка в словарях, то пропускаем обработку
73.                 int weight = -1;
74.                 bool isEng = this.rWordEn.Match(word).Success;//английское или русское слово
75.                 // ищем варианты в словаре
76.                 IParadigmCollection ParadigmCollection =
77.                     isEng ?
78.                     Lemmatizer_en.CreateParadigmCollectionFromForm(word, 1, 1) :
79.                     Lemmatizer_ru.CreateParadigmCollectionFromForm(word, 1, 1);
80.                 // выбираем наиболее тяжелое по весу
81.                 for (int j = 0; j < ParadigmCollection.Count; j++)
82.                 {
83.                     if (ParadigmCollection[j].WordWeight > weight)
84.                     {
85.                         if (ParadigmCollection[j].Norm == "ДЛИТЬ") continue;
86.                         //будем брать всего одно самое весовое слово для морфологии
87.                         if (WordList == null)
88.                         {
89.                             WordList = new List<string>();
90.                             WordList.Add(ParadigmCollection[j].Norm.ToLower());
91.                         }
92.                         else
93.                         {
94.                             WordList[0] = ParadigmCollection[j].Norm.ToLower();
95.                         }
96.                         weight = ParadigmCollection[j].WordWeight;
97.                         //графемы нам не нужны
98.                         //gramma = this.ParadigmCollection[j].SrcAncode;
99.                     }
100.                 }
101.             }
102.             return WordList;
103.         }
104.     }
105. }