Source Code for Me (s-c.me)

Copy Source | Copy HTML

1. namespace Lucene.Net.Analysis.Morphology
2. {
3.     using System;
4.     using System.Data;
5.     using System.Configuration;
6.     using System.Web;
7.     using System.IO;
8.     using System.Web.Security;
9.     using System.Web.UI;
10.     using System.Web.UI.WebControls;
11.     using System.Web.UI.WebControls.WebParts;
12.     using System.Web.UI.HtmlControls;
13.     using Lucene.Net.Analysis.Standard;
14.     using Lucene.Net.SynonymEngine;
15.  
16.     /// <summary>
17.     /// Анализатор текста для Lucene.Net с использованием морфологического анализа и словаря синонимов
18.     /// </summary>
19.     public class MorphologyAnalyzer : Analyzer
20.     {
21.         public MorphologyAnalyzer(ISynonymEngine engine)
22.         {
23.             //запомнили откуда брать синонимы
24.             SynonymEngine = engine;
25.             isSearchQuery = false;
26.             //грузим словари
27.             Morph = new MorphENRU();
28.         }
29.  
30.         private MorphENRU Morph;
31.         private ISynonymEngine _SynonymEngine;
32.         private Boolean isSearchQuery;
33.  
34.         /// <summary>
35.         /// Объект для перечисления синонимов слова
36.         /// </summary>
37.         public ISynonymEngine SynonymEngine {
38.             get {
39.                 return _SynonymEngine;
40.             }
41.             private set
42.             {
43.                 _SynonymEngine = value;
44.             }
45.         }
46.  
47.         /// <summary>
48.         /// Выключаем проверку синонимов
49.         /// </summary>
50.         /// <returns></returns>
51.         public MorphologyAnalyzer SetQuerySynonym()
52.         {
53.             this.isSearchQuery = true;
54.             return this;
55.         }
56.  
57.         /// <summary>
58.         /// Анализуем текст и возвращаем в виде нобора слов для помещения в индекс и подсчета частот
59.         /// </summary>
60.         /// <param name="fieldName">Имя индексируемого файла</param>
61.         /// <param name="reader">Поток для чтнения файла</param>
62.         /// <returns>TokenStream</returns>
63.         public override TokenStream TokenStream(string fieldName, TextReader reader)
64.         {
65.             //создаем обход слов
66.             TokenStream result = new StandardTokenizer(reader);
67.  
68.             //преобразуем исходную строчку
69.             result = new StandardFilter(result); // выделение слов при помощи StandardTokenizer
70.             result = new LowerCaseFilter(result);// Приведение к нижнему регистру
71.  
72.             // простой фильтр английских местоимений,
73.             // русских, к сожалению нету
74.             result = new StopFilter(result, StopAnalyzer.ENGLISH_STOP_WORDS);
75.             result = new MorphFilter(result, Morph); // вставляем морфологическую модификацию
76.             result = new SynonymFilter(result, SynonymEngine, this.isSearchQuery); // вставляем синонимы
77.  
78.             //возвращаем набор токенов для помещения в индекс
79.             return result;
80.         }
81.     }
82.  
83. }