Lucene.net站内搜索—4、搜索引擎第一版技术储备（简单介绍Log4Net、生产者消费者模式）

目录

Lucene.net站内搜索—1、SEO优化
Lucene.net站内搜索—2、Lucene.Net简介和分词
Lucene.net站内搜索—3、最简单搜索引擎代码
Lucene.net站内搜索—4、搜索引擎第一版技术储备（简单介绍Log4Net、生产者消费者模式）
Lucene.net站内搜索—5、搜索引擎第一版实现
Lucene.net站内搜索—6、站内搜索第二版

我们先来看下百度搜索

用户保存一篇文章就把文章写入索引库

用户输入“我喜欢的季节”也可以搜索出含有“喜欢的”和“季节”的，这里用到了分词。query.Add(new Term(“body’,str))

搜索结果页面显示标题和帖子的一部分（帖子的前100个字）。点击标题可以进入帖子页面。我这里结果页面暂时不用分页。

英文搜索时要转换为小写的，因为盘古分词会默认把英文转化为小写保存。

面试可能会问的问题：Lucene.Net的原理：分词、B+树、索引。

如果搜索结果为空，看看是不是创建索引download下来的是乱码，因为如果download的是乱码，当然搜索不到

显示用Repeater，将搜索结果放到

 public class SearchResultInfo    {        public string URL{get;set;}        public String Title { get; set; }        public String Summary { get; set; }    }List< SearchResultInfo> list = new List< SearchResultInfo>();repeater.DataSource=list;

把list绑定到Repeater，不考虑分页，设置一下Repeater的ItemTempelete

 <asp:Repeater ID=”Repeater1″ runat=”server”>

        <ItemTemplate><a href=”Eval(‘URL’)” /></ItemTemplate>

    </asp:Repeater>

对象中，然后绑定到ListView中，其实用Repeater也可以

 <asp:ListView ID="listResult" runat="server">        <ItemTemplate>            <p>                <a href="<%#Eval("URL") %>"><%#Eval("Title") %></a></p>            <p>                <%#Eval("Summary")%></p>        </ItemTemplate>        <LayoutTemplate>            <asp:PlaceHolder ID="itemPlaceholder" runat="server" />        </LayoutTemplate>        <EmptyDataTemplate>            <p>                No Result</p>        </EmptyDataTemplate>    </asp:ListView>

Log4Net

这里我简单介绍下Log4Net，因为后面用得到。

    Log4Net是用来记录日志的，可以将程序运行过程中的信息输出到一些地方（文件、数据库、EventLog等），日志就是程序的黑匣子，可以通过日志查看系统的运行过程，从而发现系统的问题。日志的作用：将运行过程的步骤、成功失败记录下来，将关键性的数据记录下来分析系统问题所在。Log4J。

    对于网站来讲，不能把异常信息显示给用户，异常信息只能记录到日志，出了问题把日志文件发给开发人员，就能知道问题所在。

Log4net的安装：

用户可以从http://logging.apache.org/log4net/下载log4net的源代码。解压软件包后，在解压的src目录下将log4net.sln载入Visual Studio .NET，编译后可以得到log4net.dll。用户要在自己的程序里加入日志功能，只需将log4net.dll引入工程即可。

配置Log4Net环境

• 新建一个WebApplication
• 添加对log4net.dll的引用（bin\net\2.0\release）
• 在Web.Config （或App.Config）添加配置，见备注
• 初始化：在程序最开始加入log4net.Config.XmlConfigurator.Configure();不要加到页面的Load
• 在要打印日志的地方LogManager.GetLogger(typeof(Program)).Debug(“信息”); 。通过LogManager.GetLogger传递要记录的日志类类名获得这个类的ILog（这样在日志文件中就能看到这条日志是哪个类输出的了），然后调用Debug方法输出消息。因为一个类内部不止一个地方要打印日志，所以一般把ILog声明为一个static字段。
• 输出错误信息用ILog.Error方法，第二个参数可以传递Exception对象。log.Error(“***错误”+ex)，log.Error(“***错误”,ex)
• 测试代码：见下面。

  log("准备执行数据库清理"+DateTime.Now);try{clear();log("清理成功"+DateTime.Now);}catch(Excepion ex){log("清理失败"+DateTime.Now+ex);}

  在VS2010中的控制台项目引用Log4Net的时候要将项目的“目标框架”改为非“Client Profile”

  备注：

  1、Log4Net配置

  <configuration>  <configSections>    <section name="log4net" type="log4net.Config.Log4NetConfigurationSectionHandler, log4net"/>  </configSections>  <log4net>    <!-- Define some output appenders -->    <appender name="RollingLogFileAppender" type="log4net.Appender.RollingFileAppender">      <file value="test.txt"/>      <appendToFile value="true"/>      <maxSizeRollBackups value="10"/>      <maximumFileSize value="1024KB"/>      <rollingStyle value="Size"/>      <staticLogFileName value="true"/>      <layout type="log4net.Layout.PatternLayout">        <conversionPattern value="%date [%thread] %-5level %logger - %message%newline"/>      </layout>    </appender>    <root>      <level value="DEBUG"/>      <appender-ref ref="RollingLogFileAppender"/>    </root>  </log4net></configuration>

  2、完整示例

   class Program    {        private static ILog log = LogManager.GetLogger(typeof(Program));        static void Main(string[] args)        {            log4net.Config.XmlConfigurator.Configure();            log.Debug("开始运行");            string s = Console.ReadLine();            log.Debug("用户输入："+s);            try            {                int i = Convert.ToInt32(s);            }            catch (Exception ex)            {                log.Error("用户输入的数据错误：" + s, ex);            }            Console.ReadKey();            log.Debug("程序退出");        }

  生产者消费者模式

• 生产者、消费者模式：生产者、消费者不用互相等待，用仓库做缓冲。简单原理性代码见备注

• 举例：多线程操作同一个文件时会出现并发问题。解决的一个办法就是给文件加锁(lock),但是这样的话，一个线程操作文件时，其它的都得等待，这样的话性能非常差。另外一个解决方案，就是先将数据放在队列中，然后开启一个线程，负责从队列中取出数据，再写到文件中。

• 因为同时只能有一个线程对索引库进行写操作，所以以一种策略（联想火车中等厕所可用，红灯/绿灯就是标志是否有人在用）是一直检测是否厕所可用，带来的问题就是效率低；另外一种策略就是委托给乘务员排队处理，这样就可以去干别的。

• 队列（先入先出）：Queue、ConcurrentQueue（*线程安全，多线程中用这个）。栈（*）：Stack：先进后出。

• 发邮件、发短信偶尔会遇到半个小时才收到的情况就是在排队处理。

  Demo：

  using System;using System.Collections.Generic;using System.Linq;using System.Text;using System.Threading;namespace 生产者消费者模式{    class Program    {        //仓库        static List<int> list = new List<int>();        static void Main(string[] args)        {            //while (true)            //{            //    Console.WriteLine("请输入一个数字");            //    int i = Convert.ToInt32(Console.ReadLine());            //    耗时操作.Process(i);            //}            //消费线程            Thread thread = new Thread(ThreadRun);            thread.Start();            //生产线程            while (true)            {                Console.WriteLine("请输入一个数字");                int i = Convert.ToInt32(Console.ReadLine());                list.Add(i);//把任务放入仓库            }        }        static void ThreadRun()        {            while (true)            {                //如果仓库中有产品，就消费                if (list.Count > 0)                {                    int i = list[0];//有线程安全问题                    list.RemoveAt(0);//消费完毕后从仓库移除                    Thread.Sleep(5000);//模拟耗时操作.Process(i);                }            }        }    }}