建立搜索引擎 没有全文检索，企业内部的知识管理系统就不能成为成功的系统。构建一个类似 GOOGLE 的全文检索系统的是否要花费巨大呢？看看 Google 的搜索引擎软件目录吧。
我对其中的两个开放源码的搜索引擎进行了测试。htdig 是一个不错的搜索引擎软件，可惜不支持中文的检索；ASPseek 接着走入我的视线，这个软件对中文的支持非常之好，就连CGI的界面、CGI传递参数都和 GOOGLE 非常类似。
ASPseek 由三个部分组成：前端的 cgi 程序 s.cgi 提供查询界面和返回查询结果；后端的守护程序 searchd 接收cgi程序的查询请求，执行数据库查询，返回结果；后台数据库的维护则由程序 index 完成。
相关链接：
Google的搜索引擎软件目录
参见：http://dir.google.com/alpha/Top/ … net/Servers/Search/
另一个搜索引擎软件目录：
Search Tools for Web Sites and Intranets ：http://www.searchtools.com/tools/tools.html
ASPseek 网站
ASPseek.org：http://www.aspseek.org/
ASPseek论坛
关于ASPseek的求助信息，可以访问ASPseek论坛：http://forum.aspseek.org/。
2.1. 安装 ASPSeek ASPseek 安装过程比较简单，需要注意的是 ASPseek 的安装和运行需要先安装和配置 MySQL。下面是一般的安装过程（假设MySQL已经正确的安装在路径 /usr/local/mysql/ 下）：
root>; tar zxvf aspseek-1.2.10.tar.gz
root>; cd aspseek-1.2.10
root>; ./configure –with-mysql=/usr/local/mysql –prefix=/usr/local/aspseek
root>; make && make install
root>; /usr/local/aspseek/sbin/aspseek-mysql-postinstall
root>; cp /usr/local/aspseek/bin/s.cgi <wwwroot>;/cgi-bin/
root>; useadd aspseek
root>; su – aspseek
aspseek>; /usr/local/aspseek/sbin/index
aspseek>; /usr/local/aspseek/sbin/searchd -D
指出 mysql 的安装路径和设置 ASPseek 的安装路径
初始化 ASPseek 数据库设置。创建数据库 aspseek12，访问该数据库的用户名和口令保存在配置文件 /usr/local/aspseek/etc/db.conf 中
将cgi程序 s.cgi 程序拷贝到WEB服务器的cgi-bin目录中
为确保系统安全，创建用户 aspseek，并使用该用户的身份，进行数据索引的维护和启动搜索引擎服务程序
以 aspseek 用户的身份，进行数据索引的维护
以 aspseek 用户的身份，启动搜索引擎服务程序 2.2. 数据库维护 index 程序完成的功能包括网站爬虫、网页下载、解析、数据库维护。
2.2.1. 配置文件: aspseek.conf aspseek.conf 是 index 程序的配置文件，告诉 index 程序为哪个网址建立索引，如果建立索引等等。
Include db.conf
UtfStorage yes
Include ucharset.conf
Period 1d
Server URL
包含 db.conf 配置文件，设置连接 MySQL 数据库的用户名、口令等。例如：DBAddr mysql://aspseek12ASSWOR-IS-HERE@localhost/aspseek12/
设定网页重建索引的间隔，作用域到下一个 Period 命令或者文件结尾。对作用域内的 Server 指定的网站有效，因此可以对不同的网站设置不同的更新频率
以 UTF-8 格式存储 MySQL 数据库中信息
配置字符集。若需要能够对中文进行检索，需要打开 CharsetTableU2 和 Dictionary2 的配置
最重要的设置。告诉 index 为哪些网站建立索引，可通过多个 Server 配置设置多个服务器。注意：如果在URL中包含路径并不能将索引限制在该目录下，仍然会对整个网站建立索引。如果想限制某些路径，使用 Disallow 配置，例如下面的配置将对网站的索引限制在 url: http://members.aol.com/midlandsda 下。Server http://www.aol.com/ Allow ^http://members.aol.com/midlandsda Disallow ^http://www.aol.com/
2.2.2. 用 index 程序定期更新搜索引擎数据库
index -a
为所有网页重新建立索引。不使用该参数，则参考配置中的 Period 参数，只对早于这个时间的网页重建索引。
index -S
显示数据库的统计信息
通过 crontab 设置定时启动 index 重建检索
0 0 * * * su -c ‘/usr/local/aspseek/sbin/index’ aspseek
注意要以 aspseek 用户身份执行。
2.3. searchd 后台数据库检索 searchd 是 ASPseek 的守护进程，用来接收 cgi 程序(s.cgi)的查询请求，执行查询动作（搜索由 index 程序创建的数据库），将结果反馈给 cgi 程序(s.cgi)。
2.3.1. searchd.conf searchd 程序的配置文件。
Port 12345
Include db.conf UtfStorage yes Include ucharset.conf
设置 searchd 侦听的端口。确省为 12345
包含 db.conf 配置文件，设置连接 MySQL 数据库的用户名、口令等。例如：DBAddr mysql://aspseek12ASSWOR-IS-HERE@localhost/aspseek12/
以 UTF-8 格式存储 MySQL 数据库中信息
配置字符集。若需要能够对中文进行检索，需要打开 CharsetTableU2 和 Dictionary2 的配置 2.3.2. 运行 searchd 配置开机自动执行 searchd。
#!/bin/sh
# FileName: /etc/rc.d/rc3.d/S99aspseek
# Script to control aspseek
#
case "$1" in
’start’)
echo "starting aspseek server … "
su aspseek -c "/usr/local/aspseek/sbin/searchd -D -R"
echo done
;;
’stop’)
echo "stopping news server … "
killall -9 searchd
echo done
;;
*)
echo "usage: news.sh {start | stop}"
;;
esac
2.4. s.cgi: 具有类似GOOGLE查询界面的cgi程序 搜索引擎的界面是由 CGI 提供的。ASPseek 的CGI程序叫做 s.cgi，当然可以改成其它名字。配置则非常简单，除了要将 Apache 配置为支持 cgi 外，只需要将 s.cgi 从 /usr/local/aspseek/bin/ 目录下拷贝到 Apache 的 cgi-bin 目录下即可。配置 Apache 可能非常简单，也许一句 “ScriptAlias /cgi-bin/ /PATH/cgi-bin/” 就足够了。
我感打赌，s.cgi 一下子就会抓住你的眼球，因为 s.cgi 程序提供的一流的查询界面，和伟大的 Google 太类似了，尤其是那一排字母 “e”。
ASPseek 查询界面
s.cgi 还提供了定制界面的方案：只需要修改模板文件 /usr/local/aspseek/etc/s.htm 即可。下面是 s.htm 定制的示例（只显示重要的改动）：
注意：如果将 s.cgi 改名，相应的模板也需要改名。例如 cgi 改名为 search.cgi，则相应的模板文件为 search.htm。
;
<html>;
<head>;
<meta content="text/html; charset=gb2312" http-equiv="Content-Type">;
<link href="/inc/css/main.css" type="text/css" rel="STYLESHEET"></link>;
<title>;ASPseek: $Q</title>;
</head>;
<body bgcolor="#FFFFFF">;
<script src="/inc/jscript/header.js" type="text/javascript" language="javascript">;</script>;
<form action="$A" method="GET">;
<table width="100%" align="center" valign="center">;
<tr>;
<td valign="bottom">;<img src="/img/aspseek-big.png" hspace="0" align="left" height="66" width="168" alt="ASPseek" border="0">;</td>;
<td width="*" align="center" valign="center">;
<input type="hidden" name="cs" value="gb2312">;
搜索
<input type="text" name="q" value="" size="30">;
<input type="submit" value="查询知识库">;
</td>;
<td width="100">;
</td>;
</tr>;
</table>;
</form>;
… …
… …
<center>;
<script src="/inc/jscript/footer.js" type="text/javascript" language="javascript">;</script>;
<script language="javascript">; write_footer("Template: $Id: searchengine.xml,v 1.1 2004/02/03 05:24:10 jiangxin Exp $"); </script>;
</center>;
<div align="right">;
<a href="http://www.aspseek.org/">;<img src="http://www.aspseek.com/i/pow_aseek.png" alt="Free search engine software: ASPseek $AV" height="31" border="0" width="88">;</a>;
</body>;
</html>;
;
将cgi查询的输出界面（HTML）的语言编码设置为中文
引用外部的样式表文件，这样可以根据需要改变查询界面而尽量少的修改模板文件。一个简单的样式表示例：
p {font-size:9pt}
h1 {font-size:20pt;line-height:130%;font-weight:"bold";align:"center";}
td,li,select,input {font-size:9pt}
.sect1 {font-size:9pt;line-height:150%;color:#333333;background-color:#E1E1E1;font-weight:bolder;}
.datetime {font-size:9pt;color="red"}
.star {font-size:9pt;color="red"}
.gray {font-size:9pt;color="gray"}
.cvskw {font-size:9pt}
.footer {font-size:9pt;font-weight:bolder}
.footer A:link {font-size:9pt;font-weight:bolder}
.footer A:active {font-size:9pt;font-weight:bolder}
.footer A:visited {font-size:9pt;font-weight:bolder}
.footer A:hover {font-size:9pt;font-weight:bolder}
A:link {color: #000000;}
A:visited {color: #000000;}
A:active,A:hover {color : #000000}
HTML BODY { LINE-HEIGHT: 1.2; MARGIN: 0 0 2em 0 }
UL { list-style-image: url("/images/dot.gif") }
.em {font-size:"9pt";color="red";font-weight:"bolder";font-style:"normal";letter-spacing:"2px";}
.em A:link {color: "red";letter-spacing:"4px";}
.em A:active {color: "red";letter-spacing:"4px";}
.em A:visited {color: "red";letter-spacing:"4px";}
.em A:hover {color: "red";letter-spacing:"4px";font-size:"12pt";}
引用外部 javascript，显示头部信息，避免过多对该模板的修改。一个 header.js 示例：;");
document.write(" <tr valign="bottom">;");
document.write(" <td width="’*'">;");
document.write(" <table cellpadding="0" width="’100%’" cellspacing="0" border="0" height="50">;");
document.write(" <tr>;");
document.write(" <td align="’center’" valign="’center’">;<h1>;<a href="’/'">;Johnson’s Homepage</a>;</h1>;</td>;");
document.write(" </tr>;");
document.write(" </table>;");
document.write(" </td>;</tr>;");
document.write(" </table>;");
//–>;
通过设置cgi的cs字段，用以支持中文查询
q 是真正的查询字段。看看 GOOGLE 的查询网页，看看是不是非常类似？
引用外部 javascript，显示脚注信息，避免过多对该模板的修改。一个 footer.js 示例：;");
document.write(" <tr>;");
document.write(" <td align="center">;");
document.write(" <hr>;");
if ($str)
document.write("<font class="’cvskw’">;" + $str + "</font>;<br>;");
document.write(" <font class="’footer’">;CopyLeft 2003, <a href="’mailto:johnson.AT.worldhello.net’">;Johnson</a>;</font>;<br>;");
document.write(" </td>;");
document.write(" </tr>;");
document.write(" </table>;");
}
//–>;
2.5. ASPseek对中文的支持 中文、日文、韩文等多字节文字不同于英文等单字节语言，是多字节语言。我们都知道英文是依靠空格和标点符号将单词分割开，搜索引擎只要依据空格和标点就可以分割出词表。对一些检索意义不大的单词，则将这些词列在所谓 stopwords 词表（又称为 badwords中），如: “a, an, and, the, …"，避免因为对这些词建立检索而耗费过多的资源。这些 stopwords 保存在目录 /usr/local/aspseek/etc/stopwords/ 中。
而中文则不能造此办理，没有空格开区分词和词组，因此需要建立相应的词表。这些词表保存在目录 /usr/local/aspseek/etc/tables/ 中。
为能够对中文文档进行检索，需要检查是否在配置文件 aspseek.conf 和 searchd.conf 配置了 “CharsetTableU2” 和 “Dictionary2"选项。这两个选项是在配置文件 ucharset.conf 中定义的，用语句 “Include ucharset.conf” 包含入配置文件 aspseek.conf 和 searchd.conf。 ucharset.conf 中"CharsetTableU2” 和 “Dictionary2"的配置如下：
########################################################################