明天晴天

秋歌

365999400@qq.com(明天晴天) — Sun, 25 Oct 2009 13:32:45 GMT

在一个自然醒来的午后
我砸了自己的笔记本电脑
把手机Mp3通通丢进了河里
撕了那些关于软件设计的书
穿着黑色背心白色短裤人字拖
背着吉他
开始去流浪

不刮胡子不洗澡也不照镜子变得邋遢不堪
饿了就唱歌讨钱
不给钱我就噪音污染
饱了就睡在楼道口、公园里、树林中、湖边上
做春秋大梦

一路上
我对着树哭泣
我对着天空呐喊
若有人诋毁我
我就捡起石头砸向他
表示我的愤怒

闲来无事时
我会想象着未来娘子的摸样
她应该很贤惠
我带着她一起流浪
在我们吃饱了的晚上
她给我捉着身上的虱子
轻轻地放在嘴里
牙齿磕的一阵乱响
然后在草地上亲吻做爱
深夜她睡在我的怀里
口水湿了我一身
倾听着她雷鸣般欢快的呼噜声
安然地进入了梦乡

秋归

365999400@qq.com(明天晴天) — Sun, 11 Oct 2009 09:48:25 GMT

在秋天的某个午后，我回到了家。
十四个小时的火车犹如一场噩梦，醒来时喜悦和梦途中难过。还好梦终究会过去，人也会醒来。只是为了心的方向，再苦再累也值得。
曾经，我也在火车上站着到了南方的一个城市，结果在那个陌生的城市里，迷失了方向。那些都是过去的事情了，我不能是忘记，只是有些恨，积累在心头，怎么也消除不了。
不是我不想，我努力过，但办不到。
辗转到了归家的公交车，靠着窗口，熟悉的风景渐渐的来了又去。来来往往，这川流不息的人群和车辆。
我把包里的水给了邻座的阿婆，阿婆的孙子发烧说渴。那些准备的水我都不敢喝，因为火车上站在吸烟区，我根本看不到厕所在哪里。
在城市待太久，初见大片黄色的土地，和迎面吹来的味道，欣喜，有一种踏实的感觉。
两小时后，终于到了那个有我成长回忆的小县城。
今年的家乡遭受了干旱，那条哺育了我们的澧水，露出了她黄黄的躯体。我不曾忘记，那些在堤上骑车，眺望夕阳和未来的样子。
水的一方那么长，寄托了很多希望。随到一处，都是过去的画面。坐六路车，高中时经常过河去治鼻子和新华书店。坐五路车，从镇上到一中上学。棠华——津市的那一趟，是村子连接外面的纽带，从到镇上上初中开始，就不曾离开了。
我是个念旧的人，很珍惜那个过去的自己。
那曾经心仪的女孩，如今为谁披上了嫁衣呢？长长的小巷，等待的车站，吃饭的小餐馆，那些有关她的记忆，都沉到了心底。
朋友不一定要多，但一定要铁。那些有酒有歌的岁月，是年少时轻狂。我也不曾忘记你们的摸样，希望你们是幸福的。或许有一天我们还会重聚，只是不需太多的言语，一杯酒足矣。
半小时后下了车，就到了想念中的村庄。秋天的田野里，洒落的是那一地灿烂的黄。秧苗黄了，沉沉的谷子垂了下来，棉梗枯了，朵朵的白花开了出来。
秋天是一个喜悦的季节，在农村，不曾悲过。家家的粮仓满了，棉花收了。
终于毕业了，不需再向爸妈要钱了。他们的负担轻了些，但只要一想起这些年为我所劳累的，心就很愧疚。
橘子，柿子，村里四处可见，摘来吃吃，也不会有人来说，多着呢！不比城里，什么都是用钱来衡量。
妈妈做的菜很好吃，那个土鸡炖板栗，怎一个香字了得。
坐在小桥上，凝望着夕阳，安静的坠入山腰，很美。夜幕拉下来的时候，小屋里的炊烟也升起来了，路上的行人都匆匆地往有灯火的方向赶。
那一刻是温暖的，因为有家。
这些年，由于生活条件渐渐好起来，上山打柴的人越来越少，山里的植被很茂盛，环境一天天的好起来，林间的鸟自由自在。
只要一走在这空旷的田野里，我就忍不住想要歌唱。那种感觉是自由的，轻松的，很愉快。
当然，不免有感伤的地方。在我们成长的同时，有些人有些事在离去。在这个庞大的家族里，这几年每年都有人离去。所以我现在最希望的就是，每次回去都能看到同样的面孔，一起吃饭，一起聊天，就很好。
经过那一堆堆的黄土时，会想起他们的样子。那么熟悉，他们教我们为人处事，给我们很多很多的爱，把我们当成生命中的宝贝。
这次回家也是为了见一些人，因为有些人不见，很可能一辈子再也见不着。
我一直是一个不擅言语的人，在幺爷爷的床前，看着他矍铄有神的眼睛，不像一个得了绝症的老人。年前的冬天还和强在冷水中捉鱼，那时的他好开心。
所以我说，好好养病，过年回来再看您。

城市

365999400@qq.com(明天晴天) — Sun, 20 Sep 2009 07:37:14 GMT

来这个城市已经两个月有余，开始的时候还有些惊喜，如今已渐渐褪去，转而为平淡。
人这种动物，身体里面流动着一种不安分的元素，永远的梦想着生活在别处。每天重复着同一种工作，偶尔也会无聊，偶尔也会沮丧，偶尔也会失落。
在夜幕降临却依然灯火通明的城市街头，独自一个人寻找一个吃饭的地方，一个煲仔饭，或者兰州拉面，抑或跑到西餐厅，吃个什么什么扒。总之，一个人倒也自在。
我不是个开朗的人，没有主动去接近一个人的习惯。我不爱走入别人的眼帘，我有我的世界。
这个城市有很多的流浪者，他们风餐露宿，栖息在这里的街头某块树荫下，或者公园里的长凳上，或者某个凉爽的屋檐下。他们有他们的苦与乐，不是我们能够涉入和跟随的。
楼角的走道里面有几张木板，在某个烈日当头的午后，他们一人一瓶啤酒，坐在那里打着扑克，自得其乐。有时候会看见光着膀子，挑着一箩筐的水泥砖灰，楼上楼下，来来往往，大汗淋漓。累了，就在那角落的木板上面躺躺，晚上也睡在那里。他们来自广大农村的民工，为了妻儿，为了家庭，他们背井离乡，来做这个城市的建设者。
我也是来自农村，不喜欢这个嘈杂的城市，这个城市也不属于我，我们格格不入。但我必须在这个城市活下去，所以不得不掩埋了自己。
外化而内不化。我像一头牛似地拼命工作，讨厌那些煞有介事喜欢指指点点的人。总有一天我也会变成一头牛的，在这个世界横冲直闯，谁拦着我就掀翻谁。
自由，我们所谓的自由，在这个已经高度规格化的社会里，还剩下多少呢？权和利，又栓出了多少人的心呢？
勇敢是来自心的力量，与身体无关。
在一个人回家的路上，也会想起他们。他们还好吗？他们在哪里呀？他们会不会想起我？
我知道，这些孤单的时光需要独自去承受。外面的风雨太大，生命这只船，要驶向自己的远方，需很多默默的承受。
偶尔也会站在这个城市的上空，仰望，映入眼帘的除了楼房还是楼房，看不见那些山和水。
不语……。不想，生活就会很快乐。

想想

365999400@qq.com(明天晴天) — Tue, 30 Jun 2009 17:23:14 GMT

突然想写点什么，关于毕业关于离开。
曾经的曾经那样想，毕业还那么远那么长，我们都不会分开的。所以我们肆意的挥霍着青春，我们狂妄，我们嚣张，我们天不怕地不怕，我们喝醉了深夜还跑到学校文科校区翻女生宿舍的铁门，我们也在下雨天人山人海的街头去看JAY的演唱会，为了逃票翻铁门差点还和保安干起架来，我们在凌晨的广州大街一起唱歌溜达，我们一起把KTV的麦克风差点唱爆，我们一起下厨整了两大桌的酒席，我们一起在湖里面游泳，我们一起患难与共……。太多太多我们的故事，不是我这一双手能够敲的过来的。
在深夜的一个人的广州，想起还是会泪流满面，那些哥们，那些同学，那些很纯的感情。
骨子里是很感性的一个人，但为了生活，有些时候不能不伪装的严严实实。流泪不是因为伤心，而是因为美好，因为一想起过去我就很感动。
我从不在你们面前哭，因为我得对得起你们给我男人的称号。难得你们一直都那么相信我，男人出来了，一定会挺到最后的，一定不会辜负你们的期望。
其实每次去送人，鼻子都会酸，再难受也忍着，仰望一些天空，就好了。所以你们送我的时候，我也是坚持笑到火车离开的。当我再也看不到窗外的那些熟悉可爱的脸时，眼中的泪水立刻涌出来。那一刻，我想我是幸福，我可以有那么多美好的回忆和你们。
也不知道到底流了多久，时间仿佛停在不见你们的前一秒。
肌肉男，王俊，B哥，高人，括号，一水，肌肉男的老姐，阿秀姐，安仔，阿黄，李彬，姗姗以及她们宿舍的一群人，白总，小姐姐，张臻，贱人，张峰……，还有很多很多人，我想即使大学四年我什么都没学到，能记住了你们的名字，就不算白过。
我想我会永远不会忘记自己没钱用了你们给我钱，我想我永远不会忘记我郁闷了你们陪我一起喝酒，我想我永远不会忘记差学费不能毕业你们帮我凑学费，我想我永远都不会忘记在人生很美好的大学四年有你们的陪伴。
是的，那样的美好又有谁舍得忘记呢？
很奇怪，从什么时候开始我们就相识了呢？从什么时候开始我们就那么好了呢？又从什么时候开始我们就要分开了呢？
我想说，这辈子能认识你们，是一件很幸福的事。
大学这四年，是我人生中很重要的时刻，谢谢你们给了男人一个舞台，让我能活的那么真实那么骄傲那么嚣张那么不可一世那么自由自在。
敲字的时候情绪总是很难控制，忘记了时间，忘记了空间，忘记了已经与你们分开。
来广州的时候口袋里揣着从王俊那里拿来的200块，买了车票只有一百三十多了，去虎门朋友玩了两天，然后辗转到广州。来广州后，睡了一夜地板，由于种种的原因，差点露宿街头。那一刻，是心酸的……。
来这里整整十天了，在这个很拥挤的城市，没有工作倍感压力。在烈日当头的街上奔波找工作，虽然汗流浃背，但面临生存问题，几乎感觉不到那些热了。
我想我是讨厌城市，那些拥挤，那些嘈杂，那些钢筋水泥筑起来的冷漠森林，那些在地铁隧道中穿梭的黑色的风，那些浑浊的空气，那些不适合人类居住的环境。
但有时候不是你不想待就不待的，生活需要我们去接受些什么，努力的在城市干十年吧，然后再回家乡，落叶归根。
在夜里会特别想一些人，也很想念妈妈。毕业的时候，很想回一趟家。但我知道我不能回，人年轻的时候应该去远方。
曾经有个人对我说，善良的人都会很幸福的，虽然现在很艰难，但也会好起来的。
我相信，努力的工作认真的生活，坚持那些自己坚持的。
离开的时候，我把你们的脸想象成向日葵的样子，挂在阳光最灿烂的地方。
所以如果想你们了，我会努力的朝着太阳的方向。

spider（三）

365999400@qq.com(明天晴天) — Sun, 07 Jun 2009 16:24:26 GMT

摘要

在互联网蓬勃发展的今天，信息浩如烟海。人们在享受互联网带来便利的同时，却也面临着一个如何在海量的内容中准确、快捷地找到自己所需要的信息的问题，由此互联网搜索引擎应运而生。
搜索引擎是从WWW上快速而有效地获取信息资源的捷径,而数据采集技术则是搜索引擎的关键。本文围绕WEB数据采集这一前沿性研究领域课题,结合搜索引擎框架的总体要求,实现了具有数据采集功能的网络蜘蛛在互联网中的漫游,并将网页数据存储在本地数据库中,为以后网页搜索引擎的实现打下了良好的基础。
最后，通过对网络蜘蛛系统结构和工作原理进行分析，研究了线程调度、页面爬取、解析策略和广度优先，并用Java做出了一个网络蜘蛛的实现程序。
关键词：搜索引擎；数据采集；网络蜘蛛；线程调度；页面爬取；广度优先

本系统参考了《Programming Spiders,Bots,and Aggregator in Java》[3]中的一些基本原理，把原来C/S结构变成了B/S结构。在对数据库的设计与分析上，采用完全面向对象的设计方法，从设计对象开始，打破了传统程序从设计表结构开始的设计思路。在解析html上，采用java内置的包中类：javax.swing.text.html.HTML，javax.swing.text.html.parser，重写了其中的解析方法。
在对数据库操作中，采用了java hibernate工作，对数据库进行映射，增删改查.而在对数据库结构对象管理的时候，利用java spring，进行依次注入统一管理。三层架构的设计，采用mvc开发模式，使程序更具健壮性和扩展性。
本程序的难点在于多线程的设计和管理，在多线程技术中，将url设置成四种状态，模拟四个队列，然后多个spiderWorker类共享这些队列的数据，一起协调处理资源，类似于生产者和消费者。在对这些数据操作和存储的方式上面，采用同步的方法，即加锁原理。
数据采集是一个相当有前景的领域，因为随着互联网的信息量的增长以及人们对信息的需求，必定需要专门的程序来对互联网中巨大的信息进行处理，然后来为用户提供服务。

可行性研究

3.1 要求
(1) 总体简介：这是一个数据采集系统，主要负责从WEB文档及描述中获取资料、分析资料、整理资料。
(2) 功能：能够准确快速抓取网页，分析网页，为用户提供一个简单友好的软件界面
(3) 性能：稳定快速，实时控制。
(4) 输入/输出：条形码英文和汉字输入，英文和汉字输出。
(5) 数据来源：来自于互联网页面。
3.2 目标
(1) 基于WEB的数据采集系统，采用B/S结构，客户端不需要安装软件，只需要通过浏览器方可运行程序。
(2) 采用MVC的开发模式，运用轻量级框架，Struts+Spring+hibernate,有利于软件的开发和维护。
(3) 减少之前人力的对于数据的采集，利用计算机抓取数据，进行统计和分析。
(4) 改进设计的结构，完全采用面向对象设计与分析的理念。
3.3 条件、假定和限制(1) 硬件配备不齐，内存不够，硬盘容量太小，需升级到Windows xp professional。
(2) 可利用的信息和资源比较单一，只能够分析静态网页，对于动态网页中的动态内容，不能够进行分析。
(3) 在面对整个互联网时，遇到有些不规范的数据，缺乏异常处理。
3.4 进行可行性研究的方法通过调查之前使用heritrix和Bot系统，以及对相关的性能进行测试，对原有系统有了较多、较全面的了解，之后来分析所要建立的系统的实现方法。
确定了总体结构，java对HTTP ,多线程和数据持久层的封装，以最简洁最容易的方法，构建成为一个初级的数据采集软件。
3.5 评价尺度首先，综合现有系统，以及所具备的硬件，软件资源，技术水平来对所建议的方案进行评价。
然后,要从开发费用，人力资源，各项功能的优先次序，开发时间长短以及对使用人员的普及等方面进行评价。
3.6 对所建系统的说明数据采集系统是对网页数据的抓取、数据分析、数据存储，数据统计分类的一套系统。在B/S下，通过使用数据库技术与数据管理技术，使数据的准确性与安全性得到了很大的保障，并且可满足用户的并行操作。

总结

我想说从一开始自己只会使用浏览器来浏览网页，到熟悉网络通讯协议，再到编写出网络通讯的程序，从不知道html到用html页面编写页面，最后可以解析html页面，这是一个相当艰辛的过程，在这个过程中我学到了很多知识。
这个采集系统运用了《Programming Spiders,Bots,and Aggregator in Java》中的一些基本原理，并在其基础上进行了扩展，把原来C/S结构变成了B/S结构。在对数据库的设计与分析上，采用完全面向对象的设计方法，从设计对象开始，打破了传统程序从设计表结构开始的设计思路。在解析html上，采用了java内置的包中类：javax.swing.text.html.HTML，javax.swing.text.html.parser，重写了其中解析方法。
在对数据库的操作中，采用了java hibernate工作，对数据库进行映射，增删改查。在控制层，利用java struts的结构，进行统一严格限制。并且在对数据库结构对象管理的时候，利用java spring，进行依次注入统一管理。三层架构的设计，采用mvc开发模式，使程序更具健壮性和扩展性。
本程序的难点在于多线程的设计和管理，在多线程技术中，将url设置成四种状态，模拟四个优先队列，然后多个spiderWorker类共享这些队列的数据，一起协调处理资源，类似于生产者和消费者。在对这些数据的操作和存储方式上面，采用同步的方法，即加锁原理。
在了解《Programming Spiders,Bots,and Aggregator in Java》这本书后，基本的设计与编码大约花了一个月的时间。这一个月里，我学会了编写网络socket程序，解析html技术，java的ssh框架，多线程技术，数据库技术，正则表达式等等。
在该系统设计与实现的整个过程中遇到了很多方面的问题，但是多亏了现在互联网的高速发展，遇到问题可以随时上百度和谷歌，而且从网上还可以查阅许多前沿性的资料，分享别人在数据采集这方面的成果，使整个系统的设计过程顺利了不少。
最后，回顾整个开发过程，很忙碌，但却也很充实。一份耕耘，一份收获，我相信付出总会有回报的。

spider（二）

365999400@qq.com(明天晴天) — Sun, 07 Jun 2009 16:19:22 GMT

第5章系统详细设计

5.1 模型层的设计与实现

5.1.1 自动下载HTTP的设计
http类是对http进行各种操作,如图5.1,其中包含的方法如下：
(1) Send（）:发送网页请求。
(2) bulitSocket（）：建立一个socket链接。
(3) receive（）：接收服务器端的响应。
(4) download（）:下载网页。
HTTP类图：

图5.1 http类图

以下是HTTP工作流程：

图5.2 HTTP类工作活动图

5.1.2 网页分析类的设计 (1) 此HTMLParser类的功能是对HTML网页进行分析。
(2) 集成ParserCallback类。
(3) 功能:抓取链接，分析标题，文本。
因为Web中的信息都是建立在HTML协议之上的，所以网络机器人在检索网页时的第一个问题就是如何解析HTML。在解决如何解析之前，先来介绍下HTML中的几种数据，如表5.1。

表5.1 HTML中的几种数据

文本

除了脚本和标签之外的所有数据
注释
程序员留下的说明文字，对用户是不可见的
简单标签
由单个表示的HTML标签
开始标签和结束标签
用来控制所包含的HTML代码
我们在进行解析的时候不用关心所有的标签，只需要对其中几种重要的进行解析即可。
超链接标签：超链接定义了WWW通过Internet链接文档的功能。他们的主要目的是使用户能够任意迁移到新的页面，这正是网络机器人最关心的标签。
图像映射标签：图像映射是另一种非常重要的标签。它可以让用户通过点击图片来迁移到新的页面中。
(4）HTMLParser类图：

图5.3 HTMLParser类图

（5）分析页面过程如下：

图5.4 HTMLParser类工作活动图

5.1.3 spider 类的设计
线程允许程序处理多个任务。这对Spider程序是相当有用的，因为他可能需要同时下载多个网页。Spider程序使用线程的好处还有它可以更容易地在后台执行，并节省不必要的CPU周期。
在使用线程时，他们必须是同步的。可以使用java提供的几个内嵌的特性来完成同步。Java指出对象锁定和临界区。
除了线程以外，创建大型的Spider还需要一个SQL数据库。Hibernate来支持各种数据库的操作。将线程，线程同步和Hibernate技术结合在一起，可以很大程度上提高Spider程序的性能。Spider类图如下：

图5.5 Spider类图

5.1.4 IspiderReportable接口
这是一个必须实现的接口，可以通过回调函数接受Spider所遇到的页面。接口定义了Spider向他的控制者发送的几个事件。通过提供对每个事件的处理程序，可以创建各种Spider程序。下面是他的接口声明：
public interface IspiderReportable{
// 发现内部连接时调用，url表示程序发现的URL，若返回true则加入作业中，否则不加入。
public boolean foundInternalLink(String url);
// 发现外部连接时调用，url表示程序所发现的URL，若返回true则把加入作业中，否则不加入
public boolean foundExternalLink(String url);
// 当发现其他连接时调用这个方法。其他连接指的是非HTML网页，可能是E-mail或者FTP
public boolean foundOtherLink(String url);
// 用于处理网页，这是Spider程序要完成的实际工作。
public void processPage(HTTP page);
// 用来请求一个被处理的网页。
public void completePage(HTTP page,boolean error);
// 由Spider程序调用以确定查询字符串是否应删除。如果队列中的字符串应当删除，方法返回真
public boolean getRemoveQuery();
// 当Spider程序没有剩余的工作时调用这个方法。
public void SpiderComplete();
public boolean foundExternalLink(String url);
// 当发现其他连接时调用这个方法。其他连接指的是非HTML网页，可能是E-mail或者FTP
public boolean foundOtherLink(String url);
// 用于处理网页，这是Spider程序要完成的实际工作。
public void processPage(HTTP page);
// 用来请求一个被处理的网页。
public boolean getRemoveQuery();
// 当Spider程序没有剩余的工作时调用这个方法。
}
5.1.5 spider类的工作流程

图5.6 Spider工作流程图

5.1.6 如何利用多线程提高spider性能 Internet中拥有海量的Web页面，如果开发出高效的Spider程序是非常重要的。下面就来介绍下几种提高性能的技术：
Java的多线程技术
线程是通过程序的一条执行路线。多线程是一个程序同时运行多个任务的能力。它是在一个程序的内部进行分工合作。
优化程序的通常方法是确定瓶颈并改进他。瓶颈是一个程序中最慢的部分，他限制了其他任务的运行。据个例子说明：一个Spider程序需要下载十个页面，要完成这一任务，程序必须向服务器发出请求然后接受这些网页。当程序等待响应的时候其他任务不能执行，这就影响了程序的效率。如果用多线程技术可以让这些网页的等待时间合在一起，不用互相影响，这就可以极大的改进程序性能。
(1) 线程管理类设计：
通常一个应用程序很容易知道如何它何时能完成任务。但是在多线程Spider的情况下却不是这样的。在Spider能够知道自己完成之前必须满足两个标准：
无活动的工作线程：不能有正在下载的线程。如果有，他们会在等待队列中加入URL，这将使得Spider类继续搜寻。
无等待队列：等待队列中不能有任何数据，如果有，线程工作类将会处理它，这样不能认为Spider类已经完成。

图5.7 线程管理类类图

(2) 线程工作类设计由于spider是多线程的，必须有一种方法在不用的线程间分配任务。工作的基本单元是SpiderWorker对象。
如果下载无错误的完成，这一方法会解析HTML并将每一个链接存储到数据库中，并标注其状态为等待。最后网页会被传给Spider类。其类图如下：

图5.8 线程工作类类图

① 线程工作类一次抓取流程：

图5.9 线程工作类工作流程图

② 线程工作类具体处理流程：

图5.10 线程工作类处理流程

5.1.7 数据库技术
当Spider程序访问一个大型Web站点时，必须使用一种有效的方法来存储站点队列。这些队列管理Spider程序必须维护大型网页的列表。如果把他们放在内存中将会是性能下降，所以我们可以把他们放在数据库中减少系统资源的消耗。
数据库加载任务类的设计如下图5.11：
(1)此接口是用来定义了对任务的各种操作* 定义了四种状态：运行（RUNNING) 、错误(ERROR)、等待（WAITING）、完成（COMPLETE）
(2)方法：
assignWorkload（）：加载一个任务。
addWorkload（）：添加一个任务。
completeWorkload（）：完成一个任务。
getURLStatus（）：得到url的状态。
deleteURL（）：删除一项任务。
clear（）：清空。

图5.11 数据库管理任务类图

5.1.8 数据访问接口的设计
在核心J2EE模式中是这样介绍DAO模式的：为了建立一个健壮的J2EE应用，应该将所有对数据源的访问操作抽象封装在一个公共API中。用程序设计的语言来说，就是建立一个接口，接口中定义了此应用程序中将会用到的所有事务方法。在这个应用程序中，当需要和数据源进行交互的时候则使用这个接口，并且编写一个单独的类来实现这个接口在逻辑上对应这个特定的数据存储。
项目中DAO的类设计：

图5.12 数据库操作接口类图

5.2 控制层的设计与实现5.2.1 WorkAction类设计：
(1) 此action类的功能是用来处理客户端的一个请求。
(2) 集成dicpatchAction 类，利用请求的参数进行分发。
(3) 此类包含三个方法 start（） ,end（） , getResult（），如下图5.13。
① start （）：开始抓取任务。
② end （）：结束抓取任务。
③ getResult（）：得到抓取结果统计分析数据。

图5.13 控制层WorkAction类图

5.2.2 控制层WorkAction工作流程：

图5.14 控制层WorkAction工作流程图

5.3 表示层的设计与实现表示层包括三个页面：index.jsp,running.jsp,result.jsp。
index.jsp：系统的首页面，进行参数配置，比如可以设置网络蜘蛛抓取的首页面的URL地址，开启的线程数目，是否为环球网络蜘蛛，是否为下载页面到本地，是否分析抓取其他链接，本地下载文件夹设置等等。
running.jsp：系统运行时的界面，可以随时停止网络蜘蛛的抓取任务，而回到抓取结果页面。
result.jsp：网络蜘蛛结果分析页面，对抓取的页面进行分析统计，统计数据：显示抓取链接的总数、分析网页总数、下载页面总数、完成链接总数、错误链接总数、mp3链接总数、图片链接总数。
5.3.1 首页面的设计

图5.15 数据采集系统首页面图

5.3.2 统计结果的实现

图5.16 数据采集统计结果页面图

spider（一）

365999400@qq.com(明天晴天) — Sun, 07 Jun 2009 15:48:58 GMT

第4章需要分析与设计

4.1 系统的提出
我们现在已经生活在一个相当数字化的时代中,通信技术、计算机和网络技术的快速发展正极大地影响着整个人类社会。然而，它们在给人们带来方便的同时也带来了许多问题，使我们一方面惊叹于信息爆炸，另一方面又不得不面对知识贫乏的苦恼。信息过量难以消化，信息真假难以辨别，信息安全难以保证，信息形式相异难以统一处理等问题逐渐暴露出来。人们开始考虑：“如何才能不被信息淹没，而是有效地发现以及利用信息。”面对这一挑战，基于web的数据采集系统应运而生.

4.2 系统功能分析
当前网络发展迅速，各种网站比比皆是。但在竞争日益激烈的网络经济中，只有赢得用户，才能最终赢得竞争的优势。作为一个网站的管理员或拥有者，应该知道用户都在他的网站上干什么，知道网站哪些部分最为用户喜爱，哪些让用户感到厌烦，什么地方出了安全漏洞，什么样的改动带来了显著的用户满意度，什么样的改动反而丢失了用户等等。“知己知彼”，才能“百战不殆”。而基于WEB 数据采集正好能满足这些需求。
数据是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理。数据的形式可以是数字、文字、图形或声音等。数据经过解释并赋予一定的意义之后，便成为信息。数据采集的基本目的是从大量的、可能是杂乱无章的数据中提取并推导出对于某些特定的人们来说是有价值、有意义的数据。
基于WEB 数据采集实际上就是从WEB 文档及其描述中获取信息, WEB 文档文件采集以及基于概念索引或Agent 技术的资源搜索也应该归于此类。Web 信息资源类型众多，目前WWW 信息资源已经成为网络信息资源的主体，它有极速发展给人们的生活带来了质的提高。但人们在享受互联网带来便利的同时，却也面临着一个如何在海量的内容中准确、快捷地找到自己所需要的信息的问题，所以，如何获得这些数据源就成为了搜索引擎核心的内容，基于WEB的数据采集系统就是利用网络蜘蛛在互联网上抓取分析网页，为搜索引擎提供可利用数据。
数据采集贯穿于社会生产和社会生活的各个领域。数据采集技术的快速发展及其在生活中应用的深入，正极大地影响着人类社会发展的进程。

4.3 系统功能设计
该数据采集系统按面向对象程序设计思想，分析得出图4.1系统用例图：

图4.1系统用例图

4.4 Spider(网络蜘蛛设计)
4.4.1 spider工作原理
我们来看看网络spider如何下载整个互联网。假定我们从一家门户网站的首页出发，先下载这个网页，然后通过分析这个网页，可以找到藏在它里面的所有超链接，也就等于知道了这家门户网站首页所直接连接的全部网页，诸如雅虎邮件、雅虎财经、雅虎新闻等等。我们接下来访问、下载并分析这家门户网站的邮件等网页，又能找到其他相连的网页。我们让计算机不停地做下去，就能下载整个的互联网。当然，我们也要记载哪个网页下载过了，以免重复。在网络spider中，我们使用一个t_link表来记录我们已经完成的爬取情况。
现在的互联网非常巨大，不可能通过一台或几台计算机服务器就能完成下载任务。比如雅虎公司宣称他们索引了 200 亿个网页，假如下载一个网页需要一秒钟，下载这 200 亿个网页则需要 634 年。因此，一个商业的网络spider需要有成千上万个服务器，并且由快速网络连接起来。如何建立这样复杂的网络系统，如何协调这些服务器的任务，就是网络设计和程序设计的艺术了。
在Java中，网络spider大体需要一下几个方面的知识：
(1) 多线程的自动HTTP下载。
(2) HTML文件的格式解析。
(3) 把解析后的文件存入数据库。

4.4.2 spider具体设计
(1) 对抓取目标的描述或定义：预先给定的初始抓取种子样本；
(2) 对网页或数据的分析与过滤：对错误的无用的网页和链接予以丢弃
(3) 对URL的搜索策略：广度优先的搜索策略。

4.5 数据库设计
4.5.1 数据库需求分析
由于数据采集系统需要分析网页的数据，并将其结构化。所以必须建立数据库来对其分析的结果进行管理。
建立三个表对象：Html ,Attribute,Link。
Html对象用来存储整个页面结构化以后的数据，其属性如下:
private String url; //网页的http地址
private String title;//标题
private Set attributes;//属性集合
private String paragraphText;//文本内容
private String encode；//网页的字符编码
Attribute对象用来存储页面链接，其属性如下：
private int id ; //属性id主键
private String attValue; //属性值
private String attType; //类型
private String attContent; //描述
Link对象用来存储用来作为抓取地址的链接，其属性如下：
private int id; //属性id主键
private String url; //链接地址
private String desc; //链接描述
private char Status; //链接状态
4.5.2 数据库概念结构设计

图4.2 对象关系图

4.6设计方案
本系统采用B/S结构，所有的程序及数据都放在服务器上。在语言方面使用JAVA语言，在数据库使用的MYSQL，WEB服务器使用Tomcat服务器。
基本处理流程如图4.3所示：

LPAnalyzer（四）

365999400@qq.com(明天晴天) — Thu, 28 May 2009 17:26:37 GMT

控制层的设计与实现

5.3.1 workServlet类图：

5.3.2 控制层分词全过程（活动图）

5.2.4 分词系统页面

LPAnalyzer（三）

365999400@qq.com(明天晴天) — Thu, 28 May 2009 17:22:31 GMT

逻辑层的设计与实现

5.2.1 分词器设计
该类设计参考了lucene中StandardTokenizer类，只是StandardTokenizer在处理中文时，是按字切分，没有做任何相关的处理。该类扩展了StandardTokenizer类的功能，在接收一个字符串输入流的时候，按照一个可切分单元的性质来交给相关的处理类。比如接收的若是中文字符串，就交给中文处理类（CJKCell），是英文字符串，就交给英文处理类(CharCell)，是数字字符串，就交给数字处理类（NumCell）。
该类继承了Tokenizer ，重写了next方法，改方法的功能是接收一个字符串输入流，返回一个切分的词流。
类设计（如图5.5）

5.2.2 具体分析类设计
Cell接口代表一个可切分的处理单元，比如 “我爱中华人民共和国”，就是一个可以切分最小单元。Cell接口有三个抽象方法:
（1） receive：接收一个可切分单元
（2） process：处理一个可切分单元
（3） iterator: 返回一个切分后存储词（Token类型）的链表的迭代器
类的具体设计（如图5.6）

5.2.3 LPTokenizer类中获得一个分词过程（next方法活动图）

此过程代码如下：
public Token next() throws IOException {
while (tokenIteractor == null || !tokenIteractor.hasNext()) {
segLength = 0;
segLength = input.read(segmentBuff);
if(segLength <= 0)
return null;
iters =dealWith();
Iterator it=iters.iterator();
while(it.hasNext()){
Iterator iter=(Iterator)it.next();

while(iter.hasNext()){
Token token = (Token)iter.next();
tokens.add(token);
}} tokenIteractor=tokens.iterator();}
return tokenIteractor.next();
}
5.2.4 LPTokenizer类中处理一次处理切分单元过程（dealWith方法活动图）

此过程核心代码：
public List dealWith(){
boolean flag=false;
List list= new LinkedList();
Iterator iter=null;
char current = '\0';
segmentBuff[0] = toDBC(segmentBuff[0]);
current = segmentBuff[0];
inputStatus=dictionary.getCharType(current);
for(int i = 0;i
segmentBuff = toDBC(segmentBuff);
current = segmentBuff;
inputStatus=dictionary.getCharType(current);
if(i==0){
contextInit();
}
if( flag==false && inputStatus==4 && lastStatus==3){
flag = true;
length++;
if(i!=segLength-1)
continue;
}else if(inputStatus==lastStatus && inputStatus!=0 && inputStatus!=4 ){
length++;
if(i!=segLength-1)
continue;
}
switch(lastStatus){
case 1: cell=CJKCell;
cell.receive(segmentBuff, offset, length);
cell.process();
iter= cell.iterator();
break;
case 2: cell=charCell;
cell.receive(segmentBuff, offset, length);
cell.process();
iter= cell.iterator();
break;
case 3: cell=numCell;
cell.receive(segmentBuff, offset, length);
cell.process();
iter= cell.iterator();
break;
default: if(i+1

inputStatus=dictionary.getCharType(toDBC(segmentBuff));
i+=1;
lastStatus=inputStatus;
break;
}
if(i!=segLength-1){
offset=i;
i=i-1;
length=0;
flag=false;
lastStatus=inputStatus; }
if(iter!=null){
list.add(iter);
}
return list; }
5.2.5 中文分析类中文处理一次切分（活动图）

此过程代码：
public void process() {
tokens = new LinkedList();
String w=null;
isMatch= new boolean[length];
if(length==1){
w = (new String(seq, begin, 1));
if(!dictionary.isStopWord(w))
{ token = new Token(w,begin, end+1);
tokens.add(token);}
}else{
for(int i=begin;i
if(dictionary.isStopWord(String.valueOf(seq))){
maxLength--;
continue;}
dictTreeNode=dicSeg.getDictTreeNode();
flag=0;
if(dictionary.isCHNum(seq)){
flag=1;}
searchMaxMatch(i ,i);
if(token!=null){
tokens.add(token);
}else{
if(isMatch==true){
maxLength--;
continue;}
if(flag==1){
searchCount(begin,end);
tokens.add(token);

}else{
if(i==begin ){
w = (new String(seq, i, 2));
if(!dictionary.isStopWord(w))
{ isMatch=true;
token = new Token(w,i,i+2);
tokens.add(token);
if(wordMap.containsKey(w)){
wordMap.put(w, wordMap.get(w)+1);
}else{
wordMap.put(w, 1) }}
}else if(i!=begin && maxLength<2){
w = (new String(seq, i-1, 2));
if(!dictionary.isStopWord(w))
{ isMatch=true;
token = new Token(w,i-1,i+1);
tokens.add(token);
if(wordMap.containsKey(w)){
wordMap.put(w, wordMap.get(w)+1);
}else{
wordMap.put(w, 1);
}
}
}
}
}
token = null;
maxLength--;} }
}
5.2.6 中文分析（CJKCELLImpl）类中最大长度匹配动态规划算法（活动图）

5.2.7 分词器自主加入新词的过程（活动图）

5.2.8 LPAnalyzer 类图

此类代码：
package com.lp.analysis;
public class LPAnalyzer extends Analyzer {
private Dictionary dictionary;
private Map wordMap;
public LPAnalyzer(){
dictionary=Dictionary.load();
wordMap=new HashMap(); ;
}
public TokenStream tokenStream(String fileName, Reader reader) {
return new LPTokenizer(reader,dictionary,wordMap);}
public Dictionary getDictionary() {
return dictionary;}
public Map getWordMap() {
return wordMap;
}
}

LPAnalyzer（二）

365999400@qq.com(明天晴天) — Thu, 28 May 2009 17:14:29 GMT

系统详细设计

5.1 模型层的设计与实现
5.1.1词段
DicSeg是用来存储词库的类，其数据结构是层次性的树状哈希结构。
（1）属性
NodeState是整数类型，表示该节点状态，即是否为词的结尾。
dictTreeNode是Map类型，表示持有下一层节点的引用。
（2）方法
addWord为该类的主要方法，即加入一个词到树状哈希结构的词段中。
（3）类图（如图5.1）

5.1.2 词典
词典依赖词段，包含加载各种性质词以及判断该词词性的各种方法。
类图（如图5.2）

5.1.3 构造树状哈希结构
树状哈希构造过程采用自顶向下的递归构造
构造流程（如图5.3）

图5.3构造树状哈希结构活动图
5.1.4 加载词库
词库的词是存放在二进制文件中的，一个词占一行。在加载的过程中，因为只有常用词语的数量巨大，所以其存储结构才是树状哈希。其他的词的数量较少，直接用HashSet存储。
其过程（如图5.4）

5.1.5加载词时递归构造哈希树状结构代码
public void addWord(char seg[], int begin, int end) {
try{
if (dictTreeNode == null) {
dictTreeNode = new HashMap(2, 0.8F);
}
Character keyChar = new Character(seg[begin]);
DicSeg ds = (DicSeg) dictTreeNode.get(keyChar);
if (ds == null) {
ds = new DicSeg();
dictTreeNode.put(keyChar, ds);
}
if (begin < end)
ds.addWord(seg, begin + 1, end);
else if (begin == end) {
ds.setNodeState(1);
}}catch(Exception e){e.printStackTrace();
}