1. <pre id="seaah"><ruby id="seaah"></ruby></pre>
    2. <acronym id="seaah"><label id="seaah"><menu id="seaah"></menu></label></acronym>
      <acronym id="seaah"></acronym>

          下载

          1下载券

          加入VIP
          • 专属下载券
          • 上传内容扩展
          • 资料优先审核
          • 免费资料无限下载

          上传资料

          关闭

          关闭

          关闭

          封号提示

          内容

          首页 华东理工大学硕士学位论文

          华东理工大学硕士学位论文.doc

          华东理工大学硕士学位论文

          蓝白色回忆00
          2019-05-04 0人阅读 举报 0 0 0 暂无简介

          简介:本文档为《华东理工大学硕士学位论文doc》,可适用于高等教育领域

          华东理工大学硕士学位论文??(个人研究精简了一下不是很明白研究内容只是大概理解了格式和在论文中各部分应该写的方向和大概要点)?????????????????????????中文搜索引擎中网页排序模型的优化与实现摘要由于网页质量千差万别对网页进行基于网络链接图的质量排序变成了现代搜索引擎的一个重要部件。本文详细介绍了两种目前使用较为广泛的网页排序算法并采用了PageRank算法应用于实际系统。在对网页排序模块的实现进行优化时我们系统分析了造成大规模稀疏矩阵一向量乘法运算低效的原因并结合网络链接图的实际情况提出了几种不同的优化策略。然后我们采用了其中五种优化策略作了实验性能比较并综合考虑各种优化策略的运算效率和存储量需求选择了适合实际系统的优化策略。同时我们提出Pa‘geRank算佳在实现时的一个变通处理一除汇。最后本文阐述了搜索引擎未来的发展趋势。关键词:搜索引擎PageRanky网络链接图一稀疏矩阵汇点目录文摘英文文摘作者声明第章绪论引言搜索引擎的整体架构超链接的网络结构第章网页排序算法筛选出高质量页面的规则前提查询与权威信息源Web环境下页面链接关系的利用网页排序算法HITS算法PageRank算法关于网页质量的几个问题第章高效的PageRank算法的实现稀疏矩阵向量乘法运算的优化底层分析分块技术软件优化网络链接图中汇点的消除什么是除汇如何除汇第章优化实现与实验数据分析PageRank的基本实现技术分块策略优化实现不包含零元的固定大小分块策略的实现行压缩存储策略的实现限定长度行压缩存储策略的实现针对网络链接图的稀疏矩阵存储策略的实现矩阵重排策略的实现实验数据分析运算效率分析存储量需求分析实际应用第章网络信息检索技术未来的发展参考文献致谢第章绪论引言Internet正以的用户增长率迅速发展成为人们工作和生活不可缺少的信息来源。到目前为止Google上可索引的网络页面数达'亿(U而且每天以几百万的数度递增。与此同时Web文件具有分布、动态变化、结构复杂等特点使得用户根本无法了解庞大的、瞬息万变的信息资源。由此人们在信息海洋中搜索自己所需要的信息的能力显得愈发重要。传统的信息搜索技术荃于较规范的信息库相对于Web上的信息总量总数规模比较小。同时由于网络信息固有的特点同在网络上的不同页面不能受到相同的对待这就是网页重要性的问题。因此在网络信息获取及检索过程中有必要引入页面外因素加以综合考虑如信息源的名望、质量和引用数等。网络信息检索的发展已初具规模。搜索引擎成了人们在网上检索信息的必要工具。现行的搜索引擎有索引基于Web机器人的Altavista,InfoSeekGuide,Excite和Google等还有基于分层结构和模板的Yahoo和ALIWEB等除搜索引擎外还有其它诸如软件代理和合作过滤系统等信息检索技术。有人已经将机器自学习与信息检索结合起来以提高信息检索的效能()(在经典的信息检索系统中系统的性能一般由三方面评定:查全率查准率前功个页面的查准率。在网络信息检索系统中网页的质盘千差万别所以检索结果仅与主题相关还远远不够。现代搜索引攀重视的己不再是简单地向用户提供与查询条目相关的页面信息利用网络链接结构来提高检索结果质童的方法开始获得重视网络爬行器(WebCrawler)的创始人Pinkerton曾打过这样一个比方:“来设想一下我们走进一个图书馆并对管理员说旅‘游’图书管理员会给你一个白脸”。当然管理员实际上不会木无表情地盯着你而是会向你多问一些问题以得到对问题更好的理解。不幸的是搜索引擎不会像图书管理员那样问问题以集中搜索范围也不能像人类那样可以依仗判断或经验。因此网页基于相关性(Relativity)的排序变得非常重要。本课题是在己有的对中文搜索引擎原型的开发基础上对网页排序模块进行开发。对网页排序算法进行研究实现及实现手段上的优化。目前存在的系统FlyingSender在Linux下用CC实现基本模块已经完成。我们将在此基础上开展对网络信息检索技术的进一步研究。论文首先简单介绍了搜索引擎的整体构架阐述网页排序模块在整个系统中的位置。其次详细介绍了两种网页排序算法一一HITS算法和PageRank算法(在实际系统中我们采用后者)。接着我们从对优化的实现入手主要探讨了大规模稀疏矩阵户向量乘法运算如何在运算时间和空间消耗上达到高效并提出了几个自己的观点同时提出PageRank算法在实现时的一个变通处理除汇。然后我们用详实的实验数据对各种稀疏矩阵向量乘法运算的优化策略作了详细比较并根据实验结果结合运算效率和存储量消耗选择了适合实际系统的优化策略。最后我们对网络信息检索技术的未来发展作了初步探讨。搜索引擎的整体架构搜素引擎的结构和工作流程如下(参看图)图搜索引擎的塞本结构I、从一组自定义的种子页面开始域名解析器(URLResolver)将域名转化为绝对URL地址即IP地址提交给搜索机器人(Crawler)我们在整体测试中发现如果让域名解析器逐个解析域名它将成为整个系统的瓶颈。于是我们在本地设置了一个DNS服务器并采用异步和多线程的方法尽量让程序使用CPU的资源减少对网络或硬盘的操作次数从而提高了整个模块的效率。····参考文献)RichardKBelew,JudeWShavlikMachineLearningandInformationRetrievalHChenMachineLearningforInformationRetrieval:NeuralNetworks,SymbolicLearningandGeneticAlgorithmsJASISApril,():(JunghooCho,HectorGarciaMolinaTheEvolutionoftheWebandImplicationforanIncrementalCrawlerStanford,CA,RFCTheMDMessageDigestAlgorithm汇http:wwwsearchenginewatchcomwebmastersrankhtml(NeeranMKarnik,AnandRTripathiDesignIssuesinMobileAgentProgrammingSystemsUniversityofMinnesotaDIGITALEQUIPMENTCORPORATIONAltaVistasearchenginehttp:Haltavistadigitalcom(JonMKleinbergAuthoritativeSourceinaHyperlinkedEnvironmentPoceedingoftheMinthAnnuaACMSIAMSymposiumonDiscreteAlgorithms,WilliamGoffmanAMathematicalProfessionalSocietySignalstheMaturingofScientometricsandInformetricsTheScientistAug,()川JamesEPitkowCharaterizingWorlderWideWebEcologiesPhDthesisGeorgiaInstitueofTechnologyJunePeterPirolli,JamesPitkowandRamanaRaoSilkrfomaSow'sEar:ExtractingUsableStructurerfomtheWebInMichaelJTauber,VictiruaBellotti,RobinJeffries,JockDMackinlayandJakobNielsen,editors,ProceedingsoftheConferenceonHumanFactorsinComputingSystems:CommonGroundApril:(RonWeiss,BienvenidoVelez,MarkASheldon,ChanathipManprempre,PeterSzilagyi,继续阅读

          用户评价(0)

          关闭

          新课改视野下建构高中语文教学实验成果报告(32KB)

          抱歉,积分不足下载失败,请稍后再试!

          提示

          试读已结束,如需要继续阅读或者下载,敬请购买!

          评分:

          /11

          VIP

          意见
          反馈

          免费
          邮箱

          平特一肖加减公式-平特一肖精准资料-平特一肖开特肖算中吗