您的位置： 文档网所有分类 Google搜索引擎架构研究

Google搜索引擎架构研究

Google搜索引擎架构研究

【摘 要】 google做为世界上最成功的网络公司之一，以其巨大，快速的搜索引擎而著名。但很少有人了解能了解如何将数万台pc组织成为一个强大的，可靠的，可扩展的分布式系统。本文简要介绍的google的主要后台架构gfs，mapreduce和bigtable。

【关键词】 google gfs mapreduce bigtable

1 google要解决的问题

（1）web是非常巨大的，并且以指数级别在增长。

（2）web中存在不同形式的资源：

word，html，pdf，ascii，images

（3）检索时间要极短不能让用户等待。

（4）各种民族各种语言不同，需要不同的分词方法。

（5）系统能够每天承受每天上亿次的检索。

（6）优化结果的排序规则，把用户最需要的信息展现在最前面。 2 google的分布式设计结构

google的分布式设计是一项伟大的设计，它建立在上万台计算机上。面的上万台的复杂系统结构google在设计系统的开始就有一个假设：“机器是会出问题的。”“容许机器出问题，但机器必需自动跳过或自动修复这些问题。”如图1所示，是一张google分布式设计的基本结构图。

2.1 抓取部分

url server：存储url列表，这些url都是将要被抓取的对象。

第1页

你可能喜欢

  • 系统架构概述
  • 淘宝技术
  • 搜索引擎技术
  • 淘宝平台
  • 网络搜索
  • 体系结构
  • 存储架构

Google搜索引擎架构研究的相关文档搜索

Google搜索引擎架构研究相关文档

最新文档

返回顶部