知名网站的技术发展历程以及实力怎么样知名网站的技术发展

谷歌目前在阿列克谢排名第一。它诞生于1997年，当时是一个研究项目，该指数每月建立一次。建立的索引通过分片(逐文档分片)的方式分发到多个索引服务器，具体的网页数据也通过哈丁的方式分发到多个文档服务器。当用户提交请求时，前端的服务器将请求提交给索引服务器，获取评分后的倒排索引，然后提取具体的网页信息(如网页标题、与搜索关键词匹配的片段信息等)。)并最终呈现给用户。

随着北京索引网站产量的增加，这种结构可以通过增加索引服务器和文档服务器来存储索引和网页数据，但它仍然面临许多其他问题，所以谷歌在接下来的十年里做了很多事情来改进上述结构。

1999年，谷歌增加了一个缓存集群，用于缓存查询的索引结果和文档片段信息，同时通过复制将索引服务器和文档服务器改为集群。这两个转变的好处是网站的响应速度、可支持的访问量和可用性都得到了提高。这一变化导致了成本的增加。谷歌的硬件风格是在软件层面保证系统的可靠性和高性能，而不是昂贵的高端硬件。所以在同一年，谷歌开始使用自行设计的服务器来降低成本。2000年，谷歌开始自行设计数据中心(DataCenter)，并采用各种方法(如用其他制冷方法代替空调)来优化PUE(能源利用率)，同时自行设计了许多服务器。2001年，谷歌修改了索引的格式，将所有的索引放入内存。这种修改的优点是网站的响应速度和支持的访问量都有了很大的提高。2003年，谷歌发表了《谷歌集群架构》一文。其集群结构由硬件LB索引集群Doc集群、大量廉价服务器(如集成开发环境硬盘、高性价比的中央处理器等)组成。)。通过并行处理分片，响应速度仍然非常快，同时降低了硬件要求。同年，谷歌发表了一篇关于谷歌文件系统的论文(GFS于2000年推出)。这篇论文也在很大程度上反映了谷歌不使用昂贵硬件的风格，它可以通过GFS中的大量廉价服务器存储大量数据。2004年，谷歌再次修改了索引的格式，使得网站的响应速度不断提高。同年，谷歌发表了一篇关于MapReduce的论文，通过MapReduce，大量廉价的服务器可以快速完成过去使用昂贵的小型机、中型计算机甚至大型机完成的计算任务，这显然为谷歌快速建立索引提供了很大的帮助。2006年，谷歌在BigTable上发表了一篇论文(2003年推出)，使得对海量数据的分析满足了在线系统的要求，极大地帮助谷歌提高了其网站的响应速度。

以上三篇论文彻底改变了行业中海量数据的存储、分析和检索方式(八卦：谷歌已经完成了对GFS、MapReduce和BigTable的替换)，也确立了谷歌在行业中的技术领先地位。

在某些情况下，谷歌也使用MySQL来存储数据。同样，谷歌对MySQL做了很多修改，它使用的MySQL信息可以从https://code.google.com/p/google-mysql/.那里学到

2007年，谷歌将建立索引的时间缩短到几分钟，当新网页出现时，几分钟内就可以在谷歌上搜索到。同时，索引集群通过协议缓冲区为谷歌的各种搜索(如网页、图片、新闻、书籍等)提供服务。)。除了索引集群提供的服务，还有许多其他服务，如广告、词法检查等。谷歌需要调用50多个内部服务进行搜索，这些服务主要是用C或Java编写的。2009年，谷歌的一篇《HowGoogleusesLinux》文章透露，谷歌在提高机器利用率方面做了很多努力，比如在同一台机器上部署不同资源消耗类型的应用。

之后，谷歌开发了巨像(下一代GFS类文件系统)、扳手(下一代BigTable类海量存储和计算架构)和实时搜索(基于巨像)，所有这些主要是为了提高搜索的实时性和存储更多的数据。除了在海量数据相关技术上的创新，谷歌还在行业内不断创新传统技术，如增加TCP的初始拥塞窗口值，改进HTTP的SPDY协议，以及新的图片格式WebP等。

在谷歌的发展过程中，其技术转型主要集中在可扩展性、性能、成本和可用性上。谷歌不使用昂贵硬件的风格和领先于其他网站的数据量决定了它的技术变革基本上是传统软硬件技术的创新。

Facebook目前将Alexa排在第二位。它是由LAMP构建的，随着业务的发展，它已经做了很多技术上的改变。

作为转换的第一步，Facebook首先将Memcached添加到LAMP结构中，用于缓存各种数据，从而大大提高了系统的响应时间和可支持的访问。然后，它添加了服务层，为前端PHP系统提供了新闻订阅和搜索等公共功能，前端系统通过节俭访问这些服务。Facebook使用多种语言编写不同的服务，主要是为不同的场景选择合适的语言，比如C、Java、Erlang。

Memcached的大量使用和不断增加的访问导致太多的网络流量访问Memcached，这是交换机所不能支持的。Facebook使用UDP访问Memcached来减少单个连接的网络流量。此外，还有其他的转变，具体信息可以在http://on.fb.me/8R0C.找到

作为一种脚本语言，PHP具有开发简单、使用方便的优点，但其缺点是需要消耗更多的CPU和内存。当脸书的访问量增加到一定规模时，这一劣势变得更加突出。自2007年以来，脸谱网尝试了各种方法来解决这个问题，最终诞生于脸谱网黑客马拉松的嘻哈产品成功脱颖而出。

HipHop可以自动将PHP转换成C代码。Facebook使用HipHop后，同样配置的机器可以支持6倍于以前的请求量，CPU利用率平均下降50%，从而为Facebook节省了大量主机。未来，Facebook将再次改进HipHop，通过HipHop将PHP编译成字节码，将其放入HipHop虚拟机中执行，然后通过HipHop虚拟机将其编译成机器代码，这类似于JIT。

2009年，脸书开发了BigPipe。有了这个系统，脸书成功地将其网站速度提高了两倍。随着Facebook访问量的增加，在许多服务器上收集执行日志面临挑战，所以Facebook开发了Scribe来解决这个问题。对于存储在MySQL中的数据，Facebook支持通过垂直拆分库和水平拆分表来增加数据量。作为脸谱技术系统的重要组成部分，脸谱还对MySQL进行了许多优化和改进，如在线模式变更等。更多信息可以在http://www.facebook.com/MySQLAtFacebook.找到

在其发展之初，Facebook使用高端存储设备(如NetApp和Akamai)来存储图片。随着图片数量的增加，成本也大大增加。所以在2009年，脸书开发了Haystack来储存图片。草垛可以使用便宜的电脑服务器存储，这大大降低了成本。

除了使用MySQL存储数据，Facebook近年来也开始探索新的方法。2008年，脸书开发了卡珊德拉作为一种新的收件箱搜索存储方法。然而，在2010年，脸书放弃了卡珊德拉，采用了糖化血红蛋白作为其信息的存储。2011年，糖化血红蛋白酶被应用于更多的脸书项目(如彪马和ODS)。据说，Facebook现在正试图将其用户和关系数据从MySQL迁移到HBase。

自2009年以来，Facebook一直试图设计自己的数据中心和服务器以降低运营成本，并以1.07的价格向PUE开放了其数据中心的相关技术。Facebook在技术上的基本原则是：“如果你能使用开源产品，就使用开源，根据情况优化它们，并反馈给社区。”从Facebook的技术发展来看，这一原则一直都在实施，Facebook的技术变革主要集中在可扩展性、性能、成本和可用性上。

阿列克谢目前将推特排名第八。当它在2006年诞生时，它是用RubyOnRailsMySQL构建的。2007年，MemCached被添加为缓存层，以提高响应速度。基于RubyonRails，Twitter拥有快速的开发能力，但是随着流量的增加，其对CPU和内存的消耗也让Twitter遭受损失，所以Twitter做了很多修改和努力，比如编写了RubyGC的优化版本。

2008年，Twitter决定逐步迁移到Java，选择Scala作为其主要的开发语言(原因是“很难把Java卖给一屋子的Ruby程序员”)，采用节俭作为其主要的通信框架，开发Finagle作为其服务框架，它可以将各种后端功能作为服务展示给前端系统使用。因此，前端系统不需要关心不同的通信协议(例如，用户可以通过调用服务的相同方式访问Memcache、Redis和Stifest服务器)，而红隼是作为其消息中间件开发的(而不是以前用Ruby编写的Starling)。

推特的数据存储一直使用MySQL。在发展过程中，发生了一个插曲。当脸书推出卡珊德拉时，推特计划使用它，但最终放弃了，仍然使用MySQL。Twitter的MySQL版本已经打开(https://github.com/twitter/mysql)。Twitter还支持大量数据，方法是将数据库分成表，使用MemCached来缓存tweet，并将时间线信息迁移到Redis来缓存。

2010年，推特在盐湖城拥有了第一个自建数据中心，主要是为了增加可控性。从推特的发展过程来看，其过去六年的技术变革主要集中在可扩展性和可用性上。

作为一个电子商务网站的员工，请允许我介绍一下这个由Alexa排名第21位的著名电子商务网站的技术演变。

1995年，易趣诞生了。当时，它是由CGI编写的，它的数据库是GDBM，最多只能支持5万个在线产品。1997年，易趣将其操作系统从FreeBSD迁移到视窗NT，其数据库从GDBM迁移到甲骨文。1999年，易趣将前端系统改造成集群(以前只有一台主机)，采用谐振作为负载平衡，并将后端甲骨文机升级为太阳E1000小型机。同年，向数据库添加了一台机器作为备份数据库，以提高可用性。前端机可以应付不断增加的流量，但数据库机在1999年11月已经达到瓶颈(它不能再增加CPU和内存)，所以它在11月开始根据业务将数据库分成多个库。在2001年至2002年间，易趣横向拆分了数据表，比如按类别存储商品，并部署甲骨文小型计算机来取代SunA3500。2002年，整个网站被迁移到用Java构建。在这一阶段，DAL框架被用来屏蔽数据库子数据库子表的影响，同时也为开发人员设计了一个开发框架来更好地开发功能。从易趣的整个发展过程来看，技术转型主要集中在可扩展性和可用性上。

腾讯目前被Alexa排名第九。起初，QQIM使用一个单一的访问服务器来处理用户登录和状态维护，但当一百万用户同时在线时，该服务器无法支持。因此，QQIM将所有单个服务器转换成集群，并增加了一个状态同步服务器，完成了集群中的状态同步。用户信息存储在MySQL中，数据库分为表，朋友关系存储在自己实现的文件存储中。为了提高进程间通信的效率，腾讯自行实现了用户模式下的进程间通信。此后，腾讯将状态同步服务器转变为同步集群，以支持越来越多的在线用户。经过前几次改造，基本上可以支持数千用户同时上线，但可用性相对较差，所以腾讯再次对QQIM进行改造，实现了同城跨IDC容灾，并加强了监控和运维体系建设。之后，腾讯决定彻底改写QQ即时通讯架构(可能从2009年至今)，主要是为了增强灵活性，支持跨城市的国际数据中心，支持成千上万的朋友。在这个伟大的技术转型过程中，腾讯的数据不再存储在MySQL中，而是全部存储在自己设计的系统中。

根据QQ即时通讯的技术演进，其技术转型主要集中在可扩展性和可用性上。

2003年，淘宝诞生，并直接购买了一个商业软件，在此基础上淘宝进行了转型。2004年，系统从PHP迁移到Java，从MySQL迁移到甲骨文(小型机、高端存储设备)，应用服务器采用WebLogic。在2005年至2007年的开发过程中，JBoss取代了WebLogic，对数据库进行了分区，基于BDB构建了分布式缓存，开发了分布式文件系统TFS来支持小文件的存储，并构建了自己的CDN。从2007年到2009年，应用系统被纵向拆分，拆分后的系统以服务的形式向外界提供功能，数据被纵向和横向拆分。

在经历了数据的纵向和横向拆分后，甲骨文的成本越来越高，因此在接下来的几年里，淘宝开始逐渐将数据从甲骨文迁移到MySQL，并开始尝试新的数据存储方案，比如使用HBase来支持历史交易订单的存储和检索。近年来，淘宝开始修改和定制Linux内核、JVM、Nginx等软件，还设计了自己的低能耗服务器，同时优化软硬件以更好地降低成本。

从淘宝的整个发展过程来看，技术改造主要集中在可扩展性和可用性上，现在已经逐渐将精力投入到性能和成本上。目前，淘宝网的Alexa排名第14。

摘要

根据Alexa顶级网站的技术开发流程，每个网站由于其不同的业务、不同的团队成员和不同的工作风格，在技术开发的不同阶段会采用不同的方法来支持业务开发，但基本上侧重于可扩展性、可用性、性能和成本。在发展到一个相对较大的规模后，每个网站的技术结构都有很多相似之处，而且这些结构还会继续发展。

原作者林浩在淘宝工作，从2007年到2010年负责设计和实施淘宝的服务框架。这个服务框架在淘宝网上被广泛使用，每天接受150亿次请求；自2011年以来，他一直负责HBase在淘宝的登陆。目前，淘宝网上有20多个在线项目使用了HBase。

其他：卡桑德拉

当设计卡珊德拉存储时，这本书建议围绕查询建模，而不是首先建模数据。有些人对此表示反对，认为查询类型变化太快。作者认为查询类型和数据本身会发生变化。Cassandra最基本的模型是简单的kv，因此有必要尽可能多地围绕查询建模。如何在这里更好地协调是一项具有挑战性的任务。

卡珊德拉的列族就像一个表格结构。它被修改为重新启动，一个cf是一个文件，一行数据可以有多个列族。用户是一个族，user_ext是一个族，行键是uid，使用cassandra更像数据库。

youtube社交趋势经理凯文阿洛卡(KevinAllocca)解释了Youtube最热门视频的三个共同点。1.品酒师-大师的推荐。2.志同道合的团体。3.惊喜-意想不到的惊喜。

卡珊德拉在360、用户最爱、图形床、垂直搜索等在线服务中的应用有很多存储需求。考虑到MySQL不能满足需求，但HBase有可用性的缺点，所以选择了卡珊德拉。目前的规模为600~700套，预计到年底将达到1500套左右。目前没有重大失误。据估计，它是世界上最大的卡桑德拉星团

谁能帮我解释键值、列导向和文档导向之间的区别和联系？看完图中的除法，我完全糊涂了。我一直认为三者是一回事

兴趣队列传输：卡夫卡，时间隧道，红隼，抄写员；列存储数据库域hbase；Kv数据库：cassandra，riak，伏地魔，tair；文献数据库：mongodb、couchdb；图形数据库：二级、pregel、flockdb；流动计算：风暴，我的过程；实时计算：prom；图形计算：pregel，apachehama；蜂巢，火花。

Facebook本地kv过期通过复杂的中间层解决

mysql上没有连接查询，并且采用了昂贵的融合IO。Nginx比lighttpd更好。抄写员是一件好事

这篇文章发表在北京网站生产公司尚品http://www.sino-web.net/,中国

怎么引流进店推广宇秀皆来  引流推广渠道汇总

 京东店铺引流和推广想了解更多关于【小鑫优化不同行业网站seo策略】和【八一八乌镇大佬饭局：平均年龄47岁 ，80后仅一人 】的朋友请站内搜索。

想做黑帽或者白帽推广的老板请添加客服。  www.百度优化.com   qq：3177948276 为您24小时服务！