Facebook 站所使用的开源软件

Scribe 旨在帮助 Facebook 处理服务器上的大量数据,正像 Scribe 页所述“如经常访问 Facebook,请使用 Scribe。”

具体而言,Scribe 就是一台服务器,实时收集用 站日志信息。


Thrift 是一个可伸缩的跨语言的服务开发框架。Key-Value 存储服务器 Cassandra 就是使用 Thrift 作为其客户端 API 的。

FlashCache 是一个适合一般应用场景的 MySQL 缓存优化模块。

Hadoop 并不仅仅是一个用于存储的分布式文件系统,而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。

Hive 是一个基于 Hadoop 的数据仓库平台。通过 hive,我们可以方便地进行 ETL 的工作。

hive 定义了一个类似于 SQL 的查询语言:HQL,能 够将用户编写的QL转化为相应的 Mapreduce 程序基于 Hadoop 执行。 


Open Graph protocol可让你的任何 页变成 交图谱。

http://ogp.me/

OpenCompute – 一个开源硬件项目,提供高能效的数据中心。

http://opencompute.org/

Tornado web server 是使用 Python 编写出來的一个极轻量级、高可伸缩性和非阻塞IO的Web服务器软件,著名的 Friendfeed 站就是使用它搭建的。

Varnish cache 是一款高性能的开源 HTTP 加速器,挪威最大的在线 纸 Verdens Gang (http://www.vg.no) 使用 3 台 Varnish 代替了原来的 12 台 squid,性能居然比以前更好。

原文地址:http://developer.51cto.com/art/201104/257985.htm

声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2015年6月15日
下一篇 2015年6月15日

相关推荐