关于世界上的超大数据库

| 27 Comments

手边有一份 2005 Winter TopTen Award Winners的报告,包含了一些关于世界上排名前几位的 VLDB 的信息。VLDB,超大数据库,其实叫做"狂大数据库"倒是也很贴切。

如果不区分操作系统环境,Yahoo! 力拔数据仓库一项的头筹,单个数据库数据大小接近 100T 。采用的是 Oracle 数据库,部署在 Unix 上, 存储是 EMC 的设备。这是 2005年的数据,雅虎现在每日接近 40 亿 PV,这个数据仓库现在应该远超 100T 了吧。 电信巨头 AT&T 的数据仓库屈居亚军。Amazon 的两个数据仓库也不小,数据量多达 24773 GB,是用 Oracle RAC 实现的,部署在 Linux 操作系统上。

OLTP Top 10

我比较关心 OLTP 数据库的情况。下面这个图表是包括所有操作系统环境的 OLTP 数据库情况。前 10 名中只有两个采用了集群,而且都是集中式集群(Centralized/Cluster)。其余8个席位都采用了 SMP 架构,而且大多是集中式(Centralized)。分布式超大 OLTP 的成功案例看来并不多(只有 1 例,另外有一例是Federated)。让 Fenng 稍微有些惊讶的是 SQL Server 占了三个席位,数据量最大接近 8T 。整个表看来,数据库类别、所用的软件平台还真的比较平均。并非我想象的完全是 DB2/Oracle+Unix 的格局。

世界上 Top 10 OLTP 数据库

Unix 上 OLTP TOP 10


下表是使用 Unix 操作系统 OLTP TOP 10。好家伙,几乎清一色的 Oracle。DB2 不见踪影,只有 Sybase ASE 还算争气,占了一个席位。 9 个 Unix 平台上的 Oracle OLTP DB,只有两个使用了 RAC ,其他都是 Centralized/SMP。

到现在为止,都还没有看到互联网站点的身影。

世界上 Top 10 OLTP 数据库(Unix平台)

Linux 上 OLTP Top

终于有互联网公司出现了。

仍然全部是 Oracle 数据库。而且, 四个中的三个都是通过 RAC 来实现的。

Linux 上的 Top OLTP

从上面的数据可以作如下总结:

1) Linux 上 Oracle 通过 RAC 可以提高扩展能力;
2) 但是,Oracle RAC 的扩展性并非那么好;

如果从峰值处理能力(Peak Workload)的角度上看,Oracle 就不那么风光了。DB2 与 CA 的 CA-Datacom 瓜分了 10个 席位。操作系统平台都是 z/OS。 排在第一的是 UPS 的数据库系统,每个小时处理 1,134,034,718 条 SQL 语句。很强悍。

或许有个的朋友看过我介绍的 eBay 的数据量,可能比较纳闷,为何整个报告中没有 eBay 数据库上榜? Fenng 猜测是 eBay SOA 化之后,单个的数据库就并不大了,这样也避免了风险。


(这份报告的 PDF 下载)

27 Comments

学习了!

俺们的库估计也不小,不过都是在DCN网内部的:)

估计国内 OLTP 也会有不少上 T 的数据库

恕我孤陋寡闻,但是我真是没办法想像为什么一个库会有那么大容量。。除了电话公司的帐单历史。

但是就算帐单历史,其实也可以拆开存放啊。

难道就是为了满足OLTP?

拆开的,比如销帐库、计费库、查询库等等

为什么要这么大?不明白,谁能介绍一下?

个人感觉,
rac提供了扩展性, 但和单实例数据库相比, 并不如大家所认为的那么大.
linux平台RAC比较多的原因一是因为Linux本身比较烂, 可扩展性不强, 二是oracle市场做的好.

那些传统行业的数据库,处于个中原因,修改一点点都会有很多麻烦,所以就把盘子不停放多放高

路过这里,做的不错,顶一下!

这个评选很多公司出于商业保密的需要没有参加,另外可能更多厂商压根都不知道有这么一个评选活动,要不绝对不止现有榜单上的这些。AT&T的那两个数据仓库连续2次入选,用的那个数据库是他们自己内部开发的。2003年Teradata还在十大DW里面占有4席,到了2005年则无一入选,说明封闭的技术和昂贵的成本还是限制了其发展。Oracle在近几年发展尤为迅速,无论是在OLTP还是在DW领域,几乎是完胜。随着近几年RAC的成熟,Linux+Oracle RAC的平台很受欢迎,几乎是LINUX上的典型配置了。另外03榜单上有意思的是HP的两个入选数据库用的OS平台居然是Windows,而不是自己的HP-UX。

如果按05年的评选结果,我们的数据仓库也有希望入选UNIX上的十大,哈哈

我这里(aix 5l)随便一个oltp的db,都在4T以上,怎么没上榜呢.

你这 OLTP 几个人用啊?

同事, 我也顶你一次哈

呵呵,用户数就不能和你说的这些比了.目前平均的并发用户数在800左右.

托马斯张:这个评比要求你自己报名参加的啊,你们有没报名啊?这是主要的,还要通过人家的审核才行.这个评选本身就没多大名气,很多公司出于商业保密的需要没有参加,因此这个结果仅供参考而已.你们有兴趣的话也可以去参加,呵呵.

这些数据不准确,数据量都偏小了

呵呵,超出想象了

按这个排行榜,我们客户的数据库也可以进前10名了。

只不过是一个参考值而已

冰山下面的大块头有很多的

看了半天,没发现号称最牛数据仓库的Teradata,它到底怎么样呀?

hehe 国外数据库似乎受基数(客户数)影响 都不是很大嘛
国内似乎这方面有优势

补充一句 很好的文章

数据库这么大啊?
可惜没有中国的

中国总有最大情结.

与美国DIALOG系统相比怎么样?

数据库大了,有什么好?