May 2009 Archives

西湖音乐节

| 4 Comments

两天的西湖音乐节结束了。今年更加商业化一些,这没错,毕竟举办还是为了赚钱,不过下午场的乐队貌似都很烂,顶着这么毒的太阳看烂乐队演出还是挺不划算的,大家都说效果最好的还是中场休息放的伴奏乐 :) 我觉得和去年民谣的主题相比还是有不小的差距。去年的歌手更有个性,恐怕是一场绝响。

再烂的音乐节也能看到激情澎湃的音乐青年。只不过第一天晚上的时候,红旗挡住了后面的人,被骂了。

xihu_music.jpg

必须要说,音乐节的舞台还是非常漂亮的。

xihu_music2.jpg

"老子只要摇滚",可惜现场并不是特别摇滚。

xihu_music4.jpg

音乐让人安静。

xihu_music5.jpg

一张抓拍,感觉这才是音乐节的状态。

xihu_music6.jpg

张楚在现场,已经 40 了,还能唱动,不容易。唱了几首新歌,很一般。可能就像现场出现的光影效果一样,头上的光环太大了。

zhangchu.jpg

只有音乐没有灵魂,不过是一锅烩面罢了。

--EOF--

昨天半夜王佩携一众朋友来到贝塔咖啡,聊到快凌晨三点才散。

Updated: 更多照片(个别照片不是我拍的)

尽管 Nginx 前不久才提供对 Windows 操作系统的友好支持。其实 Windows 下潜在的用户一直都不少。在 Windows 下安装调试的教程貌似并不多。介绍一个在 Windows 下帮你节省 Nginx 调试时间的项目:Farseer。(Farseer 是魔兽世界中的角色?)

这是淘宝 UED 部门的 明城 捣鼓的一个工具。刚刚新鲜发布。他这么描述该项目:

Nginx 的确是 *ix 系统下非常优秀的 HTTP 服务器,但开发人员而言搭建 Windows 平台的 Nginx + PHP 环境的确非常的繁琐而且容易出错。 如果您有上述的问题,那么这个包能够帮得上您的忙。使用这名为 Farseer 的软件包,能够让您在两分钟内完成 Nginx + PHP for Windows 平台的安装。

繁忙的工作之余还有精神头捣鼓这个,发自内心的觉得应该表扬。

--EOF--

需要这么多 SNS 麽?

| 29 Comments

搜狐推出了白社会,这几天好几个朋友都在热情的进行义务测试。现在有新 SNS 出现的话,基本上也就是去测试一下,看看设计上有没有新的特点,盲人摸象琢磨一下技术实现的事情。

根据了解到的反馈结果,多数网友认为搜狐这个 SNS 做得相对不错。但我觉得没什么值得表扬的,毕竟是后发者,能够对已有的产品特点进行吸收,也能够添加新的元素。此外,校友录仍然是搜狐没有用好的一块资源。校友录本该成为中国的 Facebook,只不过因为时代的局限性这个结果大家都看不到了吧。

淘宝的"淘江湖"已经开放,听闻新浪 SNS 服务"朋友"也已经开始内部测试,看来 SNS 要成为各大网站标配已经是不争的事实。按照这个思路的话,盛大、网易的 SNS 也是很有"必要"的嘛。问题是,真的 需要这么多 SNS 麽? 感觉这就是重复建设(这和各地政府上马政绩工程真有异曲同工之妙,起码能拉动本地 GDP 嘛)。每家大网站都怕被落下,怕什么被落下,当然是 PV,没有 PV 怎么有广告? 没有 SNS 怎么带来会员活跃度呢? 用 SNS 拉动 PV ,还是挺有效的办法。至于里面能玩出什么花样,除了游戏能给运营商带来利润,其它怕是没什么价值。

如果你登录某个 SNS 网站大部分操作不过是处理好友请求,那么需要反思这个 SNS 到底能给你带来什么? 功能再好的网站如果对你没有什么真的用途,还不如没有呢。所以,别玩什么劳什子 SNS 了,洗洗睡吧

--EOF--

苏阳乐队杭州巡演后记

| 9 Comments

可能不止杭州的酒吧,全国所有酒吧都这个德行。总有几个早已韶华不在的女人,带着外国男人来的中国女人,或者带着中国女人来的外国男人 -- 这三类人占着最好的位置。照例有几个假装醉酒的疑似酒鬼在哪里高声吆喝以期吸引别人的注意。几个本地文艺女青年在和乐手套磁或者叙旧。小二在忙着兜售座位。而老板则永远在担心酒水的售出量,至于现场演出效果,傻瓜才关心呢,反正两个小时后就会结束,明天迎接的就是另一拨人。

苏阳乐队巡演杭州站就在这种气氛下开始的。

伢子组建的"大牙"乐队先头暖场,吉他手明显收到左边舞台下面喝酒人喧哗的干扰。乃至四首歌后下来喝水的时候直摇头。一个头发花白的大爷坐在那里对震耳欲聋的音乐无动于衷。直到暖场结束,该大爷也离场,难道他是"大牙"乐队的粉丝不成? 恍惚间我倒是感觉他是带着某种目的而来,在得到了答案而去。

苏阳乐队巡演 . 杭州站
(持箱琴者为苏阳.)

苏阳出现,一身黑,布鞋,瘦,有精气神。"骑骡子呀么上高山呀,上高山呀吗望平川那,平川里有那个牡丹的花开鲜",妈的,带劲儿!这歌一个人唱就没意思,一堆人唱才有感觉。第二首歌的时候,醉酒挑衅者居然跑到了舞台上,还好被酒吧老板直接拉了下去。其实苏阳现场音乐也算"重"了,但一楼和二楼的有些聊天声不时在音乐小的时候居然能直盖过来,真他妈的... 乐队四个人似乎并未受到多大干扰。渐渐进入状态。到场的苏阳迷并不多,人少,可都是铁杆乐迷。大部分人都熟悉第一张专辑的歌儿,喊起来花儿气氛也一点不差。国内现在活跃的乐队中,苏阳是现场唱功最好的一个。这次和北京那场一样,新歌的比例并不少,《冤家》《发芽》都唱了,《官封弼马温》尽管也算新歌,毕竟有《西游记》铺垫,大部分歌词都听得明白,现场效果居然也非常棒。老歌更容易引来小合唱 :) 唱到《贤良》的时候,照例冲上去了几个"奇男子"和"奇女子"合唱,难得的是,有个扎着小辫子的老外居然也会唱这首歌。起码看口型是对的。啊哈。

我现在算是不折不扣的苏阳粉丝儿。很多乐队听现场反而感觉不如听专辑,苏阳是个例外。 另外,推荐一下在上海的这篇访谈坐在我身边的苏阳


--EOF--

这个黄楼酒吧号称杭州唯一的一家爵士乐酒吧,没想到原有的气氛真他妈的烂。难为苏阳他们几个了。

这本《Linux Networking Cookbook 》(中文版) 是译者冯亮(aka, hutuworm)的赠书。 600 多页的书一个人5个多月搞定,翻译本是一份儿苦差事,没有足够的功力和定力做不下来,而其细致从译者终校可见一斑。

搭建Linux防火墙、使用Linux路由、使用Nagios监控网络、和自动网络安装服务等章节,对于一个系统管理员来说是绕不过去的话题,或许有人觉得我用搜索引擎直接找这些不就成了,不过,恕我直言,现在能搜到的技术信息多半零零散散,缺乏准确性。而其它一些看似生僻的章节也或许什么时候也能遇到,比如搭建 VoIP 服务器这一章就是个绝佳的教程。很多时候,我们最欠缺的是把Linux 用到刀刃上。有这样的一本书放在案头,"手中有粮,心中不慌",想到的时候就读几页,慢慢的也就啃完了。

经常有人问我类似"我从现在开始学习某技术还来得及麽?" ,其实我哪里知道。我们的确有句俗语叫做"三十不学艺",可看看这本书的原作者 Carla Schroder 到了37 岁才第一次接触计算机,现在是一名技术顾问。国内也有王江民老师 38 岁自学电脑,进而开发出 KV 系列杀毒软件。可见,学艺并不怕晚,只要有信心,有毅力,终有所成。

贝塔咖啡馆的读书笔记一则。不求读遍架上藏书,但求读一本书有所思,有所得。

--EOF--

程序员的自我修养

| 1 Comment

这本《程序员的自我修养》比较有趣,真的没想到会有技术书籍这样命名的。与其中一位作者聊过一次,得知他为写这本书下了很多功夫。至少他自己的实践和提炼过程就体现了一个程序员的自我修养吧。

此书我能看明白的是《Linux共享库的组织》这一章,这和我过去的技术背景有一点点关系。如果折腾数据库软件,那么几乎不能回避 Unix 操作系统共享库的知识。但这部分东西又很少有专门文章说明。网络上搜集资料又零零散散。看完了这一章倒是补充了一下这个知识点。建议 DB 相关的技术人员不妨找来这本书读一下这一章节。

然后顺着书中提及的几个参考信息又找到了几篇文章。平面印刷因为无法像 HTML 那样提供超链接,所以作者如果多提供一些参考信息或者参考文章则是最好的了。这一点上,这本《修养》做得不错的。看完这一章的另外一个感想是做技术的,的确需要多加一些软修炼,对一些常见的东西能做点刨根问底的傻事情。慢慢慢慢,也算有些修养了吧。

书名总让人想起《喜剧之王》里面一些喜剧情节,和那本不得不提的《一个演员的自我修养》(这可能也是中国知名度相当高的一本但是没几个人看过的书)。周星驰有过一段话,"《演员的自我修养》这本书,我以前就看过,但一点都看不懂!有人告诉我,如果五年之后再看,可能会看懂一点,十年后会更懂一点,不同的阶段、不同的层次会有不同的理解。",对有些事情,大致如此。另外,也期待作者5年,10年后能够对此书进行修订更新,不知作者到时对这本书又是怎样的一个看法。

贝塔咖啡馆的读书笔记一则。不求读遍架上藏书,但求读一本书有所思,有所得。

--EOF--

作为战略的体验

| 5 Comments

隽辰的译作《应需而变--设计的力量》,第二章的一个小节《新奇的陷阱》很有意思。书中举的例子是某个银行在个人业务服务网站提供天气信息(这当然是业务领导的异想天开)。如果你没看过这本书,你认为银行提供这个服务有价值麽?

答案是这是个糟糕的产品设计。尽管这东西看起来应该有价值,用户怎么能不需要天气预报呢? 是的,用户需要天气预报,但是银行业务和天气有什么关系呢? 没有关系。所以这个服务其实就是个奇怪的混搭。一个新奇的服务或者功能看起来似乎应该能起到该领导预想的作用。但实际上,用户很难体会您的"用心良苦"。做新奇的而无用的东西简单,而对用户更有用的东西做起来反而更难。

这让我想起昨天看到的一篇李宁公司销售专家的一处细节,"放弃了大批量采购大黄、大紫服装的打算,其选择的颜色几乎无一例外都是蓝黑白三种颜色。什么样的颜色最终会进入减价区?──所有那些古怪的颜色。"。什么产品会最终被用户抛弃? 所有那些自作聪明的"创新"。这或许会对我们有点启发吧。

处处讲究创新的公司,各个都挖空了心思研究新产品,而不改进已有产品、不提升既有产品对用户的亲和力、不提升已有产品的价值,就变成了熊瞎子掰苞米。如果是遵循战略的创新,那可能算作真正的创新。否则的话,所谓的创新不过是一种炫技和自我满足罢了。写到这里,似乎和标题没什么关系嘛。其实我要说的是,如果不犯这些错误,那可能需要把用户的真正体验作为一种战略。而不是把所谓的创新作为战略--毕竟这么做的人和公司太多了。

贝塔咖啡馆的读书笔记一则。不求读遍架上藏书,但求读一本书有所思,有所得。

--EOF--

《程序员》杂志 100 期约稿的稿件。这样比较"大"的话题我写起来并非顺手,而且只是从一个人所见的角度开写,难免贻笑方家。有所遗漏或者有失偏颇,拍砖即可。



2001 年对我自己来说,是一个比较重要的时间点--正式踏上工作岗位,也在这一年奠定了以后工作的技术方向。在 2001年,《程序员》杂志经过两期试刊后也已正式创刊。转眼间,杂志即将出版第 100 期,让人心生感慨。自己几年来持续关注数据库技术领域,《程序员》是一份很重要的参考信息来源。这里回顾一下自《程序员》创刊以来的数据库大事,算是一份纪念,或有谬误,敬请指正。


2001

就从 2001 年说起吧, 2001年6月的ORACLE OpenWorld大会中,ORACLE发布了ORACLE 9i。相比上一个主要版本,也就是 Oracle 8i来说,最大的新产品特性就是真实应用集群(Real Application Clusters, RAC)了。ORACLE 9i的RAC在TPC-C的基准测试中打破了数项记录,一时间业内瞩目。刚在上一年发布 SQL Server 2000 的微软在这一年产品上没什么更大的动作,正在积极拼抢市场。而 MySQL 在 1月份发布了 3.23 产品版,给不少开源爱好者以欣喜。

DB2 在这一年产品上没什么亮点,但是以 10 亿美金收购了 Informix 的数据库的事情震动业界。记得自己当时正好有个 Informix 项目要实施,着实看了几天 Informix 技术文档。这一年国内数据库领域的一件值得一提的小事是 ITpub.net 的创建,这个当初看似不起眼的论坛,在随后的几年中涌现出了一大批数据库技术人才,很大程度上在国内普及了 Oracle 数据库技术。


2002

IBM 推出DB2数据库V8.1的测试版,估计是还在消化 Infomix 的客户资源,几个月之后正式版才能面试。而 Oracle 与 Sun 庆祝了 20 年的合作伙伴关系。之后,Sun 不复 .com 大潮中的明星范儿,Oracle 因为全力支持 Linux 也与 Sun关系愈加微妙。Oracle Open World 第一次在国内举行,地点是北京,会议规格不低,Larry Ellison 在会上进行了主题演讲,此前,这位软件界的传奇人物已经来过中国数次了。[喜欢IT八卦的人可以搜索一下《IT江湖水也深》这篇文章。]

微软连续第二年没有对 SQL Server 发布新版本。

MySQL 发布 4.0 Beta 版。从 4.0 开始,InnoDB 正式成为 MySQL 的默认引擎。在 InnoDB 的基础上,MYSQL对于事务的处理能力有了极大提升。


2003

SQL:2003 发布。这个版本针对 SQL:99 的一些问题进行了改进,支持 XML,支持 Window 函数、Merge 语句等。随着,会看到各大数据库厂商纷纷宣布新的版本中对该标准的支持,这是他们一贯的姿态。

MySQL 4.0 正式发布。在全文索引、嵌入式应用方面得到增强。这个时候的 MySQL 仍然缺乏一些企业级数据库的关键功能。

Oracle 这一年发布了 Oracle 10g, g 代表 Grid ,网格计算。这一年中"网格计算"火爆程度不亚于现在的"云计算",随后的几年,这个网格计算基本上还只存在于专家们的嘴里。所以,去年 Larry Ellison 在会议上对"云计算"表示不屑也是正常之举。在这一年,Oracle 也宣布针对Linux 64位环境的产品准备就绪,接下来的一年里,Oracle 宣称雇佣了近万人的 Linux 相关的开发人员,可谓不惜血本,当然,这些投入在日后得到了超值回报。从技术的角度上看,其贡献也是有目共睹的,在 I/O 能力、进程扩展能力上都作出很大贡献。

雅虎技术人何伟平的一篇《PostgreSQL 昨天,今天和明天》对于 PostgreSQL 的普及起到了很大作用。


2004

Danga Interactive 针对 LiveJournal.com 开发的Memcached 经过上一年的高频度发布,在这一年只发布了一个版本,标志着已经进入相对稳定阶段,只可惜养在深闺人未必识。关注者并不多。以此为滥觞,伴随着Web 2.0 的火热,类似的分布式对象缓存系统层出不穷,到现在已经成了各大网站标准配备。Memcached 的出现对于数据库方面相关应用设计也带来了更多思路。

这一年嵌入式数据库 SQLite 迎来了较大发展,版本3 完成开发并发布了稳定版。 这些努力为 SQLLite 获得 2005 Open Source Award 打下很好的基础。

我自己第一次给技术杂志投稿《书写历史的甲骨文》,当然是发在《程序员》。


2005

PostgreSQL 8.0 的发布宣告正式开始支持 Windows 平台,成为真正意义上的 Windows 平台数据库(Native Server)。这是 PostgreSQL 发展史上相当重要的一件大事。

微软时隔五年,终于发布了 SQL Server 新版,是为 SQL Server 2005。最大亮点在于对 XML 数据的支持,当时不少技术媒体对此都颇为关注。IBM 发布 DB2 V8.2。

Oracle发布了Oracle10g R2 版本,10g 的 R1 版本稳定性广为诟病,R2版本质量有很大增强,一部分用户终于可以放心一点从 9i 升级到 10g。10月,Oracle 抄了MySQL 后路,将 InnoDB 收归帐下。几年过去回头看,Oracle 此举对 MySQL 影响太大,直到现在,MySQL 也没能自己拥有一个超越 InnoDB 的存储引擎,当然,也不可能超出 InnoDB 的在线备份功能。历史不容假设,否则的话,或许 MySQL 最后仍将独立发展也说不定。 MySQL 在这一年发布5.0 Beta版,引入数个新特性,比如存储过程、触发器等,而这些其实是其他主流商业数据库早已实现的功能,从这个角度上看,MySQL和其竞争对手比较,仍然是追赶者,甚至也落后于开源兄弟 PostgreSQL。


2006

IBM 在这一年发布了DB2 V9 ,最大特性是加入了 PureXML 支持。IBM 对 XML 方面寄予厚望,不过时间证明,XML 对于数据库市场的影响并没有那么大。

在嵌入式数据库方面,Oracle 收购 Berkeley DB 的母公司 Sleepycat Software。到此,MySQL 两个最重要的存储引擎都控制在 Oracle 手里(Falcon 引擎开发进度遥遥无期,最后不了了之),尽管现在来看关系并未僵化,但谁也说不好未来能怎样。Oracle也宣布推出Enterprise Linux,进军操作系统市场,开始和 Linux 厂商之间展开竞争又合作的关系。

SQL:2006发布,继续增强 XML方面的特性。Ingres,这个早期数据库流派的标识产品,以GPL版权形式开放代码。


2007

Oracle 发布 11g 数据库,引入物理 Data Guard 算是最大新功能。MySQL 的拥趸者要偷笑,其实 MySQL 的 Slave DB早就可以在恢复的同时提供查询的能力了。MySQL 宣布将对 5.0 提供两个变种,社区服务器(Community Server)与企业服务器(Enterprise Server),后者发布周期为1月一次,而社区服务器发布周期则不固定。

随着 Firefox 的发行量增加,其内嵌的SQLite 也赢得了大量部署用户。如果单纯从部署数量来看,SQLite 倒也堪称最流行的DB。


2008

2008年数据库领域的最大的事件,是 Sun 收购 MySQL,价格 10 亿美元。一年多时间过去,回头来看,这次收购对于 MySQL 不是什么好事情。年尾,MySQL 发布 5.1 生产版,质量并不好,引起了不小争议。在这个版本中正式提供对分区(Partition)功能的支持。此外,在这一年中,开源社区对于 给MySQL 贡献的补丁和各种解决方案让人眼花缭乱,是可喜之事。Google 和 Facebook 等大站都对 MySQL 作出不小的贡献。

微软发布 SQL Server 2008,没有提供什么更扎眼的功能。其实关系数据库发展到现在,要想作出更大革新已经是几乎不可能的事情了。对于微软来说,Windows平台上 SQL Server 有其压倒性优势,可时过境迁,一方面的优势演变成了其他平台上的劣势。

PostgreSQL 8.3 发布,应该说从2008年开始,PostgreSQL 在市场上表现已经不容小视,以其为基础的集群BI系统 GreenPlum 已经引起了国内不少用户的关注。

SQL 标准SQL:2008 发布。从SQL:99 到 SQL:2009,可以看到标准修订的周期越来越短,多少也反映了对技术的需求之快。


2009

到现在为止,这篇文章还缺席 Sybase 的信息。必须要提一下的是,Sybase 将在3月份公布其列数据库(Column-based Database)的新版本:Sybase IQ 15 。说起来,Sybase 也是传统数据库厂商中唯一提供列数据库的公司。

此外,在云计算应用下涌现出的非关系型数据库(主要是Key/Value存储)产品渐欲迷人眼,有人在疑惑关系数据库已到末日。"关系数据库已死" 每隔几年就会有人跳出来喊,对关系型数据库(RDBMS)来说,百足之虫,死而不僵。


不是总结的总结

以上只是软件行业发展过程中的一个小小的阶段。如果要做点总结的话,我觉得这几年的值得探讨的一个地方就是 MySQL 的发展模式,从最初的近乎玩具的软件到现在对业界举足轻重的产品,其发展途径值得我们深思。反观国内,我们也有一些所谓的国产数据库,投入重金,多半昙花一现,恐怕技术因素不是主要问题吧?


补充1) 应该说,时间就是善于和人开玩笑。这篇文章写完不久,就传来 Sun 被 Oracle 收购的消息。尽管现在还不能断定收购一定能完成,但这毕竟宣告了有关数据库技术的一个转折点。现在无从判断 MySQL 究竟发展方向如何,也或许,MySQL 的命运掌握在广大用户的手中。

补充2) 其实我非常想写一下"国产数据库",但出于某种原因考虑,还是放弃了。长期以来,那似乎是和我接触的数据库圈子并行的一个轨道。想来想去,还是不要徒增烦恼了吧。

补充3) 这是个变革的时代,新的数据库产品层出不穷。"乱花渐欲迷人眼"。

补充4) 这篇文章和我参与翻译的 Troubleshooting Oracle Performance 一书,似乎可以用来小声的宣布一件事,那就是我关注的技术领域重心早已不再是数据库了。再见,Database !


--EOF--

继续贴出 Troubleshooting Oracle Performance 一书第十二章《优化物理设计》的翻译稿的部分节录。最近真是筋疲力竭。翻译不止是考验技术水平、英文水平、中文驾驭能力,还有耐心和信心。

TOP.jpg
(此书中文名字还未敲定,要不大家帮着命名一下?)



段头块的争用

每个表和索引段都会有一个头数据块(header block)。这个数据块包含以下元数据:关于这个段的高水位(highwatermark)的信息,组成这个段的区间(extent)的列表以及关于空闲空间的信息。为了管理空闲空间,根据使用的段空间管理方式的不同,头数据块会含有一个空闲列表(freelist)或者一组包含自动段空间管理(automatic segment space management)的信息的数据块。比较典型的情况是,段头数据块在多个进程并发地修改其内容时会发生争用。注意,头数据块在以下几种情形下将会发生修改:

  • 插入语句使得有必要提高高水位
  • 插入语句使得有必要分配新的区间
  • 删除、插入或更新语句使得有必要修改空闲列表

解决这些问题的一个可能思路是,对这个段进行分区以将压力分布到多个段头块上去。虽然有时候根据负载以及分区键值(partition key)其它的分区方式也可以实现,但是在大部分时候,可以通过散列分区实现这一点。然而,如果是由于第二或第三种情形导致这个问题,还可以使用其它的解决办法。对于第二种情形,可以使用更大的区间(extent)来解决。这样,新的区间分配将很少发生。对于第三种情形,空闲队列(freelist)可以被空闲队列组(freelist group)移动到其它数据块,这对于使用自动段空间管理模式(automatic segment space management)的表空间不适合。事实上,在使用多个空闲列表组的时候,空闲列表就不再被存储在段头数据块(segment header block)中了(它们被分布到与参数FREELIST GROUPS数量一致的数据块中,这样在它们上面的争用将减少,而不仅仅是将争用移往别处而已)。另一个可能是使用自动段空间管理的表空间而不是空闲列表段空间管理的表空间。

注意:长期存在一个关于Oracle数据库引擎的神话是,空闲列表组只有在使用RAC(Real Application Cluster)的时候才是有用的。大谬。空闲列表组在任何数据库中都是有用的。之所以特别强调这一点是因为我看到听到这种错误信息太多次了。


其实我一直想尝试用一点比较新的语言,比如最后一句,用"这种事儿我都听过N次了",效果可能更好。但,还是放弃了。

--EOF--

TOP 第五章 之 CBO配置策略

| 1 Comment

继续贴出 Troubleshooting Oracle Performance 一书第五章《配置查询优化器》的翻译稿的部分节录。本章初稿译者胡怡文.

配置还是不配置

在此套用一句肯尼亚谚语 ,"配置查询优化器的代价是昂贵的,但值得为此付出。"(注1)实际上,我曾见过许多低估良好配置重要性的站点。有时,我甚至和一些人进行激烈的讨论,他们认为"没有必要费心为每一个数据库单独配置查询优化器,我们已经有一套初始化参数,而且在所有数据库上屡试不爽。"通常,我首先会这样回答这个问题:"如果一个配置集能适用于所有数据库,为什么Oracle要介绍二十多个专用于查询优化器的初始化参数?甲骨文公司知道自己在干什么。如果存在这样一个万能的神奇配置,他们会以默认的方式提供,还可以省去一大堆初始化参数的正式说明文档。"接下来我会详细解释这个神奇配置不存在的原因:

  • 每个应用都有自身的需求和负载概要,并且
  • 每一个由不同的软硬件构成的系统,都有其自身的特点。

如果遇到麻烦的是顾客,通常我也会提醒他们"您找我是因为你遇到性能上的问题,对吧?由于某种原因,应用没有达到最佳表现,但数据库也得为目前的情况负一部分责任...所以,让我们着手处理这个问题吧。"

据说,至少从Oracle9iR2开始,查询优化器就能良好运转了,这意味着它能够为大多数注2SQL语句生成高效的执行计划。然而更准确的说,仅在查询优化器配置正确且数据库的设计能够发挥其所有特性时才是如此。这件事我已再三强调,同时也要记住查询优化器的配置不仅包括初始化参数的设置,也包括系统统计和对象统计。

配置路线图

既然没有这样的神奇配置,就需要一个可靠的步骤来帮助我们。图5-1汇总了我采用的主要步骤。

CBO_Configure.png

图5-1. 配置路线图的主要步骤

下面是对图中标有数字的步骤的描述

  • 1. 总是需要调整的两个初始化参数:optimizer_mode和db_file_multiblock_read_count。 就如你将在本章后面看到的那样,后者对查询优化器本身来说已经不再那么重要。然而,个别操作的性能还将严重依赖它。
  • 2. 这步要调整的几个初始化参数通常默认已经被设置为比较合适的值,所以这步显得不是十分重要。然而无论如何,这一步的目的是要启用或禁用查询优化器的某些特性。
  • 3. 既然系统统计和对象统计为查询优化器提供了至关重要的信息,那么它们必须被收集。
  • 4. 根据初始化参数workarea_size_policy的不同,在内存中存储数据时选择是手动还是自动调整内存的使用量。做出选择后,其它初始化参数值在第五步或第六步设置。
  • 5. 如果上面选择的是自动设置工作使用的内存量,那么需要设置初始化参数pga_aggregate_target。
  • 6. 如果选择手工设置的话,实际使用的内存量分别取决于对每一种不同操作所设置的阀值。基本上,对每一种不同的操作都要设置一个特殊的初始化参数。
  • 7. 当刚才的设置生效后,就开始测试应用。在测试期间,对没有表现出期望性能的那部分收集执行计划。通过分析执行计划,你应该能够推测出问题所在。本阶段需要注意,关键是要识别出一般的、非特殊的现象。比如说,需要注意查询优化器是否使用了过多或过少的索引,又或是否没有正确识别约束。
  • 8. 如果查询优化器能够为大多数SQL语句提供高效的执行计划,说明配置成功。否则,需要进行第九步。
  • 9. 假如查询优化器倾向于使用过多或过少的索引,又或是嵌套循环的话。通常需要调整初始化参数optimizer_index_caching和optimizer_index_cost_adj修正这个问题。如果查询优化器错误地估计了基数(cardinality)。有可能是某些直方图丢失或需要调整。在Oracle 11g中,扩展的统计(extended statistic)也能够提供一些帮助。

根据图5-1,从第1步到第6步设置的初始化参数不宜改变。当然,这也不是铁板钉钉的。如果在第九步调节了索引相关的初始化参数和直方图后,还没有达到预期的效果。就有必要从头再来了。还有一点要提一下,既然有些初始化参数的设置对系统统计有影响,在调整它们以后,必须重新计算一下系统统计值。


  • 注1:那句肯尼亚谚语是"和平的代价是昂贵的,但值得为此付出。" 可以在http://www.quotationspage.com/quote/38863.html. 找到这个引用。
  • 注2:和我们在其它可想像的活动中一样,在软件开发中完美也是不可信任的。即使你和Oracle都不希望这样,查询优化器也是如此。因此,应当期盼只有少数的SQL语句需要手动调整的介入(这个话题放在第七章)。
--EOF--

继续贴出 Troubleshooting Oracle Performance 一书第四章《系统和对象统计信息》的翻译稿的部分节录。在前面几章的部分章节放出来后,收到了很多朋友的意见和建议,在此一并谢过!翻译更多是考量译者的中文水平,现在我们几位译者对此是深有体会。本章初稿译者朱一(@mujiang)



保持统计信息时效性的策略(Strategies for Keeping Object Statistics Up-to-Date)

工具包dbms_stats提供了很多管理对象统计信息的功能。那么我们该如何使用它来达到最佳配置呢?这个问题很难回答。很可能就没有确定的答案。就是说,没有一种方式适用于所有情况。让我们研究一下该如何着手解决这个问题。

基本准则是,或许是最重要的一个,查询优化器需要通过对象统计信息知道数据在数据库里面是如何存储的。因此,修改数据以后,同样需要刷新对象统计信息。我提倡定期收集统计信息。反对者的理由是数据库运行好好的,没必要重新收集统计信息。这种策略引起的常见问题是,一些对象统计信息依赖于实际存储的数据值,比如修改了最大/最小值,这样的修改不会经常发生在一些典型的表里面,但是这些数据改变是危险的,它们被应用程序频繁的使用(引用过时的统计信息)。实践当中,太多的问题是因为对象统计信息过时引起的。

显而易见,反复收集静态数据的对象统计信息是没有意义的。只应该对统计信息陈旧的对象进行收集。所以,需要利用好每张表的修改次数的统计记录。这样,我们只需要收集哪些数据发生了显著变化的表的统计信息。默认情况下,当一个表里面有超过10%的行被修改后,就认为它的统计信息是过时的(陈旧的)。缺省值就不错,在Oracle 11g以后,这个缺省值可以修改。

收集统计信息的频率也值得探讨。从每个小时收集到每个月,或是更少,均看到过成功案例。其实这个真的依赖于数据。当用并不陈旧的表统计信息作为基准时,太长的时间间隔引起过多表的统计信息陈旧,就要花更多的时间收集统计信息。因此我喜欢收集得稍微频繁一些,分散负载,尽量缩短每次收集任务的时间。如果你的系统每天或每周有一些时段负荷比较低,就在这些时段运行计划的收集作业。如果你的系统是真正的7x24的系统,最好频繁的运行收集任务(注),每天运行多次,尽量多分散负载。

如果有好的理由不需要收集一些表的统计信息,在Oracle 10g以后,可以锁定对象统计信息。计划收集作业就会跳过这些对象。这样远远好于禁止收集整个数据库的统计信息。遗憾的是,在Oracle 9i中不能锁定对象统计信息,变通方法是,利用表的监控属性,禁止这些不需要收集统计信息的表的监控,收集模式(schema)或者数据库的统计信息的作业就会跳过这些表。

如果你有批处理任务一次加载、修改很多数据,干脆不要等待调度任务来收集这些对象的统计。直接将对这些对象的收集统计任务加到批处理任务的最后面。也就是说。如果你知道一些表的数据会被大量修改。修改完数据后,立刻收集对象统计信息。

从Oracle 10g开始,应该尽可能的利用默认的收集作业。为满足需求,应该进行检查默认的配置,如果必要的话,进行必要的变更。既然只有Oracle 11g以后可以在对象级别配置收集任务,你可以在缺省收集作业之前运行自定义的作业以收集一些有特殊需求的表的统计信息。这样,缺省收集作业仅操作统计信息过时的表,跳过有特殊需求的表。锁定特性也可以确保只有特定的收集作业才可以重新收集那些关键表的统计信息。

如果收集统计信息导致了低效的执行计划,有两个办法。一是恢复以前合适的统计信息来修复问题。二是诊断查询优化器为何使用新收集的统计信息得出了低效的执行计划。首先要检查统计信息是否正确的描述了数据的分布。比如,采样新的数据分布得到了不同的直方图。有可能是收集本身,或者是收集用到的一个参数的问题,导致了坏的统计信息。如果统计信息是可信的,有两种可能导致低效的执行计划:错误的配置了查询优化器,或者优化器犯了一个错误。对于后者我们无能为力,而对于前者,我们能找到解决办法。无论如何,你应该避免仓促的下结论,推断说是收集统计信息引起的问题,进而停止收集统计信息。

最佳实践是使用工具包dbms_stats收集对象统计信息。然而,有些情况下,正确的对象统计信息反而误导查询优化器。有一个常见的案例,比如历史数据必须保留很长一段时间(比如有些类型的数据在瑞士必须保留十年),如果随着时间的推移,数据分布基本不变,用工具包dbms_stats收集对象统计信息会运行良好。相反,如果每个时期有不同的数据分布,应用程序仅仅使用全部数据的一个子集,那么手工修改统计信息使它反映最相关的数据就是明智之举。换句话说,如果你知道工具包dbms_stats忽略了或者不能发现最相关的数据分布,告诉查询优化器回避对象统计信息就是恰当的。


注:对此,译者有不同的观点。对于比较繁忙的在线系统,数据变化可能频繁,但数据特征的变化未必频繁。不管如何,频繁收集统计与否,DBA 必需熟知两种可能带来的影响。(译者注)

--EOF--

九十年前的今天,是个特殊的日子。

关于这篇归档

This page is an archive of entries from May 2009 listed from newest to oldest.

April 2009 is the previous archive.

June 2009 is the next archive.

Find recent content on the main index or look in the archives to find all content.