| Twitter | Del.icio.us | Comments (20) | | Edit

Comments Powered by Disqus

留言评论 | Comments (20)

赞!期待PPT和视频。豆瓣的这场应该是QCon中最受关注的吧,向豆瓣学习。

作为用户,非常喜欢豆瓣的URL结构,看起来很舒服。

期待期待!豆瓣!豆瓣!

关于[杜绝远程 I/O]不知道是多大数据和多少req/s的写入?如果每秒req不多而且数据包不大的话(我们大概是150-200REQ/S的数据库写入),我觉得是可以的,有个业务我们当初就是这么做的,现在还一直在这么做,没有发现什么大问题啊:)

现在再选硬盘可以考虑SSD了,当然,价格也还是比较贵。

在牛博国际看到这篇文章,摸过来了。豆瓣人很大气

主要顶最后一句话,很多公司/人有好东西不肯分享,看别人说出来了心里就酸溜溜的。

不错 看看ppt

的确,最后一句话说的好.
如果你早知道了,没有为什么不告诉大家.
豆瓣很无私.
mekle tree, 很多P2P软件如BT,以及很多DHT相关系统都在使用..其中也有Amazon的Dynamo

我们的确早就用了 因更新文件量多量大(大量课件 —— 视频 文档 图片 ppt) 内部网 节点多 网速慢 服务器IO还临近饱和 各节点从服务器上更新文件成了大麻烦 后来设计: 文件全当成二进制字节流 切割 100kb每块 在数据库存文件hash字串 和最后修改时间 通过比对hash字串先判断更新节点 B树查找 回归根节点 更新 在PHP中调用C写的dll实现 绕很多弯路后 参考了emule的设计实现 不是不想分享 没时间写东西(小公司天天加班) 代码很乱 效率低下 也没时间做优化 更主要是虽然中间实现的代码写的很麻烦 但是基本思想应该还算简单 很多p2p软件都已经实现 怕这么后知后觉的东西分享出来丢人现眼

我不太明白,这个和Merkle tree有什么关系?用inotify监控文件系统变化,每次有变化,就专门记录到一个某一个文本文件里面,rsync的时候,只更新这个文件里面提到的文件,不就ok?

@bob

你可能的确不明白。这是 DoubanFS 的同步机制. 不是普通的 fs .

我的理解是这个是为了解决 “大量小文件同步问题”,如果直接在现有文件系统中rysnc,哪确实会扫描文件夹时间过长,用linux2.6支持的 inotify记录文件系统的变化,即增量,是一个不错的方法,已经解决了痛苦,但是为什么要组织成tree的形式的?有什么好处? 如果 doubanFS是 mogilefs这样的系统,也不会能直接用rysnc.

或许有一种可能是 doubanfs 自己实现了数据块类的fs,用 Hash Tree实现了 inotify的功能

@bob

小文件过多,通过目录的形式管理肯定有不少麻烦(数量少还可以,通过 inotify 是非常完美的办法). 另外一个问题是,inotify 对付份多台机器的分布可能也不是很完美吧


这个问题是你说的后者。

感觉豆瓣是国内Web 2.0网站中各方面都做得比较好的。看好...

磁盘转速和继续保持URL友好风格这两点,在企业级Portal架构中也值得借鉴。其实每一点都是,学习了。感谢!

对于国内IT圈,不太愿意共享资源的现实,我有同感。希望以后风气能够好转吧。

"小文件过多,通过目录的形式管理肯定有不少麻烦"你的意思说
小文件太多了,所有的文件放在一个目录里?然后通过实现的那个tree和修改时间来管理文件的同步?

没参加,真的感觉太可惜了!楼主是否有豆瓣架构的ppt之类的资料,可以分享下吗?

firefox下浏览页面 布局有问题,留意部分跑到上面去了。和正文重叠。

草根技术,喜欢豆瓣的架构

本人应届小硕一枚,请问美团网技术部前端开发的发展怎么样?团购网站靠谱否?真心求大牛指教,感激不尽。