石锅拌饭

这两天从Google Reader的Friends’ Shared Items中,好几个朋友都分享了同一篇文章,题目是”RoR部署方案深度剖析“,因为自己对这个内容也很感兴趣,仔细读了一下.应该说是很有意思的一篇文章,我也从中学到了不少东西,但是也发现了一些问题:

Apache/Nginx的接收缓冲区都只开了8KB，如果页面比较大，Mongrel就没有办法一次性把数据全部推给Web服务器，必须等到Web服务器把接收缓冲区的8K数据推到客户浏览器端以后，清空缓冲区，才能接收下一个8KB的数据。这种情况下，Mongrel必须和Web服务器之间进行多次数据传输，才能完成整个Web响应的过程，显然没有一次性把页面数据全部推给Web服务器快。

只有几个问题,application layer的读缓存和读的次数是否影响到socket另一端写socket的次数的? 写socket的次数是否和另一段socket read的次数对应? Web服务器向到客户端socket的写操作在什么情况下会被阻塞? 文中的一些观点和说法好像多少混淆了应用层和传输层的概念.

我们假设使用服务器端程序控制带权限的文件下载，某用户下载的是一个100MB的文件，该用户使用了多线程下载工具，他开了10个线程并发下载，那么每个线程Mongrel在响应之后，都会把整个文件读入到内存的StringIO对象当中，所以总共会创建出来10个StringIO对象保存10份文件内容，所以Mongrel的内存会一下暴涨到1GB以上。而且最可怕的是，即使当用户下载结束以后，Mongrel的内存都不会迅速回落，而是一直保持如此高的内存占用，这是因为Ruby的GC机制不好，不能够及时进行垃圾回收。

Mongrel处理rails request和静态文件使用的是不同的handler.处理静态文件用的是DirHandler,DirHandler没有通过调用response的start方法使用到StringIO,而是直接调用了response的send_file方法,直接write socket.验证过程非常简单,自己起一个mongrel,在public下放一个100M的文件,通过浏览器下载一下.在我的mac上,本来是76M的mongrel,在下载结束后是74M,下载过程中也一直小于80M,最低到过68M.无论是过程中还是结束后,都没有出现占用内存暴涨的现象.

另外,mongrel本不应该用来处理静态文件,该文章开始的图也画得很清楚.

我们知道Mongrel在使用Lighttpd的时候，可以达到最快的RoR执行速度，但是Lighttpd当前的1.4.18版本的HTTP Proxy的负载均衡和故障切换功能有一些bug，因此一般很少有人会使用这种方式。

Lighttpd 1.5重写了mod_proxy_core,sqf方式下的balancer已经没有这个问题.

而Mongrel就简单了，gem install mongrel安装完毕，mongrel_rails start启动，哪个人不会？毕竟绝大多数开发人员和部署人员不是高手，他们熟悉哪种方式，自然就会推崇哪种方式。

首先,我不太赞同复杂的就好,简单的就不专业这样的观点,Unix philosophy也不是这样的.其次,mongrel也不是mongrel_rails start就能部署到产品环境的.

在通过ruby的memcached-client使用memcached的过程中，遇到一些问题，数据更新时清除了缓存，缓存重建的时候却仍然是老数据，在并发密集的情况下更容易出现。研究了一下，类似这样典型的memcache使用方法：

Controller里：

...
def foo_action
  ...
  unless d = Cache.get("key")
    d = Data.find(...)
    Cache.put("key", d)
  end
  ...
end
...

Model里

...
def after_save
   ...
   Cache.delete("key")
   ...
end
...

存在下面的竞争条件(race condition)：

存在两个rails应用实例（比如两个并发的mongrel）A和B,

1. memcached清除过期缓存c。
2. 实例A运行foo_action,发现缓存c不存在（Cache.get失败)，读取数据d。
3. 实例B更新数据d’,清除过期缓存c（Cache.delete）。
4. 实例A保存缓存c(Cache.put)，其中的数据是老数据d。

这时，再有数据访问缓存c的时候，c已经存在，到下一次缓存c被清除前，这个缓存都是存在问题的过期数据。不难看出，即使将第三步中的清除过期缓存c改成更新缓存c，c仍然会被实例A在第四步覆盖。

其实，memcached为了避免这种竞争条件，提供了一些便利的原子操作(参看memcached protocol):

“add” means “store this data, but only if the server *doesn’t* already
hold data for this key”.

“cas” is a check and set operation which means “store this data but
only if no one else has updated since I last fetched it.”

将第三步中的“清除过期缓存c”变成“用memcached set方法（也就是memcached-client中的Cache.put）来更新缓存c”，然后在第四步中始终用add方法来更新缓存c，就可以解决问题。也就是说，在能够确认数据是最新的地方，比如after save中，不采用Cache.delete，而直接用Cache.put来更新缓存，在不能确认是否是最新数据的其它地方，只使用Cache.add，就能保证过期数据不会在race condition下覆盖新数据。（更新：无论是Cache.delete还是Cache.put，放在after_save中仍然有问题，会因为activerecord的built-in transaction而破坏了数据的完整性，具体参见再谈rails缓存机制的问题)

memcached-client从1.4.0起才开始支持add方法，目前还不支持cas方法。不过add方法已经能够解决不少竞争条件了。如果你也有类似的问题，升级memcached-client，修改缓存更新策略吧。

财帮子从三月底正式上线到现在，已经快半年了，网站的流量差不多每月翻一翻。

最近这个星期，每天晚上8点到11点的高峰期，每个小时页面浏览一般在5万到7万，最高可以接近10万。除去由web server处理的静态文件等请求，每个小时由rails处理的请求从10万到30万，峰值可以达到200req/s。

与此同时，根据基金理财网站的特点，浏览高峰期，计算量高峰期和缓存失效高峰期刚好重合，我们接受的是比一般ruby on rails应用更严峻的挑战。

有人说财帮子已经是国内规模最大的ruby on rails应用之一了，这点我们无法考证，但随着量的增长，我们的确对ruby on rails的性能有了越来越多的认识。

别指望一劳永逸

从建站初期，我们就采取了各种性能优化的措施，SQLSession, Fragmeng Cache, Memcached…所有你能从教科书里看到的。但是，很多问题是慢慢暴露出来的，你需要根据实际情况来调整缓存策略，修改程序结构，优化算法，甚至优化rails本身。随着量的不断增长，碰到的问题会越来越特殊，书本、社区包括搜索引擎都很难再给你提供现成的解决方案，完全变成对你经验和能力的挑战。财帮子两个星期以前，遇到严重的性能问题，最终我们采用了相当非主流的部署方案和打了自己补丁的web server，成功度过了难关。

你不在美国

没有Google Adsense来养活你，人工费用和带宽、机位费也不成比例，你不可能有点性能问题就靠加服务器来解决。绝不是否定scale out的策略，但在此之前，一定要尽可能挖掘现有程序的潜力，发现已有和潜在的性能问题并解决。否则，盲目的scale out可能只是掩盖了真正的问题，并让你花冤枉钱。

rails不是你的SQL专家

activerecord成功封装了数据库接口，并提供了很多灵活便捷的功能。但是，完全依赖activerecord和ruby，你可能碰到严重的性能问题。find中的include和select选项能带来一些好处，但也非常有限。有时候你不得不写复杂难看的SQL，来代替优美的rails语句。rails纯粹主义在这时候不能为你赚到CPU。即便使用了缓存机制，而且缓存命中率很高，在访问量基数变大时，缓存释放和重建也有可能增大到相当的数量。数据库性能优化仍然是rails应用不可回避的问题。

log是你最好的朋友

log是所有性能调试的起点，从development log到production log，从rails log到web server log，不同的log有不同的侧重点，学会分析log，每个log都可能为你提供解决问题的蛛丝马迹。另外，要熟练使用benchmark结合log做profiling，当real time远大于db time + rendering time的时候，这点尤其总要。