支持gzip的爬虫 gzip zlib deflate 相关介绍

最近给Httpdownload 封装了支持gzip传输

从HTTP的角度
1 客户端 在http Request Header上带上 Accept-Encoding:gzip,deflate
2 服务器若是支持gzip压缩则在http response header
部分返回Content-Encoding: gzip 或者Content-Type: application/x-gzip
3 将body部分用gzip解压缩 则得到网页内容。

传说中IE有bug 在处理JS CSS压缩的时候有bug，我不理解，挺简单的怎么会有bug呢。

从gzip的角度
gzip是一种数据格式，默认且目前仅使用deflate算法压缩data部分。
zlib也是一种数据格式，使用deflate算法压缩数据部分。
deflate是一种压缩算法，是huffman编码的一种加强。