怎样最快的方式检测两台服务器之间的某个图片完全一样？

比较好奇为什么会不一样？

如果每张图片都有单独的名字，只是有可能内容会变，可以尝试使用 If-Modified-Since 之类的方式。
不过我还是觉得你应该更详细地描述需求。

不是太明白你的意思，是要对比两个服务器上的文件一样吗？
md5 计算一下再对比

首先，你这个 “抓取”，是走什么协议的？

http ? nfs ? ftp ? rsync ? 或者自己实现的私有协议？

md5 计算文件，看看值是否相同

云盘的秒传，

哈希值呗。

图片不要用单独的名字，就用它的 hash。单独的名字存数据库里。

如果是通过 http 传输的话可以使用 HTTP 协议中的 etag 和 if-none-match。
例如：
请求头包含 if-none-match: "1d4577fa453bc8b"
响应头为 etag: "1d4577fa453bc8b"
此时服务器会返回 304,代表文件未变化。
etag 值为 HTTP 协议的规范,服务端程序会自动返回。同步程序需要做的就是储存此值，等待第二次下载时在请求头的 if-none-match 中写入此值。

md5 一下文件不就解决了？

点进来之前还以为是用图片识别像素点来判断呢。。。。

既然是备份, 那就是文件级别的, 和文件中存储什么内容没关系.
基于 hash 或者是文件名或者是最后修改时间都可以做.

我推荐 rsync

说好的图像识别文字识别呢？
怎么最后变成 HTTP 传输头和 MD5 了

md5sum 文件

用文件码比对起来非常耗资源，数量级一大，就麻烦了。只能在存储的时候想办法了，比如那个啥 mongodb 的 gridfs 什么的，这样就省去了比对环节，而且同步起来也蛮方便的呀……

@terrywater
@wsbnd9 怎样在 http 请求中获取远程服务器文件的 MD5 值？

抓取是怎样抓取的呢？
http?
做备份的话，用 rsync 之类的方案更妥吧。

定时调用 rsync，然后开启 rsync 的增量备份选项即可

最快的应该是这样，B 抓取 A 图片时先对比 md5，如果没有匹配中，那么 A 在头部加入 md5，B 保存图片和 md5 入库。

摘要算法

MD5 取摘要，bloom filter 判断是否存在

RSYNC 了解一下

7#正解