This topic created in 3009 days ago, the information mentioned may be changed or developed.
前提:
1.服务器是 windows 系统.而且不能重装 linux.
2.文件总量以 TB 级,单文件最大 50GB.
3.服务器在美国.
问题(主要集中在怎么提供稳定的下载服务):
1.HFS 不知道是为什么,下载一段时间,32G 内存就占满了,服务器就死机了.
2.APACHE 和 NGINX 我都装过,不知道为什么,在 windows 下,并发不是很好.如果有优化方案也可以.
3.文件名里有中文.nginx 搞了好久都没解决中文文件名的文件,在下载时自动转义了中文的问题.
4.有什么其他的方案能以 10MB/s 左右的速度来同步文件么?目前 HTTP 半小时重启一次服务器,可以达到 10MB/s 的速度.
1.服务器是 windows 系统.而且不能重装 linux.
2.文件总量以 TB 级,单文件最大 50GB.
3.服务器在美国.
问题(主要集中在怎么提供稳定的下载服务):
1.HFS 不知道是为什么,下载一段时间,32G 内存就占满了,服务器就死机了.
2.APACHE 和 NGINX 我都装过,不知道为什么,在 windows 下,并发不是很好.如果有优化方案也可以.
3.文件名里有中文.nginx 搞了好久都没解决中文文件名的文件,在下载时自动转义了中文的问题.
4.有什么其他的方案能以 10MB/s 左右的速度来同步文件么?目前 HTTP 半小时重启一次服务器,可以达到 10MB/s 的速度.
Supplement 1 Feb 2, 2018
额...请不要再把想法固定在怎么从国外传回来...
我要的是有什么办法能让我稳定的提供 HTTP 或者 FTP 服务?
另:HFS 这种软件还有其他类似的么?还在持续开发的新一点的?
我要的是有什么办法能让我稳定的提供 HTTP 或者 FTP 服务?
另:HFS 这种软件还有其他类似的么?还在持续开发的新一点的?
Supplement 2 Feb 3, 2018
#88 说的这个 raysync,已经试用了一下.速度还真不错.什么都没设置,只是装上激活,就能跑满网卡...
真心不错..有我这种需求的可以去看看了...
真心不错..有我这种需求的可以去看看了...
 | 1 kmahyyg Feb 1, 2018 via Android  2 硬盘对拷，快递回来更快 |
 | 4 maemual &nsp;Feb 1, 2018 via Android 1 当地找个人去机房拿硬盘拷，然后寄给你？ |
| 5 kmahyyg Feb 1, 2018 via Android 1 @qiuai 那就备案开企业国际专线。Nginx 因为 WIN API 实现的原因，性能不好。个人建议可以考虑试试 resilo sync 或者看看之前 V2 有个朋友写的那个 1.76 倍 Nginx 性能的 http server |
 | 6 xmoiduts Feb 1, 2018 via Android 1 在美国下载好带回来？ |
 | 7 qiuai OP PRO 1 |
 | 8 hadoop Feb 1, 2018 via Android 1 开 ftp 呢？ win 上 ftp 还挺稳定吧 |
 | 9 shakoon Feb 1, 2018 1 找个在美国的家伙下载到硬盘后再快递回国 |
| 10 qiuai OP PRO 1 @hadoop 也存在死机的问题...windows 2012,用 IIS 和 filezilla 都开过 server..都会死机...我都苦恼死了... |
| 11 kmahyyg Feb 1, 2018 via Android 1 |
 | 12 Rheinmetal Feb 1, 2018 1 拷贝到支持硬盘快递的美国云服务？ 或者试试 cygwin rsync |
 | 14 loginv2 Feb 1, 2018 1 做成种子 慢慢挂回来 |
 | 15 l1093178 Feb 1, 2018 2 Syncthing / Rsync |
 | 16 ovear Feb 1, 2018 1 上 synctrayzor，断点续传，实时同步，增量同步，要啥有啥。 闲速度慢还可以挂代理啊。 |
 | 20 rssf Feb 1, 2018 via iPhone 1 你自己飞去美国硬盘拷贝，或者在他机房租个网线端口，再飞回来 |
| 21 qiuai OP PRO 1 |
| 23 loginv2 Feb 1, 2018 1 @qiuai BT 不会爆 但是做种子需要校验一次数据 估计要等很久 而且你得有个能用的 tacker 虽然可以自己搭 但是也不一定能保证效率 扯远了，一个建设性的意见，如果能压缩的话 压缩一下 顺便分卷打包 加上恢复记录 然后多文件 多线程 小体积 HTTP 下回来，但是服务器需要临时增加硬盘容量。除此之外还真没什么好的想法，同步的方案估计也要校验数据 效率不一定真的就更好。 |
 | 26 webjin1 Feb 1, 2018 via Android 1 单文件最大 50GB，我猜是母鸡开出来的小鸡 vm 文件。 |
| 27 qiuai OP PRO 1 @loginv2 最大的问题就是服务器之间的传输..我国内拖也可以用服务器拖...只要有靠谱的 windows 到 linux 的超大量数据同步解决方案...其他的倒都是小事了. |
 | 28 pq Feb 1, 2018 1 你为何不反向思考一下呢？既然你的 windows 做服务极不稳定，那就把它当客户端用算逑，然后在你国内的机器上开服务，ftp 或 rsync 之类的均可，再从国外的 windows 服务器上主动上传到国内，这对你国内的机器来说，只要下行带宽足够即可，普通家用光纤即可，只不过得搞到公网 ip。 |
 | 30 alcarl Feb 1, 2018 via Android 1 ftp 多线程断点续传不行吗？ |
 | 32 liyvhg Feb 1, 2018 via Android 1 那就买下那台服务器 |
| 33 hadoop Feb 1, 2018 via Android 1 怎么感觉你系统硬件有问题导致的死机呢 |
 | 34 function007 Feb 1, 2018 1 跑个 Linux 虚拟机把文件目录挂进去，外头开个端口映射看行不 |
 | 35 fiht Feb 1, 2018 1 TB 级别的数据其实并不算大难题。 当时在 DigitalOcean 的机器上下载了 500GB 的小视频，用 rsync+ipv6 拖回来的，速度大概 7-8MB/s，反正能在很可观的速度。 另：感觉 HTTP 不如 rsync，感觉 HTTP 不如 rsync，感觉 HTTP 不如 rsync |
 | 37 h4lbhg1G Feb 1, 2018 加密，打包，保持一定冗余。然后校验码。最后用 bypy 来搞吧。多开两个会员账户。 又看了下 Windows 系统。好吧，Winrar 带冗余打包，传度盘。看你的网了，好的情况下，可能数 MB。 |
 | 38 azh7138m Feb 1, 2018 via Android 1 @loginv2 tacker 不是必须的，A 做种，B 直接手动加 peer，输 A 的地址和端口就成。我用 BT 同步过数据，不过只有几十 G 的数据量。 |
 | 39 clino Feb 1, 2018 1 syncthing 试试,多加几个节点应该能够加速吧 另外开 bbr 速度应该也能快不少 |
 | 40 yech1990 Feb 1, 2018 via Android 1 为什么纠结于 Windows 啊，拿个笔记本或是树莓派安个 Linux，然后 samba 挂载 Windows 目录，这不就要啥有啥了么？ |
 | 41 lyhiving Feb 1, 2018 via Android 1 主要的还是网络问题，首先化大为小，将文件用 rar 压缩分块，每块 1G。传阿里米西 OSS，然后再批量拉回，解压。 |
 | 42 nciyuan Feb 1, 2018 via Android 1 @qiuai 如果有钱的话，开几台 HK 或者 EU 的跳板机然后多台一起工作，最后一起回传 当然因为 ss 倒闭的那家子的锐速也可以试试 当然美国到中国由于一个伟大的东西和地理原因，还有硬盘 IO 性能，直连一定不会有国内网那么快 考虑好速度和提升和钱再决定把 |
 | 43 chocolatesir Feb 1, 2018 1 rsync+挂阿里云 hk 的代理 |
| 44 qiuai OP PRO 1 @nciyuan 我不需要代理...这台机器如果不是因为软件方案的问题的话,早就传完了.. 机器是 10MB 的口子,家里是 20MB 的口子...只要能跑多线程,是可以跑满的.. |
 | 46 uptime Feb 2, 2018 1 IIS 也死？ 为什么不开个国外网盘的会员？挑个国内速度不错的，你服务器打包，再上传到网盘，你这边一边拖回来就是。 用 zip 分包就是。别是用 rar，这样的数量级的，解压会很痛苦的事，zip 足够了 |
 | 49 RangerWolf Feb 2, 2018 aws 呢? 看你的出口带宽了~ |
 | 50 yulitian888 Feb 2, 2018 这个瓶颈在于出口带宽和伟大的墙吧？ 硬盘发快递是唯一的选择，既然机房不提供这种服务，那么，找个美国本土(同一网络运营商)的电脑，下载过去再快递硬盘不就好了吗？难道还有更快的解决方案？ |
 | 51 20has Feb 2, 2018 via Android Windows 的 rsync 方案是 cwrsync 吧 我只通不过小文件 这种大文件不知道怎么样 |
 | 52 Felldeadbird Feb 2, 2018 楼主应该先 找一台 美国的服务器（允许硬盘对拷）。将现有数据拷过去后，再写入硬盘空运快递回来。 毕竟如果你直接将服务器数据用各种方法折腾，成本和时间都很漫长。 |
| 53 qiuai OP PRO @yulitian888 我现在最大的问题不是说怎么传回来...是怎么提供稳定的下载服务,让我有机会去拖... |
 | 54 shixinyu Feb 2, 2018 给 Windows 安装 AWS CMD Tool，然后使用 aws s3 sync 传到 AWS S3 上，再从 S3 上 sync 到本地来。 |
 | 55 cnkuner Feb 2, 2018 via Android 加密打包分割传网盘，开会员取回，校验 md5 |
| 56 yulitian888 Feb 2, 2018 @qiuai 下载的话，FileZilla Server + FileZilla Client ？我试过最大的是单个 300G 的文件，貌似只是挂则就好，没遇到特别的麻烦啊 |
 | 58 keepfun Feb 2, 2018 上传到 aws 的 s3 上,然后下载下来,还是很快的. |
 | 60 tees Feb 2, 2018 那就买个 vps 一个月,先上传到 vps 再从 vps 拖回来. vps 开 1T 的硬盘贵的话,就先开个 80G,分批传. |
 | 61 01802 Feb 2, 2018 via Android 多台机开 btsync |
 | 62 discrete Feb 2, 2018 via iPad Windows 上开个 Linux 虚拟机？ |
 | 63 bullettrain1433 Feb 2, 2018 装个 dropbox 备份呢？然后从 dropbox 上下应该快很多吧 |
 | 64 pingsheng Feb 2, 2018 via Android @yulitian888 同方案，前些天从杜甫拉几 T 电影回本地，就是遇到了带宽瓶颈，拉了差不多 3 天 |
 | 66 kimqcn Feb 2, 2018 对头，用压缩软件拆包成 10000 个，慢慢下。 |
 | 67 yanze0613 Feb 2, 2018 如果信任阿里云,可以用 oss 同步回来,速度不好嗦,但稳定应该还可以 建一个国外地区的 oss,你把数据推进去 然后使用 oss 的跨区同步,拉回来 同步回来,然后在考虑怎么拉下来,链路是阿里云的 不过这个方案我没试过,但是应该有一定可行性 |
| 68 pingsheng Feb 2, 2018 via Android @qiuai 单文件可能只有 20G，在 filezilla client 设置同时下载 10 文件，占满本地 100m 带宽了 |
 | 69 daiqiangbudainiu Feb 2, 2018 @pq 这个方案赞啊，国内开个 Linux 的服务器，美国的 Win 作为客户端上传数据到服务器上。如果楼主解决了，可以搞个教程之类的讲讲，学习一下 |
 | 70 Tink PRO rsync 慢慢传不行吗 |
| 71 qiuai OP PRO |
 | 72 harker Feb 2, 2018 网盘中转 |
 | 73 exuxu Feb 2, 2018 收费的 aspera 考虑下， 我司在做类似的产品，但是贵。。。 |
 | 74 Rorysky Feb 2, 2018 先同步到阿里云，再从阿里云拉回本地 |
 | 75 lycc Feb 2, 2018 via Android 主机上存到阿里云 OSS，再下载 |
| 76 tees Feb 2, 2018 突然想到,你用 putty 的 pscp 往回传 |
 | 77 bullfrog Feb 2, 2018 网络蚂蚁 网际快车。。 |
 | 78 omph Feb 2, 2018 |
 | 79 rrfeng Feb 2, 2018 rsync 应该比 http 好的多。不要用 ssh 模式，多开几个进程并发，因为可能打满单核 cpu |
 | 80 laxenade Feb 2, 2018 via Android 土办法 传到 onedrive 吧 onedrive 连国内的速度还可以 |
 | 81 cxbig Feb 2, 2018 买硬盘，让人加密拷贝了寄回来。 |
 | 82 shadownet Feb 2, 2018 服务器上传 google drive， 然后国内下载，应该快的 |
 | 83 defunct9 Feb 2, 2018 简单。装个 apache，断点续传就好 |
| 84 defunct9 Feb 2, 2018 忘记标准语了。开 RDP，我来搞 |
| 85 rssf Feb 2, 2018 via iPhone 如果没有墙，楼上说的各种技术都没问题，可现实是有墙，还是越来越高的墙，加上你这么大数据量，老老实实想办法在墙外拷到硬盘上，再寄或者带回来吧 |
 | 86 liuyin Feb 2, 2018 via iPhone dropbox 是的不错的方案，最贵的套餐也就 25 刀一个月，足够拖回来了。 |
 | 87 zingl Feb 3, 2018 切小块，任何方法都能弄回来 |
 | 88 yibei Feb 3, 2018 via iPhone 1 试试 raysync，使用 ftp 协议，内部集成可靠 udp 加速，只要两端带宽够，跑满 10M 非常容易 |
 | 89 t43p Feb 3, 2018 服务器用 ISCSI 软件，PC 机 直接出盘，用命令拷贝。 解决了 |
 | 91 Izual_Yang Feb 3, 2018 迅雷离线。 |
 | 94 cfcboy Feb 4, 2018 你一直强调的稳定性，raysync，怎么样？ |
 | 100 wkl17 Aug 3, 2018 最后怎么拖回来的？ Filezilla server 50G 拉不动？上面评论里有说 300G 也搞过... 而且可以断点续传，正常应该是可行的才对， |
Select Language