跨国数据传输方案,涉及到网络波动,如何保证数据的一致性,实时性 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
dafen7

跨国数据传输方案,涉及到网络波动,如何保证数据的一致性,实时性

  •  
  •   dafen7 2021 年 12 月 3 日 4960 次点击
    这是一个创建于 1596 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近在做跨国的实时大数据相关 flink 任务,有个网络传输问题。数据源是泰国发到国内阿里云,最早采用 kafka 外网直连,时断时续。后来在泰国搞了个 udp 的中心数据 server ,再由 udpserver 发送到国内。还有几个问题:

    1. udp 端口经常被封
    2. 实时性差
    3. 数据成倍扩张下的 server 瓶颈

    各位有没有类似情况,或者通用解决方案。

    25 条回复    2022-08-12 11:37:25 +08:00
    idblife
        1
    idblife  
       2021 年 12 月 3 日
    落地香港
    然后中港专线?
    CEBBCAT
        2
    CEBBCAT  
       2021 年 12 月 3 日
    是租用云服务商的机器吗?联系他们试试呢?一般来说他们有自己维护的链路
    liuxu
        3
    liuxu  
       2021 年 12 月 3 日
    泰国的话,用香港 CN2 线路中转,或者 IPLC 穿透,便宜点你就 udp over tcp 了
    rouzip
        4
    rouzip  
       2021 年 12 月 3 日
    可以通过 multipath 去做?
    leeg810312
        5
    leeg810312  
       2021 年 12 月 3 日 via Android
    我们客户不少跨国公司,跨地区传输很多数据,一般都是走专线 VPN
    huangsen365
        6
    huangsen365  
       2021 年 12 月 4 日 via iPhone
    腾讯云的 anycast ,但是要大公司才可以申请。如果小公司的话就用 ucloud 的 pathx
    Nnq
        7
    Nnq  
       2021 年 12 月 4 日
    看你数据源是不是集中,如果集中的话,直接走专线比较好。 不集中的话,看数据的大小,小的数据注意校验,大的数据看能不能分割之类的。
    Kinnice
        8
    Kinnice  
       2021 年 12 月 4 日 via Android
    腾讯云 aia 网络
    yuguorui96
        9
    yuguorui96  
       2021 年 12 月 4 日
    数据上云场景: https://www.alibabacloud.com/help/zh/doc-detail/51655.htm

    或者直接上传到 OSS 上。
    markgor
        10
    markgor  
       2021 年 12 月 4 日
    专线 VPN 正解,其余别折腾了;
    所谓的中转,udp over tcp 这些都是为了防止被 GFW 封了;
    UDP 常用的话也会被封端口,只能一直换着端口用。

    想无后顾之忧,可以办理专线 VPN ,云服务商有提供,但涉境外业务需要报备。

    以前异地联网,考虑的是技术上的事情;
    现在异地联网,首要考虑就是 GFW 的事情。
    loveminds
        11
    loveminds  
       2021 年 12 月 5 日
    阿里云的话,有 CEN 和 SAG 能适配相应场景
    https://www.aliyun.com/product/smartag
    https://www.aliyun.com/product/cbn
    R4rvZ6agNVWr56V0
        12
    R4rvZ6agNVWr56V0  
       2021 年 12 月 5 日
    sd-wan 专线啊,企业还是要用合法的跨境专线的,严格的说不然会有法律风险
    teky
        13
    teky  
       2021 年 12 月 5 日
    1 、目前有带宽保障、稳定且比较经济实用的方案:国内 CEN 先打到 Region HK ,HK 开个 vpn 网关,与泰国 site2site 打通内网,比 sd-wan ( SAG )便宜
    2 、2022 年 ali 在泰国开站,方案同上,国内可以直接打到泰国(费用更高),目测泰国几个 carrier 到 hk ( hkix )带宽通畅,估计质量变化不大
    patrickyoung
        14
    patrickyoung  
       2021 年 12 月 6 日
    纯软件的方案有 kcp 协议( kcptun 作为一个套娃),但是动态扩张上存在的问题比较严重。

    至于被封的问题,除了正面迎接监管 and 加钱之外,无解。
    cheng6563
        15
    cheng6563  
       2021 年 12 月 6 日
    不保可用性吗?那不是随便搞。
    dafen7
        16
    dafen7  
    OP
       2021 年 12 月 6 日
    @CEBBCAT 联系过,老大嫌太贵
    dafen7
        17
    dafen7  
    OP
       2021 年 12 月 6 日
    @cheng6563 肯定要保啊,实时性、一致性都要 T T
    dafen7
        18
    dafen7  
    OP
       2021 年 12 月 6 日
    @Nnq 现在的大部分数据每条也就两百 KB ,也加了校验,但还是会有延迟特别大的情况,实时性保证不了。。
    dafen7
        19
    dafen7  
    OP
       2021 年 12 月 6 日
    @markgor 这个专线成本高了点,之前和阿里云聊过,跨国专线太贵了
    youxiachai
        20
    youxiachai  
       2021 年 12 月 6 日
    想省钱,只能放弃稳定性了...
    sbilly
        21
    sbilly  
       2021 年 12 月 6 日
    快 /稳 /宽
    三个都要就贵,只要一个或者两个就用另外的换吧
    markgor
        22
    markgor  
       2021 年 12 月 8 日
    @dafen7 #19
    我之前有个香港的业务,用的是 IPLC 专线,除了线路维护(提前 1 周会通知)外,5 年来基本没出过任何问题。
    听说是 2000HKD/月,从香港那边申请办理的,2M 带宽。

    后来有个业务需要也需要涉及港澳,自行在良心云购买了两地的服务器,自建 openVPN ,运行 2~3 个月的就被封端口。流量也不算大。折腾过很多方案,二次封包,加密等的....基本无解,感觉流量识别并不是解密流量后进行封,而是识别长期连接同一个端口触发封禁,当然具体我也不知道,GFW 规则那么神秘。

    而且你们的还是数据同步,这种对于稳定性要求比较高的,考国情因素,因此建议 IPLC
    dafen7
        23
    dafen7  
    OP
       2021 年 12 月 8 日
    @markgor 多谢,我们的场景主要是数据量比较大,带宽现在是 15M ,专线都比较贵上头不给批才用的 udp 直连,还跟我们要解决方案。苦逼啊
    markgor
        24
    markgor  
       2021 年 12 月 8 日
    @dafen7 #23 这要求我们之前也提交过工单和腾讯云工程师了解过,他们也表示出无奈,因为某些原因他们无法处理类似这种跨境业务的网络问题,而且他们也明确表示了,如果真有技术方案能解决这种问题(前提是稳定性),那专线将变得毫无意义。我觉得这句话挺合理的。
    而且封禁这个并不属于技术问题,而是政策问题。
    打个比方就是 如果你们通过 UDP 进行收发,但是服务偶尔挂起,那你遇到的是技术问题;但是当 UDP 收发时,端口偶尔被禁,这属于政策问题;哪怕你当时更换了端口或使用别的方法绕过去,但一段时间后也许 GFW 也会把你的方式给封了。所以回到源头这种政策问题就应该按政策形式去处理,而不是找技术方式进行绕过。除非接受稳定性降低。
    blening
        25
    blening  
       2022 年 8 月 12 日
    可以找我
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2831 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 61ms UTC 13:15 PVG 21:15 LAX 06:15 JFK 09:15
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86