用了三年的 AllinBoom 灵车分享 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xiaooloong
V2EX    硬件

用了三年的 AllinBoom 灵车分享

  •  
  •   xiaooloong 2023-08-01 10:58:22 +08:00 2312 次点击
    这是一个创建于 872 天前的主题,其中的信息可能已经有所发展或是发生改变。

    主机是华擎的 Deskmini 310: https://www.asrock.com/nettop/Intel/Deskmini%20310%20Series/

    外置电源的小主机,当年买来装 macOS 用的,闲置后就塞到电视机后面开始了 AllinBoom 灵车之旅。

    • H310 的芯片组

    • 支持 8 代 9 代的台式机 CPU ,标称支持 TDP 65 瓦以内的。

    • 2 个 DDR4 笔记本内存插槽,最大 64GiB 2666MHz

    • 1 个 m.2 E key 插槽,有 1 lane PCIe 3.0 和 usb2.0 的总线,也支持 CNVi 卡

    • 1 个 m.2 M key 插槽,4 lane PCIe 3.0 ,网上见过有转接出来接 A 卡装黑苹果的,很震撼

    • 2 个 2.5 寸 9mm SATA 硬盘位

    • 1 个 TF 卡槽

    拆机图: https://www.chiphell.com/article-21199-1.html

    三块硬盘分别是:

    1. 安装 Proxmox VE 的 浦科特 M5P 128G 。人生的第一块 SSD ,电脑都走了,这块 MLC 的 SSD 还在。

    2. 直通给虚拟机的 ST2000LM003 ,2.5 寸 9 毫米垂直盘最后的荣光,2T 够用水平。

    3. 直通给虚拟机的 Intel 傲腾 16G ,给上面那块机械盘做加速。

    128G 的硬盘开了 3 个虚拟机的系统盘,各 32G:

    pfsense:主网关。pfsense 作为防火墙的各种功能都挺全的。

    ubuntu:上面的两块硬盘直通到这个虚拟机做数据盘了,16G 的傲腾用 lvm-cache 给 2T 机械做缓存。开了个下载器和 samba 。

    openwrt:最近才新开的虚拟机,用官方 22.03 手搓的第二网关,操作起来比想象中简单,只要定制一下接口配置和防火墙 zone 的配置就可以正常转发了。

    说明:

    1. 当年为了编译性能上了 i7-8700 ,实际上没必要,FPU 烤机因为供电不足会降频。上 i5 会更合适,或者不少老哥上带 T 的低功耗 U 。

    2. 家里需要走第二网关的设备,无论是手动改网关地址,还是在主网关的 dhcp server 上设置针对特定设备下发第二网关 ip 都可以。

    3. lvm-cache 用的这篇文章的方法: https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/6/html/logical_volume_manager_administration/lvm_cache_volume_creation

    4. 因为机械盘是走的 SATA 直通,所以虚拟机里看不到真实设备和 S.M.A.R.T.,还好 PVE 里能看到。

    5. 主机毕竟只有一个网卡,所以找了一个支持 802.1q 的交换机,配合 PVE 的 vlan aware 网桥通给虚拟机、或者直接在 pfsense 虚拟机里做 802.1q 都行。毕竟只给 vlan 2 加了 tag 用来走 WAN ,无 tag 的都算 LAN 的帧了。

    遇到的问题:

    1. 主板网卡有毒。驱动经常动不动就 hang 然后接口重启,现象就是网络卡住二十秒然后恢复。网上查询的结果是系统从 ubuntu 到 debian ,设备从 Intel 的 NUC 到台式芯片组都会出现这个问题。最后在 redhat 的一个网站上看到的说法是,南桥 pch 的网卡的硬件卸载性还停留在几十年前,所以一定要关闭 offload 才行:
    iface eno1 inet manual post-up /sbin/ethtool -K eno1 gso off gro off tso off tx off rx off rxvlan off txvlan off sg off 

    这种情况大概在 8 代和前后几代的 U ,对应的芯片组赠送网卡都可能出现这个情况。

    1. 一开始用的是最便宜的 802.1q 交换机 SG105 Pro ,最后发现这个交换机太玩具了,带 tag 的帧转发很不靠谱,经常能看到在 vlan 里乱窜的帧。但是家用感知不强,勉强正常工作,一开始就没管。

    2. 最终让我放弃 802.1q 的还是 MTU/MSS 问题。部分地区已经换 ipoe 宽带认证,间接解决了 pppoe 8 字节的损耗问题了。802.1q 的 4 字节,再加上玩具交换机没办法调节参数,最后索性插了一个 USB 网卡充当 WAN 接口了。ethtool 看了下,USB 网卡默认没有各种 offload 。

    3. 主板 bios 里面设置了通电自启的。但去年有一次家里停电,来电后网络迟迟没有恢复。接上屏幕一看,因为主板纽扣电池没电了,导致断电后 bios 重置,开机就卡在重置提示这里了,必须要键盘操作才能继续。这主板的电池是笔记本的那种带塑料封皮和插头的,买来的电池刚好正负极相反,好在可以自己调线序。

    以后的想法:

    以后还是换个便宜 u 专做 nas 吧。tf 卡装个 nas 系统,双 2.5 寸做个 raidz1 ,m.2 盘继续做缓存。

    那么问题来了,专门的 x86 软路由哪家强

    第 1 条附言    2023-08-01 13:39:45 +08:00
    关于有线网卡的问题 I219-V e1000e hardware hang https://forum.proxmox.com/threads/intel-nuc-10-i219-v-e1000e-hardware-hang.106294/
    第 2 条附言    2023-08-08 10:21:30 +08:00
    关于 MTU 问题 /t/800024
    3 条回复    2023-08-01 20:31:37 +08:00
    sadfQED2
        1
    sadfQED2  
       2023-08-01 11:02:19 +08:00 via Android   1
    没有喜闻乐见的 boom 环节,差评
    Gunslinger
        2
    Gunslinger  
       2023-08-01 11:29:55 +08:00   1
    没 Boom ,被开除 AllInBoom 籍
    RatioPattern
        3
    RatioPattern  
       2023-08-01 20:31:37 +08:00
    LVM cache 眼前一亮,而且是配合傲腾,专业!
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2714 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 20ms UTC 09:10 PVG 17:10 LAX 01:10 JFK 04:10
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86