分享刚组的 12 代 i3 AIO 服务器兼 NAS 存储 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in,那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动,会导致账号被禁用。
long1and
V2EX    NAS

分享刚组的 12 代 i3 AIO 服务器兼 NAS 存储

  long1and 2023-09-25 11:25:39 +08:00 6448 次点击
这是一个创建于 821 天前的主题,其中的信息可能已经有所发展或是发生改变。
cpu i3 12100 600
主板 铭 B760M 699
硬盘 自带 0
散热 利民 AX120 R SE 63.5
显卡 UHD730 0
电源 全汉 350w 0
风扇 利民 TL-C12C *2 32
内存 16G DDR4*4 260
机箱 见方 499
拓展卡 SSU 四口 2.5G 网卡 230
JMB585 M2 转 sata 99
sata 线材 30
2512.5

配置如上,内存 16*2 ,电源,固态为原 nas 淘汰继续使用,不计入价格

目前硬盘位 3 个 4T ,2 个 16T ,1 个 14T 固态 3 个 1T

安装系统为 PVE8.0 ,开了五台虚拟机 虚拟机 1:win11 作为主要 nas 系统,直通 sata 控制器,管理 5 块硬盘,组 raid1 存重要数据,开 smb 和 nfs 共享 之所以用 win11 还是有远程桌面的需求

虚拟机 2:开了黑群晖 7.2 主要用于照片同步,RDM 直通了一块 4T 硬盘,再通过 drives 同步到 raid1

虚拟机 3:开了 openwrt 提供旁路由服务,把主路由剥离出了 aio 服务器,防止断网

虚拟机 4:开了 lxc 容器的 debian ,可以直接调用核显进行解码,主要用于 docker 服务,开了 jellyfin 、photoprism 等服务。

虚拟机 5:正常虚拟机的 debian ,用于内网 dns 服务,做了 adguardhome+mosdns 的组合,独立出 lxc 的 docker 也是方便管理。涉及到网络服务还是以稳定为先。

目前 UHD730 核显驱动通过 i915dkms 解决了,PVE 能 sriov 出 7 个以内的 vgpu 进行直通,解码转码性能非常强

Snipaste_2023-09-25_11-21-32.png

20230923131016_IMG_1190.JPG

20230923131059_IMG_1194.JPG

20230923131111_IMG_1195.JPG

54 条回复    2023-12-27 14:29:49 +08:00
x86
    1
x86  
   2023-09-25 11:29:32 +08:00
机箱挺好看
binmiui
    2
binmiui  
   2023-09-25 11:31:20 +08:00
AIO=AIB
UHD730 固然好,但是还是不如直接上个 N 卡
long1and
    3
long1and  
OP
   2023-09-25 11:33:04 +08:00
@binmiui 之前集成了 ikuai 主路由服务,现在买了 R66S 把主路由独立出来了,这样即使 AIO 崩了,不至于影响网络。虽然我上一台 win server aio 服务器集成主路由,四年了也没有 boom 过了。
formant
    4
formant  
   2023-09-25 11:35:06 +08:00
机箱看着不错
Bazingal
    5
Bazingal  
   2023-09-25 11:38:23 +08:00
你这需求上个 G6900 也够了吧
long1and
    6
long1and  
OP
   2023-09-25 11:41:19 +08:00
补充功耗情况:这台 12 代 AIO 服务器待机在 55-60w 之间,6 盘+2sata 固态+1*m.2
我监控了全部网络设备的情况
一台 AIO NAS+光猫+小米路由器+京东云路由器+8 口 2.5G+R66S 主路由+一个米家监控,待机功耗是 100w 左右
long1and
    7
long1and  
OP
   2023-09-25 11:42:19 +08:00
@Bazingal 确实是够,感觉目前的服务用 N 系列都够。但是想着战未来嘛
totoro625
    8
totoro625  
   2023-09-25 11:46:19 +08:00
1 、内存有点便宜,其他没问题
我吃过劣质内存的亏,一定要买贵的内存

2 、核显能直通的情况下还需要在 lxc 容器跑 docker 吗?
我也打算组一个 11 代 i5 AIO 服务器兼 NAS 存储,看 docker 官方不建议在 lxc 容器跑 docker
photoprism 不用显卡也能跑,看你能直通核显,我也是 UHD730 可以试试

3 、提问:虚拟机 2 的 raid1 是在哪里的 raid1 ?
long1and
    9
long1and  
OP
   2023-09-25 11:50:39 +08:00   1
@totoro625 1 、内存确实都会杂牌。。后续进一步降价再做更换吧
2 、主要 lxc 调用核显还是更方便一些,主要是群晖的内核版本太低,虽然能直通但是驱动不了 UHD730 。直通其他 linux 是可行的,但如果直通到虚拟的 linux 里,还需要再装一遍 i915dkms 的驱动,没有 lxc 直接调用宿主机来的方便。
3 、raid1 是通过 win11 的存储池建立的 4T*2 的 raid1 。除了一块 4T 给群晖用于存储空间,主要的 nas 文件共享还是通过 win11 建立 smb 、nfs 和 webdav 共享的。
seekafter
    10
seekafter  
   2023-09-25 12:29:51 +08:00
win11 用的 RDP 吗,局域网还是外网啊.延迟/fps 方便说下吗
long1and
    11
long1and  
OP
   2023-09-25 12:31:57 +08:00 via Android
@seekafter 是的 rdp ,局域网和外网都很流畅啊。外网用的 zerotier ,打洞成功延迟在 5ms 以内吧。局域网基本和用本地电脑没啥区别。fps 应该都是 60
seekafter
    12
seekafter  
   2023-09-25 12:36:32 +08:00
@long1and 我用的 unraid,外网打洞后也能 60,但是在里面用 idea 就是卡,反应慢
goodryb
    13
goodryb  
   2023-09-25 12:46:36 +08:00
请问下现在 12 代的核显虚拟化复杂吗,之前看好多都说有问题
long1and
    14
long1and  
OP
   2023-09-25 13:00:04 +08:00
@goodryb 不复杂啦,基于内核编译 dkms i915 驱动就行了,b 站博客都有很多教程。但如果要直通 hdmi 输出,可能还有点麻烦。
goodryb
    15
goodryb  
   2023-09-25 13:09:24 +08:00
@long1and #14 多谢。 要是 HDMI 能支出 windows 虚拟机就完美了,之前看老机器上面可以搞,新核显估计还得在看看
long1and
    16
long1and  
OP
   2023-09-25 13:11:33 +08:00
@goodryb #15 能实现了,可以参考 b 站老高的教程。但是我没有这方面需求,所以没有折腾过。
ltkun
    17
ltkun  
   2023-09-25 13:12:14 +08:00 via Android
730 虚拟化稳定吗?我 630 的虚拟化 win10 开几天就死了,所以搞了快 1080ti 虚拟化,其实待机也就不到 20w ,但是性能肯定天差地别了
long1and
    18
long1and  
OP
   2023-09-25 13:13:25 +08:00
@ltkun 稳定的,目前跑了一个多星期了,没有发现死机的情况。我功耗比较敏感哈哈哈,所以没有插独显~
2NUT
    19
2NUT  
   2023-09-25 13:20:53 +08:00   1
少用虚拟机,多原生部署,成本可以降低一半
javen73
    20
javen73  
   2023-09-25 13:24:50 +08:00
机箱真好看
9A0DIP9kgH1O4wjR
    21
9A0DIP9kgH1O4wjR  
   2023-09-25 13:33:10 +08:00
我的 12100+铭 B660M ,去年双十一之前弄的,1400 多,看来降了不少啊!内存我是用的杂牌 32*2 ,不过我的机箱比较喜欢,是 tank 的 6 盘的,就是太贵了,800 出头。系统用的 unraid ,挺好的。功耗 40 多 W ,两个 4T 的盘
long1and
    22
long1and  
OP
   2023-09-25 13:46:40 +08:00
@hanierming 对的。。板 U 固态 内存降价都是比较明显的,我之前也想用 tank 的机箱,后来看到见方众筹,支持 atx 电源我就换了见方,哈哈哈
ltkun
    23
ltkun  
   2023-09-25 13:49:10 +08:00 via Android
![Screenshot_2023-09-25-13-44-41-220_com]( https://cdn.staticaly.com/gh/ltkun/img@master/20230925/Screenshot_2023-09-25-13-44-41-220_com.microsoft.rdc.androidx.340lyjl95ki0.jpg)
我对功耗也敏感得很 所以第一台 nas 上 9900tes 加十个机械硬盘 4 个 nvme 128g 内存待机才 80w 这台是 9900kes 硬盘用的 sata ssd 的 raidz3 得分不高 新版鲁大师显卡比之前得分还强点 cpu 弱了
ltkun
    24
ltkun  
   2023-09-25 13:52:53 +08:00 via Android
stcQ2G13k9yxep40
    25
stcQ2G13k9yxep40  
   2023-09-25 15:21:31 +08:00
网线稍微理一理,用扎带扎起来吧,做好每根线标签。
long1and
   
long1and  
OP
   2023-09-25 15:23:58 +08:00
@qishouvip2022 哈哈哈谢谢提醒,已经购置了统一长度的网线,计划下一步就是理线
datadump
    27
datadump  
   2023-09-25 15:35:47 +08:00
win11 作为主要 nas 系统,直通 sata 控制器: 可以直通到某个分区吗,还是必须要用整个硬盘?
long1and
    28
long1and  
OP
   2023-09-25 15:41:08 +08:00
@wjx0912 直通 sata 控制器,就是 win11 直接管理硬件了,控制器下的所有硬盘的管理权限在 win11 ,能读取到 smart 信息。。相当于物理上属于 win11 了
好像没办法直通某个分区
jonty
    29
jonty  
   2023-09-25 17:01:15 +08:00
机箱不错。。甚至咱俩的 nas 配置都很接近,现在机箱是银欣珍宝 11 ,打算换成你这个机箱了。
Bazingal
    30
Bazingal  
   2023-09-25 17:05:32 +08:00
@long1and #16 GPU 虚拟化以后还能输出?我一直以为必须直通才行的
shekou
    31
shekou  
   2023-09-25 17:07:42 +08:00
谢谢分享,有必要搞那么多路由吗?
0x663
    32
0x663  
   2023-09-25 17:11:40 +08:00
见方这个机箱我看只有黑色的,OP 在哪个店购买的
dolphinT
    33
dolphinT  
   2023-09-25 17:31:10 +08:00
做旁路由要这个 4 口 2.5g 扩展卡干啥
Eytoyes
    34
Eytoyes  
   2023-09-25 17:54:50 +08:00
我用的 G7400 ,去年这时候 12 代 sr-iov 还不行呢,看来可以折腾折腾了
long1and
    35
long1and  
OP
   2023-09-25 19:07:27 +08:00
@0x663 就只有一家店,tb 下单后可以和老板说要银色。
long1and
    36
long1and  
OP
   2023-09-25 19:07:59 +08:00
@dolphinT 所以打算主路由也 all in one 的,后来考虑稳定性才分离出来了,所以现在网口多了。
long1and
    37
long1and  
OP
   2023-09-25 19:09:32 +08:00
@shekou 主路由负责拨号和 DHCP 管理,旁路由负责科学上网,主要是不想所有设备都走科学上网的线路。通过 DHCP 指定需要科学的设备网关到旁路由来管理。
wm5d8b
    38
wm5d8b  
   2023-09-26 08:00:19 +08:00 via Android
我的机柜还提供 POE 供电,直接上到 250w ,你的好省电呀
weiweiwitch
    39
weiweiwitch  
   2023-09-26 10:05:53 +08:00 via Android
@long1and 这是什么设备的功耗界面,看着挺好看的
long1and
    40
long1and  
OP
   2023-09-26 10:11:05 +08:00   1
@weiweiwitch 是 gosund 智能插座计电款,通过米家接入 home assistant 就是这个界面
3zSP079L86ZwulIx
   41
3zSP079L86ZwulIx  
   2023-09-26 12:16:38 +08:00
op 能测试一下用 Jellyfin 看 PGSSUB 字幕的 UHD4KHDR 的电影能流畅硬解吗,我现在 8500T 黑群 AIO 用 EMBY 开心版不能流畅,卡得很,感谢
long1and
    42
long1and  
OP
   2023-09-26 18:07:41 +08:00
@mofix 你好。我测试过了,没有稳定,不管是解码还是转码都非常流畅。我的样片是阿凡达 2 4K HDR10 。
转码到 1080P 60Mpbs 和 10Mpbs 都很流畅,拖动也几乎是秒加载。UHD730 的转解码能力真的很强。
long1and
    43
long1and  
OP
   2023-09-26 18:14:00 +08:00
@mofix 打错字了,没有问题,但是 UHD630 的性能应该也够吧?
3zSP079L86ZwulIx
    44
3zSP079L86ZwulIx  
   2023-09-27 00:40:46 +08:00
@long1and 感谢,那我自己再折腾一下
fregie
    45
fregie  
   2023-09-27 09:09:49 +08:00 via Android
功耗是怎么监控的?
long1and
    46
long1and  
OP
   2023-09-28 10:24:35 +08:00
@fregie 用的智能插座,接入 homeassistant 平台
ad53636746
    47
ad53636746  
   2023-10-06 17:22:52 +08:00
@long1and 用的哪家的啊,小米的么
ad53636746
    48
ad53636746  
   2023-10-06 17:24:01 +08:00
目前也在考虑自己搭建一个,看了你的,配置,看来没必要买 B760 和 i5-12400 的配置啊
latine2012
    49
latine2012  
   2023-10-16 15:00:50 +08:00
这个机箱感觉怎么样啊?是 5 盘位的吗
long1and
    50
long1and  
OP
   2023-10-17 21:40:26 +08:00
@latine2012 机箱很好呀,是六盘位的。
xlost
    51
xlost  
   2023-10-18 19:02:46 +08:00
学习了,感谢
3zSP079L86ZwulIx
    52
3zSP079L86ZwulIx  
   2023-10-29 18:59:16 +08:00 via iPhone
我用 11 代 pve 后装了 LXC 试过了,用 EMBY 解 PGSSUB 字幕的不要太爽,跟黑群内完全不是一个档次,但又有新问题了:就是 emby 可以完美硬解,但装了 jellyfin 却不能硬解了,但没试过用 docker 装,主要是不想用 docker ,驱动也都装好了,很奇怪
leening3436
    53
leening3436  
   2023-12-04 10:07:30 +08:00
楼主您好,我是同样的主板,pve 里操作都完成了,但是 IOMMU 一直开不起来,主板里 VMX 也打开了,请问要升级 BIOS 吗?
hxpmc
    54
hxpmc  
   2023-12-27 14:29:49 +08:00
楼主显卡直通有教程吗 我的 lxc 一转码 cpu 就爆
关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1333 人在线   最高记录 6679       Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 29ms UTC 17:07 PVG 01:07 LAX 09:07 JFK 12:07
Do have faith in what you're doing.
ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86