黑化版的家用算力服务器HomeLab

本内容来源于@什么值得买APP,观点仅代表作者本人 作者:值个大头鬼

起因

之前基于NUC6改的HomeLab(之前发过帖)磁盘有点吃紧,就升级了硬盘,结果新换的硬盘可能是温控做得不太好,经常遇到虚拟机死机和网络断流的情况,所以去年下半年开始骑驴找马。按照我个人的习惯,动手前需求必须明确:

一、硬件:机箱不能太大,设计得漂亮,不需要提供太多接口,不要光污染,越简单越好;8代之后的平台,核心数得够用;稳定省电,适合7x24;最好能上10G,5年内不用再折腾。

二、系统:ESXi玩过了,灵活度欠缺一些,在PVE/UNRAID中二选一。软路由/黑群/Docker/影音服务器/下载/远程管理/DNS服务器/广告过滤/智能家居,one by one,all in。

某一天逛CHH还真让我给找到了(外链不放了,搜索引擎关键字:Build a Black Server),感谢大神(errantry83)提供的现成方案,我准备抄作业,当然最终考虑到实际情况,抄了八九成吧。

经过

一、装机

机箱:aboStudio ContainerXS

主板:华擎Z370m itx/ac

CPU:Xeon E-2286M

内存:Sumsung ECC UDIMM 2666 16GB x 2

存储:Intel S4610 1.92TB x 2 + Micron 5200 ECO 1.92TB x 2

网卡:Intel X550-T2

电源:G大定制

1、机箱

aboStudio ContainerXS

机箱侧面蜂窝细节1

机箱侧面蜂窝细节2

侧面其实是全镂空的,散热没有问题

背面是两条PCIE开口和开机键,没错开机键在后面

开机键(茶轴+黑色键帽),罩子应该是3D打印的

开机后亮微弱白光

沉头螺丝和垫片细节

每颗螺丝带刻字

全铝CNC,磨砂质感,细节拉满,做工吹爆,好几斤重,我个人觉得物超所值!机箱可以竖放或者横放,但卖家只提供了一套橡胶脚垫,并且螺丝垫片也没有冗余,容易丢,装机要小心。

2、主板、内存和CPU

自带两个1G口(Intel I211/Intel I219-v)

内存插槽一边4个SATA,另一边2个SATA

华擎Z370m itx/ac这块板子刷了BIOS后能支持Xeon和ECC,自带6个SATA3.0、两个1G网口、两个HDMI和若干USB3.0,接口对我来说够丰富了。

Sumsung ECC UDIMM 16GB

内存必须是ECC UDIMM,也就是所谓的纯ECC,比较常见的ECC是REG。UDIMM比较少见,价格非常贵,二手16G一根卖四五百。为ZFS准备的。

CPU用的Xeon E-2286M,8代平台自带UHD630核显,TDP 45W,移动版至强还是比较少见的,8C/16T,主频2.4GHz,睿频最高5GHz,单核性能一般,胜在核多(Passmark单核2760多核15153),性能差不多i9-10900T的水平。

CPU风扇和机箱风扇基本照抄作业,不同的是风向,CPU我选择下吹风,机箱风扇向外排风,这样效果会好一些,

3、存储

容量和安全性需求大于IO速度,手上这根980Pro无用武之地

4块企业级SSD

这款机箱内部没有锚点可以固定SATA硬盘,所以我买了四盘位的硬盘支架,然后用3M魔术贴纸固定在机箱内侧。

Intel S4610 1.92TB x 2:PVE系统盘,RAID1 on ZFS

Micron 5200 ECO 1.92TB x 2:直通黑群晖

题外话,Intel无论是做工还是散热都远远好于镁光,当然价格也摆在那儿

4、网卡

Intel X550-T2,1G/2.5G/5G/10G自适应,适应面更广,贵是有理由的。

5、电源

右边电源本体,左边魔改HPE电源适配器

关机红灯,开机蓝灯

直插式,用料做工都还不错

电源主板合体

电源细节

受机箱容积限制,只能外置电源,也就是像笔记本一样拖一个电源适配器。没有跟CHH大神一样买HDPLEX DC-ATX,是因为需要海淘且官网无货。最终找了G大定制,4个硬盘电源,评估下来综合功率不会超过200W,舍得堆料,额外加钱买了其HPE魔改电源适配器,体积小散热强,属实是别人眼中的亡命之徒,不过使用下来其实还算稳定。

DC接口暂时用扎带固定

找来一根半高挡板,斜口钳+锉刀

这款机箱还需要解决DC电源接口挡板的问题,一个办法是找人定制,最终我选择DIY,效果居然比定制还要好。

二、装系统

处女座,本职就是运维,折腾过程中所有步骤和细节我都会完整记录下来,并且整理备份归档。如果要全部分享出来,感觉又可以水好几篇文章了。大部分是重复造车,网上一搜一大把,所以就点到为止了。

1、PVE

ZFS好用但有代价,本身就非常吃内存,且不会释放,所以PVE中要给它限定一个最大内存。

创建虚拟机时:网卡类型选择VirtIO,防火墙关闭;CPU类型选择host,打开NUMA;开启虚拟机的qemu-guest-agent功能,虚拟机内部一般也要安装agent,比如qemu-ga。

2、OpenWrt

CPU高级选项中,把AES打开。

直通前务必搞清楚网口对应关系,否则会徒增不少烦恼。

编译OpenWrt时需要选择qemu-ga,这样才能正常开启qemu-guest-agent功能。

配置本地接口DNS:带伪装的科学XX一般配置了域名,如果接口中没有配置DNS,那么这个域名本身就会无法解析导致无法科学XX。

配置DNS转发:可以将DNS服务器(我用的docker方式部署AdguardHome)通过DHCP下发给客户端,如果AdguardHome出现问题,客户端依然可以通过OpenWrt自身转发到配置的DNS服务器进行解析。

OpenWrt越简单越好,我就选了几个必要的功能:上网时间控制、应用控制、网速控制、科学XX。

OpenWrt Powered by Xeon

出口千兆,科学差不多能到700+,CPU使用率20%以下

3、Win11

PVE 7建议装Win11,之前装Win10,使用两周内必定崩溃蓝屏,原因不明,猜测跟底层驱动有关。

qemu-ga安装完后,会在“设备管理器”中多出一个带问号的PCI设备,选择加载virio镜像中的驱动后,就能正常启用qemu-guest-agent功能;另外,virio镜像中还包含virtio网卡驱动。

UHD630 GVT-g

UHD630通过GVT-g方式部分共享给了Win11,使得你想用这台Win11虚拟机轻办公看视频成为可能,实测4K GPU使用率在50%以下。

4、Ubuntu 20.04

目前就跑了下面这些容器:

Portainer:管理所有容器和镜像

Heimdall:导航页,用处不大

Gogs:放我自己的代码,迁移自树莓派

qinglong:刷豆子

AdguardHome:DNS服务器+广告过滤

着重说一下AdguardHome:

150W+的解析量,平均响应时间38ms,满意!从结果看,小爱音箱被拦截的请求是最多的,域名排行也是小米占了半壁江山!

为什么要单独部署docker,是因为如果跑在OpenWrt中的话,AdguardHome的IP就只能使用宿主机IP,也就OpenWrt的网关地址,AdguardHome中就无法区分客户端,客户端只有一个,即OpenWrt。这个问题可以通过在Portainer中配置macvlan,给AdguardHome容器单独分配一个独立IP来解决。

5、HassOS

几种安装方式对比,OS是功能最全的,所以直接HassOS。功能非常多,对技术有一定要求,目前就试着加了一台新风机,成功了,后面再慢慢研究。

6、DSM 7

DSM Powered by Xeon

jellyfin作为海报墙

Intel QuickSync(QSV)

不开启硬件解码,资源利用率,主要是CPU

开启Intel QuickSync(QSV)后的资源利用率

黑群的规划是作为影音服务器,直通SSD做RAID1,速度和安全兼具,然后docker方式跑jellyfin,UHD630通过GVT-g方式部分共享给jellyfin,使得黑群同时具备了硬解能力。需要注意的是,如果是Intel显卡,建议用linuxserver/jellyfin而不是jellyfin/jellyfin,前者可以开启专门针对Intel显卡的硬解优化Intel QuickSync(QSV),实测对比同样是硬解的VAAPI,硬解能力起码差10帧。

我选择的arpl引导方式,型号DS918+。

黑群无法启用qemu-guest-agent,进系统优雅关机,或者直接粗暴切断虚拟机电源。

结果

目前放在我儿子书架的顶层,HomeLab和DS418Play各接一台UPS,主要防浪涌和闪断。R2S作为备用,毕竟all in boom。

短板在IO

缺点:

散热有点压不住,室温20度,CPU都往50度靠了,担心夏天。

水桶效应,短板在SATA3.0的接口速度,这台机器理论最大传输速率6Gbps,跑不满万兆。实测黑群与Win11对拷,速度在450MBps-500MBps。

然后

有几个事情待办:

1、虚拟机和ZFS快照,定时自动备份到白群。

2、准备入手AppleTV,黑群作为存储,jellyfin作为海报墙,TMM刮削,infuse播放器。

3、HassOS还要进一步研究,最终目标是在门口安一块pad,找个好看的UI,把所有设备都集成进来,包括特斯拉。

4、移远EC20+短信转发微信(之前发过帖子),从树莓派迁移到Ubuntu,把树莓派卖了。

作者声明本文无利益相关,欢迎值友理性交流,和谐讨论






展开阅读全文

页面更新:2024-04-30

标签:服务器   机箱   虚拟机   接口   细节   电源   内存   硬盘   方式   功能

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2008-2024 All Rights Reserved. Powered By bs178.com 闽ICP备11008920号-3
闽公网安备35020302034844号

Top