Gen8 折腾记录

蜜瓜级轻巡洋舰二番舰 wrote on August 16th, 2017 under Life | 2 Comments | 156 views

终于对于 Gen8 这个 假 RAID 的性能到了忍无可忍的地步,我把 ESXI 干掉了。

想来当初做了个 RAID10 感觉还挺靠谱,真是 too young 了。

关于 Gen8 自带的这个 RAID卡 B120i 我再多说两句,千万不要用,千万不要用。

好了言归正传。
这篇创建时间是 June 25, 2016 @ 12:06:44 的日志在 Draft 里放了还挺久了。
心痒痒于是德淘买了台 Gen8,被海关卡了将近一个月,然后在被税了 360RMB 之后跟京东价格几乎持平,一起买的内存条还丢了的事情都不谈,总之机器终于是平安到了。(悄悄抹一把泪

配置

CPU:原装 G1610T
因为对于 CPU 性能要求不高,而且懒得折腾,所以没有换 E3(要性能去买 VPS 就好了
MEM:2x4GB
自带一条 4GB,咸鱼上收了一条别人的拆机 4GB
HDD:4x2TB WD红盘
感觉稍微有点小,不过大概想了想我存的东西不多,基本也够用。(没有塞 SSD 也是懒)

ESXI

HP OEM 版本
如上所述,一开始装的是 ESXI 。装在一张插在主板上的 TF 卡里。
折腾过 Gen8 的人可能都知道,RAID 卡真是一大痛。
用非 OEM 版本提供的 hpsa 驱动驱动不了 raid 卡,但是官方提供给 ESXI 用的 hpsa 驱动,据说是新版的才有性能问题,而据说没问题的旧版本scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib不支持 6.5(不死心还试了下,果然崩溃了起不来)。现在已经记不清了,当时大概是换了好几个不同版本的驱动都做了下 benchmark,发现 88 版本的好像确实会好一些。
然而后来发现也只是一开始。读倒是没什么问题,但是写的时候,最初还行,到某个时间速度突然就掉了,然后开始时不时假死、最高不超过 25MB/s 的龟速。

然而当时最后还是做了个 RAID10 ,做完就只剩 3.5T 左右了。
ESXI 的 webui 大概还算能用?虽然时不时会 error 或者卡死,但一般刷新下就好了。而且用得不多,可以忍受。

路由

ESXI 装好之后,我开了两台虚拟机。一台叫 hina,作为网关,一台(也叫hina——那是不可能的)叫 saki,日常使用。于是之前的路由器光荣地成为了一个无线 AP。而且因为有台式机的缘故,路由器端口不够用,还被迫补了一台 TP-LINK 的 8 口非网管型千兆交换机……

至于发现联通封了 80 端口,却没有封 443,光明正大地用 hina 来拨号,对外开了 web 的事情,现在也因为现在住的地方光猫破解不能的缘故,很悲惨地只能屈居到内网了。

路由器上的 DHCP 当然也是关掉了。 dnsmasq 很贴心地自带了 DHCP 的功能。(顺手贴个配置

至于 ignore 的这俩,是联通通常用来劫持的 IP……

而 ddns 这样的东西,起先用的 dnspod_ddns,后来将域名切到 Cloudflare 之后,便直接写了个脚本用它的 api 来定时更新了。最后到现在,已经再也没什么用了,因为从外部 ip 访问不到里面了……

Gentoo

由于开篇的问题,我将 RAID 拆掉了,改用 AHCI 模式。
然后也不想再折腾 ESXI 了。(毕竟自己就先把为数不多的内存占了 1G 多

于是开始装亲爱的 Gentoo。
将 sda 和 sdb 先各分出了 100G 组了个 raid1 作为根分区,将 sdc 和 sdd 各分出 1T 组了个 raid1 作为 home 分区,用来放相对重要的东西,其他的全扔给了一个 lvm 。(反正一般都是丢了也没事的 ACG 相关资源之类的……
目前的格局是这样

后面之所以要给 docker 专门用一个分区,是因为我的 /root 和 /home 和 /data 都用了 xfs,而 docker 的 overlay driver 对 xfs 支持不好,于是从 lvm 里拿出一块格成 ext4 给它来用。

当然最大的问题在 kernel 配置上。在 panic 好几次之后我终于选对了驱动。(虽然大概大部分都是因为作为根分区的 mdraid 的 metadata 忘了指定用 0.9,用了默认的 1.2 而导致找不到 root 的 panic,叹……)

再顺手贴下 kernel config: config-4.12.5-gentoo

当然自己的 overlay 是少不了的(虽然东西不多。

机器装好了接下来就是服务

一般的服务用 openrc 自带的 init 脚本来启动,不希望挂掉的则用古老但好用的 daemontools 来跑。

systemd 是什么?

指标监控

作为一台机器,指标当然是不能少的,对于查看机器当前的状态很重要。
通常的构架是 collectd=>carbon-cache=>graphite-api=>grafana
中间俩是 python 的。本身 python 倒也没什么不好,但是 carbon-cache.py 官方文档给的安装方式很脏,而且这个东西写的时候设计得就很脏,要装得干净很麻烦。于是我用两个 Golang 的 go-carboncarbonapi 替代了中间这俩。
然后又用 influxdata 的 telegraf 替代了 collectd,所以最后的结构是:
telegraf=>go-carbon=>carbonapi=>grafana
最终效果:

下载

因为有迅雷会员,如果离线下载再好用一点该有多好啊……
Xware1 现在好像也不让用了(虽然也不好用。

于是用了 uTorrent,订阅 dmhy 的关键词自动下载。

现在似乎没有那么重的需求了,再加上 uTorrent 太吃内存,于是换成了 aria2。webui 还是挺好用的也挺好看

网络磁盘

因为有 windows 的机器,当然首选 samba 无疑了。虽然 windows 也支持 nfs,但是对比了下,发现 nfs 的性能和 samba 差别还挺大。samba 能把千兆网卡持续跑满,而 nfs 最开始的 1-2G 还好,之后就会持续掉速,是的,持续……而且内存占用也比 samba 大好多。
至于 afp……嗯,我还是尝试了下的……

要在 mac 用 samba 其实是一件很蛋疼的事情,因为 macos 会在上面生成成堆的 DS_Store 等垃圾。于是顺手买了个 BlueHarvest(虽然感觉有点小贵

代理

之前一直用的是 ss-redir+iptables,然后换了一段时间 v2ray,现在一般默认用 tinc
但是最近 tinc 被定向干扰了,连上之后立马开始丢包,无奈换成了 anyconnect。
而 anyconnect 用了一段时间也会 crash,无奈跑了两个连接分别到两个节点,加了两条路由……

是的默认的 chnroute 是 192.168.1.1,白名单。

然而用 anyconnect 的时候遇到了 MTU 的问题。其他网站都好好的,只有 [ap]bs.twimg.com 需要把本机 MTU 改成跟 openconnect 的 interface 一样的 1321 才能 ping 通。还没有想好要怎么解决,于是又用回了 tinc ……
经 Aveline dalao 指点,用

来自动调整分段大小解决。

其他

当然还有其他的服务,比如自己的小机器人蜜瓜二号以及配套为它提供服务的 redis 和 beanstalkd(和监控 beanstalkd console)(再加上一个跑在 docker 里的 QQ 机器人 coolq。
还有为所有的服务提供 web proxy 支持的 caddy。
投递邮件到我远程 postfix 的 ssmtp。
虽然因为比较鸡肋而下掉了但是觉得还挺有意思的 calibre-webMopidykoelPlex Media Server
等等。。。

最后把所有的配置扔到 dropbox 里开启自动同步,完工~

后续的话……嗯,考虑什么时候折腾下 homebridge吧。

Tags: ,
Previous: Next: Dude, already the newest post!
  1. 终于知道 hina 和 saki 是什么了, 那么maki 是什么?

(bgm38) (bgm24) (bgm108) (bgm84) (bgm65) (bgm97) (bgm44) (bgm66) (bgm61) (bgm47) (bgm90) more »

[Ctrl + Enter]