恋羽 的全部文章

做最坏的打算,做最好的自己,想最美的事情。

Now 如果想要减肥,请保持冰箱是空的。

记一次 AMD 虚拟化 IOMMU 开启过程

起因
开始是这样的,需要做一些虚拟化的工作,发现需要开启IOMMU开启网卡直通,过程也是很曲折。
过程阶段一 失败
通过网上的教程,参考文章如下:https://www.jianshu.com/p/035287ba9acb (写得比较好的一篇,但漏掉了AMD CPU的相关信息)
开启了第一遍,开机重启好几次,终于在BIOS中打开了对应的选项,遂启动。
然后...

如何让爬虫跑满100M宽带

这个是一个严肃的问题。
目的是为了抓取一批图片,大约几个T的样子。
上次干这个活是在3月份,所以3月份打了一个草稿,今天补充下,附下今天的图,顺便把坑填了。
内存及负载使用状况:
爬虫下载过程中的负载情况
针对的应用场景
对方不限速,无IP限制
对方有多个CDN
如图片爬取类的操作
采用的方案 (请忽略分布式...

KVM 磁盘创建 qemu-img create

目的
通过qumu-img 创建一个磁盘,并在centos7上进行挂载
Man手册
创建一个磁盘
标准的qcow2格式,不加密,磁盘动态拓展, 500G大小,发现如果太大会有性能问题
创建nbd设备
挂载qcow2设备
创建分区
格式化分区
查看结果
单纯的xfs分区后期拓展会有些麻烦,还是建立lvm会合适些
使用一天后的补充结论
创建磁盘一定要预先...

单机Redis锁与文件锁

单机情形下就不要考虑redis锁了,文件锁的性能和释放机制都优于redis锁。在频繁加锁释放锁的情形下,redis CPU占用额外高。
数据参考:无,一个下午的悲催总结。
如果需要更高的性能,可以参考如下内容:
当前应用场景,防止300个爬虫进程读取重复数据下载,加锁性能消耗较大,在不改变现有架构的情形下数据库读取的性...