最近装了个Anaconda
,准备学习一下数据可视化。本着三天打鱼两天装死的心态,重新抱起崭新的算法书,认真学起了快排算法。学完后用Python
实现了一遍基本的快排,然后使用matplotlib
进行动态绘图,最后使用imageio
生成GIF图片。谨以此文以记之!
应一位金融圈的朋友所托,帮忙写个爬虫,帮他爬取中国期货行业协议网站中所有金融机构的从业人员信息。网站数据的获取本身比较简单,但是为了学习一些新的爬虫方法和技巧,即本文要讲述的生产者消费者模型,我又学习了一下Python中队列库queue
及线程库Thread
的使用方法。
其实,新浪微博用户图片爬虫是我学习python
以来写的第一个爬虫,只不过当时懒,后来爬完Lofter
后觉得有必要总结一下,所以就有了第一篇爬虫博客。现在暂时闲下来了,准备把新浪的这个也补上。
言归正传,既然选择爬新浪微博,那当然是有需求的,这也是学习的主要动力之一,没错,就是美图。sina
用户多数微博都是包含图片的,而且是组图居多,单个图片的较少。
LOFTER
是网易出品的优质轻博客,灵感源于国外的tumblr
,但比之更加文艺,更加本地化。本人非常喜欢LOFTER
的UI设计,以及其中的优质用户和内容,似乎网易并不擅长推广,所以受众并不广泛。这都是题外话,本文主要记录作者近期学习python3
并用之爬取LOFTER
用户图片的过程和成果,与大家交流分享。
之前为了重现某个bug,需要对网络设备进行ddos攻击测试,同时也是对设备的网络攻击防护功能进行抗压测试。临阵磨枪,google了两款攻击工具,windows平台的hyenae
,以及Linux平台的hping3
,在此记录一下两者的用法。