python爬虫可以爬哪些网站-网络爬虫都能干什么？有哪些网站的数据可以爬取？...

1、网络爬虫都能干什么

@冰蓝

之前在北京买房，谁想房价开始疯长，链家的房价等数据分析只给了一小部分，远远不能满足自己的需求。于是晚上花了几个小时的时间写了个爬虫，爬下了北京所有的小区信息及北京所有小区的所有历史成交记录。

@陈乐群

上次发现Android QQ和iOS
QQ可以显示网络状态（2G/WiFi)之后，突然想到，这样子好像可以监视某人的出行和作息规律。简单的来说，在家里或者工作的地方，一般是有WiFi的，然后出门了，WiFi就断掉了。如果监测频率足够频繁，那么结合一定的推理，可以大致推测出一个人的行动。如果长期监视，那么可以大致推出一个人的作息时间。

因为只有Android QQ和iOS QQ有这个功能，所以要得到一个人的网络状态比较麻烦。我的做法是跑 Android
模拟器。然后用按键精灵模拟，并把网络状态截图，用 curl
post到服务器上。服务器会把每次发送的时间、截图保存下来。因为是用程序截图的，所以只要网络状态是一样的，那么截图就是一样的，这样服务器就只会保存2~3张图片而已，其余的发现是相同的图片，数据库做个标记就好了。然后人工做OCR，还是注意到只有2~3张图片，所以工作量很少。

得到数据后，要做各种统计就可以自己搞了……

@森羴

在用Python写网页爬虫之前，我只用来写过了一个驾校约车的脚本，让当时的我不惧上万的学车同僚，在约车环节没有输在起跑线上。

接着那段时间，我女朋友的领导每天下班都会下任务，要收集100条有招聘需求的信息，第二天检查。看到她熬夜百度+复制粘贴到半夜，心疼死了。

想到了某个牛人说

• « 上一篇：如何将一个实例的内存二进制内容读出来？
• » 下一篇：Transformer的具体计算过程