北京房租又涨了?有个程序员把各租房平台爬了一遍,然后发现……

大数据2019-03-19 18:10:54

前段时间大家都在吵着北京的租房价格上涨了,但到底涨没涨,微博微信吵了一圈我也没看到权威的回答。


有个程序员,他就很厉害了,只花了一天时间把各个租房平台的相关信息爬了一遍,然后根据这些数据,迅速分析并预测出北京近几个月房租的变化走势。


先不说最后的分析结果如何,这位网友就因为懂一些数据分析方面的知识,很快就能知道网上几百万人都想不明白的问题。


我说这个事情,是想表达:“在这个数据为王的时代,数据分析应该成为每一个人的能力外延。因为在我们的职业生涯中,必定会用到数据分析的技能,只是时间迟与早的问题罢了。”这一点,在我清华大学读书的时候就意识到了。


当时,恰好赶上2009年微博的热潮,我通过数据分析技巧,每天搜集微博热点,然后对数据进行清洗、去广告,再让机器定时自动发布内容。我用“数据”利器,3个月的时间就积累了4万粉丝,一年的时间积累了上百万粉丝。


运用数据分析涨粉的方法,都总结在这个专栏《数据分析实战45讲》里了,推荐你去看看:


我运用数据分析涨粉的方法,都总结在这个专栏《数据分析实战45讲》里了,推荐你去看看:


在这篇文章里,我把整个微博涨粉的流程分成3个步骤。


  • 多账号

  • 防屏蔽

  • 用户操作



再者,你会用到Python的几个工具。所以,如果你要熟练运用数据分析,那么Python技能也是必备的。在专栏里,我特意准备了3篇文章,分别对Python的基础语法、NumPy和Pandas进行讲解,让没有Python基础的人也能快速入门Python语言,再进行数据分析的学习。


你可以对照看看,你是否具备入门数据分析的基本能力。


  • [第03讲 | Python基础语法:开始你的Python之旅]

  • [第04讲 | Python科学计算:用NumPy快速处理数据]

  • [第05讲 | Python科学计算:Pandas]


可以扫下方的二维码,试读这几篇文章。现在我的专栏正在限时优惠¥79,原价¥99,仅限今天1天。这个专栏上线不到2个月,已经有1W人订阅,非常受欢迎。



再说回工具。在做自动化运营的过程中,我会经常使用这些工具,简单给你介绍下。


  • Selenium:用于Web测试的工具,支持多种浏览器和自动化测试。

  • lxml:网页解析利器,支持HTML、XML、XPath解析,而且解析效率很高。

  • Scrapy:强大的爬虫框架,提升开发效率。

  • PhantomJS:基于WebKit的无头浏览器,无头就是没有UI界面的意思。同时PhantomJS提供了JavaScript API接口,可以直接与WebKit内容交互。通过它,你可以完成无界面的自动化测试、网页截屏等。通过网页截屏,就可以帮水军做结案报告,通过结案报告,就可以看到刷量的直观数据结果。



下图是我以微信、微博为例,整理的自动化运营所需模块的全景图,这些模块都需要编写相应的代码来实现,从而打造整个社交网络上自动化运营的机器人团队。



我用自己的经历就是想告诉大家,数据分析确实很百用,而且入门门槛也不是很高:只要一些Python基础,掌握一些分析工具,加之数据化思维,可以帮你解决很多事情。比如预测房价、预测比特币趋势,这些内容在我的专栏里也都会讲到。



我是谁?


我是陈旸,清华大学计算机系博士毕业。我从10岁开始编程,2次获得全国信息学奥林匹克竞赛一等奖,2次ACM国际编程比赛亚洲区铜奖。现在先后通过数据分析为腾讯视频、易车、58同城、蚂蚁金服、京东制定用户画像和传播话题,为品牌活动做传播决策。


跟着我学,我有充足的信心,能够让你得到:


  1. 收集数据、处理数据、得到结果的硬核能力,它会让你在工作中游刃有余。

  2. 每篇文章都有“思维导图”与“专属题库”,必知的全套工具让你即学即用。

  3. 培养数据和算法思维,技术上的思维模式,还有日常工作解决问题的思维方式。

  4. 拥有更强的竞争力。要知道无论是当前火爆的人工智能,还是数据算法工程师的市场,都看重数据分析和数据处理的能力。

  5. 清晰的学习路径,业余时间彻底掌握数据分析这个硬核技能。


▲扫码即可试看或订阅


我的专栏上线不到2个月,就已有超过1w人订阅,非常受欢迎。下面是部分读者的留言及我的解答,给你做个参考。



再强调一遍,《数据分析实战45讲》现在正在优惠,只要¥79,原价¥99,已有超过1w人加入学习,想认真系统化学习数据分析的同学,请抓紧搭上这趟末班车。仅此1天!


点击阅读原文,了解更多

https://www.wxwenku.com/d/110021261