大概在一个多月前,媳妇问,能不能帮她写个bos直聘的程序,因为只有一个媳妇没有三妻四妾的缘故只能答应了,本来以为bos直聘的程序会非常容易些,就像58同城一样那么简单,只是没想到bos直聘有点出乎我的意料。
bos直聘是一个比较主流的招聘平台,很多公司或企业在招聘的时候一般都会选择58同城,bos直聘,以及智联,媳妇的工作是做外贸销售的,简单说就是需要抓取一些做正在做外贸或者想要做外贸的公司,联系的公司的负责人,询问是否有做外贸的意向,从而推荐外贸平台入驻会员。
而抓取外贸公司招聘数据就变成了我的主要工作,因为她脑子笨学不会使用采集器,他们分公司很多人都是在自己电脑上开着采集器,用采集器采集招聘网站的数据,采集到招聘数据后,再二次采集数据,两次数据对比,去重,这样就可以得到新展示的企业外贸招聘信息,只是她不懂这些东西,有人手把手教她都不会使用,她感觉太繁琐,步骤复杂,因此就没有使用他们分公司使用的采集器。
有一次她电脑遇到问题,我帮她远程解决问题,看到她用鼠标在在58同城中一个个的筛捡数据,我感觉这tm真浪费时间,为此我决定为她写一个自动采集,筛捡,去重的程序,帮助她更好的工作。
既然是写程序肯定是要知道她的工作流程是什么,以及怎么去找的招聘数据,怎么对比的数据,以及哪些数据是她所需要的,我就试着问下,她稀里糊涂说一顿我啥都没听懂,一问三不知。
于是在这中情况下,我用了一周的时间给她完成了第一个程序,如果程序在她电脑上运行的话,有可能会被她同时发现,甚至偷盗她的程序,为此我在程序中增加了防护密码等各种验证,后来又想到即使给她的程序不被偷盗,那程序也不能24小时运行,并且程序运行的时候会占用大量的cpu,会导致电脑变慢,变卡,迟钝等,为此我购买了个服务器,相当于虚拟电脑全天24小时开机运行
光运行还不够,需要发送消息通知才可以的呀,需要给她发送消息让她看见,听见,为此我又为她准备了一套在线客服系统,这个在线客服系统可以实时推送消息到网页中,一开始想着利用微信或者qq或邮箱推送消息,但非常容易被限制,有的时候一分钟就发送几十条甚至百条消息,所以只能自己准备一个在线客服系统,只有这样才不会被限制。
前一段时间告诉我想要一个bos直聘的程序,事情发展到这种地步只能同意了呗,哪怕遇到各种问题也只能硬着头皮上,只是没想到bos直聘的招聘数据太难抓取了,平台中有防爬取数据措施,各种验证码,封禁ip等,为了写出bos直聘我查询了各种反爬虫的方法,一一测试均不能使用,的确也是自己家的数据怎么可能让别人去爬取呢?怎么能让别人采集呢?采集数据也倒是没什么,关键是网站中有大量的爬虫,会拖慢用户访问速度,给用户带来不好的用户体验,因此凡是大一点的网站都会有自己反爬虫措施,防止数据被采集,防止被打。
经过自己的不懈努力,终于成功的把bos直聘拿下,可以采集到bos直聘中任何想要的招聘信息,也破解了bos直聘的各种繁琐验证限制,只是我用的路子比较野,毕竟我的能力有限,我没有能力去破解bos直聘的加密算法,只能搞一些野路子来破解bos直聘的限制
我非常喜欢且享受写程序的感觉,因为在写程序的时候会遇到各种问题,而不断的解决问题的同时也会增加自己的能力,提升自己的认知,这就像是人生中升级打怪一样,不断的经历困难,打败困难才可以让自己变得更好,可以承受的更多,拥有的更多,能接受的更多,很多事情并不是自己做不到,而是不想做,我认为只要你想要做的事情,就一定可以做到,我tm自己也没想到只有6万元就能买房子