新闻资讯

关于开创性案例、重大事件与中国数据科技集团的媒体报道

中数经纬:爬虫大赛优秀工程师参赛感言

来源:中数经纬 时间:2018-11-14 12:00:00

随着中数经纬爬虫PK赛在程序员圈子持续曝光,业界对其的期待与日俱增。此次大赛得到20000+程序员的关注与支持,参赛者自发分享爬虫项目经验,对代理池、公众号内容显示样式、验证码、分布式等问题进行深入探讨,给正在做爬虫项目的程序员开拓思路。

决赛在即,我们采访了一些参赛选手,对其作品进行解析,爬取的数据源有猫眼APP、豆瓣、斗图表情包、B站、东方财富股吧、今日头条、京东评论、社区、公众号文章等,节选其中15位优秀工程师发表大赛感言。

参赛感言2.png

1、痕迹 爬虫爱好者

借助中数经纬公司提供的爬虫大赛项目平台,使我更深入的了解了爬虫强大的功能,对于个人学习,工作思维等方面有了显著的提升。

2、李建国  PHP开发工程师

感谢主办方,让我有机会参加这次爬虫大赛,我爬的是我们金华当地比较知名的一个本地社区论坛。我平时工作没怎么接触过爬虫相关方面的知识,通过这次比赛,我学到了很多。给我提升最多的是有关正则表达式方面的知识,因为在我爬页面的时候,要过滤很多无关的信息。正则表达式就发挥了很大的作用。总之通过这次比赛让我受益匪浅,以后如果还有这样的比赛,我一定会积极参加的。

3、薛祥  ETL工程师

通过参加本次中数经纬的爬虫比赛, 看到了参赛者在数据源获取、去噪、分析和展示方面的多样性, 对于爬虫技术的理解, 爬虫工具的使用不尽相同, 本人在其中学到了很多. 参赛者在数据源获取方面, 主要通过html网页、数据接口获取数据. 去噪方面xpath、css、正则表达式、json格式解析选择器种类繁多。在分析方面学到了不同行业的数据分析维度和指标,在展示方面对数据可视化的操作别具一格,通过本次比赛开拓了视野,让我对于数据集成的理解更加深入。

恭祝商祺。

4、mason zhang  软件工程师

参加爬虫大赛拓宽了视野,看见小伙伴们的各种爬虫技巧,受益颇多。要想在海量数据的互联网获取自己想要的数据,首选爬虫技术,数据无处不在。

5、老表   大三学生

通过爬虫大赛,我把自己的爬虫项目仔细梳理,从爬虫代码,到数据分析,可视化,使我的项目更加有条理,有目的性,在日后的工作中,会让我更加突出。

6、卢文龙 数据产品经理

我比较关注数据变现及数据价值挖掘,通过这次比赛,我在数据爬取内容如何在个人层面变现进行了一些思考,发现爬取东方财富股吧用于做为投资参考值的尝试下,很多软件也会提供一些类似的参考分析,但里面算法很多不知其所以然,且收费的多,不如自己搞一搞。最后在爬虫技术,NLP技术,数据挖掘,理财投资方面都得到了锻炼和提高。

7、杜宽  爬虫爱好者

感谢中数经纬举办的爬虫PK赛,让我重拾了自己的爬虫项目,也认识了很多做爬虫的朋友,经过这次比赛,自己对反爬虫和反反爬虫又有了新的认知,也让自己在这场没有硝烟的战争中更上一层楼。

8、尹强 Python爬虫工程师

参加这个比赛不仅是对工作的总结,也可以很好的和大家一起分享心得体会。爬虫的百分之九十的失败不是被各种防爬,而是自己放弃了成功的希望。成功与失败就因这一点点的耐性而被划为两种截然不同的“人生”结果。世界上最难超越的人是你自己,赢自己一把!

9、吴乐伟 Python爬虫工程师

参加爬虫大赛,于我而言,获奖倒是其次,更重要的在于学习交流,通过这个机会可以了解其他人的爬虫作品。

10、常怀德 Python爬虫工程师

我觉得参加比赛是一种特别有效的学习方式。多参加类似的比赛可以积累技术经验,检验一个阶段的能力提升。

11、南海九哥  C++爬虫工程师

大赛中各大高手的PK让我认识到了自己的不足,山外有山,天外有天,我还需要充实自己。加油!

12、莫莫UP  运维工程师

中数经纬的这次爬虫大赛让我开拓了视野,让我看到了专业领域的更多榜样;给了我希望,让我看到了未来爬虫工程师的方向;给了我鞭策,让我在今后的工作中更加努力。

13、可心 Python爬虫工程师

温室的花朵无法体会大自然的美丽,参加了这次比赛让我看到了爬虫界美丽,同时也认识到了自己的不足,完善自己。完善代码。加油!

14、刘海滨   C++爬虫工程师

学海无涯, 在软件开发的漫漫长路上, 除了进行自我的软件开发学习, 还要在实际的开发项目中进行实践, 参加公开的编程大赛, 才能取人之长, 补己之短。

15、千年老妖    开发工程师

刚接触golang不久,用go试着完成了一套程序用来爬取CSDN的首页,得到的感悟就是编程思想驾驭编程语言,一个好的coder不在意他会多少语言,更在意他具备什么思想。

感谢广大开发者对中数经纬爬虫PK赛的大力支持与关注,小伙伴们在分享项目经验的同时也解决了爬虫中遇到的困惑,技能得到提升。技术在分享与讨论中深化巩固,这也是爬虫PK赛的宗旨。

预知后事如何,请听下回分晓。

分享到: 微信

分享到微信 ×

打开微信,点击底部的“发现”,
使用“扫一扫”即可将网页分享至朋友圈。

微博

把无序变有序,让数据更有价

申请试用,开启创造价值之旅!