数据公司接连被查 多家平台仍高薪招聘爬虫工程师

　　来源：趣谈公社

　　在这场数据公司的行业地震中，多家知名公司被查，但自建爬虫工程师团队的企业，他们获取的信息是否合规使用？

　　虽然数据公司纷纷公开表示，暂停该服务，但仍有多家互联网公司，金融科技公司自建爬虫服务团队，他们在这场行业肃清风暴中处于什么位置？在此之前，小米金融，京东金融等都被爆出涉及到个人信息泄露的问题。

　　BOSS招聘信息显示，连连支付、百融、小米金融、邦盛科技等仍在高薪招聘爬虫分析师。

　　在岗位描述中显示，“进行多平台信息的抓取和分析等。”且也给出了30K左右的薪资。

　　根据多位行业内人士观点总结，大数据公司的爬虫服务主要用于，向金融机构以及类金融机构提供协助贷款平台进行展业获客，以及催收服务。

　　爬虫工程师招聘需求高

　　杭州魔蝎数据科技有限公司（以下简称摩羯数据）、新颜科技人工智能科技有限公司（以下简称新颜科技）被查后，快钱支付、天翼征信等也传来被调查的消息。

　　在此背景下，服务金融机构以及类金融机构的第三方数据公司，接连发布公告暂停爬虫运营商服务。

　　有盾喊停运营商报告业务；上海诚数信息科技有限公司（聚信立）也向商户下发通知，停止对外提供用户授权的爬虫服务。

　　此外，根据某自媒体报道，传统银行互金部总经理就提出，应果断停止，或审慎开展与爬虫类技术服务公司的合作项目，清查行业涉及外部资产数据源合作的所有资料，防止恶性事件传染。

　　但从招聘网上信息来看，爬虫工程师仍然是各大企业的香饽饽，比如欢聚时代、百融等企业依旧在招聘数据爬虫分析师。

　　爬虫工作属于数据分析工作，高薪对人才吸引力度大。Boss直聘《2019年一季度人力吸引力报告》报告显示，市场回暖，人才需求同比增长31.8%，推荐算法工程师平均薪资近4万元。受资本市场波动影响，2019年Q1互联网、IT软件和金融行业的人才吸引力指数环比分别下降2.5%和3.7%。

　　对于岗位来说，人工智能与大数据相关岗位人才吸引力依然占据前列。

　　实则，社长了解到，爬虫工作对于程序员而言，门槛不高，刚入门的程序员就能通过培训掌握技能。据悉，爬虫数据主要就是通过一些自动化代码去网上抓取一些信息回来，整理成可以使用的数据。基本一个程序员，学几天就搞定了。掌握ETL这种比较简单的或者web相关的可以转。

　　社长还发现，部分互联网公司仍在公开招聘爬虫数据师。比如，邦盛科技、黑瞳、国美金控、小米金融、搜狗、去哪儿网、汽车之家等仍在高薪招聘爬虫分析师。

　　爬虫技术本来无可厚非，技术无罪，然而技术被用以在不当的方式，则将带来相反反向效应。比如，我们可以看到移动金融App通过捆绑甚至强制获取的方式，要求用户一次性同意多项敏感权限。不同意就不能继续应用软件，但是同意以后，就可以过度开发用户数据吗？

　　据媒体报道，天机、葫芦数据、白骑士等其他大数据风控服务商已暂停运营商数据服务，百融云创、鹏元征信部分服务无法使用。随着服务商暂定应用服务，也将对“超利贷”“714高炮”迎来行业巨震。

　　业内人士介绍，智能风控对于数据而言并非必要条件。相反，智能风控离得开数据，那么企业滥用数据，应用数据开发又为何？

　　贷前贷后应用爬虫服务

　　所谓运营商爬虫服务，是在用户授权账号的前提下，登录用户的运营商账户，抓取一些手机卡过往使用情况的信息，包括使用时长、常用联系人、套餐信息等，以此验证机主的真实性来做风控。

　　这类第三方数据服务商玩家众多，百融云创、第四范式、氪信科技、云蜂科技、智帆金科、通付盾等都在此领域深耕。

　　事实上，大数据风控公司数据来源大致分为第三方机构授权；是关联公司/场景数据；以及通过爬虫业务获取。

　　爬虫架构工程师几乎是所有互联网技术公司、数据公司、咨询服务服务机构的标配，市场需求量很大，且大多薪资不菲。那么分析师爬到的数据究竟都做了什么？

　　现金贷从业人士告诉社长，行业肯定存在数据泄露，拿到数据就等于找到了目标客户，通过群发短信，来间接获客。

　　也有从业人士告诉社长，除了第三方外，企业内部爬虫都是服务自身业务分析，或者是用来做竞品分析及数据咨询服务。

　　另一位从业人士认为，爬虫使用的数据没有泄露给第三方就不算是泄露隐私。他指出，爬虫如果按照robots协议，抓取的是网络上公开的消息（像百度爬虫一样），那么这种爬虫行为是符合规范。

　　但一直被质疑个人信息泄露。就在今天下午，社长在某个地铁站口的星巴克刷卡支付买了一杯咖啡，手机里的知乎广告马上给就给我推送星巴克；用手机浏览器搜索了一下去杭州的高铁票，不到一分钟就接到了同程旅游的广告。

　　如果说是巧合，反正我是不信的，在大数据公司面前，每个人都在裸奔。

　　爬虫爬的信息说起来主要都是个人的基本资料和一些选择。但是实际上，我们是否许可并未可知。

　　“大数据风控公司保护好用户隐私，是没有问题的；如果对外售卖用户隐私信息，就有问题了。”从业人士介绍。

　　有私募机构人士对我们表示，对于金融科技领域合规风险，他们关注是否有用户的双向授权，服务商的客户是否持牌金融机构，因持牌机构对合规性要求最严，意味着风控服务商合规性更强。

　　值得一提的是，App的信息安全已经引起官方重视。今年1月底，中央网信办联合工信部、公安部、市场监管总局等四部门表态，今年将在全国范围内发起专项治理活动。严重违法违规收集个人信息的App运营者，将被依法暂停相关业务、停业整顿、吊销相关业务许可证或者吊销营业执照。

　　有专家建议，要从保护用户隐私角度，应该是临时授权，并且这在技术上实现起来并不难，但是很多App并未做到。

　　社长认为，数据对于老百姓而言即平凡又重要，随着用户安全意识提高，更应该从源头上解决问题。一旦数据泄露，要大幅提升违法违规企业的惩罚力度，还需制定App过度索权的评估标准和有力的监管体系，并健全救济机制。

免责声明：自媒体综合提供的内容均源自自媒体，版权归原作者所有，转载请联系原作者并获许可。文章观点仅代表作者本人，不代表新浪立场。若内容涉及投资建议，仅供参考勿作为投资依据。投资有风险，入市需谨慎。

责任编辑：张译文