数据公司接连被查 多家平台仍高薪招聘爬虫工程师

数据公司接连被查 多家平台仍高薪招聘爬虫工程师
2019年09月22日 14:06 新浪财经-自媒体综合

  来源:趣谈公社

  在这场数据公司的行业地震中,多家知名公司被查,但自建爬虫工程师团队的企业,他们获取的信息是否合规使用?

  虽然数据公司纷纷公开表示,暂停该服务,但仍有多家互联网公司,金融科技公司自建爬虫服务团队,他们在这场行业肃清风暴中处于什么位置?在此之前,小米金融,京东金融等都被爆出涉及到个人信息泄露的问题。

  BOSS招聘信息显示,连连支付、百融、小米金融、邦盛科技等仍在高薪招聘爬虫分析师。

  在岗位描述中显示,“进行多平台信息的抓取和分析等。”且也给出了30K左右的薪资。

  根据多位行业内人士观点总结,大数据公司的爬虫服务主要用于,向金融机构以及类金融机构提供协助贷款平台进行展业获客,以及催收服务。

  爬虫工程师招聘需求高

  杭州魔蝎数据科技有限公司(以下简称摩羯数据)、新颜科技人工智能科技有限公司(以下简称新颜科技)被查后,快钱支付、天翼征信等也传来被调查的消息。

  在此背景下,服务金融机构以及类金融机构的第三方数据公司,接连发布公告暂停爬虫运营商服务。

  有盾喊停运营商报告业务;上海诚数信息科技有限公司(聚信立)也向商户下发通知,停止对外提供用户授权的爬虫服务。

  此外,根据某自媒体报道,传统银行互金部总经理就提出,应果断停止,或审慎开展与爬虫类技术服务公司的合作项目,清查行业涉及外部资产数据源合作的所有资料,防止恶性事件传染。

  但从招聘网上信息来看,爬虫工程师仍然是各大企业的香饽饽,比如欢聚时代、百融等企业依旧在招聘数据爬虫分析师。

  爬虫工作属于数据分析工作,高薪对人才吸引力度大。Boss直聘《2019年一季度人力吸引力报告》报告显示,市场回暖,人才需求同比增长31.8%,推荐算法工程师平均薪资近4万元。受资本市场波动影响,2019年Q1互联网、IT软件和金融行业的人才吸引力指数环比分别下降2.5%和3.7%。

  对于岗位来说,人工智能与大数据相关岗位人才吸引力依然占据前列。

  实则,社长了解到,爬虫工作对于程序员而言,门槛不高,刚入门的程序员就能通过培训掌握技能。据悉,爬虫数据主要就是通过一些自动化代码去网上抓取一些信息回来,整理成可以使用的数据。基本一个程序员,学几天就搞定了。掌握ETL这种比较简单的或者web相关的可以转。

  社长还发现,部分互联网公司仍在公开招聘爬虫数据师。比如,邦盛科技、黑瞳、国美金控、小米金融、搜狗、去哪儿网、汽车之家等仍在高薪招聘爬虫分析师。

  爬虫技术本来无可厚非,技术无罪,然而技术被用以在不当的方式,则将带来相反反向效应。比如,我们可以看到移动金融App通过捆绑甚至强制获取的方式,要求用户一次性同意多项敏感权限。不同意就不能继续应用软件,但是同意以后,就可以过度开发用户数据吗?

  据媒体报道,天机、葫芦数据、白骑士等其他大数据风控服务商已暂停运营商数据服务,百融云创、鹏元征信部分服务无法使用。随着服务商暂定应用服务,也将对“超利贷”“714高炮”迎来行业巨震。

  业内人士介绍,智能风控对于数据而言并非必要条件。相反,智能风控离得开数据,那么企业滥用数据,应用数据开发又为何?

  贷前贷后应用爬虫服务

  所谓运营商爬虫服务,是在用户授权账号的前提下,登录用户的运营商账户,抓取一些手机卡过往使用情况的信息,包括使用时长、常用联系人、套餐信息等,以此验证机主的真实性来做风控。

  这类第三方数据服务商玩家众多,百融云创、第四范式、氪信科技、云蜂科技、智帆金科、通付盾等都在此领域深耕。

  事实上,大数据风控公司数据来源大致分为第三方机构授权;是关联公司/场景数据;以及通过爬虫业务获取。

  爬虫架构工程师几乎是所有互联网技术公司、数据公司、咨询服务服务机构的标配,市场需求量很大,且大多薪资不菲。那么分析师爬到的数据究竟都做了什么?

  现金贷从业人士告诉社长,行业肯定存在数据泄露,拿到数据就等于找到了目标客户,通过群发短信,来间接获客。

  也有从业人士告诉社长,除了第三方外,企业内部爬虫都是服务自身业务分析,或者是用来做竞品分析及数据咨询服务。

  另一位从业人士认为,爬虫使用的数据没有泄露给第三方就不算是泄露隐私。他指出,爬虫如果按照robots协议,抓取的是网络上公开的消息(像百度爬虫一样),那么这种爬虫行为是符合规范。

  但一直被质疑个人信息泄露。就在今天下午,社长在某个地铁站口的星巴克刷卡支付买了一杯咖啡,手机里的知乎广告马上给就给我推送星巴克;用手机浏览器搜索了一下去杭州的高铁票,不到一分钟就接到了同程旅游的广告。

  如果说是巧合,反正我是不信的,在大数据公司面前,每个人都在裸奔。

  爬虫爬的信息说起来主要都是个人的基本资料和一些选择。但是实际上,我们是否许可并未可知。

  “大数据风控公司保护好用户隐私,是没有问题的;如果对外售卖用户隐私信息,就有问题了。”从业人士介绍。

  有私募机构人士对我们表示,对于金融科技领域合规风险,他们关注是否有用户的双向授权,服务商的客户是否持牌金融机构,因持牌机构对合规性要求最严,意味着风控服务商合规性更强。

  值得一提的是,App的信息安全已经引起官方重视。今年1月底,中央网信办联合工信部、公安部、市场监管总局等四部门表态,今年将在全国范围内发起专项治理活动。严重违法违规收集个人信息的App运营者,将被依法暂停相关业务、停业整顿、吊销相关业务许可证或者吊销营业执照。

  有专家建议,要从保护用户隐私角度,应该是临时授权,并且这在技术上实现起来并不难,但是很多App并未做到。

  社长认为,数据对于老百姓而言即平凡又重要,随着用户安全意识提高,更应该从源头上解决问题。一旦数据泄露,要大幅提升违法违规企业的惩罚力度,还需制定App过度索权的评估标准和有力的监管体系,并健全救济机制。

免责声明:自媒体综合提供的内容均源自自媒体,版权归原作者所有,转载请联系原作者并获许可。文章观点仅代表作者本人,不代表新浪立场。若内容涉及投资建议,仅供参考勿作为投资依据。投资有风险,入市需谨慎。

责任编辑:张译文

热门推荐

收起
新浪财经公众号
新浪财经公众号

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)

7X24小时

  • 10-14 渝农商行 601077 7.36
  • 10-10 米奥兰特 300795 --
  • 10-09 八方股份 603489 --
  • 10-09 交建股份 603815 5.14
  • 10-08 佳禾智能 300793 --
  • 股市直播

    • 图文直播间
    • 视频直播间