“爬虫”凶猛,大数据风控平台“黑幕”调查
文|吕笑颜 石丹
作为现金贷风控的关键一环,第三方大数据公司在近几年可谓风生水起。但由于数据的授权、来源、用途十分不透明,导致的隐私侵权、数据滥用等问题越来越严重。
第三方大数据风控服务平台正“风声鹤唳,草木皆兵”。
9月16日晚,一篇名为《同盾科技爬虫部门解散,无意间掀起行业整治风暴》的文章在业内疯转,文章直指知名大数据风控平台——同盾科技有限公司(下称“同盾科技”)举报杭州魔蝎数据科技有限公司(下称“魔蝎科技”)与上海新颜人工智能科技有限公司(下称“新颜科技”),引发了这次大数据行业风波。
就在9月初,魔蝎科技、新颜科技两家大数据风控服务商相关人员被警方带走,随后第三方数据服务公司聚信立、杭州有盾网络科技有限公司(下称“有盾”)、北京天机数测数据科技有限公司(下称“天机数据”)等纷纷暂停爬虫服务。
9月11日,大数据服务商上海诚数信息科技有限公司(聚信立)被爆为积极迎合国家监管,暂停对外提供用户授权的运营商爬虫业务。
紧接着,公信宝的运营主体——杭州存信数据科技有限公司办公地被警方贴上封条。大概率是因为“爬虫业务和数据”。
9月12日,业界再爆天翼征信有限公司(下称“天翼征信”)的多位高管及员工被警方带走。
有知情业内人士向记者透露:“公安部门正开展数据安全的专项整顿,而这一切的根源则是7.14高炮、现金贷平台的催收案件调查。”
那么,第三方数据公司在其中扮演了什么角色?爬虫业务是如何“助力”催收乱象的?
目前,第三方数据服务公司纷纷暂停爬虫业务谨慎“观望”。什么才是第三方风控平台该有的健康的商业模式、未来行业如何良性发展等,仍有待监管与平台不断“磨合”。
“风控独角兽”深陷囹圄?
上述名为《同盾科技爬虫部门解散,无意间掀起行业整治风暴》的文章引述“同盾内部知情人士”的话,爆出“同盾科技爬虫部门集体待岗、同盾科技实控人兼CEO蒋韬出国避风头”等重磅内幕。
文章发布次日,蒋韬在公众微信号“智能风控联盟”上发布了《心存敬畏向善而行》一文进行回应。
对于文章所述之事,同盾科技相关负责人9月19日在接受《商学院》记者采访时表示:“该报道中涉及同盾的多处失实,原发文章作者已经自行删除,同盾创始人蒋韬也已经发布公开信表示‘心存敬畏,向善而行’,蒋韬先生一直在国内照常处理公司事务,一切业务正常开展。9月18日蒋韬在杭州接待富民银行到访,所谓‘跑路,出国避风头’已经不攻自破。”
该负责人还表示,“作为已经成为智能分析领域独角兽的同盾科技,在市场上产品和技术早已经有口皆碑,完全没有必要牺牲自己的羽毛做举报之事。一直以来同盾以领先、可靠的产品立足于市场,服务于客户,坚持良性竞争,任何时候均未考虑以不正当手段与友商竞争。”
不过,据某头部风控平台高层分析,“相比而言,同盾科技的业务风格比较激进。”
据企查查显示,同盾科技成立于2012年10月10日,为国内第三方大数据风控服务提供商。其中,蒋韬为法定代表人、创始人及高管。资料显示,蒋韬在取得复旦大学计算机软件和理论硕士学位后加入IBM全球化研究院,2009年加入阿里巴巴担任安全部技术总监,随后创立同盾科技。据官网显示,同盾科技入选了全球知名创投研究机构CB insights 2018年5月发布的全球Fintech“独角兽”榜单。
据悉,同盾科技子公司杭州信川科技有限公司(下称“信川科技”)旗下有数聚魔盒品牌。据公开报道,数聚魔盒是基于云平台、云计算、机器学习等技术,通过数据采集能力和数据挖掘能力,对用户进行风险评估,帮助企业客户深度剖析其用户的诚信画像。该报道还指出,凭借团队多年积累的爬虫技术经验,魔方产品的基础平台能够支持每天千万级的调用量,和上千个数据源的服务能力。
关于爬虫业务,以及爬虫部门已解散、该部门员工集体待岗等情况,相关负责人对记者表示:“信川科技自2018年开始已逐步调整业务,截至目前已全部停止相关服务。调整过程中相关员工均已正常调整至其他岗位,目前均正常工作。”
停业观望,爬虫助“现金贷”催收
对于此次行业风波,上述业内人士向记者透露:“公安部门正开展数据安全的专项整顿,而这一切的根源则是7.14高炮、现金贷平台的催收案件调查,这些案件的调查引起了他们对数据信息的注意。”上述头部风控平台高层透露:“此次事件主要是爬虫服务涉及的数据方面。其实在被查的几家公司里,只有魔蝎科技的数据几乎全是依靠爬虫技术,其他两家其实本身是有自己的数据的。”
据此,事发次日,魔蝎科技官网已无法打开。据多家合作机构反馈,他们与魔蝎科技的服务突然被终止,魔蝎科技提供的账号也已无法登录。
据企查查信息显示,杭州魔蝎数据科技有限公司成立于2016年1月,法定代表人为周江翔,注册资本1000万元人民币。其主要业务是提供精准营销模型、反欺诈、多维度用户画像、授信评分、贷后预警、催收智能运筹等全面风险管理服务。此前,曾先后获得MFund魔量资本、邦盛科技投资。
关于魔蝎科技被调查的原因,据多位业内人士猜测,或与数据抓取业务涉嫌侵犯隐私、助力暴力催收有关。
据官网显示,截至目前,魔蝎科技已为国内多家银行、保险机构、消费金融、互联网金融等超过2000家企业提供了相关金融风控产品和服务,累计服务用户数更是超过了1亿。
事实上,在2017年11月8日,文章《爬虫凶猛:爬支付宝、爬微信、窃取现金贷放贷数据》就对大数据行业的“同业爬虫”产品直接将其他现金贷平台的放款额和风控数据爬取出来做风控,显露出了担忧。文章甚至特别点名称魔蝎科技开发的“同业爬虫”产品是“窃取别人家的劳动成果,太野蛮”。
除了涉嫌利用技术手段侵犯用户隐私、买卖公民个人信息外;魔蝎科技还涉嫌自营现金贷业务,其对外投资了杭州信邦科技有限公司,后者曾发布现金贷产品信邦贷和现金分期云平台。
针对被调查原因、为现金贷公司提供风控服务时抓取的主要信息、运营状况及转型规划问题,记者试图联系魔蝎科技方面,不过,多个电话并未有人接听,记者向对方发去采访函,截至发稿,并未获得回复。
在魔蝎科技遭调查传闻不到一周,同业公司聚信立也被传遭警方上门调查。
据企查查显示,聚信立隶属于上海诚数信息科技有限公司,据官网显示,该公司成立于2013年7月,是专注大数据智能解决方案的服务商,主要为银行、保险、消费金额公司、贷款机构等提供智能风控、风险分析、信用分析、多头借贷、风控建模等一站式风控技术解决方案。
据悉,近日聚信立曾向商户下发通知称,为积极响应国家日益收紧的监管政策,保证所有商户业务运作的合法合规,聚信立将对现有的业务板块作出如下调整:2019年9月6日23时起,聚信立将暂停对外提供用户授权的运营商爬虫服务。
针对暂停爬虫服务的原因、为现金贷平台提供大数据风控服务时抓取的信息、此次风波的影响等问题,记者联系聚信立方面,不过,截至发稿,并未得到明确回复。
爬虫服务到底犯了什么错?
据百度百科显示,所谓“爬虫”其实是一个自动提取网页的程序,其按照一定的规则,自动抓取互联网信息并存储到自身数据库的程序或者脚本。在用户授权后,风控数据提供商可通过后台“爬虫”搜集信息,将通话信息、消费数据等互联网信息整合标准化,最终形成对借款人的综合评估,供金融机构做相应的后续决策。
在金融风控行业,爬虫业务曾被广泛使用。它可以帮助风控机构进行信息整合、勾勒人群画像,起到防范风险的作用。不过,有些机构却借此窃取用户手机号等个人信息,并服务于高利贷、暴力催收等违法行为,使得爬虫技术面临“是否经过用户授权、是否存在过度爬取信息、爬取到的信息用途不明”等诸多争议。
据上述头部风控平台高层表示:“其实,爬虫服务本身如果在客户充分授权的前提下是可以用的,但是因为像一些第三方数据平台使用爬虫时,他们的数据来源往往说不清。更加严重的是,这些由爬虫获取的数据,会被一些比较下沉的金融平台拿去做一些涉及暴力催收的事情。”
而此次聚信立等停业或被查的大数据公司,客户主要为消费金融机构和现金贷企业。
作为现金贷风控的关键一环,第三方大数据公司在近几年可谓风生水起。但由于数据的授权、来源、用途十分不透明,导致的隐私侵权、数据滥用等问题越来越严重。
据上述头部风控平台高层透露,爬虫技术一般所采集的信息包括:公开的第三方数据;抓取用户主动授权的个人基本信息、联系人信息、银行卡信息等数据;授权抓取数据,如设备号、IP地址、运营商/电商等用户授权后合规采集数据;经授权的平台数据,如用户在平台的历史借款、还款情况等用户已在注册协议或隐私协议中授权业务方进行分析的数据。
在他看来,目前爬虫数据不合法的行为表现在数据来源和数据用途方面,“数据来源不合法,就是在没有收到客户的授权的情况下去爬取这些数据;数据用途方面,就是爬取的数据最后通过什么渠道使用的,比如借助地理位置或联系人的信息进行催收。不断出现的暴力催收血案,也最终指向了这些爬取数据的公司。”
在监管态势逐渐趋紧的背景下,第三方大数据公司纷纷作出反应:目前,同盾科技、魔蝎科技、天机数据、有盾、聚信立、深圳白骑士大数据有限公司(下称“白骑士”)等多家公司都已经主动或被动地停止了相关“爬虫”业务。
据上述知情业内人士表示,监管或有意从源头整顿数据行业,90%的服务商都将暂停爬虫业务,即便能活下来也必须要转型,基本只能服务于银行和持牌玩家了。
第三方风控平台数据之困
按照上述逻辑,随着监管信号的不断释放,野蛮生长的大数据收集时代进入冷静期。那么,受到影响不只是独立的第三方数据公司,所有自身不产生数据而又高度倚赖数据的商业模式可能都将面临艰难的处境。例如,金融科技公司、人工智能公司等等。
模型没有了数据的持续“喂养”,又将如何迭代实现不断优化呢?
从长远来看,在缺少了上游数据服务商以及其所提供的数据服务之后,那些缺乏风控能力的中小现金贷平台、网贷平台们势必受到影响。
实际上,细查此次数据公司的合作伙伴名单,可以看到的是,目前他们的合作对象不仅包括现金贷、P2P平台,消费金融公司甚至全国性银行都已经在其名单之列。
那么,如何整肃现金贷爬虫技术涉嫌侵犯隐私的产业链?
在上述头部风控平台高层看来,应当尽快制定完善针对网络爬虫的数据安全法律法规,将网络爬虫引向合法轨道。若是违法进行网络爬虫,就要重拳出击,加大惩罚力度和侦查力度,涉及刑事犯罪的要重点处理。
在上述业内人士看来,未来监管环境会越来越严格,他说:“未来监管对于灰色地带的法律执行会更加严格,如必须获得用户的授权;授权必须是一次性的,不许插次和间歇等。其实,原本这块的法律就存在,只是执行单位没有较真,现在确实是认真执行了。下一步有可能出现类似于互联网金融协会,或者一些‘国家队’,由国家牵头,把大的实力比较强的头部企业拉出来,组成风控联盟,这符合中国的国情。”
不过,他认为这个过程是有阻力的,“按照现在的情况来看,最大的阻力是由谁来牵头、未来行业自律如何规范,这其中需要不断地博弈,如什么样的数据能用、授权到什么样的程度,这个平衡是很难的。”
据悉,近几年大数据风控市场主要有三类玩家:一是传统征信公司,如人行征信、鹏元征信、前海征信,为“国家队”;二是同盾科技、百融金服(全称“百融金融信息服务有限公司”,现已更名为“百融云创科技股份有限公司”)等新兴垂直类大数据风控公司,主要采集、整合各类基础数据进行大数据风控,为银行、互联网金融机构等提供风控模型和数据,并且逐渐积累了一些网贷数据积累;三是蚂蚁金服、腾讯金融科技以及度小满金融这类互联网巨头公司,主要基于自身生态链的电商、社交、搜索数据,形成风控产品和数据输出能力。
当前,P2P行业持续出清的过程中,各家企业都在寻求转型,随之而来的是风控服务的行业竞争将加剧。
在上述头部风控平台高层看来,在激烈的竞争中,数据服务商的核心竞争力还是数据,最重要的能力是获取丰富的数据源,以及构建精准的风控模型。因此,必须与各类拥有数据的机构建立深度合作,获取丰富的或者独家数据来源,才能屹立不倒。
那么,如今监管不断加强的态势下,想要随意地获取信息势必会越来越难,风控服务商们原本的商业逻辑是否需要转变?
据上述头部风控平台高层表示,实际上,目前第三方风控服务商的商业模式面临诸多矛盾之处。由于没有个人征信牌照,很多第三方风控服务商对外宣称不收集、留存客户数据,与其他机构合作仅提供风控模型输出。但是,好的风控模型需要不断优化,这需要掌握客户的多维度、大批量数据。因此,在未经客户许可的情况下,很多第三方风控服务商是没有资格查看个人客户的征信信息的,而这样风控模型就无法优化。所以说,部分风控服务商的商业模式值得商榷,需要进一步调整,否则政策风险较大。
那么,未来风控公司好的商业模式是什么?如何做到既符合监管标准,也符合科学的发展路线,有创新、既“利他”又“利己”呢?
上述头部风控平台高层表示:“好的商业模式,只有金融科技公司一方努力是不够的,以美国的市场为例,需要监管层、相关的法律法规来约束市场参与者的行为,包括服务使用方和服务提供方,同时,监管层需要对什么东西可用、什么东西不可用、该怎么用,都应该有一个明确的规定、要求,这样大家就可以在合规的情况下,在遵守游戏规则的前提之下参与竞争,这样才有利于市场的繁荣发展。在此基础之上,金融科技公司应该在框架约束之内,尽可能地探索、在技术上做一些创新,然后更有效地识别风险。”
近一两年来,P2P暴雷潮与互联网金融监管趋严导致第三方风控机构的客户数量锐减,它们已经逐渐将服务重心转移到银行等传统金融机构方面。不过,在上述头部风控平台高层看来,转型传统金融机构的前期依旧是有数据,他说:“跟银行合作,仍然需要用训练出来的这些数据产生评分,没有这些数据产生评分,银行业不会跟你合作。如果没有数据,那么只能输出技术,比如教银行怎么建模,这个空间是非常有限的。”
第三方大数据风控平台究竟要如何发展,《商学院》将持续关注。
责任编辑:赵子牛




热门推荐
意大利总理提议北约集体防御条款适用于乌克兰 收起意大利总理提议北约集体防御条款适用于乌克兰
- 2025年03月08日
- 01:25
- APP专享
- 扒圈小记
4,578
独家|华为正式组建医疗卫生军团
- 2025年03月07日
- 14:35
- APP专享
- 扒圈小记
3,241
特朗普:与乌克兰打交道更困难,他们已经“无牌可打”
- 2025年03月07日
- 23:37
- APP专享
- 北京时间
2,522

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)
投资研报 扫码订阅
股市直播
-
趋势领涨今天 00:27:08
=加入潜伏擒牛VIP,享四大顶级服务=【1】购买VIP自动加入私密小直播间!【2】每周3-5只超短金股调入调出服务,适合实时看盘的投资者!【3】每周一份高端内部绝密文章:包含近期布局、热点版块、指数预判!【4】每月2~3只高端中线金股服务!(VIP超短、中线个股均有涉足,让上班族也能跟上VIP节奏!)现月课7.5折,1288元!季课6.9折,3558元,续费季度更划算!新朋友可先月课体验!点网址,直接买,订购地址:【更多独家重磅股市观点请点击】【更多独家重磅股市观点请点击】 -
趋势领涨今天 00:26:42
人工智能是后期主要发展方向,这点没有任何疑问,人工智能板块的炒作也是后期主要热点,这点也没有疑问,但近期涨幅确实有点大了,树不能长到天上去,虽然后期还有行情,但短期也有调整的风险。该消息主要涉及的是AI+教育,前期也已经经过了多次炒作,所以,大家还是要注意追涨的风险。另外,骏利亨德森投资环球科技领先团队表示,近期减持中资科技股,将资金调回美股。这个信号也要引起大家的注意。三、美国2月非农就业人数略低于市场预期 降息预期降温美国2月季调后非农就业人口15.1万人,预期16万人,前值由14.3万人修正为12.5万人。数据公布后,美国短期利率期货下跌;交易员不再押注美联储5月降息。美国利率期货交易员现在押注美联储要等到6月才能重新开始降息。以前市场预期美联储将在12月份才有降息,随后提到5月份降息,现在美国2月非农就业人数低于预期,市场不再预期5月份会有降息,总之,美联储要降息时,公布的数据都是符合降息的;否则,美国公布的数据都是不利于降息。一句话就是美联储通过不断地恐吓,将资金留在国内,给美国服务,但美元指数的大幅回调,说明资金正在逃离美国,东升西落,美国正在进入衰退期,大摩将2025年美国GDP增长预测下调至1.5%,之前的预测为1.9%,这个应该也是信号。资金都是逐利的,只要有一小部分资金能够进入A股市场,A股今年出现牛市是可能的,但前提是内资不能天天砸盘!下周重要事件将要落幕,大盘应该会迎来震荡,但中期走势还是向好的,所以,大盘回调将是机会。今天是三八节,没有太阳、花朵不会开,没有爱、幸福不会来,没有妇女,也就没有爱,所以,妇女是爱的根源,也是爱的源泉,祝天下妇女三八节快乐! -
趋势领涨今天 00:26:37
昨天港股再创新高,港股这波走势确实很牛,港股恒生指数大涨超过32%,恒生科技指数大涨近50%,主要原因就是港股里面有国内科技股巨头腾讯、阿里等,而A股连上攻3400点的勇气都没有,主要原因就是量化资金收割,垃圾股太多,港股炒业绩,A股炒垃圾,这就是宿命!所以,我们始终认为,本轮炒作要盯紧港股,港股一旦见顶,A股必定见顶,只要港股能够继续上行,最终资金会流向A股,因为以前港股便宜,A股跟港股的逆差较大,但经过本轮上涨以后,A股跟港股的逆差已经大幅缩小,随着后期进一步缩小,A股就会变成低估了,所以,对今年的行情不悲观,但短期不会一帆风顺。一、华为正式组建医疗卫生军团据科创板日报,华为正式组建医疗卫生军团。据悉,医疗卫生军团将重点构建AI辅助诊断解决方案体系,推动医疗大模型在临床场景的应用。华为作为国内领军企业,不管走到哪个行业,都会引发大家的关注,华为+都将是行业龙头,比如华为算力,华为汽车等,现在华为组建医疗卫生军团,这就是华为+医疗,再叠加AI+医疗,后期医药板块会迎来机会,当然重点是跟AI对应,比如医疗、创新药方向等。二、北京:从2025年秋季学期开始 全市中小学校开展人工智能通识教育北京市推进中小学人工智能教育工作方案发布,从2025年秋季学期开始,全市中小学校开展人工智能通识教育,每学年不少于8课时,实现中小学生全面普及。学校可将人工智能课程独立设置,也可与信息科技等课程融合开展。 -
趋势领涨今天 00:26:34
大家早上好!趋势为王,做股海的领航者,新的一天,新的战斗,欢迎你来到本直播室!新进的朋友请注意点赞,收藏本直播室,以方便你下次观看,谢谢大家的支持!【更多独家重磅股市观点请点击】 -
趋势领涨2025-03-07 23:56:04
晚间重大消息:1、美国2月非农就业人数增加15.1万人,不及市场预期;美国2月失业率为4.1%,预估为4%,前值为4%。2、高盛将美国2025年GDP增长预期从此前的2.2%下调至1.7%,摩根士丹利则从此前的1.9%下调至1.5%。3、美联储主席鲍威尔表示,美联储不需要急于调整利率;特朗普政府政策影响的不确定性仍然很高;不会对一两项超出预期的经济数据做出过度反应。4、美股三大指数集体收涨,道指涨0.52%,本周累计下跌2.37%;纳指涨0.7%,本周累计下跌3.45%;标普500指数涨0.55%,本周累计下跌3.1%。热门中概股多数收涨,纳斯达克中国金龙指数涨0.47%,本周累涨4.93%。15、WTI原油期货结算价涨1.02%,报67.04美元/桶,本周累计下跌3.9%;布伦特原油期货结算价涨1.19%,报70.36美元/桶,本周累计下跌3.36%。 -
数字江恩2025-03-07 09:44:18
简单来说,3384后已经震荡了2周时间了,再震荡主要也就是下周一二而已。所以下周前半周关注3336+-10区间支撑,只要不跌破,大盘还会继续向上运行。 -
数字江恩2025-03-07 09:44:12
30分钟图来看,15分钟级别的abc只是将大盘拉回了前三角形的轮谷线位置,而宽幅震荡则是在红色轮谷线下的横盘震荡箱体。下周5分钟图的3336+-10只要不跌破,那么横盘震荡完毕,大盘必将站上红色轮谷线。至于站上红色轮谷线后的首轮高度,下周末再说不迟。【更多独家重磅股市观点请点击】 -
数字江恩2025-03-07 09:44:00
这是3384之后的5分钟震荡结构,简单来说,下周出还可以有震荡,但是不应该明显超过图上第一轮的回踩,即第一轮最低点3337不应该跌破超过10个点了,3336+-10支撑,也就是不有效跌破5周线,这个震荡结构都将要完美而开始新的1上涨。【更多独家重磅股市观点请点击】 -
数字江恩2025-03-07 09:43:47
首先看15分钟图,对前3494的下跌,核心图上蓝色轮峰线不应该再次跌回,本周四拉起来后,以纪念馆不再是问题。预期3140后运行abc+宽幅震荡+12345的结构,目前宽幅震荡并未超出限制,便5分钟图看震荡细部结构。【更多独家重磅股市观点请点击】 -
数字江恩2025-03-07 09:43:25
板块来看,本周变化较大,没有持续性热点。工业母机、部分机器人(sz300024)细分如减速器相对来说持续性较好,其余的板块都是涨涨跌跌。