鲍忠铁：TalkingData大数据技术与应用实践

转自：36大数据

33页完整版PPTX下载：请点击底部“阅读原文”

3月6日下午14：00，由36大数据主办『大数据应用与实践』主题沙龙在北京中关村创业大街3W咖啡成功举行。来自国内外上百家多家大数据企业代表参加了本次活动，并针对大数据商业应用问题展开了激励的讨论。

活动现场，TalkingData首席布道师鲍忠铁先生为大家做了《TalkingData 大数据技术与应用实践》的分享。

鲍忠铁先生的演讲主要是从大数据技术架构开始的，他说，数据科学是将数据转化为行动的艺术，不同人的视角将带来大数据不同的商业模式。他绘声绘色地为大家介绍了TalkingData旗下产品TD DMP 3.0的逻辑架构和整体技术架构。他说，企业正在从产品为中心转向以客户为中心，而移动互联网正在成为线上商业的主流，移动App已经成为客户和数据的入口。他为现场的朋友揭开了移动大数据的神秘面纱。

下面是详细的报道及PPT图文直播。

今天很开心在这里跟大家分享有关TalkingData大数据的理念和实践.

数据科学是什么呢？这是现在非常热的词，数据科学有很多的解释。

Data Science is the art of turning data into actions. This is accomplished through the creation of data products, which provide actionable information without exposing decision makers to the underlying data or analytics (e.g., buy/sell strategies for financial instruments, a set of actions to improve product yield, or steps to improve product marketing).

但是现在有一本书对数据科学的解释，我们TalkingData认为是最恰当的，并且这本书也成为我们公司的必读书。

如果你从事大数据产业，你一定要读《Data Science》。大数据对数据产业推动的意义，大家看这本书，因为我今天主要分享我们的经验和案例。

Data Science touches every aspect of our lives on a daily basis. When we visit the doctor, drive our cars, get on an airplane, or shop for services, Data Science is changing the way we interact with and explore our world.

数据覆盖了我们生活的方方面面，特别是移动互联网时代到来之后，传感器遍布所有的环境。在我们不知不觉的情况下，所有的数据通过传感器已经到了某些大数据厂商的手中。

数据、技术和系统，我想从三个角度看，大家对数据的看法。世界上只有四种数据，大家可以想像，你认为有第五类的数据也可以。做数据的人和做技术的人、做开发的人和做应用的人他们的视角是不一样的。做数据的人他想数据是什么形式进来的，是小批量进来的，还是大批量进来的。做技术的人想我怎么处理这些数据，怎么存储这些数据。做应用的人想这些数据能帮我做什么，这些数据到底对我有什么商业价值，这些数据对我的业务有什么应用场景。因为我不是做数据的，我不会从数据的算法和模型角度，也不会从数据存储和计算的角度出发。我今天分享的更多是从应用场景的角度出发。

数据科学的成熟度，最初是收集数据，收集完了数据以后我们描述这些数据，然后做一些数据挖掘和数据发现。最后做一些预测，整个大数据产业中，最后是做一些决策。现在在整个链中做的最好的、成熟度最好的是IBM在整个大数据行业，我们谈到了AI。大多数中国的企业还处于这样一个阶段，就是预测的阶段。大家把自己的数据收集起来，把它打成标签，打成标签之后做一些关联分析，看看有没有一些相关性，有没有一些数据场景的应用。至于预测和我们的决策，现在做的还不够，未来还有很大的空间增长。

刚才从数据的角度和技术的角度、应用的角度看数据的三个层次，这是比较早的数据架构。但是TalkingData在技术和数据处理方面是行业里面最好的。因为我们大概有2PB的数据，我们有数据科学家和自己的开发团队，我们有好的环境，各种算法、各种模型和各种计算。技术都可以在这个环节验证。我们也探讨了自己独特的技术，我们也有一些自己的技术专利，我们有数据科学家讲一些有关数据挖掘、模型建设和数据处理的知识，以及数据处理的流程和算法。

刚才肖总（数据堂联合创始人/副总裁肖永红先生）也说了，大数据企业最核心的还是技术。数据是我们TalkingData的信仰，但是技术是我们实现这个信仰的工具，应用是我们带给所有企业的价值。

回到主题来，今天主要跟大家分享数据应用场景以及我们对数据的信仰。互联网公司在过去几年一直处于行业领先的地位，到处都是发现互联网公司对传统行业的挑战。互联网公司它最核心的价值是什么，我在公布答案之前请大家再想想。其实它最核心的就是知人性、办人事，所有的互联网公司特别了解用户的体验，包括BAT，百度90%的收入都来源于广告，阿里可能有70%左右，腾讯稍微差一点可能有40%到50%左右。

这些企业它为什么有这么大的广告市场，就是因为它有用户，它为什么有这么多用户，就是因为它有这么大的流量，它为什么有这么大流量，因为它有这么多渠道。最核心的东西它把数据玩的很转，它通过数据了解了人性、了解了你的需求、场景，它通过这些转化成流量。

我们一直跟合作伙伴、客户和朋友分享，人将会成为企业的中心。在移动互联网时代到来之前，产品是企业的中心。比如说企业生产一个产品的时候或者我发布一个产品的时候，我开个小会找产品或者是找个专家推到市场上，这个产品获得了很大的收入，这样的话公司业绩增长了。但是现在不行了，现在所有的人分化的特别厉害，每个人特别追逐个性。所以说在过去的年代里，我们会看到很多人穿同样的衣服、同样的鞋，喜欢看同样的电影，喜欢看同样的书。但是现在人群分化了，每个人的兴趣和每个人群的需求都不同了。

如果企业还是以产品为中心的话，你只能面向这几百人中的一个。但是你以人群为中心的话，你面向的将是所有的客户，所以我们是以人群为中心经营你的客户。

未来的世界是属于谁，可能不属于我，属于80后和90后，这两个人群加在一起在中国有4亿人口，这些人是整个中国未来主要的财富拥有者和财富的消耗者。所以说所有的企业在你的产品战略上、市场战略上、营销战略上和销售战略上，还有你的客户服务战略上，你要围绕这群人80后、90后进行设计，这时候数据分析往往会带来你更多的发现。

我们去银行的网点和其他的网点看，特别是到商场。发现年轻的客户很少到网点办业务了，到网点办业务大多都是45岁以上的，这些人去哪里办业务呢？都是通过APP办业务。我们认为移动互联网成为整个线上商业的主流，2015年11月11号结束之后，各家电商公布了自己整个电商销售的总额，从各家公布的数字可以看出，现在在整个电商行业，移动互联网整个销售占比已经达到70%，阿里稍微低一点是68%，京东已经超过70%。所以说未来移动互联网是所有在线商业的主流。

既然移动互联网成为在线商业的主流之后，我们会看到一个人他的衣食住行、教育、投资、旅游，整个人所有消费的行为、投资的行为都被APP包围了，这些APP有90%是客户嵌入了SDK为我们提供数据。我们认为移动APP已经成为整个客户和数据的入口，如果一个企业想接触到他的客户，在过去你可以通过你的线下网点，可以通过在线的广告。但是在未来，你的APP就成为你接触客户唯一的入口。所以说大家如果做企业可能会把重心移到移动互联网上。

现在整个宣传部已经让很多媒体集团要求做纸制媒体的，像报纸、晨报要求他们强制上移动互联网，因为他们发现年轻人的阅读习惯已经改变了。最牛的计算机世界，最高峰的时候一个月发行量有十万，现在只有几千了，这是一个时代的变迁。

既然APP成为所有的数据和客户的入口，移动大数据它可以做什么？它有什么商业价值，它怎么帮助企业洞察客户，这是我们可以看到的。首先移动大数据有几类数据，一类数据是传感器数据，大家用iPhone有六个传感器，三星有八个传感器，当你打电话放到耳朵边的时候屏幕暗了，三星的数据未来会成为主流。所谓的物联网其实也是三星的数据。

还有线下聚集的POI数据，你去星巴克代表你愿意喝星巴克的合肥，你吃川菜，你去旅游代表你的个性爱好，还有一些移动渠道，看你你经常看今日头条、E点资讯，还是网易新闻，还是用户特点，你是愿意社交、电商，还是玩游戏，所有都是移动大数据可以揭示出来的应用场景或者是特点。根据其他的场景，再结合移动大数据，可能会产生一些商业的价值应用，这个在探讨，也在应用。

我们既然讨论数据，移动大数据可以从这几个纬度看洞察用户，包括你的行为、兴趣、消费、职业、品牌、消费层次，这些都可以进行一些预测，描述你一个人的特点。

花两分钟做一下广告，可能大家都清楚TalkingData，但是就我的职业而言，我还是要介绍一下TalkingData。现在我们有海量的数据覆盖中国28亿智能设备，包括手机、手环、电视和其他的智能设备。实际上我们从后台看到月活大概只有十几个亿，基本上手机的寿命在过去两年中，我们统计大概是24个月，去年我们发现从24个月变成了18个月。对于90后已经变成了12个月，手机的生命周期衰减是非常快的。

我们覆盖中国TOP APP100覆盖了30%，IOS游戏中我们覆盖了40%，我们有10万款应用，我们每天上传10TB的数据，有600多个新增的标签，我们会为一些客户提供具有价值标签的数据。我们有工具，统计分析平台、广告检测、推送、大数据管理平台，其实我们还有可视化的Mpush。

所有的工具可以为金融企业或者是其他的企业地产、零售进行私有化部署。因为金融企业对数据的敏感度隐私把握比较强，它不希望数据上云，所以我们对他们进行私有化部署。我们可以提供大数据采集处理和分析变现的工具。

最后，我们在过去的一年中，实际上我们发现，我们把标签数据跟客户打通之后，把工具给客户了。但是发现它不像移动互联网这些人会玩数据，他不懂，它的工具就能用20%的功能，它根本不知道LTV、WAU这些词是什么意义，他根本不知道从数据分析跟商业价值之间有什么联系，哪些数据是它的KPI，哪些数据可以预测它的商业增长或者是预测它的商业衰落，这时候我们发现我们需要帮它。我们从大概从产品、渠道、用户、内容几个方面帮他们做移动咨询，帮他们做运营，用我们的数据、工具、人才深入到它的业务里面帮它做数据分析，帮他做建模，帮他做业务提升，并且已经取得了成效。

大部分做移动咨询的人来自于移动互联网游戏公司，大家知道游戏公司和其他互联网公司的特点是不一样的。其他的互联网公司靠用户的积累，靠流量变现。手游公司或者是游戏公司完全靠流水，完全靠付费，完全靠用户在游戏里面花钱。所以他们对用户的体验是非常关注的，如果一个手游游戏，我们有一个421的定律，一个手游游戏不在两个星期之内拿到一百万的用户，你基本上会死掉。如果一个手游游戏，隔日的留存里低于20%你也要死掉，所以说用户的经营对游戏公司来讲是非常重要的。

除了我们的数据平台咨询之后，我们有自己的方法论，大家还可以看一本书叫《精细化分析》，这本书会介绍海盗法则，我们2012年把海盗法则引入到中国。实际上我们到传统企业看了之后，除了3A3R之后我们也提出了商业意识的领域。

所以说我们利用3A3R论帮助所有的企业向移动互联网进军玩转移动互联网，这个时候我们发现很多企业，包括传统企业，我们面临了以金融、地产、零售、商旅、航旅，他们不知道他的日活多少是好的，他不知道留存率多少是好的，他不知道月活和年活，我们会在未来找一些典型的企业帮他们做行业的白皮书。有了这些标准和行业白皮书会指导这些企业怎么引导客户，这是我们的专业咨询服务。我们可以做战略，可以做运营，也可以做数据运营。

这是我们过去做的成果展示，经过三个月的时间，通过我们的数据分析、运营和实际建模，以及通过我们的活动策划，以及通过我们的APP测评、用户体验的提升，对整个企业有一个非常大的提升，在用户、渠道、产品和跨界合作活动中有这样的价值。TalkingData的愿景让所有的企业包括互联网企业了解数字化运营的环境，了解如何用数字来提升它的业务，了解它的应用，来洞察它的客户，这就是我们的愿景。

刚才也提到了，在客户跟企业之间，过去是直接联系的，现在隔了一个墙，这个墙就是移动APP或者是移动互联网，我们就是移动互联网的大数据服务提供商。我们帮所有的企业提供工具、数据、人才和其他的服务。

最后我们帮助企业洞察客户，触达客户和经营客户，这是我们帮企业带来的价值。我们在经营客户中基本每个单子都是百万以上的，这是我们去年一年做的。这是典型的客户案例，某信用卡中心某个APP，这个APP经过我们的数据和工具、运营咨询以后，它现在已经成为金融行业的TOPAPP，它的可活可以达到330万，装机有1000万，每个月给企业创造的净利润是两个亿，这经营好APP带来的商业价值。

接下来我跟大家再分享一下，我们认为数据在哪些场景，在哪些应用上可以给企业带来价值。一是老客经营，在精益分析这本书里面，我们看到线上的获客成本从四千块变成八百块，就是老客经营和新客获取。如果你数据用的好，你可以提高精准营销，我们帮助一个直销银行获客，在没有数据的时候一万个设备只有38个设备转化成客户，有数据以后第一次是380个，第二次是450个，整个转化率会提高10倍，这个30倍不是我们的案例，30倍是搜狗自己对外宣称他的精准营销的提升率可以达到30倍。

精准营销跟大家分享一个经验，精准营销转化率达到5%，如果你想提升到7%、10%甚至是20%，这时候你的广告投入是前面的几倍，如果大家做数字推广和数字转化营销。如果你得到5%的客户转化率已经是最好的了。包括我们看到亚马逊的推荐引擎，包括我们看到阿里淘宝推荐引擎，包括我们看到百度搜索推荐引擎，它们的转化率也就是6%到8%之间。

最后一个是跨境营销，数据分析可以看到客户在其他领域的兴趣爱好，利用这种兴趣爱好进行跨境营销，这是信用卡和游戏之间的跨境营销，互相导流，互相带用户，最大的价值不是说给游戏带来了多少个用户，给信用卡增加了多少用户，最大的价值是激活了40%的休眠客户，休眠客户的价值对企业来讲非常高。包括我们所谓的四大国有银行或者是五大国有银行，休眠客户占比基本上超过了1/3，有的可能会超过50%，APP的月活只有40%。

另外一个场景是市场调研，过去的市场调研包括我们做人口统计，过去我们国家做人口统计的时候都是在每个城市找一些典型小区，找几千人做一些样本，做一些采集。根据样本的数据推测整体的数据，包括你的收入、年龄构成、家庭人口、教育程度，以及整个家庭资产，过去都是小样本的。在大数据时代，我们已经有这种能力和技术实现全样本量的采集，通过全样本量的采集，我们做市场调研不会像以前发那么多问卷，我们可能会短时间内收集到很大的样本，经过计算以后，得到一个更接近真实全量数据的统计信息，大家有时间可以到TalkingData上看一下行业分析报告，这是过去所有做市场调查的公司所不能达到的。几个亿的样本和几百万的样本，你得出来的信息和真实度肯定是不一样的。

剩下的是行业洞察，我们讲一个案例，我们发现我们挑了五加在纳斯达克上市的移动游戏公司，我们用它的日活做了一个趋势，做了一个K线，两个K线一比，基本上相关率达到80%。但是最核心的东西是我们用它的日活率做的K线，我的曲线和股票表现的曲线有80%的相关度，并且比它提前量天预测股票。

另外，我们也会做一些企业的估值，比如说我们在移动互联网企业，很多并购，包括我们知道的美团和大众点评、携程和去哪儿，他们会到我们那里做一些净调拿一些真实的数据。我们也会跟市场调研机构成立一些基金，做智能手机行业的洞察报告，我们也做行业分析，这就是数据利用全样本或者是接近全样本数据或者是大样本数据我们能找到真实的数据。

还有一个是数据在房地产的应用，过去有些数据到三线城市做房地产的开发，当地政府非常希望他来开发，这时候他把户籍人口做土地价值最重要的参考。实际上企业开发好房子之后发现，这个地方是人口导出的地方，很多人在旁边的镇上已经按落落户，三十万人口可能留守的只有十几万人口，他开发的房地产根本卖不出去。这个时候如果用我们的解决方案，我们可以看到这块区域每天会进来多少设备，每天会出去多少设备，每天留在这里沉淀了多少设备，这些设备的标签，它的收入、消费、爱好、画像，通过这些信息可以影响土地的决策和土地购买的方式，我们已经跟很多房地产厂商合作，也跟一些规划院合作。

包括利用这些数据可以做商铺的规划，这个小区到底是以年轻人为主，我是以娱乐多一点，还是以餐饮多一点，通过数据可以告诉企业。然后是社区O2O打通，这是万达提出来的，在过去所有的房地产房子卖完之后卖掉了赚差价，这个小区里面有几十万的用户，这些用户其实也是非常大的金矿。我可不可以通过社区旁边的商户打通社区的O2O，比如说你去美容、健身和看电影的时候通过APP预定，你吃饭的时候也可以通过APP预定结帐，整个消费场景用APP打通，我有数据可以给商户贷款，我研究用户可以帮助商户推荐广告，这是社区O2O的打通，现在所有的商业地产都在做这件事情，包括我们知道碧桂园、恒达、万达、万科都在做这些事情。

这是选址，大家比较清楚，ATM、连锁店铺、连锁的酒店，最典型的是肯德基和麦当劳，安排八个人看一个星期，看客流量，最后统计一下如果周客流量超过十万，我就在这里办个点，麦当劳更很。现在有大数据，你可以通过大数据判断，在这个十字路口每天有多少设备流过，这些人的消费能力，他是外来的，还是本地的，他愿意吃什么口味的，他的年龄分布，然后来决定你办不办这个点，开不开这个连锁店。

最后是银行，大家知道这几年经济形势不太好，银行是走下坡的，他们的坏账率比较高，这时候它所有的战略中心要向移动端转移，要向零售金融转移。它要经营好客户，它要发展手机银行、直销银行，发展移动战略，它需要知道它的客户消费倾向和消费的爱好，这时候用我们的数据结合它自己的数据。在解决大数据应用的时候，中国最好的数据，就是在政府，其次是在运营商，其次在BAT，所有大数据应用场景，最好的数据就是第一方的数据。因为第一方的数据跟业务的结合度非常高，用银行的数据，其实我们结合外部的移动数据可以洞察到它的用户，找到它潜在的用户。

我举两三个场景，有一些是国内的，有一些是国外的，有一些信用卡公司，它想发白金信用卡，这些人都比较高端，他怎么找到这些白金信用卡呢？他采取数据的输入跟别人合作，如果这个人坐了一个航空公司的飞机，过去一年之内飞了三次国外，并且坐的是头等舱，我给他发白金信用卡。他跟自己的数据分析，发现在他的银行里面有很多人交了很多的物业费，比如说他交三千块钱以上的物业费，这些人在银行存款很低，说明有高资产的人群其实没有把钱存到他那里，他找人营销把资产拿过来。包括民生银行的阿拉丁就是典型的数据库营销，他可以根据外部的数据结合，银行现在正在面临很多互联网金融的挑战，很多银行的客户第一天发孔子，第二天把钱转走了，这些钱干吗去了？他结合我们的数据发现，有一批人他的钱一到工资卡账户上之后第二天转走了，接下来两三天他的余额宝特别活跃，说明他把钱从银行的环境中转到互联网理财，他用直销银行的产品比余额宝两倍的利率吸引他，把钱再从外部的互联网金融的平台再吸引到银行里面。数据的结合加上场景，可以帮助银行创造一些业务收入。

民生银行的阿拉丁是我们在银行里面看到比较好的商业应用的动态，蒲公英上线不到一年给他增加了将近400亿的存款，增加了100多亿的贷款。我们的数据其实也可以帮助银行找到消费人群、旅游人群和潜在购买房人群。

在互联网金融、消费金融，所有的信用损失60%以上来源于恶意欺诈，占了整个互联网金融或者是消费金融损失的一半以上。这些恶意欺诈已经成为了产业，过去羊毛党已经成为一个产业，恶意欺诈已经成为一个网络犯罪的产业，这些人会在淘宝上花五十块钱买真实的身份证号、真实的手机号，去各个金融互联网站注册骗贷款。

这些人有几个特征，第一个特征是团伙作案，他可能聚集在一个小区里面，同时在几个网站上借款，一旦成功以后就撤离小区。第二个是这些人他用于诈骗或者是欺诈的手机设备，跟它生活的手机设备是分开的，它的手机设备上只会装借款端，会装一些密码破解软件，他不会装自己的微信、游戏和新闻客户端，这是一个特点。

另外他会用虚假的信息，比如说我是北京国贸工作的员工，其实他根本没有在那里出现过。所有这些信息，其实利用移动大数据，我们是可以帮互联网金融公司，帮信用卡公司去做一些反欺诈的检测，这个已经在我们的客户那里得到应用，我们的数据帮他们做一些反欺诈的侦测。但是我们的数据只是他反欺诈的收入，它会有更多的数据。

再跟大家分享一个大数据隐私的问题，你拿了我的信息，在我不知情的情况下如果出卖给第三方是不是侵犯了我的隐私。如果是这种情况一定是侵犯了隐私。我们看在中国谁有最敏感的信息，有一个叫芝麻信用的公司它有最敏感的信息，它有你的手机号、家庭住址、收入、家人的信息。

但是如果他在你授权的情况下，使用这些信息的话，比如说你去贷款，你去互联网消费公司贷款，你去信用卡公司贷款或者你去住旅店、办签证，你都需要用芝麻信用做你个人信用的评测，这个时候是在你授权的前提下，芝麻信用调用你的信息给了你为你提供的商户、服务商或者是金融机构，在这种情况下是不侵犯隐私的。所以说我们把大数据隐私做一个界限，如果在消费者授权的情况下，你在外面的数据被有资质的机构，比如说做征信的公司被用到的不算侵犯隐私。但是你的隐私数据没有得到你的授权，被别人卖掉了或者用作商业用途，这种情况严重的侵犯个人隐私，我今天的分享就到这里，谢谢。

33页完整版PPTX下载：请点击底部“阅读原文”

▌专题：

点击蓝色字标题即可阅读全文