>>分享SPSS,Hadoop等大数据处理技术,以及分布式架构以及集群系统的构建 书籍支持  卫琴直播  品书摘要  在线测试  资源下载  联系我们
发表一个新主题 开启一个新投票 回复文章 您是本文章第 19165 个阅读者 刷新本主题
 * 贴子主题:  一套可复用的方法论!从0-1搭建数据团队,看这篇就够了 回复文章 点赞(0)  收藏  
作者:Jacky    发表时间:2020-05-31 03:10:12     消息  查看  搜索  好友  邮件  复制  引用

  希望你能看到文末,不会让你失望的!
毋庸置疑数据会是企业未来经营发展的一个中枢。

企业发展数据需要人和团队,试想如果让你在公司从0-1组建一支数据团队,你会怎么做?

可能大家已经开始盘算着要招多少人,需要什么人才,什么平台技术,要做哪些IT规划,梳理哪些指标…

我曾经见过一家公司,从原先的IT部拉了几个人成立了数据团队,新团队想快速找到自己的价值,于是就承担了公司的报表分析工作。

一做就是大半年,过程中发现数据采集不全、数据口径不一等底层问题,开始着手规划数据治理和数仓搭建工作,但适逢行业经济下行,公司要降本,高层以“看不到产出和价值”为由直接缩编,尽管据理力争但高层怎么也等不及了...

大家可能会觉得这是很现实的问题,数据这个新兴团队高处不胜寒,没有几个公司的高层能真正理解数据的价值,数据的产出又很无形,组建团队采购技术又需要很大成本。所以说初创数据团队不是件容易的事,没有策略的推进很容陷入被动。

           点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小

          那么如何从0-1搭建一支数据团队,本文以自身经验分享。需要4个阶段:明确团队定位、设定阶段性目标、团队搭建、着手IT数据规划。

明确团队地位

1、确定数据团队的短、中、长期价值定位

数据团队可能就是一个纯粹的知识部门,他们的业务支持就是提供报表,通称“表哥表姐”,他们只需要给管理层和业务提供报表和报告就好了,这时候数据团队的定位就是扮演支持的角色。

很多leader觉得报表的工作平平无奇,报表要做但不能长时间只做这件事,因为这不是一个公司的“必要”职能,没人做分析公司业务照常运行。

随着业务的发展与专业性的提升,数据团队变成了顾问的角色,他们更多要提供建议和想法,帮助业务团队做思考。数据会驱动业务,我们从数据角度、行业角度、竞争分析角度提供解决方案,提供及时准确的预测来推动业务发生变革。此时,在某种程度上说,数据和业务已经是战友共赢的关系。

当公司发展到更高级的阶段,数据团队的地位就从一个成本中心变成一个利润中心。无论对内还是对外,数据团队会去最大化实现公司数据资产的变现。这时候数据团队的定位是:一个盈利的业务部门。

当然,这里我这么写但不代表初创数据团队就一定是按这个顺序去做,只是说数据团队在建立之初就要有成为支撑公司战略有力支撑部门的愿景。比如数据团队挂靠在集团经营部或者利润中心,做的事就直接和企业经营事务挂钩,和数据团队挂靠在IT下属部门,仅做报表支撑,哪个有前途不用多说。

2、走好第一步很重要

我们对人的第一印象往往是最深刻的,甚至这个印象如果后面没有深入了解的机会,一段时间内都很难改变。一个团队组织也是一样,设想如何让其他部门知道你们是干什么的,有什么价值,有什么背景,那么对于初创团队来讲,第一步很重要。

①把握机遇,树立自己的旗帜

举个案例,老K(数据团队leader)所在集团有一子公司销售业绩和盈利能力一直都很差,但该子公司是集团战略的一个重要环节,高层下达命令要对公司进行业务改进。

老K从财务复盘会上听到这个问题主动请缨对该子公司的财务和销售数据做全面诊断。分析后发现:49个产品中只有不到30个产品是赚钱的;给子公司带来利润的下游公司,只有不到20%;为公司创造较多利润的销售人员,也只有57%。

问题引起了总经理和财务总监的重视,依据数据结果盘查业务。在后续的业务改革丧砍掉了20%的低毛利产品,对利润贡献度不同的客户采取不同的销售投入,调整销售利润分配方式。在这套数据驱动的管理方法下,销量增加,利润上升,直接带来了166万的利润。

           点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小

          FineBI所作

这一场开门红胜仗直接引得了高层的重视和表扬,奠定了数据部门的地位,尝到甜头后老K一段时间内和财务联合,做出不少成绩。最重要的一点,是把握住了机遇,从公司问题严重的弱势环节着手,和企业核心痛点挂钩,比如降本、增效、帮助寻找业务发展机遇、预判经营风险。

②搞定高层

数据分析团队要想在公司被其他部门认可,一定少不了业务部门的配合,那是不是搞好和业务领导的关系就好了?Too young too simple ! 再好的关系也不要忘了利益是等价交换的,初创数据团队除了人力基本没啥优势,在没有任何筹码的前提下去“舔”,到头来多半是“给我提个数,做两个报表,帮我做点分析怎么体现活动价值…”

           点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小

          数据驱动战略一般都是自上而下的设计模式,不要期望借助业务的积极性来驱动公司转型,这是不现实的。

我之前当初很乐意加入一个团队的原因是因为公司管理层很支持建立一支数据团队。即使在细节和执行方式还处于模糊阶段,CEO和CFO都明白数据团队能带来的效益,这点难能可贵。如果公司管理层没有人能够明白描述性和预测性分析的价值,你就会处于一个艰难的位置。

数据素质是一种企业文化,如果高层不想推动,这种素质是不太可能发展起来的。在一定程度上,你要有超出团队经理所需的数据领导力,你需要一个主管级别以上的人在公司内部推数据。

设定阶段性目标

明确定位之后就是着手工作计划和目标制定——带着一帮人要做什么,年底拿出什么成绩呢?

很重要的一点,基于明确的业务需求或公司需求再制定数据驱动战略!将数据分析内化为公司或业务决策流程的一部分,并对决策起关键作用。

思考:公司业务的发展计划和目标是什么?数据团队如何助力公司业务的目标达成,其价值如何量化。

刚入行的时候,一直以为基础建设是最重要的,大家做数据就应该先搞基础建设:从数据平台->数据仓库->数据管理平台->数据分析平台,要稳扎稳打把各种底子都搞好才是真的好。

从现在角度来看,这个观点依旧不能算是错的。但是,我们更应该换位思考,数据最终还是要服务于业务的,千万不要等你的数据基础设施都建设完成了,最终发现团队没有一个可以产生价值的业务,只能无奈地变成一个被边缘的服务方。最怕的就是,当你把基础全部做好后发现,黄花菜都凉了。

一个可取的思路应该是:

以业务价值为核心,先做出几件让高层和满意的事,来奠定基础

抽出少量的人力,完成最基本的基础设施

等有业务成果了,再投入一定的人力逐步完善

这里分享几个技巧:

1、起步阶段,一定要先做管理者重视与支持的数据项目

总结起来就是3个点:

第一点:有没有抓住领导感兴趣的业务价值点

第二点:能不能展开感兴趣的方式

第三点:能不能抓出他的痛点,并且有所展开的情况下,不断更新工作进度

领导关注什么你要留心观察,一般从公司战略目标、重大战略会议上能看出个大概。还有从你的直属领导中,大部门领导的工作报告中了解。基本上企业的核心痛点离不开都离不开提升营收、降本、增效、帮助寻找业务发展机遇、预判经营风险。

但是,很多有时候你汇报给领导工作进展他也并不一定会关注,如何让管理者重视也是一门艺术。这时候就要充分发挥数据和技术的技能,比如能否优化改进领导看报表的习惯,将领导关注点报告做成驾驶舱大屏,甚至开发自动化流程,将的告推送到他邮箱甚至手机端,这些都是目前可以实现的。这时候一定不要谦虚,注意在工作成果中留下部门和署名。

           点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小

          finemobile所作

当然,最好的办法一定是互相成就,一起把事情做好,甚至是目标绑定,在关键问题上保持态度一致。制定了计划:按环节反馈、持续反馈、定期汇报,将向上反馈的品质发挥到极致。

2、打好群众基础,找到业务盟友

虽然业务难搞,但是山头还是要啃下来的,领导对一个人/部门的评价,除了自己的认知外,很大一部分来自于其他人/部门的评价。比如我通过十几张模板解决了财务部门一年几百张报表的重复开发工作,还通过技术手段解决了发票、票据打印,得到了很好的认同。

后续也进一步帮助开发财务分析模型,恰好部门一个懂财务分析的前辈,一起推动着梳理了一部分财务指标,开发了杜邦分析等自动析模型。每各月末出表的时候,大家再也不用焦头烂额加班加点都。有了这样的基础,也帮助我打开了在其它部门获取数据的通路。

最后,记住所有的数据分析的日常工作一定是一个闭环,否则它对公司会是一种内耗。在没有建立高层和足够业务团队的信任和认可之前,任何一个项目的战线都不要拖太长,小步迭代有闭环。

如果数据分析的基础服务满足不了管理层和业务,他们就会跳起来挑战数据分析团队。这时候再高大上漂亮的报表都没有用,而是需要数据团队和业务团队达成一致的认知:数据分析团队提供什么对他们是最有价值的。

?团队搭建

注意几个要点吧:

1、小团队的前期发展,以经验丰富的老司机快速搭建框架是最为稳妥的,要尽可能地减少试错成本。有了经验丰富的老司机把底子都搞好了,后面再慢慢招一些应届生就可以。

2、巧从业务团队借人或挖人,前期数据工作,业务经验比技术对团队更有利。

3、即使是技术选型,尽量也用现成的开源产品或者技术框架,切忌自己造轮子。尤其像从业务系统中提取数据时,千万别自己写脚本来完成,花点钱让第三方公司帮你完成即可。不要把大量时间花费在不能为公司带来效益的事情上,还可能有无尽的后续麻烦。

4、高效性是数据团队组建的标准!其最终的价值闭环是如何高效响应、有效实现需求。基于这一原则,在不同公司(业务)、不同驱动战略的大背景下,搭建针对性的数据团队。

数据团队的核心是团队领袖,其承接了驱动战略理解和量化、团队如何设计与实现等内容。

最后,一个优秀的数据团队领袖必须是公司驱动战略的策划与执行者、团队的组建与管理者,不仅要促进公司的业务发展,还要兼顾团队成员的个人发展。在具体团队规划上,可以为金字塔型、矩阵型、金字塔与矩阵融合型,其各有优点,需要适应公司需求进行设计。

着手IT数据规划

看到这,想必大家也都了解为什么这块工作对于数据初创团队不那么优先级。

以上三步之后,就可以全局的对企业数据进行梳理。数据从业务端进行采集,存储在业务系统中,需要对其清洗之后才能用来做报表做分析。这一条链路涉及:数据采集、元数据管理、数据仓库搭建、数据存储、数据集市、ETL清洗、主数据管理、数据平台搭建、报表平台、决策分析平台、业务端应用分分析等事务。

1、企业目前的数据现状分析

2、构建完善的数据环境

主数据管理

数据分析

3、开展业务分析

梳理指标

建立指标体系

建立报表体系

建立分析体系

1、企业目前的数据现状分析

比如业务系统很多,系统之间的数据不连通,造成信息壁垒。这样的问题要着重主数据管理,制定标准规则。

比如数据不统一不完整不开放数据来源渠道多,责任不明确,数据填报缺失这些都是质量差的问题。这样的问题要着重数据治理,性能优化上可以采取分布式数据库。

以业务流程为导向梳理数据走向,这背后暗藏的现实可能是:指标零散,业务和IT都不知道分析什么;报表不成体系,有些报表冗余。

2、构建完善的数据环境

基于hadoop大数据平台,先抛架构!

           点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小

          第一步:构建一个完善的数据环境

主数据管理

           点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小

          ① 定标准

所需标准有编码规则,命名原则、划分原则、共享原则。

标准规划:根据企业实际情况确定实施范围,并根据优先级和难易度制定计划。可以通过调查问卷、现场访谈、收集文档等手段进行调研标准的内容:数据分布、数据流向、服务规则等,形成调研报告。

标准设计:在方法论的指导下,完成数据标准设计和定义工作,如数据业务描述定义、类型长度定义、其他信息定义。

实施映射:将已定义的数据标准与业务系统、业务应用进行映射,注明两者的关系及影响的应用。

标准执行:借助专业的工具实现标准落地检查。

维护增强:随着业务发展,数据标准需要不断的修订和完善,并有效的持续维护改进。

② 搭平台

将各业务中可能流通共享的主数据的名称和标准统一起来

③ 控制关键环节流转

包括主数据管理的关键环节、合理排布关键环节处理顺序、安排责任岗位或部门对应关键环节。

数据质量

           点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小

          第二步:梳理业务分析体系

指标梳理

           点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小

          分析什么数据,如何反馈给业务,这些都已转化成指标来解决

指标梳理需要和业务部门一同进行。可以通过访谈和调研梳理各业务层级关注的指标,从基层到高层。也可以将企业已有的SCOR、计分卡等绩效体系或者已有的业务分析体系,转化成可说明情况的指标。

建立全指标体系

指标梳理清楚后,从每一条业务线出发。这块业务对企业目标负责的关键成果是什么(KPA)——每一个KPA又可以用什么维度来衡量(KRA)——最后落实到基层的关键行动指标是什么(KPI)

最后所有业务汇总,形成一个全指标体系。

           点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小

          梳理报表体系

梳理完指标体系后,大致也就知道每个业务部门需要分析什么数据了。数据通常以报表的形式呈现,报表就都相当与数据落地的产品,有主题有规划的分析。

           点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小

          基础查询类报表:来自于基层业务和日常工作,功能作用于某一项具体的工作,比如销售业绩查询、商品库存查询、在途库存查询、采购订单查询等。

经营报表:用于日常管理,其功能不单作用于某项具体的工作,而是覆盖相关部门或某部门管理的一个工作模块。例如店长业绩管理看板、库存管理、异常店铺管理等。

           点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小

          报表产品FineReport所作

战略报表:这个就用于高层集团事物的管理,比如boss们关注的每日盈利状况,项目进度监控等等。这类报表通常以驾驶舱的形式展现,用于企业全局监控。

           点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小

                     点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小

          建立分析体系

不同于日常管理经营类报表单方面的展现,这里更注重某一块业务问题,比如通过分析数据来缩减供应链成本、通过分析市场环境制定市场策略等。通常在传统企业的应用有智能制造、大数据营销、供应链优化、市场活动ROI分析、新零售业务提升、用户画像和客户标签等等。

最后,本文只是给出了一个大体的思路框架,很多细节都没有覆盖的很细致,多数也都是个人经验之谈,如有不足之处,欢迎大家留言交流!辛苦整理了两整天,希望大家转发分享!

----------------------------
原文链接:https://www.jianshu.com/p/e9ccb08007c0

程序猿的技术大观园:www.javathinker.net



[这个贴子最后由 flybird 在 2020-05-31 16:29:25 重新编辑]
  Java面向对象编程-->流程控制
  JavaWeb开发-->访问数据库(Ⅱ)
  JSP与Hibernate开发-->Spring、JPA与Hibernate的整合
  Java网络编程-->Java反射机制
  精通Spring-->Vue组件开发高级技术
  Vue3开发-->Vue CLI脚手架工具
  flume+spark streaming+redis完整篇
  spark读取redis数据(交互式,scala单机版,java单机版)
  kafka+spark-streaming实时推荐系统性能优化笔记
  Kubernetes(K8S)集群管理Docker容器(部署篇)
  Spark on Yarn with Hive实战案例与常见问题解决
  Spark SQL常见4种数据源(详细)
  基于Spark MLlib平台的协同过滤算法---电影推荐系统
  ELK+Filebeat+Kafka+ZooKeeper 构建海量日志分析平台
  Spark Thrift JDBCServer应用场景解析与实战案例
  大数据采集、清洗、处理:使用MapReduce进行离线数据分析完整...
  大数据到底有多大
  Hadoop小文件优化
  Hadoop设计思路和目标
  数据科学最终迁移到云端的5个原因
  深入理解MapReduce的架构和原理
  更多...
 IPIP: 已设置保密
树形列表:   
1页 0条记录 当前第1
发表一个新主题 开启一个新投票 回复文章


中文版权所有: JavaThinker技术网站 Copyright 2016-2026 沪ICP备16029593号-2
荟萃Java程序员智慧的结晶,分享交流Java前沿技术。  联系我们
如有技术文章涉及侵权,请与本站管理员联系。