数据采集系统技术指标
数据分析一般包括哪些内容？
数据分析一般包括哪些内容？
数据分析这算是一个比较大的一个框架，单从字面意思来讲就是从数据中提取有用的规律或背后的逻辑。
工作中数据分析的职能主要分为以下6个步骤：
数据收集
数据清洗
数据储存
指标计算
数据统计分析与建模
数据可视化
第一步数据收集：在前期我们数据尚未形成特定的体系的时候亦或者是我们的业务正在进行的时候，需要我们通过各种各样的途径去获取数据。数据收集的方法多种多样，其中可以用程序自动收集（数据埋点、网络爬虫、ERP或CRM系统自动生成等）、手工统计（Excel统计）、第三方网站提取（通过公开数据网站下载，API等）等诸多方法，方法的选择跟随业务形态进行。
第二步数据清洗：收集来的数据是脏数据，需要通过数据清洗，也就是取其精华去其糟粕，这样的数据才是我们能够正常使用的数据。这一步的操作主要使用的是正则表达式进行数据清洗，收集来的数据各种格式都有，需要转码成特定的格式以及编码。
第三步数据存储：由于现在的公司数据越来越大，互联网时代已经从IT转变为DT的时代，现在每个公司的业务数据都是呈现几何倍数的增长，那么在存储数据的时候肯定不可能还用以前那种用纸笔记录的时代。现在对于小数据量的公司一般也是用Excel文件进行数据存储，许多公司以及采用数据库产品进行数据存储，市面也有很多性能很好的数据库产品，例如Oracle、MySQL、SqlServer，现在对大数据还专门有对应的hive数据仓库产品。这些产品都很好用，并且部分还是开源产品。就我们公司而言，之前使用的Oracle和MySQL以及SqlServer数据库，目前因为业务线条的调整，已经将数据从单一的数据库转向hive数据仓库存储，更方便了技术、业务、分析师等角色对数据的应用提取。
第四步指标计算：在进行指标计算之前，需要数据分析师建立当前部门的KPI指标，对应着业务部门针对不同的业务场景反馈出业务好坏的数据与规则。这一步繁杂而持续，并且可能这项工作会贯穿整个数据分析生涯。什么是指标？指标就是衡量目标的方法，比如商品管理常用的库存周转率、毛利率等，运营常看的路径转换，maketing常看的ROI等等，对应的指标反映出不同的业务场景的好坏，随着业务的变换，企业阶段的变换，指标也会一直在跟随着变换。
第五步数据统计分析与建模：这个环节是整个数据分析流程中最有意思的一个环节，没有之一。相比于之前的环节，在此环节你将会面临各种各样的挑战。什么假设检验，什么线性回归、什么特征工程、什么贝叶斯等都会遇到，在这里你将会看到各种数据背后的逻辑以及数据所产生的价值。并且在数据分析的过程中可能会遇到第二步的数据清洗过程，处理缺失值、处理异常值等。
第六步数据可视化：也就是数据展现，需要将第五步统计分析及建模的结果使用图的形式体现出来，俗话说字不如表，表不如图。市面上使用的比较多的数据可视化产品主要是Tableau、PowerBI、finebi、PPT等几种。其中前三种主要是呈现交互式表格，也就是存储于线上的报表，而PPT主要是以报告的形式呈现。
现在的数据分析可按照职能简单划分为几个方向：
商业数据分析师
数据挖掘工程师
大数据开发工程师
以上几种是当前的招聘时长相对比较常见的几种岗位，各岗位之前各有不同。商业数据分析师主要是以业务为导向，将数据应用到企业的决策中，主要的工具是Python、R、Excel、SPSS、tableau、PowerBI等；数据挖掘工程师比较侧重技术方向，主要反欺诈、垃圾邮件识别等数据应用，主要的工具是Python、Java、C、C 等；大数据开发工程师主要负责搭建数据平台，利用hadoop、hive、spark、Python、Java、C、C 等工具开发适合公司数据流的数据平台。数据分析是一个目前为止比较新兴的岗位，因此大多数人都是在不断的学习改进。
以上为我的一些拙见，有什么不足的地方欢迎补充交流。
考核指标如何描述？
第一步：分析员工的岗位绩效目标，确定达成目标需要采取的措施及其对应的绩效指标。
通常来说，每个岗位都有很多项工作，有重要的有不重要的，有天天需要做的有偶尔需要做的临时性工作，我们前边的微课中讲过设定员工的绩效目标时要重点关注天天需要做的比较重要的工作，这样能有效减少分析员工的绩效目标很多任务量。每个绩效目标的达成需要采取的措施多少也不一样，也就是说对应的绩效指标多少也不一样，有的绩效目标只对应一个绩效指标，有的绩效目标可能会对应2个绩效指标甚至更多，我们先把绩效目标达成需要的所有措施和所有绩效指标都先罗列出来。比如：以“2017年小王的销售目标是300万”这个销售目标为例，300万比2016年的240万多了60万，换句话说2017年小王的销售目标要比2016年的销售目标多60万，为了完成2017年的销售目标，小王需要采取的措施有，增加老客户的购买量、增加新客户的购买量、推广附加值更高的新产品等措施，这些措施对应的绩效指标就可以设定为老客户的流失数量、有效的新客户的开发数量、新产品的销售额。至此，设定绩效指标的第一步工作就完成了。
第二步：从众多已确定的绩效指标中，选取关键绩效指标。在众多绩效指标中选取关键绩效指标时需要遵循SMART原则，此原则的具体内容如下：
（1）明确的、具体的（Specific）。关键绩效指标要能反映特定工作目标，不能太笼统，应该适度细化，并且能根据不同的情境而变化。比如对招聘专员进行考评，“当月新员工的入职数量达到10人”这个绩效指标的完成情况就反映了招聘专员的招聘工作当月做的怎么样。如果某部门当月原计划从外部招聘5人，结果还没等招进来，已经从其他岗位上调过来了5人，这样“当月新员工入职数量达到10人”这个指标就要中途进行调整变化了。
（2）可衡量的（Measurable）。绩效指标必须是可量化或者可以清晰描述的行为，而且这些绩效指标的数据或信息是可以获得的。比如同样是要反映员工学习能力的绩效指标，“员工能够学以致用”就比“员工学习能力很强”要更容易描述，更有说服力。
（3）可达成的（Attainable）。绩效指标在被考核对象付出努力的情况下，是可以实现的，即向上跳一跳能够够得到。当然，太低了也就失去了考核的意义。
（4）现实的（Realistic）。绩效指标是实实在在的，是可以证明和观察到的，而不是一种假设。比如说要考核某个员工专业能力强，用“大家不会的专业问题都向他请教”最能说明他比别人的专业能力强而且大家向他请教也是非常容易观察到的，但如何用“他的专业能力比一般人都强”就不太合适了，一般人是哪些人，是业内专家还是门外汉，有什么证据能证明他的专业能力强，显然这样缺乏说服力。
（5）有时间限制的（Time-bound）。绩效指标的完成要有一定的时间限制，否则就无法考评。比如说“开发10个新客户”这个指标，如何没有时间限制，经理愿意可能是一个月完成，而业务员可能会认为这是要3个月完成，到最后考评打分时，双方就会产生争执。
第三步：评价选取的关键绩效指标的有效性。确定了绩效指标之后，我们还要对其有效性进行评价，看确定的绩效指标最终是否能够反映公司的总体绩效。避免出现员工的绩效都很好，而公司的绩效却很差的现象。评价绩效指标的有效性有以下3种判断方法：
第一个方法：绩效指标的限制性规定是否明确。这里的限制性规定是指绩效指标的定义是否明确、绩效指标的得分算法是否明确、完成时间是否明确、考评打分的依据来源是否明确、收集数据的责任人是否明确等内容。以上所说的其中任意一项不明确都会导致绩效评分的不客观不公平，甚至会使考评者与被考评者产生争执。比如说：“销售额”这个绩效指标，如果不明确规定是指的公司已收到货款的销售额，经理愿意是指已收到货款的销售额，但业务员本人可能会认为指的是全部销售额，不管收没收回货款都算销售额。这样到最后考评打分时，分歧就会出现，给绩效管理工作增加很多麻烦。因此，限制性规定不明确或无法明确的绩效指标可以认定为无效指标，应从绩效指标体系中去除或修改完善。
第二种判断方法：绩效指标设定的是否合适。绩效指标设定的是否合适从两方面进行判断，一种是绩效指标的导向与公司企业文化导向是否一致，如果不一致就可以认为是无效指标，比如公司的企业文化是鼓励创新，包容创新失败，如果设定的员工绩效指标有“研发中出现错误的次数”这样的指标，其导向显然是和公司的企业文化相冲突，因此这个指标可以认为无效，应该删除或修改完善。另一种是绩效指标的导向和公司的战略导向是否一致，如果不一致同样要认定为无效指标。
第三种判断方法是看绩效指标的考核成本是否过高。绩效指标的考核成本体现在以下2个方面，一方面是投入的人力、财力和时间；另一方面体现在给绩效指标打分的依据收集的难易程度。因为要对绩效指标进行考核而需要额外增加大量的人力成本、财力成本和时间成本。甚至还要影响到员工正常的岗位工作，这样的绩效考核显然是不可取的，导致考核成本过高的绩效指标显然也是不合适的，因此这类绩效指标也可以认定为无效指标。