笔者正在由电商产品经理转型数据产品经理，为了提升自己学习的效率，尝试以这种输出驱动输入的模式，将自己学习的思路和学习内容分享给大家，也希望可以与其他数据产品经理多多交流。

本文尝试凭借笔者的理解构建一套数据产品经理能力模型，作为自己未来学习的方向。本文共分四个部分，第一部分，从招聘市场需求入手，看市场上的招聘高级数据产品经理都需要掌握哪些硬实力；第二部分，结合一些数据产品经理的分享，梳理数据产品经理的朋友圈，因为沟通者一定程度决定了需要掌握多少“共通语言”；第三部分，构建数据产品经理能力模型，第四部分，详解一些数据产品常常接触的概念和系统。

笔者在拉勾网和猎聘网上搜索数据产品经理和高级数据产品经理，将岗位职责汇总整理，招聘方对于数据产品经理的需求如下所示：

1、熟练使用MySQL，SQL、Hive等语言；

2、熟悉数据生产加工流程；

3、对主流大数据产品、BI产品；

4、对数据仓库技术及理论有基本的了解，并对其发展趋势有深入了解；

5、了解数据分析，数据建模和数据挖掘技术及理论；

6、能很好地掌握产品思路、技术方案、商务策略等，驱动各角色解决问题 ，具有良好的商业洞察与判断，很强的逻辑思维能力、产品策划、品牌包装与宣传能力，对数据和业务敏感，有一定技术背景优先考虑。

从上面的企业招聘需求可以看出，数据产品经理除了需要具备一些普通产品经理基础能力外，对数据分析，商业智能，数据挖掘等技能有着非常高的专业门槛。虽然数据产品经理也细分出应用方向，大数挖掘方向，数据分析方向，但为了更加有效的共同，还是有必要补全知识结构。数据产品经理多是数据分析师和数据开发通过内部转岗完成的，笔者属于电商产品转应用方向数据产品，在发挥业务理解优势的同时，需要快速补全数据分析相关知识，便于与对接同事高效协作。

1、计算机语言层面：熟练使用MySQL，SQL、Hive等语言；

2、熟悉数据生产加工流程：数据采集，数据预处理，数据存储，数据分析，数据挖掘，数据可视化，数据服务产品化；

3、需要了解的各类技术理论及发展趋势

了解主流大数据产品及分布式大数据技术，如Hadoop( HDFS和MapReduce )，Hive等；

了解主流大数据编程语言，如python、R、mongodb等、

了解主流BI产品，如Tableau、saiku、kylin、BDP、growingIO、神策等、

了解数据仓库技术及理论，并对其发展趋势有深入了解；

了解数据分析，数据建模和数据挖掘技术及理论；

数据仓库 Data Warehouse

数据集市 Data Mart

数据挖掘 Data Mining

DBMS：Database Management System数据库管理系统

DBA: Database Administrator数据库管理员

RDBMS：Relational Database Management System关系数据库管理系统

OLAP:（On-Line Analytical Processing）联机分析处理。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。

OLTP:（On-Line Transaction Processing）联机事务处理。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。

BI: Business Intelligence 商业智能

KDD：knowledge discovery in databases 数据库知识发现

数据分析:Analysis of data is a process of inspecting, cleansing, transforming, and modeling data with the goal of discovering useful information, suggesting conclusions, and supporting decision-making.[源于wikipedia]可以看出，数据分析强调使用统计学方法，发现有用信息，支持决策，构造建设性结论。

数据挖掘：Data mining is the computational process of discovering patterns in large data sets involving methods at the intersection of artificial intelligence, machine learning, statistics, and database systems. It is an interdisciplinary subfield of computer science. The overall goal of the data mining process is to extract information from a data set and transform it into an understandable structure for further use.[源于wikipedia]数据挖掘与大数据关联性更加密切，利用人工智能，机器学习，统计学等知识，对于大型数据集进行分析，发现规律，预测未来，辅助决策。

数据库：数据库是指长期存储在计算机内有组织的、可共享的数据集合。数据库中的数据按一定的数据模型组织、描述和存储，具有较小的冗余度、较高的数据独立性和易扩展性，并可为各种用户共享。数据库理论的研究主要集中于关系的规范化理论、关系数据理论等。近年来，随着人工智能与数据库理论的结合及并行计算机的发展，数据库逻辑演绎和知识推理、并行算法等理论研究，以及演绎数据库系统、知识库系统和数据仓库的研制都已成为新的研究方向。

数据库和数据仓库的区别：数据库是面向事务的设计，数据仓库是面向主题设计的。数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。从时间属性来看，数据库保存信息的时候，并不强调一定有时间信息。数据仓库则不同，出于决策的需要，数据仓库中的数据都要标明时间属性。

数据集市和数据仓库的区别：建议阅读文章《数据仓库和数据集市的区别》

BI（Business Intelligence）即商务智能，它是一套完整的解决方案，用来将企业中现有的数据进行有效的整合，快速准确地提供报表并提出决策依据，帮助企业做出明智的业务经营决策。

商业智能的概念最早在1996年提出。当时将商业智能定义为一类由数据仓库（或数据集市）、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用。而这些数据可能来自企业的CRM、SCM等业务系统。

主流商业智能产品：Tableau、saiku、kylin、BDP、growingIO、神策、阿里数加等。笔者正在阅读阿里巴巴的 《大数据之路》，后续将结合阿里数加产品整理阅读心得。

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。大数据包括结构化、半结构化和非结构化数据，非结构化数据越来越成为数据的主要部分。

大数据的发展趋势：数据资源化，大数据与云计算深度结合，科学理论的突破，数据科学和数据联盟的成立，数据泄露泛滥，数据管理成为核心竞争力，数据质量是BI成功的关键，数据生态系统复合化程度加强。

需求分析，数据采集，数据预处理，数据分析，数据挖掘，数据可视化，数据服务产品化（模板化）。

数据产品需求分析：向业务部门进行调研，了解业务需要解决的问题，将业务问题映射成数据分析工作和任务，同时结合平台已有能力，确定数据分析或挖掘方案。

数据采集：第一步需要定义数据源选择，DBA可以基于数据分析需要，找到相关数据，建立一张数据宽表，将数据仓库的数据引入到这张宽表当中，基于一定的逻辑关系进行汇总计算。这张宽表作为数据分析的基础，然后再依据数据分析需要衍生出一些不同的表单，为数据分析提供干净全面的数据源；

数据预处理：需要完成数据类型选择，缺失值处理和异常值检测和处理，实现数据标准化；

数据分析：详见下文，常见数据分析分析方法应用场景和概念；

数据挖掘：详见下文，结合机器学习的数据挖掘概述；

数据可视化：详见下文；

数据服务产品化：将结合阿里巴巴产品做细致分析。