taoyuyin

概念

数据管理

wikipedia

The concept of data management arose in the 1980s as technology moved from sequential processing (first punched cards, then magnetic tape) to random access storage. Since it was now possible to store a discrete fact and quickly access it using random access disk technology, those suggesting that data management was more important than business process management used arguments such as “a customer’s home address is stored in 75 (or some other large number) places in our computer systems.” However, during this period, random access processing was not competitively fast, so those suggesting “process management” was more important than “data management” used batch processing time as their primary argument. As application software evolved into real-time, interactive usage, it became obvious that both management processes were important. If the data was not well defined, the data would be mis-used in applications. If the process wasn’t well defined, it was impossible to meet user needs.

从上面的定义可以看出，数据管理是针对数据或信息的活动或能力集合，为了交付、控制、保护并提升数据和信息资产的价值，在其整个生命周期中制定计划、制度、规程和实践活动，并执行和监督的过程。
从商业的角度看，通过对数据进行资产化管理，提升数据质量和数据效率，提升企业利用数据变现的能力。

数据资产

资产的定义为

资产是指由企业过去的交易或事项形成的、由企业拥有或者控制的、预期会给企业带来经济利益的资源。

数据作为一种特殊的资产形式，企业和组织可以依靠数据资产做出更高效的决定，运用数据理解客户，创造出新的产品和服务，并通过削减成本和控制风险的手段来提高运营效率，通过数据产生价值，以达到把数据做为资产进行直接或间接变现。

数据管理目标

• 理解并支撑企业及其利益相关方的信息需求得到满足
• 获取、存储、保护数据和确保数据资产的完整性。
• 确保数据和信息的质量。
• 确保利益相关方的数据隐私和保密性。
• 防止数据和信息未经授权或被不当访问、操作及使用。
• 确保数据能有效地服务于企业增值的目标。

数据管理原则

• 数据是有独特属性的资产
• 数据的价值可以用经济术语来表示
• 管理数据意味着对数据的质量管理
• 管理数据需要元数据
• 数据管理需要规划
• 数据管理须驱动信息技术决策
• 数据管理是跨职能的工作
• 数据管理需要企业级视角
• 数据管理需要多角度思考
• 数据管理需要全生命周期的管理
• 数据管理需要纳入与数据相关的风险
• 有效的数据管理需要领导层承担责任

数据管理框架

DAMA-DMBOK 框架

• 数据架构（Data Architecture）
• 数据建模和设计（Data Modeling and Design）
• 数据存储和操作（Data Storage and Operations）
• 数据安全（Data Security）
• 数据集成和互操作（Data Integration and Interoperability）
• 文件和内容管理（Document and Content Management）
• 参考数据和主数据（Reference and Master Data）
• 数据仓库和商务智能（Data Warehousing and Business Intelligece）
• 元数据（Metadata）
• 数据质量（Data Quality）

DMBOK 金字塔

第一阶段：构建数据库功能和应用

• 数据存储和操作
• 数据安全
• 数据建模和设计
• 数据集成和互操作

第二阶段：保障数据质量

• 数据架构
• 数据质量
• 元数据

第三阶段：为数据管理活动提供体系性支持

• 数据仓库和商务智能
• 参考数据和主数据
• 文件和内容管理

第四阶段：利用数据管理好处，提升分析能力

• 大数据分析
• 数据挖掘
• 高级实践

税收定义和特点

对于非财会的大多数人一般会关心个税，还有相当一部分人不用缴纳个税，会认为税跟自己没关系。
其实不然，消费即纳税，而且消费产生的增值税是我国税收的大项，只要在社会上生存，就跟税脱不开关系。
先看下税的定义和分类。

定义

百度百科的定义

税收是指国家为了向社会提供公共产品、满足社会共同需要、按照法律的规定，参与社会产品的分配、强制、无偿取得财政收入的一种规范形式。税收是一种非常重要的政策工具。

税收除了增加财政收入，可以起到调节收入，收入再分配的作用，在一定程度上实现“劫富济贫”。
另外特定的税收还有特定的作用，比如关税还承担着保护国内市场、维护贸易秩序的重要作用。
近几年的贸易战，被当做贸易战武器的相互提高关税税率，其中的关税税率就是关税中的进口税。

现代税收三大特点

• 固定性
• 无偿性
• 强制性

税收分类

按课税对象，划分为

• 流转税类
• 所得税类
• 资源税类
• 财产税类
• 行为税类

增值税和营业税都属于流转税。
增值税是以商品（含应税劳务）在流转过程中产生的增值额作为计税依据而征收的一种流转税。
营业税是对在中国境内提供应税劳务、转让无形资产或销售不动产的单位和个人，就其所取得的营业额征收的一种流转税。

增值税针对增值部分征收，营业税针对营业额征收，营业税存在重复征收的情况。

按照税负的实际承担人是否为纳税人，划分为

• 直接税
• 间接税

按税收的管理和使用权限，划分为

• 中央税
• 地方税
• 中央与地方共享税

用图表示更直观

税收数据

数据源于国家统计局2018年度。
2018年国家税收收入156402.86亿元，占国家财政收入的85.3%。
增值税和企业所得税是我国的税收大项，分别占税收总收入的39.34%和22.59%，合计占比的61.93%。
大家关心的个税占税收总收入的8.87%。

税制改革与调整

分税制财政管理体制

是指在合理划分各级政府事权范围的基础上，主要按税收来划分各级政府的预算收入，各级预算相对独立，负有明确的平衡责任，各级次间和地区间的差别通过转移支付制度进行调节。它是市场经济国家普遍推行的一种财政管理体制模式。

主要内容

• 中央与地方的事权和支出划分
• 中央与地方的收入划分
• 政府间财政转移支付制度
• 预算编制与资金调度

1994年的分税制改革，增强了中央财政能力，但是给地方造成支出和收入不平衡的问题，由此带来了土地财政的副作用，在一定程度上推动房价上涨。

营业税改增值税

2016年3月18日召开的国务院常务会议决定，自2016年5月1日起，中国将全面推开营改增试点，将建筑业、房地产业、金融业、生活服务业全部纳入营改增试点，至此，营业税退出历史舞台。

增值税2016年5月之前中央75%，地方25%，2016年5月1日全面营改增之后中央50%，地方50%；企业所得税与个税，中央60%，地方40%。

个人所得税调整

我国个税自1980年9月开始征收，截止到目前历经四次调整。

个税除了起征点的调整，还有相关项附加扣除、级距调整的补充和调整。
根据相关部门和媒体的数据2018年个税调整后，纳税人数由1.87亿减少到6400万。

其他

农业税是国家对一切从事农业生产、有农业收入的单位和个人征收的一种税，俗称“公粮”。
2006年1月1日起废止《农业税条例》。这意味着，在我国沿袭两千年之久的这项传统税收的终结。

参考

• 一本书读懂中国税
• 国家数据
• 税收

数据仓库（Data Warehouse）与数据湖（Data Lake）

看维基百科的定义

Data Lake

A data lake is a system or repository of data stored in its natural/raw format, usually object blobs or files. A data lake is usually a single store of all enterprise data including raw copies of source system data and transformed data used for tasks such as reporting, visualization, advanced analytics and machine learning. A data lake can include structured data from relational databases (rows and columns), semi-structured data (CSV, logs, XML, JSON), unstructured data (emails, documents, PDFs) and binary data (images, audio, video). A data lake can be established “on premises” (within an organization’s data centers) or “in the cloud” (using cloud services from vendors such as Amazon, Google and Microsoft).

Data Warehouse

In computing, a data warehouse (DW or DWH), also known as an enterprise data warehouse (EDW), is a system used for reporting and data analysis, and is considered a core component of business intelligence. DWs are central repositories of integrated data from one or more disparate sources. They store current and historical data in one single place that are used for creating analytical reports for workers throughout the enterprise.

从定义来看，数据湖和数据仓库都是可以存储数据的系统，对所存储数据的结构和方式不同，应用场景也有区别。

关键区别

从目前发展和应用来看，最首要的区别体现在结构化上，数据仓库是预设计处理后的结构化数据，写入时Schema，更易于读取和理解，数据湖是写入时Schemaless，读取时进行Schema设计，所以后期对数据处理的的技能要求相对高。

发展趋势

分别用GoogleTrends和百度指数看下数据湖和数据仓库的关注趋势，因为Google和百度的受众用户不同，也可以大概看出国内外的趋势区别。

GoogleTrends近5年的趋势

百度指数近5年的趋势

可以明显看出国内外对数据仓库的关注度都高于数据湖。从GoogleTrends长期看Data Lake的关注趋势持续走高，Data Warehouse关注趋势呈下降趋势，尤其是几年Data Lake的关注度快要赶上Data Warehouse。
Data Warehouse 这一概念的提出需要追溯到20世纪80年代，Data Lake 这个概念相对Data Warehouse 比较晚，是在2011年由Pentaho CTO James Dixon提出。
可以看出国外对Data Lake的关注比较早，国内在2018年初开始有关注。
按照这种趋势，国外会有大量的产品或服务让Data Lake逐步落地，国内目前还是以数据仓库为主导，等数据湖相关产品和配套服务成熟，趋势上可能会发生变化。

行业发展

各大云计算供应商AWS，Microsoft Azure，阿里云也有针对Data Lake的云产品和服务，目前主要以降低成本为主要卖点，把数据采用对象存储，同时把存储和计算分开，对需要使用的数据分配计算资源，以达到降低存储和计算的资源总成本。
随着企业内数据种类的增多和数据规模的提升，长期看这种商业模式的数据湖会逐渐成为企业数据解决方案的选择。

参考

• Data Warehouse
• Data Lake
• What is a data lake?

记住些宏观数据

在生活和工作中经常会接触到各种各样的信息，信息的质量参差不齐，应该怎样判断信息的真实性。信息里面有时候会包含一些数据，可以从甄别数据合理性的角度帮助对信息的判断。现在的信息传播和流动很快，数据量非常大，脑子不能记住很多的数据。那么该怎么甄别数据的合理性呢，可以记住一些宏观的数据，用这些数据作为我们的锚点数据，用这些锚点数据验证新接触到的数据的合理性。虽然不能给出准确地判断，拥有了宏观数据思维，随着锚点数据越来越广，对信息进行更合理地判断，不再人云亦云。下面列一些很常见的数据，从这些数据抽象形容下宏观数据思维。

国家宏观数据

下面的数据都是宏观数据，来源于国家统计局2019年度数据，看的过程中可以把这些数据默记下来。
从以下数据展开：

• 行政区划
• 人口
• 就业人口
• GDP
• 财政
• 教育

先大概列这些，太多了确实记不住。

行政区划

一级行政区34个：
中国共计34个一级行政区，包括23个省、5个自治区、4个直辖市、2个特别行政区。

地级市337个：
广东省最多，21个地级市，青海省最少，2个地级市。

县级行政区2844个：
包括973个市辖区、388个县级市、1312个县、117个自治县、49个旗、3个自治旗、1个特区、1个林区。

人口

年末总人口14亿：
男性人口71527万，女性人口68478万。
男女人口比例为1.0445:1。

城镇人口84843万，乡村人口55162万。
城镇乡村人口比例为1.5381:1，城镇人口占比60.6%。

人口出生率(‰) 10.48
人口死亡率(‰) 7.14
人口自然增长率(‰) 3.34

人口自然增长率自 2000 年以来呈逐年下降趋势，2009-2015 趋于稳定，全面二孩政策于2016年1月1日起正式实施，2016年人口自然增长率有回升，之后又呈下降趋势。

就业人口

就业人员(万人) 77471.0
城镇就业人员(万人) 44247.0
乡村就业人员(万人) 33224.0

就业人口占总人口的55.33%

GDP

国内生产总值(亿元) 990865.1，接近百万亿人民币。
换成同口径美元为143635.77亿，排名世界第二，排名第一是美国214315.52亿，排名第三是日本50827.82亿。

人均国内生产总值(元)70892。
人均GDP突破1万美元大关，按照世界银行标准，属于中等偏上收入国家，开始向高收入国家迈进。

财政

财政收入(亿元) 190382.23
财政支出(亿元) 238874.02
国家税收收入(亿元) 157992.21
国家国内增值税(亿元) 62346.22
国家企业所得税(亿元) 37300.07
国家个人所得税(亿元) 10388.48

国家财政收入的82.99%来自税收，增值税、企业所得税、个人所得税占整体税收的69.65%，个人所得税占整体税收的6.58%。

关于中国税收，另开文章做介绍。

教育

研究生培养机构学校数(所) 815
本科院校学校数(所) 1245
专科院校学校数(所) 1418
普通高等学校在校学生数(万人) 3031
普通高中在校学生数(万人) 2414
初中在校学生数(万人) 4827
普通小学在校学生数(万人) 10561
小学生人数规模是1亿多。

数据思考场景

看了这么多数据，用一个场景模拟下判断数据合理性。
假设一条信息包含高考考生规模，如果人数是 1500 万，可能不太好判断数字是否精准，起码可以结合总人口和出生率推算出同龄人口规模的数量级是对的。
如果人数是 5000 万，不考虑初升高升学率和各年龄人口占比差异，高中及以下 12 个年级粗略计算 6 亿人，再加上大学生，中国超过一半的人在上学，这显然不合理。
看下实际数，2019 年高考人数1031万。所以有了宏观数据做参考，很容易判断一些信息里数据的量级和规模的合理性。

借助这个思路，可以梳理出你的业务中的宏观数据，形成业务宏观数据思维，助力对业务的思考。

看一个场景，目前就职于在线教育行业，主要人群面向中小学生，初中小学生人数规模是1.5亿，粗略用行业转化率3%计算，付费用户群体达 500 万的规模，从各种渠道看到的行业数据看，在线教育的渗透率还有提升的空间，主要看怎么做触达和转化。

如果恰巧你也是数据从业者，以宏观数据为脉络，形成数据网络，助力对信息的判断和方向的把控。

再看一个场景，上面的城镇人口占比60.6%，也就是城镇化率。
2000年中国城镇化率为35.877%，2009年为47.88%，2000至2009年十年间年均1.2%增长。
2010年为49.226%，2019年为60.6%，近十年间仍保持年均1.1%的增幅。这是房价整体上涨不会降的原因。
中国城镇化率首次突破50%是在2011年，这一年美国城镇化率是80.944%，世界城镇化率是52.1%，中国还低于世界平均水平。中国城镇化率赶上并超过世界水平是在2013年。
2019年美国城镇化率是82.459%，如果以美国为标准，中国有一定的差距。不过美国2000年是79.057%，近二十年增长空间仅为3.4%。中国未来推进城镇化率，还有上升的空间，不过未来十年增速会下降，城镇化推动房价上升的权重也会下降。

记住一些关键数据，多一种思考问题的视角和方式。

参考

• 国家数据
• 世界银行数据

使用 Docker 在本地构建 Jupyter Notebook

先看下 Jupyter 官方的介绍

The Jupyter Notebook is an open-source web application that allows you to create and share documents that contain live code, equations, visualizations and narrative text. Uses include: data cleaning and transformation, numerical simulation, statistical modeling, data visualization, machine learning, and much more.

一个很方便地使用 Python 做数据分析和数据科学的 Web 应用，赶快在本地构建一个用起来吧。

安装和使用 Docker

这篇文章的假设前提是你对 Docker 比较熟悉，或者至少安装了 Docker。
如果你不知道 Docker 是什么或者不知道怎么使用，需要先查阅和熟悉下 Docker 的资料和使用方法。

基于镜像 jupyter/scipy-notebook 再进行 build

1

$ docker search jupyter # 从Docker Hub查找Jupyter镜像

发现已经有构建好的Jupyter镜像，我使用jupyter/scipy-notebook，发现没有 Hive 环境以及相关依赖，所以基于这个镜像进行了再次构建。

编写 requirements.txt 和 run.sh

Python 链接 Hive 我用的是PyHive，需要安装相关的依赖。

1
2
3
4
5
6

$ cat requirements.txt
PyHive==0.5.0
thrift==0.10.0
thriftpy==0.3.9
sasl==0.2.1
thrift-sasl==0.3.0

1
2

$ cat run.sh
tini -g -- start-notebook.sh # 启动脚本

编写 Dockerfile

Dockerfile 是一个文本文件，里面是指令和 shell 命令。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

FROM jupyter/scipy-notebook:b2562c469cdd    # 基于一个Docker image

USER root        # 指定 root 。基础镜像以用户jovyan运行，执行 apt-get 报权限问题
RUN apt-get update    # RUN 后面写 shell 命令
RUN apt-get install libsasl2-dev libsasl2-2 libsasl2-modules-gssapi-mit


USER jovyan        # 切换回用户jovyan
RUN mkdir code    # 创建一个目录
COPY ./ code    # 复制指令，从上下文目录中复制文件或者目录到容器里指定路径。
RUN pip install -r code/requirements.txt -i https://pypi.douban.com/simple/    # 安装Python库

RUN cp code/lib/hive.py /opt/conda/lib/python3.8/site-packages/pyhive/hive.py    # 安装的库源码有语法兼容问题，这里我做了修改和替换

CMD ["/bin/bash","code/run.sh"]        # 在docker run 时运行 code/run.sh

最后当前目录包含如下的文件

1
2
3
4
5
6
7

$ tree ./
./
├── Dockerfile
├── lib
│   └── hive.py
├── requirements.txt
├── run.sh

docker build

开始构建镜像

1

$ docker build -t myrepo/jupyter -f Dockerfile . # -t 镜像的名字 -f 指定要使用的Dockerfile路径

build 完成后可以看到镜像

1
2
3

$ docker images
REPOSITORY                   TAG                     IMAGE ID            CREATED             SIZE
myrepo/jupyter               latest                  c5520af88d36        50 minutes ago      2.71GB

docker run

现在创建一个容器并运行了

1
2
3
4
5
6

$ docker run \
--name myrepo-jupyter \        # 给容器起个名字
-p 8888:8888/tcp \        # 端口映射
-e GRANT_SUDO=yes \        # 设置环境变量
--user root j\            # 以 root 执行
myrepo/jupyter:latest    # 刚才构建的镜像

运行起来后终端会输出一个带 token 的本地连接 http://127.0.0.1:8888/?token=，点击打开。

查看版本和测试功能

新建一个 Python 文件运行查看下版本

1
2
3
4
5
6
7
8
9

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import matplotlib
import sys

print('Python version ' + sys.version)
print('Pandas version ' + pd.__version__)
print('Matplotlib version ' + matplotlib.__version__)

可以写一个类似下面的简单脚本测试下 Hive 连接功能是否正常

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

from pyhive import hive
from TCLIService.ttypes import TOperationState
import pandas as pd
import numpy as np

cursor = hive.connect(host='',port=10000,username='x',password='x',auth='LDAP').cursor()

hql='''
select
id,
add_date
from dwd.dwd_user_dim_user_base
limit 1000
'''

cursor.execute(hql)
df = pd.DataFrame(cursor.fetchall(), columns = ['id','add_date'])
df.head(20)

好了，至此一个本地的 Jupyter 环境就部署好了。

参考

• docker docs
• scipy-notebook
• docker-stack

利用 PicGo 和 GitHub 构建图床

使用 Markdown 写作，需要有个图片上传的地方，可以利用 PicGo 和 GitHub 构建自己的图床。

创建 GitHub 仓库

我的 Repository name 用的 picgo2，点击 Create repository。

生成 GitHub Token

在 GitHub 生成一个 Token，以备在 PicGo 配置用
点击展开头像，依次点击 Settings、Developer settings、Personal access tokens
或者直接输入 https://github.com/settings/tokens

然后点击页面的 Generate new token 按钮
在 Note 处输入一个名字，我输入的是刚才创建的 Repository name
Select scopes 勾选 repo。
点击下面的 Generate token 按钮。

Token 创建好了，页面暂时不要动或保存下 Token。

安装 PicGo

我使用的是2.3.0版本
PicGo 下载地址 https://github.com/Molunerfinn/PicGo/releases
Mac 下直接安装就好。

配置 PicGo

点击图床设置下的 GitHub 图床
依次输入
设定仓库名，taoyuyin/picgo2
设定分支名，我用的 master
设定Token，刚才创建的 Token
指定存储路径，我用的 pics/。注意需要带上斜杠，GitHub 会自动创建个目录。

点击确定，一个基于 PicGo 和 GitHub 的图床就构建好了。

上传图片

点击上传区，就可以上传图片了，选用 Markdown 模式，上传后生成的链接可以直接在 Markdown 里使用了。

在 Linux 下通过 find 和 grep 查找包含指定字符串的文件

直接上示例，拿走即用

1

$ find /home -type f -name '*.py' -exec grep -n 'MySQL' --color=auto {} \; -print

作用是在’/home’目录下查找包含’MySQL’以’py’结尾的文件，输出内容和行号，将结果打印在屏幕

注意点：

• 可以根据要查找的字符串或文件类型修改单引号里面的内容
• 最好不要使用根目录，尽量缩小 Path 范围

拆分讲解

1

$ find /home -type f # 类型参数， f 为普通文件

1

$ find /home -name '*.py' # 根据文件名查找，查找 Python 文件

结合 -exec 与其他命令配合使用， find 在返回后执行

1

$ find /home -name '*.py' -exec grep -n 'MySQL' {} \; # 查找 Python 文件，搜索包含'MySQL'的行

1

$ find /home -name '*.py' -exec grep -n 'MySQL' --color=auto {} \; -print # 查找 Python 文件，搜索包含'MySQL'的行，将文件打印出来

其他用法可以分别查看 find 和 grep 的用法。

安装和使用Hexo的主题 NexT

Hexo 安装主题的方式非常简单，只需要将主题文件拷贝至站点目录的 themes 目录下， 然后修改下配置文件即可。

安装主题

1
2
3

$ cd taoyuyin.github.io
$ git clone https://github.com/theme-next/hexo-theme-next.git themes/next

启用主题

编辑 _config.yml

1
2

theme: next

配置主题

编辑 themes/next/_config.yml。注意这个是主题目录下的 _config.yml 文件。

1
2
3
4
5
6

scheme: Pisces

menu:
  home: / || fa fa-home
  about: /about/ || fa fa-user
  archives: /archives/ || fa fa-archive

除了 archives 不需要创建目录，其他分类需要自己创建

1

$ hexo new page 'about' # 创建 about 对应目录和页面

预览发布

生成博客

1
2

$ hexo g
$ hexo s

本地预览 访问 http://localhost:4000

发布

1

$ hexo d

利用 GitHub 和 Hexo 构建博客

对比于 WordPress，Hexo 这种 Markdown 风格的博客系统，更能让作者关注写作本身，而且搭配 GitHub 不需要独立部署，资料在本地和云端都可以很好地备份。

创建 GitHub 仓库

创建一个以 owner.github.io 命名的仓库，可以直接生成 xxx.github.io 域名的GitHub Pages，推荐用这种命名方式生成博客。

图例

我的以 taoyuyin.github.io 命名，创建完成就可以直接访问了，https://taoyuyin.github.io/

Hexo 安装和初始化

安装 Hexo

1

$ npm install -g hexo

初始化

1
2
3

$ mkdir taoyuyin.github.io
$ cd taoyuyin.github.io/
$ hexo init # 初始化

生成博客

1

$ hexo g

如果需要本地访问，启动服务，然后通过浏览器访问本地端口4000，http://localhost:4000

1

$ hexo s

发布到 GitHub

发布到 GitHub，需要安装Git发布插件 hexo-deployer-git

1

$ npm install hexo-deployer-git --save # 安装插件

编辑 _config.yml，补充 deploy 内容

1
2
3
4

deploy:
  type: git
  repository: https://github.com/taoyuyin/taoyuyin.github.io.git
  branch: master

发布

1

$ hexo d

至此，一个基于 GitHub 和 Hexo 的博客就构建好了

Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub.

Quick Start

Create a new post

1

$ hexo new "My New Post"

More info: Writing

Run server

1

$ hexo server

More info: Server

Generate static files

1

$ hexo generate

More info: Generating

Deploy to remote sites

1

$ hexo deploy

More info: Deployment