推荐数据

10周入门数据分析丨数据分析必掌握的统计学知识

统计学数据分析的基石。学了统计学,你会发现很多时候的分析并不靠谱。比如很多人都喜欢用平均数去分析一个事物的结果,但是这往往是粗糙的,不准确的。如果学了统计学,那么我们就能以更多更科学的角度看待数据

十周入门数据分析.jpg

大部分的数据分析,都会用到统计方面的以下知识,可以重点学习:

  • 基本的统计量:均值、中位数、众数、方差、标准差、百分位数等
  • 概率分布:几何分布、二项分布、泊松分布、正态分布等
  • 总体和样本:了解基本概念,抽样的概念
  • 置信区间与假设检验:如何进行验证分析
  • 相关性与回归分析:一般数据分析的基本模型

通过基本的统计量,你可以进行更多元化的可视化,以实现更加精细化的数据分析。这个时候也需要你去了解更多的Excel函数来实现基本的计算,或者pythonR里面一些对应的可视化方法。
有了总体和样本的概念,你就知道在面对大规模数据的时候,怎样去进行抽样分析。
你也可以应用假设检验的方法,对一些感性的假设做出更加精确地检验。
利用回归分析的方法,你可以对未来的一些数据、缺失的数据做基本的预测。
了解统计学的原理之后,你不一定能够通过工具实现,那么你需要去对应的找网上找相关的实现方法,也可以看书。先推荐一本非常简单的:吴喜之-《统计学·从数据到结论》。也可以看《商务与经济统计》,结合业务能更容易理解。
另外,如何精力允许,请掌握一些主流算法的原理,比如线性回归、逻辑回归、决策树、神经网络、关联分析、聚类、协同过滤、随机森林。再深入一点,还可以掌握文本分析、深度学习、图像识别等相关的算法。关于这些算法,不仅需要了解其原理,你最好可以流畅地阐述出来,还需要你知晓其在各行业的一些应用场景。如果现阶段不是工作刚需,可不作为重点。
本文算是一个知识点汇总,不做细致展开,让大家了解统计学有哪几大块,每一类分别用于什么样的分析场景。后面几篇会以实际案例的方式,细致讲讲描述性统计、概率分布等。

知识点汇总:

1.集中趋势
2.变异性
3.归一化
4.正态分布
5.抽样分布
6.估计
7.假设检验
8.T检验

一、集中趋势

1.众数

出现频率最高的数;

2.中位数

把样本值排序,分布在最中间的值;
样本总数为奇数时,中位数为第(n+1)/2个值;
样本总数为偶数时,中位数是第n/2个,第(n/2)+1个值的平均数;

3.平均数

所有数的总和除以样本数量;
现在大家接触最多的概念应该是平均数,但有时候,平均数会因为某些极值的出现收到很大影响。举个小例子,你们班有20人,大家收入差不多,19人都是5000左右,但是有1个同学创业成功了,年入1个亿,这时候统计你们班同学收入的“平均数”就是500万了,这也很好的解释了,每年各地的平均收入数据出炉,小伙伴们直呼给祖国拖后腿了,那是因为大家收入被平均了,此时,“中位数”更能合理的反映真实的情况;

二、变异性

1.四分位数

上面说到了“中位数”,把样本分成了2部分,再找个这2部分各自的“中位数”,也就把样本分为了4个部分,其中1/4处的值记为Q1,2/4处的值记为Q2,3/4处的值记为Q3

2.四分位距 IQR=Q3-Q1

四分位距.png

3.异常值

小于Q1-1.5(IQR)或者大于Q3+1.5(IQR);
对于异常值,我们在数据处理的环节就要剔除;

4.方差

方差.png

5.平方偏差

方差的算术平方根

6.贝塞尔矫正:修正样本方差

实际在计算方差时,分母要用n-1,而不是样本数量n。原因在于,比如在高斯分布中,我们抽取一部分的样本,用样本的方差表示满足高斯分布的大样本数据集的方差。由于样本主要是落在x=u中心值附近,那么样本如果用如下公式算方差,那么预测方差一定小于大数据集的方差(因为高斯分布的边沿抽取的数据也很少)。为了能弥补这方面的缺陷,那么我们把公式的n改为n-1,以此来提高方差的数值,这种方法叫贝塞尔矫正系数。

三、归一化

1.标准分数

一个给定分数 距离 平均数 多少个标准差?
标准分数是一种可以看出某分数在分布中相对位置的方法。
标准分数能够真实的反映一个分数距离平均数的相对标准距离。

标准分数.png

四、正态分布

1.定义:随机变量X服从一个数学期望为μ,方差为σ⊃2;的正态分布,记为N(μ,σ⊃2;)

  • 随机取一个样本,有68.3%的概率位于距离均值μ有1个标准差σ内;
  • 有95.4%的概率位于距离均值μ有2个标准差σ内;
  • 有99.7%的概率位于距离均值μ有3个标准差σ内;

正态分布.png

五、抽样分布

1.中心极限定理

设从均值为μ,方差为σ⊃2;的任意一个总体中抽取样本量为n的样本,当n充分大时,样本均值的抽样分布近似服从均值为μ、方差为σ⊃2;/n的正态分布

2.抽样分布

设总体共有N个元素,从中随机抽取一个容量为n的样本,在重置抽样时,共有N·n种抽法,即可以组成N·n不同的样本,在不重复抽样时,共有N·n个可能的样本。每一个样本都可以计算出一个均值,这些所有可能的抽样均值形成的分布就是样本均值的分布。但现实中不可能将所有的样本都抽取出来,因此,样本均值的概率分布实际上是一种理论分布。数理统计学的相关定理已经证明:在重置抽样时,样本均值的方差为总体方差的1/n。

举个例子:

48盆MM豆,计算出每盆有几个蓝色的MM豆,48个数据构成了总体样本。然后随机选择五盆,计算五盆中含有蓝色MM豆的平均数,然后反复进行了50次。这就是n为5的样本均值抽样。

抽样分布.png

六、估计

1. 误差界限

误差界限.png

2. 置信度

We are some % sure the true population parameter falls within a specific range
我们有百分之多少确信总体中的值落在一个特定范围内;
一般情况下,取95%的置信度就可以;

3. 置信区间

置信区间.png

七、假设检验

1.问题:什么是显著性水平?

显著性水平是估计总体参数落在某一区间内,可能犯错误的概率,也就是Type I Error
A Type II Error is when you fail to reject the null when it is actually false.

显著性水平.png

2. 如何选择备选检验和零假设?

一个研究者想证明自己的研究结论是正确的,备择假设的方向就要与想要证明其

  • 正确性的方向一致;
  • 同时将研究者想收集证据证明其不正确的假设作为原假设H0

八、T检验

  1. 主要用于样本含量较小(例如n<30),总体标准差σ未知的正态分布。
    流程如下:

T检验流程.png

  • 是用t分布理论来推论差异发生的概率,从而比较两个平均数的差异是否显著;
  • 一般检验水准α取0.05即可;
  • 计算检验统计量的方法根据样本形式不同;

2.独立样本T检验:

现在要分析男生和女生的身高是否相同两者的主要区别在于数据的来源和要分析的问题。

独立样本T检验.png

问题:为什么T检验查表时候要n-1?
样本均值替代总体均值损失了一个自由度

3. 配对样本t检验

分析人的早晨和晚上的身高是否不同,于是找来一拨人测他们早上和晚上的身高,这里每个人就有两个值,这里出现了配对

配对样本T检验.png

样本误差(Standard Error)

样本误差.png

4. Pooled variance 合并方差

当样本平均数不一样,但实际上认为他们的方差是一样的时候,需要合并方差
不要被公式吓到,他的本质是两个样本方差加权平均

方差加权平均.png

5. Cohen’s d

效应量(effect size):提示组间真正的差异占统计学差异的比例,值越大,组间差异越可靠。

效应量.png

专题文章

10周入门数据分析丨学习计划及大纲

> “我是文科生出身,可以学习数据分析吗?” > “我没有编程基础,可以成为数据分析师吗?” > “学习数据分析必须学习R和Python吗?” > …… 其实,数据分析没有想象中那么难,入....


10周入门数据分析丨如何炼就数据分析的思维?

面对数据异常,我们经常会出现“好像是A原因引起的?”“貌似和B原因也相关?”“有可能是C操作不当”的主观臆测。 或者,拿到一个分析议题,分析“11月销售数据下降的原因”,是先从产品层面,还是渠道层面....


10周入门数据分析丨数据分析惯用的5种思维方法

![十周入门数据分析.jpg][1] 在数据分析中,数据分析思维是框架式的指引,实际分析问题时还是需要很多“技巧工具”的。就好比中学里你要解一元二次方式,可以用公式法、配方法、直接开平方法、因式....


10周入门数据分析丨数据分析必备的43个Excel函数

Excel是我们工作中经常使用的一种工具,对于数据分析来说,这也是处理数据最基础的工具。很多传统行业的数据分析师甚至只要掌握Excel和SQL即可。 ![十周入门数据分析.jpg][1] ....


10周入门数据分析丨实操:如何用Excel做一次数据分析

前一篇分享了《[Excel数据分析必掌握的43个公式][1]》,今天这篇讲实操,教大家用Excel做一次简单的分析。一是让大家了解数据分析是一个怎样的流程;其次熟练Excel的操作(学的知识要用起来)....


10周入门数据分析丨写给新人的数据库入门指南

经常有刚从事数据分析的职场萌新,问我做数据分析工作要学些什么,应该怎样规划学习路径。我会告诉他:如果你Excel还用的不溜的话,就先学学Excel,当你用Excel处理和分析一些小数据集没有问题的时候....


10周入门数据分析丨零基础快速自学SQL,2天足矣

SQL全称是 Structured Query Language,翻译后就是结构化查询语言,是一种数据库查询和程序设计语言,用于存取数据以及查询、更新和管理关系数据库系统。 ![十周入门数据分析....


10周入门数据分析丨数据分析必掌握的统计学知识

统计学是数据分析的基石。学了统计学,你会发现很多时候的分析并不靠谱。比如很多人都喜欢用平均数去分析一个事物的结果,但是这往往是粗糙的,不准确的。如果学了统计学,那么我们就能以更多更科学的角度看待数据。....


10周入门数据分析丨不可不知的描述性统计

统计学需要掌握的知识,在数据分析过程中,广泛用于数据质量处理,分析模型构建以及数据挖掘。今天这篇文章将详细讲统计学中最基础的描述统计。 [10周入门数据分析][1] 试想,当你拿到一份数据....


10周入门数据分析丨概率分布,先懂这6个

![40207-7xao1g1bi2n.png](http://www.zuopm.com/usr/uploads/2021/01/3266240098.png) 本文重点介绍分析中常用的六个重....

作者丨启方
来源丨数据分析不是个事儿

本文经授权后发布,本文观点不代表立场
-- 展开阅读全文 --
给产品经理讲技术epub高清电子书
« 上一篇 05-07
有赞数据指标库实践
下一篇 » 05-08

发表评论

作者信息

热门文章

标签TAG

热评文章