作者|ByLucianoStrika来源|CDA数据分析研究院5ProbabilityDistributionsEveryDataScientistShouldKnow
概率分布就像3D眼镜。它们允许熟练的数据科学家识别其他完全随机变量的模式。在某种程度上，大多数其他数据科学或机器学习技能都基于对数据概率分布的某些假设。这使得概率知识成为统计学家构建工具箱的基础。如果您正在寻找如何成为数据科学家的第一步。不用多说，让我们切入正题。
什么是概率分布？
在概率论和统计学中，随机变量是一个随机值的东西，比如“我看到的下一个人的身高”。给定一个随机变量X，我们想要一种描述它的值的方法。更重要的是，我们想要描述该变量获取特定值x的可能性。
例如，如果X是“我的女朋友有多少只猫”，那么这个数字可能是1的非零概率。有人可能会认为这个值甚至可能是5或10的非零概率。然而，没有办法一个人会有负数的猫。因此，我们想要一种明确的数学方法来表达变量X可以采用的每个可能值x，以及事件的可能性。
数据：2月比特币和以太坊期货未平仓合约和总交易量均出现下降:金色财经报道，据The Block数据显示，2月比特币和以太坊期货未平仓合约和总交易量均出现下降，同时比特币期货月交易额跌至1.2万亿美元，降幅达到7.4%。另外，尽管芝商所比特币未平仓合约上涨至21.3亿美元，增幅达到49.8%，但日均交易额下降至16.5亿美元，跌幅为30.2%。另一方面，以太坊期货2月交易量下降到6910亿美元，跌幅为4.5%。在期权方面，虽然比特币和以太坊期权未平仓量略有增加，但交易量却都出现了下降。其中以太坊月期权交易额降至120亿美元，跌幅为23.4%；比特币月期权交易额降至169亿美元，跌幅为21.4%。[2022/3/2 13:31:53]
为了做到这一点，我们定义函数P，使得P是变量X具有值x的概率。对于间隔而不是离散值，我们也可以要求P或P。这将很快变得更加重要。P是变量的密度函数，它表征变量的分布。
随着时间的推移，科学家们开始意识到自然界中的许多事物，现实生活往往表现相似，变量共享一个分布，或具有相同的密度函数。
有趣的是，对于P是一个实际的密度函数，有些事情必须适用。
对于任何值x,P<=1。是再确定不过的事情了。
数据：已铸造约6.8万枚More Loot:9月6日消息，Etherscan数据显示，已铸造约6.8万枚More Loot。截至发稿时，持币地址数量为15244。[2021/9/6 23:03:26]
对于任何值x，P>=0。也没有什么疑义。
和最后一个：所述之和的P的所有可能的值X为1。
最后一个意味着“X在宇宙中取任何价值的概率,必须加起来为1。Billions项目组离散与连续随机变量分布最后，随机变量可以被认为属于两组：离散和连续随机变量。
离散随机变量
离散变量具有一组离散的可能值，每个值都具有非零概率。例如，如果我们说，当翻转硬币时X=“1表示花色，0表示数字”然后P=P=0.5。但是请注意，离散集合不必是有限的。被用于建模的一些事件的概率的几率p之后发生k的概率。它具有以下密度公式。P(X=k)=p(1-p)^k0<=p<=1其中k可以采用具有正概率的任何非负值。注意所有可能值的概率之和如何仍然加起来为1。
金色财经挖矿数据播报：ETH今日全网算力上涨3.86%:金色财经报道，据蜘蛛矿池数据显示：
BTC全网算力154.862 EH/s，挖矿难度25.05T，目前区块高度684375，理论收益0.00000596/T/天。
ETH全网算力649.644TH/s，挖矿难度8272.34T，目前区块高度12474976，理论收益0.00385981/100MH/天。
BSV全网算力0.851EH/s，挖矿难度0.10T，目前区块高度688105，理论收益0.00105649/T/天。
BCH全网算力1.922 EH/s，挖矿难度0.41T，目前区块高度688753，理论收益0.00046825/T/天。[2021/5/21 22:28:13]
连续随机变量
如果你说X=“从我头上随机拔毛的长度”X可以采用哪些可能的值？我们可能都认为负值在这里没有任何意义。但是，如果你说它只是1毫米，而不是1.1853759......或类似的东西，我会怀疑你的测量技巧，或你的测量错误报告。连续随机变量可以在给定间隔中取任何值。因此，如果我们为其所有可能值分配了非零概率，则它们的总和不会加起来为1。
为了解决这个问题，如果X是连续的，我们为所有k设置P=0，而是为X赋予一个非零的机会获取某个间隔的值。为了表示在值a和b之间放置X的概率，我们说P。而不是仅仅在一个密度函数替换值，得到P为X连续变量，你会集成X的密度函数a到b。
美国加密公司工作组公布数据共享解决方案以遵守FATF转移规则:金色财经报道，美国的25个虚拟资产服务提供商（VASP）共同发布了一份行业解决方案白皮书，以遵守金融行动特别工作组（FATF）的“转移规则”（Travel Rule）。本质上，美国转移规则工作组（USTRWG）提出了一种枢纽。通过该枢纽，他们可以识别客户信息并使用点对点通信渠道来传输数据。据悉FATF于去年6月发布了有关转移规则的指南。[2020/10/22]
哇，你已经完成了整个理论部分！现在您已经知道了概率分布是什么，让我们了解一些最常见的分布！
伯努利概率分布
具有伯努利分布的随机变量是最简单的。它代表一个二进制事件：“这件事发生”VS“这种情况没有发生”，并采取了值p作为其唯一的参数，它代表的概率是会发生的事件。具有参数p的伯努利分布的随机变量B将具有以下密度函数：
P=p，P=
这里B=1表示事件发生，B=0表示事件没发生。注意两个概率如何加起来为1，因此B的不可能会是其他值。
统一概率分布
有两种均匀随机变量：离散变量和连续变量。
离散均匀分布将采取(有限的)值的集合s，为每个值分配1/n的概率，其中n是S中元素的数量。这样，如果我的变量Y在{1,2,3}中是均匀的，则每个值出现的概率为33％。
数据：超过740万枚BTC处于休眠状态，创两年新高:Glassnode数据显示，休眠的比特币数量达到两年高点，共7403288.669枚。目前尚不清楚这些比特币是否已丢失，或是持有者达到了新的高度，但这两者都是看涨的迹象。如果这些比特币已丢失，那么比特币的流通量就会减少，从而增加了稀缺性，可能会推动比特币进一步上涨。另一方面，如果这些比特币被长期持有，那么表明许多人长期相信比特币，也可能会将比特币推高至此前高点或更高。（Crypto-markets）[2020/7/21]
在骰子中可以找到离散均匀随机变量的典型情况，其中典型的骰子具有一组值{1,2,3,4,5,6}。连续均匀分布，只取两个值a和b作为参数，并为它们之间的间隔中的每个值分配相同的密度。这意味着Y在一个区间(从c到d)取值的概率与相对于整个区间的大小成比例。因此，如果Y在a和b之间均匀分布，那么这样，如果Y是1和2之间的均匀随机变量，P=1且P=0.5
Python的random包的random方法在0和1之间采样均匀分布的连续变量。有趣的是，可以证明，在给定均匀随机值生成器和一些微积分的情况下，可以对任何其他分布进行采样。
正态概率分布
通常分布的变量在自然界中很常见，它们实际上是标注规格。这实际上就是这个名字的来源。如果你把所有的同事都围起来并测量他们的身高，或者对测量体重并用结果绘制直方图，则可能会接近正态分布。当我向您展示探索性数据分析示例时，我实际上看到了这种效果。
还可以证明，如果您采用任意随机变量的样本并对这些度量进行平均，并多次重复该过程，则该平均值也将具有正态分布。这个事实非常重要，它被称为统计学的基本定理。通常分布的变量：
是对称的，以均值为中心。
可以在真实空间中获取所有值，但仅在5％的时间内偏离规范的两个sigmas。
几乎无处不在。
大多数情况下，如果你测量任何经验数据并且它是对称的，假设它是正常的将有点工作。
例如，滚动K骰子并将结果相加将分配非常正常。
对数正态概率分布
对数正态概率分布是正常概率分布的不常见的姐妹。如果变量Y=log遵循正态分布，则称变量X是对数正态分布的。当在直方图中绘制时，对数正态概率分布是不对称的，并且如果它们的标准偏差更大则变得更加如此。我认为对数正态分布值得一提，因为大多数基于货币的变量都是这样的。
如果你看一下与钱有关的任何变量的概率分布，比如
在某个银行的最新转账上发送的金额。
华尔街最新交易量。
一组公司在特定季度的季度收益。
它们通常没有正态的概率分布，但会更接近对数正态随机变量。
指数概率分布
指数概率分布也随处可见。它们与称为泊松过程的概率概念密切相关。直接从维基百科窃取，泊松过程是“事件以恒定的平均速率连续且独立地发生的过程”。所有这些意味着，如果：
你有很多活动。
它们以一定的速率发生。
仅仅因为一个发生了另一个发生的机会不改变。
然后你有一个泊松过程。
一些例子可能是来到服务器的请求，在超市中发生的交易，或在某个湖中捕鱼的鸟类。想象一下频率为λ的泊松过程。指数随机变量模拟事件发生后下一个事件发生所需的时间。有趣的是，在泊松过程中，事件可以在任何时间间隔内发生在0到无穷大之间的任何地方。
这意味着无论您等待多久，事件都不会发生非零事件。这也意味着它可能在很短的时间内发生很多次。在课堂上，我们常常开玩笑的是巴士到达泊松过程。我认为将WhatsApp消息发送给某些人时的响应时间也符合标准。但是，λ参数调节事件的频率。它将使事件实际发生的预期时间以某个值为中心。这意味着如果我们知道出租车每隔15分钟通过我们的街区，即使理论上我们可以永远等待它，我们也很可能不会等待30分钟。
数据科学中的指数概率分布
这是指数分布随机变量的密度函数：
假设您有一个来自变量的样本，并希望查看它是否可以使用指数分布变量建模。最佳λ参数可以很容易地估计为采样值平均值的倒数。指数变量非常适合用非常罕见但巨大的异常值对任何概率分布进行建模。这是因为它们可以取任何非负值但以较小值为中心，随着值的增加频率降低。在特别是异常繁重的样本中，您可能希望将λ估计为中位数而不是平均值，因为中位数对异常值更为稳健。
结论
总而言之，作为数据科学家，我认为学习基础知识对我们很重要。概率和统计可能不像深度学习或无监督机器学习那样华丽，但它们是数据科学的基石。特别是机器学习。根据我的经验，提供具有功能的机器学习模型，而不知道他们遵循哪种分布，这是一个糟糕的选择。记住无处不在的指数和正态概率分布以及它们较小的对应物，对数正态分布也是很好的。在训练机器学习模型时，了解它们的属性，用途和外观会改变游戏规则。在进行任何类型的数据分析时，记住它们通常也很好。
进入···解锁更多精彩内容和专业资讯！
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。