作者|ByLucianoStrika來源|CDA數據分析研究院5ProbabilityDistributionsEveryDataScientistShouldKnow
概率分布就像3D眼鏡。它們允許熟練的數據科學家識別其他完全隨機變量的模式。在某種程度上,大多數其他數據科學或機器學習技能都基于對數據概率分布的某些假設。這使得概率知識成為統計學家構建工具箱的基礎。如果您正在尋找如何成為數據科學家的第一步。不用多說,讓我們切入正題。
什么是概率分布?
在概率論和統計學中,隨機變量是一個隨機值的東西,比如“我看到的下一個人的身高”。給定一個隨機變量X,我們想要一種描述它的值的方法。更重要的是,我們想要描述該變量獲取特定值x的可能性。
例如,如果X是“我的女朋友有多少只貓”,那么這個數字可能是1的非零概率。有人可能會認為這個值甚至可能是5或10的非零概率。然而,沒有辦法一個人會有負數的貓。因此,我們想要一種明確的數學方法來表達變量X可以采用的每個可能值x,以及事件的可能性。
數據:UniSat Wallet周活躍用戶數突破30萬:6月4日消息,比特幣銘文錢包UniSat Wallet發推表示,據谷歌Chrome商店統計,UniSat Wallet的周活躍用戶數突破30萬,三個月前周活躍用戶數僅為272。[2023/6/4 21:14:56]
為了做到這一點,我們定義函數P,使得P是變量X具有值x的概率。對于間隔而不是離散值,我們也可以要求P或P。這將很快變得更加重要。P是變量的密度函數,它表征變量的分布。
隨著時間的推移,科學家們開始意識到自然界中的許多事物,現實生活往往表現相似,變量共享一個分布,或具有相同的密度函數。
有趣的是,對于P是一個實際的密度函數,有些事情必須適用。
對于任何值x,P<=1。是再確定不過的事情了。
對于任何值x,P>=0。也沒有什么疑義。
和最后一個:所述之和的P的所有可能的值X為1。
最后一個意味著“X在宇宙中取任何價值的概率,必須加起來為1。Billions項目組離散與連續隨機變量分布最后,隨機變量可以被認為屬于兩組:離散和連續隨機變量。
離散隨機變量
數據:STEPN過去24小時活躍用戶數為38,008人:5月27日消息,據Dune鏈上數據顯示,Move to Earn應用STEPN過去24小時新鑄造鞋子16,703雙,過去7日新鑄造鞋子98,190雙;過去24小時活躍用戶數為38,008人,過去7日活躍用戶數為162,999人。[2022/5/27 3:45:56]
離散變量具有一組離散的可能值,每個值都具有非零概率。例如,如果我們說,當翻轉硬幣時X=“1表示花色,0表示數字”然后P=P=0.5。但是請注意,離散集合不必是有限的。被用于建模的一些事件的概率的幾率p之后發生k的概率。它具有以下密度公式。P(X=k)=p(1-p)^k0<=p<=1其中k可以采用具有正概率的任何非負值。注意所有可能值的概率之和如何仍然加起來為1。
連續隨機變量
如果你說X=“從我頭上隨機拔毛的長度”X可以采用哪些可能的值?我們可能都認為負值在這里沒有任何意義。但是,如果你說它只是1毫米,而不是1.1853759......或類似的東西,我會懷疑你的測量技巧,或你的測量錯誤報告。連續隨機變量可以在給定間隔中取任何值。因此,如果我們為其所有可能值分配了非零概率,則它們的總和不會加起來為1。
數據:Meebits24小時交易量位居所有NFT之首:3月12日消息,NFTScan 的數據顯示,Meebits24 小時成交均價 7.88 ETH,成交額 8174 ETH,位居所有NFT之首。CryptoPunks 24 小時成交均價 82.86 ETH,成交額為 6877 ETH。[2022/3/12 13:52:40]
為了解決這個問題,如果X是連續的,我們為所有k設置P=0,而是為X賦予一個非零的機會獲取某個間隔的值。為了表示在值a和b之間放置X的概率,我們說P。而不是僅僅在一個密度函數替換值,得到P為X連續變量,你會集成X的密度函數a到b。
哇,你已經完成了整個理論部分!現在您已經知道了概率分布是什么,讓我們了解一些最常見的分布!
伯努利概率分布
具有伯努利分布的隨機變量是最簡單的。它代表一個二進制事件:“這件事發生”VS“這種情況沒有發生”,并采取了值p作為其唯一的參數,它代表的概率是會發生的事件。具有參數p的伯努利分布的隨機變量B將具有以下密度函數:
P=p,P=
這里B=1表示事件發生,B=0表示事件沒發生。注意兩個概率如何加起來為1,因此B的不可能會是其他值。
24小時BTC全網合約成交數據顯示:空方占優:據合約帝數據顯示,最近24小時BTC全網合約成交量中開多比例為49.43%,開空比例為50.57%。主流合約交易所中,Huobi季度開多比例為49.84%,開空比例為50.16%;OKEx季度開多比例為49.40%,開空比例為50.60%;BitMEX合約開多比例為48.89%,開空比例為51.11%。[2020/8/17]
統一概率分布
有兩種均勻隨機變量:離散變量和連續變量。
離散均勻分布將采取(有限的)值的集合s,為每個值分配1/n的概率,其中n是S中元素的數量。這樣,如果我的變量Y在{1,2,3}中是均勻的,則每個值出現的概率為33%。
在骰子中可以找到離散均勻隨機變量的典型情況,其中典型的骰子具有一組值{1,2,3,4,5,6}。連續均勻分布,只取兩個值a和b作為參數,并為它們之間的間隔中的每個值分配相同的密度。這意味著Y在一個區間(從c到d)取值的概率與相對于整個區間的大小成比例。因此,如果Y在a和b之間均勻分布,那么這樣,如果Y是1和2之間的均勻隨機變量,P=1且P=0.5
Python的random包的random方法在0和1之間采樣均勻分布的連續變量。有趣的是,可以證明,在給定均勻隨機值生成器和一些微積分的情況下,可以對任何其他分布進行采樣。
動態 | 深圳華大基因發布《區塊鏈基因數據服務應用指南》團隊標準:今天上午,“2019中國區塊鏈技術和產業發展論壇·第四屆區塊鏈開發大會”在北京國際會議中心舉辦。深圳華大基因區塊鏈產品經理李士森發布《區塊鏈基因數據服務應用指南》團隊標準。基因數據服務應用框架涉及6個過程:采集測序樣本、測序生成基因數據、基因數據預處理、基因數據分析/存儲/傳輸/銷毀、基因數據應用、基因數據服務應用第三方核驗。
李士森補充說,基因數據服務應用也需要遵循4項原則:一是依法合規原則,遵循當地法規;二是分級授權原則,分級授權時應考慮基因數據樣本來源、基因數據不同點位攜帶信息的隱私程度、基因數據的敏感性對國家安全性影響的程度、基因數據的應用目的及范圍;三是全程可追溯原則,全流程存證,并考慮單個基因數據文件與多個基因數據文件之間的相互轉換;四是數據高安全原則。(星球日報)[2019/12/26]
正態概率分布
通常分布的變量在自然界中很常見,它們實際上是標注規格。這實際上就是這個名字的來源。如果你把所有的同事都圍起來并測量他們的身高,或者對測量體重并用結果繪制直方圖,則可能會接近正態分布。當我向您展示探索性數據分析示例時,我實際上看到了這種效果。
還可以證明,如果您采用任意隨機變量的樣本并對這些度量進行平均,并多次重復該過程,則該平均值也將具有正態分布。這個事實非常重要,它被稱為統計學的基本定理。通常分布的變量:
是對稱的,以均值為中心。
可以在真實空間中獲取所有值,但僅在5%的時間內偏離規范的兩個sigmas。
幾乎無處不在。
大多數情況下,如果你測量任何經驗數據并且它是對稱的,假設它是正常的將有點工作。
例如,滾動K骰子并將結果相加將分配非常正常。
對數正態概率分布
對數正態概率分布是正常概率分布的不常見的姐妹。如果變量Y=log遵循正態分布,則稱變量X是對數正態分布的。當在直方圖中繪制時,對數正態概率分布是不對稱的,并且如果它們的標準偏差更大則變得更加如此。我認為對數正態分布值得一提,因為大多數基于貨幣的變量都是這樣的。
如果你看一下與錢有關的任何變量的概率分布,比如
在某個銀行的最新轉賬上發送的金額。
華爾街最新交易量。
一組公司在特定季度的季度收益。
它們通常沒有正態的概率分布,但會更接近對數正態隨機變量。
指數概率分布
指數概率分布也隨處可見。它們與稱為泊松過程的概率概念密切相關。直接從維基百科竊取,泊松過程是“事件以恒定的平均速率連續且獨立地發生的過程”。所有這些意味著,如果:
你有很多活動。
它們以一定的速率發生。
僅僅因為一個發生了另一個發生的機會不改變。
然后你有一個泊松過程。
一些例子可能是來到服務器的請求,在超市中發生的交易,或在某個湖中捕魚的鳥類。想象一下頻率為λ的泊松過程。指數隨機變量模擬事件發生后下一個事件發生所需的時間。有趣的是,在泊松過程中,事件可以在任何時間間隔內發生在0到無窮大之間的任何地方。
這意味著無論您等待多久,事件都不會發生非零事件。這也意味著它可能在很短的時間內發生很多次。在課堂上,我們常常開玩笑的是巴士到達泊松過程。我認為將WhatsApp消息發送給某些人時的響應時間也符合標準。但是,λ參數調節事件的頻率。它將使事件實際發生的預期時間以某個值為中心。這意味著如果我們知道出租車每隔15分鐘通過我們的街區,即使理論上我們可以永遠等待它,我們也很可能不會等待30分鐘。
數據科學中的指數概率分布
這是指數分布隨機變量的密度函數:
假設您有一個來自變量的樣本,并希望查看它是否可以使用指數分布變量建模。最佳λ參數可以很容易地估計為采樣值平均值的倒數。指數變量非常適合用非常罕見但巨大的異常值對任何概率分布進行建模。這是因為它們可以取任何非負值但以較小值為中心,隨著值的增加頻率降低。在特別是異常繁重的樣本中,您可能希望將λ估計為中位數而不是平均值,因為中位數對異常值更為穩健。
結論
總而言之,作為數據科學家,我認為學習基礎知識對我們很重要。概率和統計可能不像深度學習或無監督機器學習那樣華麗,但它們是數據科學的基石。特別是機器學習。根據我的經驗,提供具有功能的機器學習模型,而不知道他們遵循哪種分布,這是一個糟糕的選擇。記住無處不在的指數和正態概率分布以及它們較小的對應物,對數正態分布也是很好的。在訓練機器學習模型時,了解它們的屬性,用途和外觀會改變游戲規則。在進行任何類型的數據分析時,記住它們通常也很好。
進入···解鎖更多精彩內容和專業資訊!
本周二,社交媒體巨頭Facebook公布了一項名為Libra的新加密貨幣的計劃,該計劃由包括Visa和PayPal在內的眾多公司提供支持,這些公司將在其平臺上充當數字支付.
1900/1/1 0:00:00隸書 萌芽于戰國,興盛于漢代 是漢字中常見的一種莊重的字體 書寫效果略扁寬 橫畫較長而直畫較短 結體扁平、工整、精巧 講究“蠶頭燕尾”、“一波三折” NFT基金創始人:購買Beeple NFT藝.
1900/1/1 0:00:00在聲勢浩大的那一群新造車企業里,合眾汽車是比較低調的一個,但并不缺乏特點。6月27日,合眾汽車在江西宜春開工建設“全生態智慧工廠”.
1900/1/1 0:00:00中俄在經貿合作上取得的成績早已有目共睹。就拿最直觀的貿易額來說,中俄2018年雙邊貿易已經順利突破1000億美元,上漲27.1%;而今年前五個月,雙方進出口額也達到424.6億美元,同比增長4%.
1900/1/1 0:00:008月16日晚間,理想汽車發布公告稱,公司已經完成5.3億美元C輪融資。本輪融資正是由6月中旬盛傳的美團創始人王興領投,其中王興個人投資近3億美元.
1900/1/1 0:00:00歷史上的今天丨G20要求IMF研究穩定幣可能帶來的風險:2019年10月20日,二十國集團(G20)已向國際貨幣基金組織(IMF)尋求幫助,以確定穩定幣的含義.
1900/1/1 0:00:00