千鋒教育-做有情懷、有良心、有品質(zhì)的職業(yè)教育機(jī)構(gòu)

當(dāng)前位置:首頁(yè)  >  IT面試題  >  Python面試題  >  正文

最新開源:高效的Python通用對(duì)象池化庫(kù)

來(lái)源:千鋒教育
發(fā)布時(shí)間:2022-09-26 15:19:00
分享

  高效的Python通用對(duì)象池化庫(kù)

  在程序設(shè)計(jì)中,創(chuàng)建物體模塊主要是通過生成對(duì)象來(lái)實(shí)現(xiàn)。當(dāng)對(duì)象使用結(jié)束后,則會(huì)成為不再需要的模塊進(jìn)行銷毀。

  而在系統(tǒng)進(jìn)行對(duì)象的生成與銷毀過程中會(huì)大量的增加內(nèi)存的消耗,同時(shí)對(duì)象的銷毀往往會(huì)留下殘留的信息,這樣將會(huì)伴隨內(nèi)存泄露的問題存在。

  在實(shí)際的程序開發(fā)過程中,往往需要生成和銷毀大量重復(fù)的對(duì)象,這就使得內(nèi)存泄漏產(chǎn)生的信息過多而無(wú)法被系統(tǒng)回收,從而占用系統(tǒng)更多的內(nèi)存,而且生成物體過多時(shí)無(wú)法確定被什么模塊實(shí)例化實(shí)現(xiàn),對(duì)系統(tǒng)造成負(fù)擔(dān),不利于管理及后續(xù)操作,長(zhǎng)此以往最終將導(dǎo)致程序變慢甚至崩潰。

  對(duì)象池是存放了一批已經(jīng)創(chuàng)建好的對(duì)象的池,它是一個(gè)用來(lái)維護(hù)對(duì)象的結(jié)構(gòu)。當(dāng)程序需要使用對(duì)象的時(shí)候,可以直接從池中獲取該對(duì)象,而不是實(shí)例化一個(gè)新的對(duì)象。

  在程序設(shè)計(jì)過程中,大部分人關(guān)注的往往只是對(duì)象的使用和效果的實(shí)現(xiàn),實(shí)際上創(chuàng)建和使用之間還有一個(gè)初始化的過程,不過系統(tǒng)會(huì)將初始化和創(chuàng)建這兩步結(jié)合在了一起,這樣使得設(shè)計(jì)者忽略了系統(tǒng)創(chuàng)建和銷毀對(duì)象這一過程對(duì)系統(tǒng)的影響。

  通常來(lái)講,一個(gè)對(duì)象的創(chuàng)建和銷毀過程開銷很小,可以忽略不計(jì),但是如果一個(gè)程序中涉及到一種對(duì)象多次創(chuàng)建,并且創(chuàng)建時(shí)間比較長(zhǎng),那就會(huì)能很明顯的感覺到這部分的消耗所造成的系統(tǒng)速度受限。

  對(duì)象池可以看作是減少 GC 壓力的首選方法,同時(shí)也是最簡(jiǎn)單的方法。

  對(duì)象池模式主要適用于以下應(yīng)用場(chǎng)景:

  ●資源受限的場(chǎng)景。比如,不需要可伸縮性的環(huán)境(CPU、內(nèi)存等物理資源有限),CPU性能不夠強(qiáng)勁,內(nèi)存比較緊張,垃圾收集,內(nèi)存抖動(dòng)會(huì)造成比較大的影響,需要提高內(nèi)存管理效率, 響應(yīng)性比吞吐量更為重要。

  ●在內(nèi)存中數(shù)量受限的對(duì)象。

  ●創(chuàng)建成本高的對(duì)象。

  ●大量的存活期短且初始化成本低的對(duì)象池化,以降低內(nèi)存分配和再分配成本,避免內(nèi)存碎片。

  ●Python 的這樣的動(dòng)態(tài)語(yǔ)言,GC 是依靠引用技術(shù)來(lái)來(lái)保證對(duì)象不會(huì)過早的回收,某些場(chǎng)景下可能出現(xiàn)雖然創(chuàng)建了但是沒人使用的空閑期,導(dǎo)致對(duì)象被回收了。可以委托給對(duì)象池來(lái)保管。

  Pond 介紹

  Pond 是一個(gè) Python 中高效的通用對(duì)象池,具有性能好、內(nèi)存占用小、命中率高的特點(diǎn)。基于近似統(tǒng)計(jì)的根據(jù)頻率自動(dòng)回收的能力,能夠自動(dòng)調(diào)整每個(gè)對(duì)象池的空閑對(duì)象數(shù)量。

  因?yàn)槟壳?Python 目前沒有比較好的、測(cè)試用例完備、代碼注釋完備、文檔完善的對(duì)象池化庫(kù),同時(shí)目前的主流對(duì)象池庫(kù)也沒有比較智能的自動(dòng)回收機(jī)制。

  Pond 可能是 Python 中第一個(gè)社區(qū)公開的測(cè)試用例完整,覆蓋率 90% 以上、代碼注釋完備、文檔完善的對(duì)象池化庫(kù)。

  Pond 靈感來(lái)自于 Apache Commons Pool、Netty Recycler、HikariCP、Caffeine,集合了多家的優(yōu)點(diǎn)。

  其次 Pond 通過使用近似計(jì)數(shù)的方式以極小的內(nèi)存空間統(tǒng)計(jì)每個(gè)對(duì)象池的使用頻率,并且自動(dòng)回收。

  流量較為隨機(jī)平均的情況下,默認(rèn)策略和權(quán)重可以降低 48.85% 內(nèi)存占用,借取命中率 100%。

  8000700060005000400030002000NO POLICYDEFAULT POLICY 0.5N1000DEFAULT POLICY 0.8N403020-110

高效的Python通用對(duì)象池化庫(kù)1

  流量較為符合 2/8 定律的情況下,默認(rèn)策略和權(quán)重可以降低 45.7% 內(nèi)存占用, 借取命中率 100%。

  8000700060005000400030002000NO POLICY10002/8 DEFAULT POLICY 0.5N2/8 DEFAULT POLICY 0.8N-1201040

高效的Python通用對(duì)象池化庫(kù)2

  設(shè)計(jì)概述

  Pond 主要由 FactoryDict、Counter、PooledObjectTree 三部分以及一個(gè)單獨(dú)的回收線程構(gòu)成。

  FactoryDict

  使用 Pond 需要實(shí)現(xiàn)對(duì)象工廠 PooledObjectFactory,PooledObjectFactory 提供對(duì)象的創(chuàng)建、初始化、銷毀、驗(yàn)證等操作,由 Pond 調(diào)用。

  所以為了讓對(duì)象池支持存放完全不同的對(duì)象,Pond 使用了一個(gè)字典來(lái)記錄每個(gè)工廠類的名稱和自己實(shí)現(xiàn)的工廠類的實(shí)例化對(duì)象。

  每個(gè) PooledObjectFactory 應(yīng)該具備創(chuàng)建對(duì)象、銷毀對(duì)象、驗(yàn)證對(duì)象是否還可用、重置對(duì)象四個(gè)功能。

  比較特別的是 Pond 支持自動(dòng)重置對(duì)象,因?yàn)槟承﹫?chǎng)景下可能會(huì)存在對(duì)象中要先賦值進(jìn)行傳遞,傳遞完又被回收的情況,為了避免污染建議這種場(chǎng)景下無(wú)比實(shí)現(xiàn)這個(gè)功能。

  Counter

  Counter 中保存了一個(gè)近似計(jì)數(shù)器。

  PooledObjectTree

  PooleedObjectTree 是個(gè)字典,每個(gè) key 對(duì)應(yīng)著一個(gè)先進(jìn)先出的隊(duì)列,這些隊(duì)列都是線程安全的。

  每個(gè)隊(duì)列中保存著多個(gè) PooleedObject。PooledObejct 保存了創(chuàng)建時(shí)間、最后借出的時(shí)間以及實(shí)際需要的對(duì)象。

  線程安全

  Pond 的借用和回收都是線程安全的。Python 的 queue 模塊提供了一個(gè)適用于多線程編程的先進(jìn)先出(FIFO)數(shù)據(jù)結(jié)構(gòu)。它可以用來(lái)安全地在生產(chǎn)者和消費(fèi)者線程之間傳遞消息或其他數(shù)據(jù)。

  鎖是調(diào)用者來(lái)處理的,所有多個(gè)線程能夠安全且容易的使用同樣的 Queue 實(shí)例工作。而 Pond 的借用和回收都是在操作 queue,所以基本可以認(rèn)為是線程安全的。

  借出機(jī)制

  在使用 Pond 借出一個(gè)對(duì)象時(shí),會(huì)先檢查想要借出的對(duì)象的種類是否已經(jīng)在 PooledObjectTree 存在,如果存在會(huì)檢查這個(gè)對(duì)象的對(duì)象池是否為空,如果為空會(huì)創(chuàng)建一個(gè)新的。

  如果對(duì)象池中有多余的對(duì)象,會(huì)利用 queue 彈出一個(gè)對(duì)象并驗(yàn)證這個(gè)對(duì)象是否可用。如果不可用會(huì)自動(dòng)調(diào)用所屬的 Factory 清理銷毀該對(duì)象,同時(shí)清理它在 Python 中的 GC 計(jì)數(shù),讓它更快被 GC 回收,不斷拿取下一個(gè)直至有可用的。

  如果這個(gè)對(duì)象可用,則會(huì)直接返回。當(dāng)然無(wú)論是從對(duì)象池中取出對(duì)象還是新創(chuàng)建了一個(gè)對(duì)象,都會(huì)利用 Counter 增加一個(gè)計(jì)數(shù)。

  回收機(jī)制

  回收一個(gè)對(duì)象時(shí)會(huì)判斷目標(biāo)對(duì)象池存不存在,如果存在會(huì)檢查對(duì)象池是否已經(jīng)滿了,滿了的話會(huì)自動(dòng)銷毀要?dú)w還的這個(gè)對(duì)象。

  然后會(huì)檢查這個(gè)對(duì)象是否已經(jīng)被借出太長(zhǎng)時(shí)間,如果超過了配置的最長(zhǎng)時(shí)間同樣會(huì)被清理掉。

  自動(dòng)回收

  自動(dòng)回收時(shí)每隔一段時(shí)間,默認(rèn)是 300 s,就會(huì)執(zhí)行一次。自動(dòng)清理不經(jīng)常使用的對(duì)象池中的對(duì)象。

  使用說(shuō)明

  你可以先安裝 Pond 的庫(kù)并且在你的項(xiàng)目中引用。

高效的Python通用對(duì)象池化庫(kù)3

  首先你需要聲明一個(gè)你想要放入的類型的對(duì)象的工廠類,比如下面的例子我們希望池化的對(duì)象是 Dog,所以我們先聲明一個(gè) PooledDogFactory 類,并且實(shí)現(xiàn) PooledObjectFactory。

高效的Python通用對(duì)象池化庫(kù)4

  接著你需要?jiǎng)?chuàng)建 Pond 的對(duì)象:

高效的Python通用對(duì)象池化庫(kù)5

  Pond 可以傳遞一些參數(shù)進(jìn)去,分別代表:

  borrowed_timeout :?jiǎn)挝粸槊耄璩鰧?duì)象的最長(zhǎng)期限,超過期限的對(duì)象歸還時(shí)會(huì)自動(dòng)銷毀不會(huì)放入對(duì)象池。

  time_between_eviction_runs :?jiǎn)挝粸槊耄詣?dòng)回收的間隔時(shí)間。

  thread_daemon :守護(hù)線程,如果為 True,自動(dòng)回收的線程會(huì)隨著主線程關(guān)閉而關(guān)閉。

  eviction_weight :自動(dòng)回收時(shí)權(quán)重,會(huì)將這個(gè)權(quán)重與最大使用頻次想乘,使用頻次小于這個(gè)值的對(duì)象池中的對(duì)象都會(huì)進(jìn)入清理步驟。

  實(shí)例化工廠類:

  factory = PooledDogFactory(pooled_maxsize=10, least_one=False)

  所有繼承了 PooledObjectFactory 都會(huì)自帶構(gòu)造函數(shù),可以傳遞 pooled_maxsize 和 least_one 兩個(gè)參數(shù)。

  pooled_maxsize:這個(gè)工廠類生成出的對(duì)象的對(duì)象池的最大能放置的數(shù)量。

  least_one:如果為 True,在進(jìn)入自動(dòng)清理時(shí),這個(gè)工廠類生成出的對(duì)象的對(duì)象池會(huì)至少保留一個(gè)對(duì)象。

  向 Pond 注冊(cè)這個(gè)工廠對(duì)象,默認(rèn)會(huì)使用 factory 的類名作為 PooledObjectTree 的 key :

  pond.register(factory)

  當(dāng)然你也可以自定義它的名字,名字會(huì)作為 PooledObjectTree 的 key:

  pond.register(factory, name="PuppyFactory")

  注冊(cè)成功后,Pond 會(huì)自動(dòng)根據(jù) factory 中設(shè)置的 pooled_maxsize 自動(dòng)開始創(chuàng)建對(duì)象直至填滿這個(gè)對(duì)象池。

  借用和歸還對(duì)象:

高效的Python通用對(duì)象池化庫(kù)6

  當(dāng)然你可以用名字來(lái)進(jìn)行借用和歸還:

高效的Python通用對(duì)象池化庫(kù)7

  完全清理一個(gè)對(duì)象池:

  pond.clear(factory)

  通過名字清理一個(gè)對(duì)象池:

  pond.clear(name="PuppyFactory")

  正常情況下,你只需要使用上面的這些方法,生成對(duì)象和回收對(duì)象都是全自動(dòng)的。

  希望本篇文章可以給大家?guī)?lái)收獲,如果喜歡的話,歡迎關(guān)注+點(diǎn)贊+收藏哦!后面會(huì)繼續(xù)分享更多Python技術(shù)知識(shí)的!

聲明:本站稿件版權(quán)均屬千鋒教育所有,未經(jīng)許可不得擅自轉(zhuǎn)載。

學(xué)習(xí)資源站

  • 免費(fèi)全套視頻教程
  • 企業(yè)實(shí)戰(zhàn)項(xiàng)目源碼
  • 大廠筆試真題題庫(kù)
  • 行業(yè)前瞻發(fā)展趨勢(shì)

相關(guān)推薦

  • 最新開源:高效的Python通用對(duì)象池化庫(kù) 接著你需要?jiǎng)?chuàng)建 Pond 的對(duì)象: Pond 可以傳遞一些參數(shù)進(jìn)去,分別代表: borrowed_timeout :?jiǎn)挝粸槊耄璩鰧?duì)象的最長(zhǎng)期限,超過期限的對(duì)象歸還時(shí)會(huì)自動(dòng)銷毀不會(huì)放入對(duì)象池。
  • 那些隱藏的Pycharm實(shí)用小技巧(下) 方法:點(diǎn)擊左上角“File”→點(diǎn)擊“Settings”→找到Project下面的“Python interpreter”→點(diǎn)擊“+”→輸入你想安裝的包的名字,例如“pygame”,然后點(diǎn)擊下面的“Install Package”就開始安裝了,安裝完成就可以用了。
  • 那些隱藏的Pycharm實(shí)用小技巧(上) 快速多行注釋或者取消多行注釋 雖然我們?cè)趯懘a中可以用“#”來(lái)進(jìn)行單行注釋,但如果有多行代碼需要注釋,那么一行一行來(lái)敲“#”就有點(diǎn)麻煩,這里我們可以用鼠標(biāo)選中多行代碼,然后按 Ctrl+/ 就能進(jìn)行多行代碼的注釋了,同時(shí)也可以取消多行代碼的注釋。
  • 關(guān)于框架的選擇誤區(qū) 在框架的選擇問題上,許多人很容易就陷入了下面兩個(gè)誤區(qū)中而不自知:哪個(gè)框架最好——世上沒有最好的框架,只有最適合你自己、最適合你的團(tuán)隊(duì)的框架。編程語(yǔ)言選擇也是一個(gè)道理,你的團(tuán)隊(duì)Python最熟就用Python好了
  • web開發(fā)的一些框架 Django是一個(gè)開源的Web應(yīng)用框架,由Python寫成,支持許多數(shù)據(jù)庫(kù)引擎,可以讓W(xué)eb開發(fā)變得迅速和可擴(kuò)展,并會(huì)不斷的版本更新以匹配Python最新版本,如果是新手程序員,可以從這個(gè)框架入手。
  • python庫(kù)之文本處理 threading – Python標(biāo)準(zhǔn)庫(kù)的線程運(yùn)行。對(duì)于I/O密集型任務(wù)很有效。對(duì)于CPU綁定的任務(wù)沒用,因?yàn)閜ython GIL。 multiprocessing – 標(biāo)準(zhǔn)的Python庫(kù)運(yùn)行多進(jìn)程。 celery – 基于分布式消息傳遞的異步任務(wù)隊(duì)列/作業(yè)隊(duì)列。
  • 主站蜘蛛池模板: 无人码一区二区三区视频| 亚洲国产精品自在线一区二区 | 国产嫖妓一区二区三区无码| 午夜视频久久久久一区| 精品一区二区三区在线成人| 无码精品蜜桃一区二区三区WW| 精品日韩亚洲AV无码一区二区三区 | 一区二区三区四区精品| AV无码精品一区二区三区| 国产一区二区视频在线观看| 亚洲国产成人精品无码一区二区| 国产福利电影一区二区三区久久老子无码午夜伦不 | 亚洲国产精品一区二区九九| 亚洲变态另类一区二区三区| 亚洲国产国产综合一区首页| 91精品一区国产高清在线| 日韩A无码AV一区二区三区| 亚洲一区中文字幕| 亚欧色一区W666天堂| 国产乱码精品一区二区三区中文 | 国产一区麻豆剧传媒果冻精品| 午夜视频一区二区三区| 色综合视频一区中文字幕| 精品不卡一区二区| 亚洲一区二区三区播放在线| 一区二区在线观看视频| 久久国产免费一区二区三区| 亚洲熟女少妇一区二区| 成人国产一区二区三区| 精品人体无码一区二区三区| 四虎永久在线精品免费一区二区| 国产精品资源一区二区| 国产亚洲综合精品一区二区三区| 日本精品3d动漫一区二区| 日韩伦理一区二区| 琪琪see色原网一区二区| 内射白浆一区二区在线观看| 亚洲国产精品成人一区| 中文字幕日本一区| 亚洲av日韩综合一区在线观看| 亚洲av无码不卡一区二区三区|