色噜噜狠狠成人网_好男人社区神马在线观看www_亚洲国产成人精品女人久久久_日本特黄aaaaaaa大片

千鋒教育-做有情懷、有良心、有品質的職業教育機構

當前位置:首頁  >  IT面試題  >  Python面試題  >  正文

最新開源:高效的Python通用對象池化庫

來源:千鋒教育
發布時間:2022-09-26 15:19:00
分享

  高效的Python通用對象池化庫

  在程序設計中,創建物體模塊主要是通過生成對象來實現。當對象使用結束后,則會成為不再需要的模塊進行銷毀。

  而在系統進行對象的生成與銷毀過程中會大量的增加內存的消耗,同時對象的銷毀往往會留下殘留的信息,這樣將會伴隨內存泄露的問題存在。

  在實際的程序開發過程中,往往需要生成和銷毀大量重復的對象,這就使得內存泄漏產生的信息過多而無法被系統回收,從而占用系統更多的內存,而且生成物體過多時無法確定被什么模塊實例化實現,對系統造成負擔,不利于管理及后續操作,長此以往最終將導致程序變慢甚至崩潰。

  對象池是存放了一批已經創建好的對象的池,它是一個用來維護對象的結構。當程序需要使用對象的時候,可以直接從池中獲取該對象,而不是實例化一個新的對象。

  在程序設計過程中,大部分人關注的往往只是對象的使用和效果的實現,實際上創建和使用之間還有一個初始化的過程,不過系統會將初始化和創建這兩步結合在了一起,這樣使得設計者忽略了系統創建和銷毀對象這一過程對系統的影響。

  通常來講,一個對象的創建和銷毀過程開銷很小,可以忽略不計,但是如果一個程序中涉及到一種對象多次創建,并且創建時間比較長,那就會能很明顯的感覺到這部分的消耗所造成的系統速度受限。

  對象池可以看作是減少 GC 壓力的首選方法,同時也是最簡單的方法。

  對象池模式主要適用于以下應用場景:

  ●資源受限的場景。比如,不需要可伸縮性的環境(CPU、內存等物理資源有限),CPU性能不夠強勁,內存比較緊張,垃圾收集,內存抖動會造成比較大的影響,需要提高內存管理效率, 響應性比吞吐量更為重要。

  ●在內存中數量受限的對象。

  ●創建成本高的對象。

  ●大量的存活期短且初始化成本低的對象池化,以降低內存分配和再分配成本,避免內存碎片。

  ●Python 的這樣的動態語言,GC 是依靠引用技術來來保證對象不會過早的回收,某些場景下可能出現雖然創建了但是沒人使用的空閑期,導致對象被回收了。可以委托給對象池來保管。

  Pond 介紹

  Pond 是一個 Python 中高效的通用對象池,具有性能好、內存占用小、命中率高的特點。基于近似統計的根據頻率自動回收的能力,能夠自動調整每個對象池的空閑對象數量。

  因為目前 Python 目前沒有比較好的、測試用例完備、代碼注釋完備、文檔完善的對象池化庫,同時目前的主流對象池庫也沒有比較智能的自動回收機制。

  Pond 可能是 Python 中第一個社區公開的測試用例完整,覆蓋率 90% 以上、代碼注釋完備、文檔完善的對象池化庫。

  Pond 靈感來自于 Apache Commons Pool、Netty Recycler、HikariCP、Caffeine,集合了多家的優點。

  其次 Pond 通過使用近似計數的方式以極小的內存空間統計每個對象池的使用頻率,并且自動回收。

  流量較為隨機平均的情況下,默認策略和權重可以降低 48.85% 內存占用,借取命中率 100%。

  8000700060005000400030002000NO POLICYDEFAULT POLICY 0.5N1000DEFAULT POLICY 0.8N403020-110

高效的Python通用對象池化庫1

  流量較為符合 2/8 定律的情況下,默認策略和權重可以降低 45.7% 內存占用, 借取命中率 100%。

  8000700060005000400030002000NO POLICY10002/8 DEFAULT POLICY 0.5N2/8 DEFAULT POLICY 0.8N-1201040

高效的Python通用對象池化庫2

  設計概述

  Pond 主要由 FactoryDict、Counter、PooledObjectTree 三部分以及一個單獨的回收線程構成。

  FactoryDict

  使用 Pond 需要實現對象工廠 PooledObjectFactory,PooledObjectFactory 提供對象的創建、初始化、銷毀、驗證等操作,由 Pond 調用。

  所以為了讓對象池支持存放完全不同的對象,Pond 使用了一個字典來記錄每個工廠類的名稱和自己實現的工廠類的實例化對象。

  每個 PooledObjectFactory 應該具備創建對象、銷毀對象、驗證對象是否還可用、重置對象四個功能。

  比較特別的是 Pond 支持自動重置對象,因為某些場景下可能會存在對象中要先賦值進行傳遞,傳遞完又被回收的情況,為了避免污染建議這種場景下無比實現這個功能。

  Counter

  Counter 中保存了一個近似計數器。

  PooledObjectTree

  PooleedObjectTree 是個字典,每個 key 對應著一個先進先出的隊列,這些隊列都是線程安全的。

  每個隊列中保存著多個 PooleedObject。PooledObejct 保存了創建時間、最后借出的時間以及實際需要的對象。

  線程安全

  Pond 的借用和回收都是線程安全的。Python 的 queue 模塊提供了一個適用于多線程編程的先進先出(FIFO)數據結構。它可以用來安全地在生產者和消費者線程之間傳遞消息或其他數據。

  鎖是調用者來處理的,所有多個線程能夠安全且容易的使用同樣的 Queue 實例工作。而 Pond 的借用和回收都是在操作 queue,所以基本可以認為是線程安全的。

  借出機制

  在使用 Pond 借出一個對象時,會先檢查想要借出的對象的種類是否已經在 PooledObjectTree 存在,如果存在會檢查這個對象的對象池是否為空,如果為空會創建一個新的。

  如果對象池中有多余的對象,會利用 queue 彈出一個對象并驗證這個對象是否可用。如果不可用會自動調用所屬的 Factory 清理銷毀該對象,同時清理它在 Python 中的 GC 計數,讓它更快被 GC 回收,不斷拿取下一個直至有可用的。

  如果這個對象可用,則會直接返回。當然無論是從對象池中取出對象還是新創建了一個對象,都會利用 Counter 增加一個計數。

  回收機制

  回收一個對象時會判斷目標對象池存不存在,如果存在會檢查對象池是否已經滿了,滿了的話會自動銷毀要歸還的這個對象。

  然后會檢查這個對象是否已經被借出太長時間,如果超過了配置的最長時間同樣會被清理掉。

  自動回收

  自動回收時每隔一段時間,默認是 300 s,就會執行一次。自動清理不經常使用的對象池中的對象。

  使用說明

  你可以先安裝 Pond 的庫并且在你的項目中引用。

高效的Python通用對象池化庫3

  首先你需要聲明一個你想要放入的類型的對象的工廠類,比如下面的例子我們希望池化的對象是 Dog,所以我們先聲明一個 PooledDogFactory 類,并且實現 PooledObjectFactory。

高效的Python通用對象池化庫4

  接著你需要創建 Pond 的對象:

高效的Python通用對象池化庫5

  Pond 可以傳遞一些參數進去,分別代表:

  borrowed_timeout :單位為秒,借出對象的最長期限,超過期限的對象歸還時會自動銷毀不會放入對象池。

  time_between_eviction_runs :單位為秒,自動回收的間隔時間。

  thread_daemon :守護線程,如果為 True,自動回收的線程會隨著主線程關閉而關閉。

  eviction_weight :自動回收時權重,會將這個權重與最大使用頻次想乘,使用頻次小于這個值的對象池中的對象都會進入清理步驟。

  實例化工廠類:

  factory = PooledDogFactory(pooled_maxsize=10, least_one=False)

  所有繼承了 PooledObjectFactory 都會自帶構造函數,可以傳遞 pooled_maxsize 和 least_one 兩個參數。

  pooled_maxsize:這個工廠類生成出的對象的對象池的最大能放置的數量。

  least_one:如果為 True,在進入自動清理時,這個工廠類生成出的對象的對象池會至少保留一個對象。

  向 Pond 注冊這個工廠對象,默認會使用 factory 的類名作為 PooledObjectTree 的 key :

  pond.register(factory)

  當然你也可以自定義它的名字,名字會作為 PooledObjectTree 的 key:

  pond.register(factory, name="PuppyFactory")

  注冊成功后,Pond 會自動根據 factory 中設置的 pooled_maxsize 自動開始創建對象直至填滿這個對象池。

  借用和歸還對象:

高效的Python通用對象池化庫6

  當然你可以用名字來進行借用和歸還:

高效的Python通用對象池化庫7

  完全清理一個對象池:

  pond.clear(factory)

  通過名字清理一個對象池:

  pond.clear(name="PuppyFactory")

  正常情況下,你只需要使用上面的這些方法,生成對象和回收對象都是全自動的。

  希望本篇文章可以給大家帶來收獲,如果喜歡的話,歡迎關注+點贊+收藏哦!后面會繼續分享更多Python技術知識的!

聲明:本站稿件版權均屬千鋒教育所有,未經許可不得擅自轉載。

相關推薦

  • 最新開源:高效的Python通用對象池化庫 接著你需要創建 Pond 的對象: Pond 可以傳遞一些參數進去,分別代表: borrowed_timeout :單位為秒,借出對象的最長期限,超過期限的對象歸還時會自動銷毀不會放入對象池。
  • 那些隱藏的Pycharm實用小技巧(下) 方法:點擊左上角“File”→點擊“Settings”→找到Project下面的“Python interpreter”→點擊“+”→輸入你想安裝的包的名字,例如“pygame”,然后點擊下面的“Install Package”就開始安裝了,安裝完成就可以用了。
  • 那些隱藏的Pycharm實用小技巧(上) 快速多行注釋或者取消多行注釋 雖然我們在寫代碼中可以用“#”來進行單行注釋,但如果有多行代碼需要注釋,那么一行一行來敲“#”就有點麻煩,這里我們可以用鼠標選中多行代碼,然后按 Ctrl+/ 就能進行多行代碼的注釋了,同時也可以取消多行代碼的注釋。
  • 關于框架的選擇誤區 在框架的選擇問題上,許多人很容易就陷入了下面兩個誤區中而不自知:哪個框架最好——世上沒有最好的框架,只有最適合你自己、最適合你的團隊的框架。編程語言選擇也是一個道理,你的團隊Python最熟就用Python好了
  • web開發的一些框架 Django是一個開源的Web應用框架,由Python寫成,支持許多數據庫引擎,可以讓Web開發變得迅速和可擴展,并會不斷的版本更新以匹配Python最新版本,如果是新手程序員,可以從這個框架入手。
  • python庫之文本處理 threading – Python標準庫的線程運行。對于I/O密集型任務很有效。對于CPU綁定的任務沒用,因為python GIL。 multiprocessing – 標準的Python庫運行多進程。 celery – 基于分布式消息傳遞的異步任務隊列/作業隊列。
  • 色噜噜狠狠成人网_好男人社区神马在线观看www_亚洲国产成人精品女人久久久_日本特黄aaaaaaa大片

    久久综合色88| 一本色道久久综合| 老司机精品视频网站| 99热精品在线| 欲香欲色天天天综合和网| 美女爽到呻吟久久久久| 亚洲免费在线观看| 亚洲精品乱码久久久久久久久| 国产精品福利网站| 欧美精品xxxxbbbb| 国产一区二区三区在线观看免费视频 | 久久精品国产在热久久 | 欧美激情亚洲另类| 欧美一区1区三区3区公司| 在线观看亚洲精品| 国产一区二区欧美日韩| 国产精品视频网址| 欧美午夜电影网| 欧美日韩国产二区| 欧美激情精品久久久久久久变态| 欧美一区=区| 亚洲男女自偷自拍| 亚洲午夜一区二区三区| 亚洲美女免费精品视频在线观看| 国产亚洲成av人片在线观看桃 | 国产精品www色诱视频| 欧美肥婆在线| 欧美激情第三页| 欧美精品一区二区蜜臀亚洲| 美女诱惑一区| 欧美国产日韩xxxxx| 欧美激情精品久久久久久黑人 | 欧美日韩亚洲一区二区| 欧美风情在线| 欧美日韩一二三区| 国产精品九九| 国产偷久久久精品专区| 国产亚洲欧美一区二区三区| 国产情侣一区| 亚洲第一精品福利| 亚洲激情成人| 亚洲天天影视| 性久久久久久久| 久久免费偷拍视频| 欧美v日韩v国产v| 欧美日本国产在线| 国产精品日韩精品| 国产亚洲欧美激情| 亚洲国产日韩美| 亚洲一区二区av电影| 亚洲欧美成人综合| 久久亚洲国产成人| 欧美日韩亚洲一区二区三区在线| 欧美日本高清视频| 国产精品一区二区久久国产| 精品成人乱色一区二区| 亚洲欧洲一区| 亚洲欧美三级伦理| 美国十次成人| 国产精品久久久久久久免费软件 | 久久亚洲精选| 欧美日韩在线精品一区二区三区| 国产精品入口日韩视频大尺度| 国产在线成人| av成人免费在线| 久久久久久一区| 欧美日韩中文在线| 激情成人av| 亚洲一卡久久| 欧美精品乱人伦久久久久久| 国产精品你懂的在线| 亚洲国产午夜| 欧美专区18| 国产精品久久久久久久久久ktv| 狠狠综合久久av一区二区老牛| 9久re热视频在线精品| 久久午夜国产精品| 国产乱人伦精品一区二区| 亚洲精品久久久久久久久| 小嫩嫩精品导航| 国产精品高潮粉嫩av| 亚洲美女视频在线观看| 久久综合中文字幕| 国产亚洲欧美一级| 亚洲在线视频观看| 欧美色播在线播放| 亚洲精品老司机| 欧美v国产在线一区二区三区| 国产婷婷色一区二区三区在线| 这里只有精品电影| 欧美日韩综合视频| 亚洲精品免费一二三区| 免费黄网站欧美| 亚洲国产欧美在线人成| 欧美.www| 亚洲精选成人| 欧美人交a欧美精品| 亚洲人成在线影院| 欧美久久精品午夜青青大伊人| 亚洲成人在线| 欧美激情视频给我| 亚洲免费成人| 欧美三级视频在线播放| 日韩亚洲欧美中文三级| 欧美日韩亚洲视频一区| 一区二区三区高清| 国产精品久久久久久久久婷婷 | 国产精品一区一区三区| 午夜久久久久| 激情文学综合丁香| 免费在线看成人av| 亚洲毛片av| 国产精品看片资源| 久久精精品视频| 亚洲第一精品电影| 欧美日韩国产123| 亚洲一二三四久久| 国产视频一区在线观看| 久久精品国产亚洲aⅴ| 亚洲国产精品尤物yw在线观看| 模特精品在线| 亚洲一区二区三区中文字幕| 国产欧美日韩91| 欧美aa国产视频| 亚洲视频综合| 亚洲高清久久久| 国产精品久久久久久久电影 | 国产亚洲欧美在线| 欧美大片在线看| 亚洲午夜久久久| 亚洲成色精品| 国产精品久久婷婷六月丁香| 久久久最新网址| 中日韩男男gay无套| 国产一区二区三区成人欧美日韩在线观看| 久久久久久久久久久久久9999| 亚洲精品视频在线观看网站| 国产精品区一区二区三区| 美女脱光内衣内裤视频久久网站| 在线天堂一区av电影| 在线观看成人一级片| 国产精品视频yy9099| 欧美高清视频在线播放| 亚洲女女做受ⅹxx高潮| 亚洲人精品午夜在线观看| 国产日韩欧美夫妻视频在线观看| 麻豆精品国产91久久久久久| 性欧美1819sex性高清| 亚洲三级电影全部在线观看高清 | 久久漫画官网| 亚洲欧美日韩精品久久亚洲区| 亚洲第一二三四五区| 国产亚洲欧美一区在线观看| 国产精品盗摄久久久| 欧美久久久久| 欧美国产日韩一区二区在线观看| 久久精品视频一| 久久精品国产免费观看| 亚洲综合日韩在线| 一区二区三区国产在线观看| 亚洲精品久久久久久久久久久| 极品尤物av久久免费看| 国内免费精品永久在线视频| 国产欧美日韩专区发布| 欧美午夜在线| 欧美视频久久| 国产精品黄页免费高清在线观看| 欧美人与性禽动交情品| 欧美激情按摩在线| 欧美护士18xxxxhd| 欧美二区不卡| 欧美日韩福利| 欧美日韩高清在线一区| 欧美日韩一区二区在线观看| 欧美国产日韩精品| 欧美女同视频| 国产精品播放| 国产免费一区二区三区香蕉精| 国产欧美在线观看| 精品盗摄一区二区三区| 在线成人欧美| 亚洲片在线资源| 日韩午夜激情电影| 亚洲综合色噜噜狠狠| 欧美专区一区二区三区| 美国成人直播| 欧美日本国产精品| 国产噜噜噜噜噜久久久久久久久 | 一区在线播放| 最新日韩中文字幕| 亚洲视频1区| 性做久久久久久久免费看| 久久青草欧美一区二区三区| 欧美成人精品影院| 欧美性jizz18性欧美| 国产欧美一区二区三区视频| 伊人久久亚洲热| 在线视频一区二区| 久久久久久亚洲精品不卡4k岛国| 牛牛国产精品|