學習爬蟲需要掌握哪些庫呢?

　　通用：

　　1.urllib -網絡庫(stdlib)。

　　2.requests -網絡庫。

　　3.grab – 網絡庫(基于pycurl)。

　　4.pycurl – 網絡庫(綁定libcurl)。

　　5.urllib3 – Python HTTP庫，安全連接池、支持文件post、可用性高。

　　6.httplib2 – 網絡庫。

　　7.RoboBrowser – 一個簡單的、極具Python風格的Python庫，無需獨立的瀏覽器即可瀏覽網頁。

　　8.MechanicalSoup -一個與網站自動交互Python庫。

　　9.mechanize -有狀態、可編程的Web瀏覽庫。

　　10.socket – 底層網絡接口(stdlib)。

　　11.Unirest for Python – Unirest是一套可用于多種語言的輕量級的HTTP庫。

　　12.hyper – Python的HTTP/2客戶端。

　　13.PySocks – SocksiPy更新并積極維護的版本，包括錯誤修復和一些其他的特征。作為socket模塊的直接替換。

　　網絡爬蟲框架

　　功能齊全的爬蟲

　　grab – 網絡爬蟲框架(基于pycurl/multicur)。

　　scrapy – 網絡爬蟲框架(基于twisted)，不支持Python3。

　　pyspider – 一個強大的爬蟲系統。

　　cola – 一個分布式爬蟲框架。

　　其他

　　portia – 基于Scrapy的可視化爬蟲。

　　restkit – Python的HTTP資源工具包。它可以讓你輕松地訪問HTTP資源，并圍繞它建立的對象。

　　demiurge – 基于PyQuery的爬蟲微框架。

　　HTML/XML解析器

　　1.通用

　　lxml – C語言編寫高效HTML/ XML處理庫。支持XPath。

　　cssselect – 解析DOM樹和CSS選擇器。

　　pyquery – 解析DOM樹和jQuery選擇器。

　　BeautifulSoup – 低效HTML/ XML處理庫，純Python實現。

　　html5lib – 根據WHATWG規范生成HTML/ XML文檔的DOM。該規范被用在現在所有的瀏覽器上。

　　feedparser – 解析RSS/ATOM feeds。

　　MarkupSafe – 為XML/HTML/XHTML提供了安全轉義的字符串。

　　xmltodict – 一個可以讓你在處理XML時感覺像在處理JSON一樣的Python模塊。

　　xhtml2pdf – 將HTML/CSS轉換為PDF。

　　untangle – 輕松實現將XML文件轉換為Python對象。

　　2.清理

　　Bleach – 清理HTML(需要html5lib)。

　　sanitize – 為混亂的數據世界帶來清明。

聲明：本站稿件版權均屬千鋒教育所有，未經許可不得擅自轉載。