13161216443

您所在位置: 首頁> 首頁文章> Python基礎入門:python爬蟲的工作原理

Python基礎入門:python爬蟲的工作原理

發布百知教育 來源:首頁文章 2019-05-22

    python爬蟲的工作原理

        互聯網是由一個個站點和網絡設備組成的大網,網絡爬蟲,即Web Spider,把互聯網比喻成一個蜘蛛網,那么Spider就是在網上爬來爬去的蜘蛛。通過網頁的鏈接地址來尋找網頁的,最后展現到用戶面前。網絡爬蟲就是一個爬行程序,一個抓取網頁的程序,網絡爬蟲的基本操作是抓取網頁。那么如何才能隨心所欲地獲得自己想要的頁面?先從URL開始。  

image.png

  python爬蟲抓取網頁的過程其實和讀者平時使用IE瀏覽器瀏覽網頁的道理是一樣的。比如說你在瀏覽器的地址欄中輸入    www.onhairsalon.com    這個地址。打開網頁的過程其實就是瀏覽器作為一個瀏覽的“客戶端”,向服務器端發送了 一次請求,把服務器端的文件“抓”到本地,再進行解釋、展現。HTML是一種標記語言,用標簽標記內容并加以解析和區分。瀏覽器的功能是將獲取到的HTML代碼進行解析,然后將原始的代碼轉變成我們直接看到的網站頁面。

  簡單的來講,URL就是在瀏覽器端輸入的    http://www.onhairsalon.com    這個字符串。在理解URL之前,首先要理解URI的概念。

  什么是URI?

  Web上每種可用的資源,如 HTML文檔、圖像、視頻片段、程序等都由一個通用資源標志符(Universal Resource Identifier, URI)進行定位。 

  URI通常由三部分組成:

  • 訪問資源的命名機制;

  • 存放資源的主機名;

  • 資源自身 的名稱,由路徑表示。

  •  

   2.  URL的理解和舉例

  URL是URI的一個子集。它是Uniform Resource Locator的縮寫,譯為“統一資源定位 符”。通俗地說,URL是Internet上描述信息資源的字符串,主要用在各種WWW客戶程序和服務器程序上。采用URL可以用一種統一的格式來描述各種信息資源,包括文件、服務器的地址和目錄等。URL的一般格式為(帶方括號[]的為可選項):

  protocol :// hostname[:port] / path / [;parameters][?query]#fragment

 URL的格式由三部分組成: 

  • 第一部分是協議(或稱為服務方式)。

  • 第二部分是存有該資源的主機IP地址(有時也包括端口號)。

  • 第三部分是主機資源的具體地址,如目錄和文件名等。

  第一部分和第二部分用“://”符號隔開,第二部分和第三部分用“/”符號隔開。第一部分和第二部分是不可缺少的,第三部分有時可以省略。 

 

   3、URL和URI簡單比較

 

  URI屬于URL更低層次的抽象,一種字符串文本標準。換句話說,URI屬于父類,而URL屬于URI的子類。URL是URI的一個子集。URI的定義是:統一資源標識符;URL的定義是:統一資源定位符。二者的區別在于,URI表示請求服務器的路徑,定義這么一個資

源。而URL同時說明要如何訪問這個資源(http://)。

   下面來看看URL的小例子。

 1.HTTP協議的URL示例:

使用超級文本傳輸協議HTTP,提供超級文本信息服務的資源。 

例:http://www.onhairsalon.com/1982.html

其計算機域名為/www.onhairsalon.com。

超級文本文件(文件類型為.html)是1982.html。


python爬蟲最主要的處理對象就是URL,它根據URL地址取得所需要的文件內容,然后對它 進行進一步的處理。

因此,準確地理解URL對理解網絡爬蟲至關重要。


上一篇:想要學好Java設計模式,這6大原則是關鍵!

下一篇:應屆生去公司找個Java程序員的職位需要什么技能?

相關推薦

www.onhairsalon.com

有位老師想和您聊一聊

關閉

立即申請