環境準備

首先，確保你的Python環境已經安裝了以下庫：

requests：用于發送HTTP請求。

BeautifulSoup：用于解析HTML文檔。

你可以通過以下命令安裝這些庫：

pip install requests beautifulsoup4

編寫爬蟲代碼

我們將編寫一個簡單的Python腳本來獲取淘寶商品的標題和價格。以下是一個基本的示例：

import requests from bs4 import BeautifulSoup def get_taobao_product_details(url): # 設置請求頭，模擬瀏覽器訪問 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3' } # 發送GET請求 response = requests.get(url, headers=headers) # 檢查響應狀態碼 if response.status_code == 200: # 使用BeautifulSoup解析HTML soup = BeautifulSoup(response.text, 'html.parser') # 根據淘寶頁面結構提取商品信息 # 注意：這里的選擇器可能需要根據實際頁面結構進行調整 title = soup.select_one('.tb-main-title').text.strip() if soup.select_one('.tb-main-title') else '標題未找到' price = soup.select_one('.tb-rmb-num').text.strip() if soup.select_one('.tb-rmb-num') else '價格未找到' # 返回商品詳情 return { 'title': title, 'price': price } else: # 如果請求失敗，返回錯誤信息 return '請求失敗，狀態碼：' + str(response.status_code) # 使用示例 product_url = '輸入淘寶商品詳情頁面的URL' details = get_taobao_product_details(product_url) print(details)

import requests from bs4 import BeautifulSoup def get_taobao_product_details(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3' } # 發送請求 response = requests.get(url, headers=headers) # 檢查請求是否成功 if response.status_code == 200: # 使用BeautifulSoup解析HTML soup = BeautifulSoup(response.text, 'html.parser') # 假設我們要獲取商品標題和價格，這里需要根據淘寶頁面的實際結構來調整選擇器 title = soup.select_one('.tb-main-title').text.strip() if soup.select_one('.tb-main-title') else '標題未找到' price = soup.select_one('.tb-rmb-num').text.strip() if soup.select_one('.tb-rmb-num') else '價格未找到' # 返回解析結果 return { 'title': title, 'price': price } else: return '請求失敗，狀態碼：' + str(response.status_code) # 使用示例 product_url = '淘寶商品詳情頁面的URL' details = get_taobao_product_details(product_url) print(details)

這段代碼首先定義了一個get_taobao_product_details函數，它接受一個淘寶商品詳情頁面的URL作為參數。然后，它使用requests庫發送HTTP GET請求，并設置了一個用戶代理（User-Agent），以模擬瀏覽器的請求。如果請求成功，它將使用BeautifulSoup庫來解析返回的HTML內容，并嘗試提取商品標題和價格。

由于頁面結構可能會發生變化，需要根據實際頁面的HTML結構來調整選擇

快速獲取方法已整理文檔在云盤自取

注意事項

選擇器準確性：由于淘寶頁面結構可能會發生變化，你需要定期檢查并更新選擇器以確保爬蟲的準確性。

爬蟲政策遵守：淘寶對于爬蟲有一定的限制和反爬措施。在編寫和運行爬蟲時，請確保你的行為符合法律法規和網站的爬蟲政策。

請求頻率控制：為了避免對淘寶服務器造成過大壓力，應當合理控制請求頻率。

數據使用：獲取的數據僅供學習和研究使用，不得用于商業用途或其他非法用途。

異常處理：在實際應用中，應當增加異常處理機制，以應對網絡請求失敗、解析錯誤等情況。

審核編輯 黃宇