在電商數(shù)據(jù)驅(qū)動(dòng)的時(shí)代，商品詳情數(shù)據(jù)成為市場分析、價(jià)格監(jiān)控、競品調(diào)研的核心燃料。京東作為國內(nèi)頭部電商平臺(tái)，其商品信息豐富、更新頻繁，是數(shù)據(jù)開發(fā)者眼中的“香餑餑”。

本文將帶你從 0 到 1，用PHP 語言實(shí)現(xiàn)一個(gè)可運(yùn)行的京東商品爬蟲，不僅能抓取商品標(biāo)題、價(jià)格、圖片、評價(jià)數(shù)，還能應(yīng)對常見的反爬策略。全文附完整代碼，復(fù)制粘貼即可運(yùn)行。

一、為什么選擇 PHP 做爬蟲？

雖然 Python 是爬蟲界的“老大哥”，但 PHP 在 Web 開發(fā)領(lǐng)域依舊占據(jù)主流，具備以下優(yōu)勢：

語法簡單：Web 開發(fā)者一鍵切換；

庫生態(tài)豐富：Guzzle、Symfony DomCrawler、Simple HTML DOM、Swoole；

部署方便：直接 fpm 或 CLI，無需額外環(huán)境；

與業(yè)務(wù)無縫集成：爬完直接 Laravel 入庫、隊(duì)列、通知；

并發(fā)能力強(qiáng)：Swoole 協(xié)程輕松 10k QPS。

一句話：如果你本來就在寫 Laravel，用 PHP 寫爬蟲等于「順路」。

二、目標(biāo)明確：我們要抓什么？

以京東商品詳情頁為例，我們要抓取以下字段：

三、技術(shù)選型

四、環(huán)境準(zhǔn)備

1. 創(chuàng)建項(xiàng)目

bash

mkdir jd-php-crawler && cd jd-php-crawler
composer init --name="demo/jd-crawler" -s dev

2. 安裝依賴

bash

composer require guzzlehttp/guzzle symfony/dom-crawler symfony/css-selector fakerphp/faker

五、核心代碼實(shí)現(xiàn)

1. 創(chuàng)建爬蟲類

php

client = new Client([
            'timeout' => 10,
            'headers' => [
                'User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
                'Referer'    => 'https://search.jd.com/',
            ],
        ]);
    }

    public function fetchProduct(string $sku): array
    {
        // 1. 詳情頁
        $url = "https://item.jd.com/{$sku}.html";
        $html = $this->client->get($url)->getBody()->getContents();
        $crawler = new Crawler($html);

        $title = $crawler->filter('div.sku-name')->text('');
        $shop  = $crawler->filter('div.J-hove-wrap .name')->text('');
        $img   = $crawler->filter('img#spec-img')->attr('src');
        if (str_starts_with($img, '//')) {
            $img = 'https:' . $img;
        }

        // 2. 價(jià)格
        $priceUrl = "https://p.3.cn/prices/mgets?skuIds=J_{$sku}";
        $priceJson = json_decode($this->client->get($priceUrl)->getBody(), true);
        $price = $priceJson[0]['p'] ?? '0';

        // 3. 評價(jià)數(shù)
        $cmtUrl = "https://club.jd.com/comment/productCommentSummaries.action?referenceIds={$sku}";
        $cmtJson = json_decode($this->client->get($cmtUrl)->getBody(), true);
        $commentCount = $cmtJson['CommentsCount'][0]['CommentCount'] ?? 0;

        return [
            'sku'           => $sku,
            'title'         => trim($title),
            'price'         => $price,
            'comment_count' => $commentCount,
            'shop'          => trim($shop),
            'img'           => $img,
            'crawled_at'    => date('Y-m-d H:i:s'),
        ];
    }
}

2. 創(chuàng)建入口文件

php

#!/usr/bin/env php
fetchProduct($sku);
echo json_encode($data, JSON_UNESCAPED_UNICODE | JSON_PRETTY_PRINT);

3. 運(yùn)行腳本

bash

php bin/jd.php 100035288046

4. 運(yùn)行結(jié)果示例

JSON

{
  "sku": "100035288046",
  "title": "Apple iPhone 15 128GB 藍(lán)色",
  "price": "5999.00",
  "comment_count": 50000,
  "shop": "京東自營旗艦店",
  "img": "https://img10.360buyimg.com/n1/s450x450_jfs/t1/123456.jpg",
  "crawled_at": "2025-09-23 14:30:00"
}

六、反爬策略與優(yōu)化建議

七、進(jìn)階玩法（等你來挑戰(zhàn)）

? 多進(jìn)程抓取 + 隊(duì)列調(diào)度（支持百萬 SKU）

? 接入 Laravel，實(shí)時(shí)入庫

? 接入 Elasticsearch，實(shí)現(xiàn)商品搜索

? 接入 Kafka，實(shí)時(shí)流式處理

? 可視化展示：Laravel + Vue + ECharts

八、合法合規(guī)提醒

? 禁止抓取用戶隱私信息（如收貨地址、手機(jī)號）

? 禁止高并發(fā)攻擊京東服務(wù)器

? 對外商用需獲得京東授權(quán)

? 建議優(yōu)先使用官方 API（open.jd.com）

九、結(jié)語

本文從環(huán)境搭建、代碼實(shí)現(xiàn)、反爬策略到進(jìn)階方向，系統(tǒng)講解了如何用PHP 爬蟲獲取京東商品詳情。希望你不僅能跑通代碼，更能在此基礎(chǔ)上構(gòu)建自己的數(shù)據(jù)采集系統(tǒng)。

審核編輯 黃宇