当前位置：首页 > news >正文

Python + 淘宝 API 开发实战：自动化采集商品详情与 SKU 数据清洗指南

news 来源：原创 2025/4/23 8:08:40

一、引言

在电商数据分析和运营中，获取淘宝商品的详细信息及 SKU（库存保有单位）数据是一项关键任务。Python 作为一种功能强大且易于使用的编程语言，结合淘宝 API 可以实现自动化采集商品详情和 SKU 数据。采集到的数据往往存在噪声和不规范的情况，因此还需要进行数据清洗。本文将详细介绍如何使用 Python 结合淘宝 API 完成商品详情和 SKU 数据的自动化采集，并对采集到的数据进行清洗。

二、前期准备

在开始之前，你需要完成以下准备工作：

淘宝平台入驻：注册账号并创建应用，获取 api_key 和 api_secret，这是调用淘宝 API 的必要凭证。
安装依赖库：使用 Python 的 requests 库发送 HTTP 请求，hashlib 库用于生成签名，pandas 库用于数据清洗。你可以使用以下命令进行安装：

pip install requests pandas

三、调用淘宝 API 进行商品详情和 SKU 数据采集

1. 签名生成

淘宝 API 要求对请求参数进行签名，以确保请求的合法性。以下是生成签名的 Python 代码：

import hashlibdef generate_sign(params, secret):sorted_params = sorted(params.items(), key=lambda x: x[0])sign_str = secretfor key, value in sorted_params:sign_str += f"{key}{value}"sign_str += secretmd5 = hashlib.md5()md5.update(sign_str.encode('utf-8'))return md5.hexdigest().upper()

2. 发送 API 请求

使用 requests 库发送请求获取商品详情和 SKU 数据：

import requests
import timedef get_product_info(app_key, app_secret, product_id):timestamp = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())params = {"method": "taobao.item.sku.get",  # 这里以获取 SKU 数据为例，可根据需求修改"app_key": app_key,"timestamp": timestamp,"format": "json","v": "2.0","sign_method": "md5","num_iid": product_id}sign = generate_sign(params, app_secret)params["sign"] = signurl = "http://gw.api.taobao.com/router/rest"response = requests.get(url, params=params)return response.json()

3. 自动化采集

可以编写一个循环来批量采集多个商品的信息：

app_key = "your_app_key"
app_secret = "your_app_secret"
product_ids = [123456, 234567, 345678]  # 替换为实际的商品 ID 列表
all_product_info = []
for product_id in product_ids:info = get_product_info(app_key, app_secret, product_id)all_product_info.append(info)

四、数据清洗

1. 加载数据

使用 pandas 库将采集到的数据转换为 DataFrame 格式：

import pandas as pddf = pd.DataFrame(all_product_info)

2. 去除重复数据

df = df.drop_duplicates()

3. 处理缺失值

对于缺失值，可以选择删除包含缺失值的行或使用合适的值进行填充：

# 删除包含缺失值的行
df = df.dropna()# 或者使用特定值填充缺失值
# df = df.fillna(value=0)

4. 数据类型转换

将需要的列转换为合适的数据类型，例如将价格列转换为浮点数类型：

if 'price' in df.columns:df['price'] = pd.to_numeric(df['price'], errors='coerce')

五、完整代码示例

import hashlib
import requests
import time
import pandas as pddef generate_sign(params, secret):sorted_params = sorted(params.items(), key=lambda x: x[0])sign_str = secretfor key, value in sorted_params:sign_str += f"{key}{value}"sign_str += secretmd5 = hashlib.md5()md5.update(sign_str.encode('utf-8'))return md5.hexdigest().upper()def get_product_info(app_key, app_secret, product_id):timestamp = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())params = {"method": "taobao.item.sku.get","app_key": app_key,"timestamp": timestamp,"format": "json","v": "2.0","sign_method": "md5","num_iid": product_id}sign = generate_sign(params, app_secret)params["sign"] = signurl = "http://gw.api.taobao.com/router/rest"response = requests.get(url, params=params)return response.json()app_key = "your_app_key"
app_secret = "your_app_secret"
product_ids = [123456, 234567, 345678]
all_product_info = []
for product_id in product_ids:info = get_product_info(app_key, app_secret, product_id)all_product_info.append(info)df = pd.DataFrame(all_product_info)
df = df.drop_duplicates()
df = df.dropna()
if 'price' in df.columns:df['price'] = pd.to_numeric(df['price'], errors='coerce')print(df)