Cara Scraping Ulasan Produk Shopee Menggunakan Python

Teknik scraping digunakan untuk mengumpulkan data teks secara efisien sebelum data tersebut diolah dan dianalisis. Banyak cara untuk melakukan scraping data teks diantaranya dapat menggunakan software maupun kode program.

Pada kasus kali ini saya mencoba melakukan scraping menggunakan data ulasan produk Shopee menggunakan bahasa pemrograman Python. Data ulasan produk Shopee sendiri di load menggunakan Javascript sehingga kita perlu memerlukan akses API yang telah tersedia pada situs Shopee. Dalam Implementasi kali ini saya menemukan kode yang cukup menarik dan mudah dipahami yang saya ambil melalui pembahsan StackOverflow. Berikut kode yang digunakan untuk mendapatkan nama dan ulasan pengguna di produk Shopee

import re
import json
import requests
import csv

f = csv.writer(open('data-review.csv', 'w', newline=''))
f.writerow(['Username', 'Review'])

url = 'https://shopee.co.id/Apple-iPhone-12-Pro-Max-256GB-Pacific-Blue-i.241308147.5967529147'

r = re.search(r'i\.(\d+)\.(\d+)', url)
shop_id, item_id = r[1], r[2]
ratings_url = 'https://shopee.co.id/api/v2/item/get_ratings?filter=0&flag=1&itemid={item_id}&limit=20&offset={offset}&shopid={shop_id}&type=0'

offset = 0
while True:

    data = requests.get(ratings_url.format(shop_id=shop_id, item_id=item_id, offset=offset)).json()

    # uncomment this to print all data:
    # print(json.dumps(data, indent=4))

    i = 1
    for i, rating in enumerate(data['data']['ratings'], 1):
        user = rating['author_username']
        comment = rating['comment']

        f.writerow([user, comment])

    if i % 20:
        break

    offset += 20

Kode tersebut sedikit saya modifikasi agar data dapat disimpan dalam bentuk file CSV. Anda dapat menyesuaikan produk dengan mengganti url baris kode ke-9 dan mengubah nama file pada baris kode ke-6.