Teknik scraping digunakan untuk mengumpulkan data teks secara efisien sebelum data tersebut diolah dan dianalisis. Banyak cara untuk melakukan scraping data teks diantaranya dapat menggunakan software maupun kode program.
Pada kasus kali ini saya mencoba melakukan scraping menggunakan data ulasan produk Shopee menggunakan bahasa pemrograman Python. Data ulasan produk Shopee sendiri di load menggunakan Javascript sehingga kita perlu memerlukan akses API yang telah tersedia pada situs Shopee. Dalam Implementasi kali ini saya menemukan kode yang cukup menarik dan mudah dipahami yang saya ambil melalui pembahsan StackOverflow. Berikut kode yang digunakan untuk mendapatkan nama dan ulasan pengguna di produk Shopee
import re
import json
import requests
import csv
f = csv.writer(open('data-review.csv', 'w', newline=''))
f.writerow(['Username', 'Review'])
url = 'https://shopee.co.id/Apple-iPhone-12-Pro-Max-256GB-Pacific-Blue-i.241308147.5967529147'
r = re.search(r'i\.(\d+)\.(\d+)', url)
shop_id, item_id = r[1], r[2]
ratings_url = 'https://shopee.co.id/api/v2/item/get_ratings?filter=0&flag=1&itemid={item_id}&limit=20&offset={offset}&shopid={shop_id}&type=0'
offset = 0
while True:
data = requests.get(ratings_url.format(shop_id=shop_id, item_id=item_id, offset=offset)).json()
# uncomment this to print all data:
# print(json.dumps(data, indent=4))
i = 1
for i, rating in enumerate(data['data']['ratings'], 1):
user = rating['author_username']
comment = rating['comment']
f.writerow([user, comment])
if i % 20:
break
offset += 20
Kode tersebut sedikit saya modifikasi agar data dapat disimpan dalam bentuk file CSV. Anda dapat menyesuaikan produk dengan mengganti url baris kode ke-9 dan mengubah nama file pada baris kode ke-6.
hallo kak.
saya tertarik dengan tulisan kakak yang ini :
https://rifqifai.com/cara-scraping-ulasan-produk-shopee-menggunakan-python/
apakah cara ini bisa dibuatkan semacam file exe.nya kak yang bisa sekaligus mendownload teks, gambar dan video pada ulasan shopee ?
terimakasih atas pencerahanya.