[問題] python爬取蝦皮聊聊ID的方法

看板Python作者 (可口)時間2月前 (2024/07/09 16:13), 編輯推噓5(5推 0噓 17→)
留言22則, 8人參與, 1月前最新討論串1/1
小弟超級業餘 想把蝦皮聊聊的客戶ID都抓下來 （1500個） 原本以為只要html即可 結果只能抓到當頁的html（差不多30個） 就算捲到底部也不能把所有Id抓下來 不知道各位大師有沒有建議的方法 感激不盡 ----- Sent from JPTT on my iPhone -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.200.40.172 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1720512825.A.A01.html
推
07/12 20:34, 2月前 , 1F
可以描述一下你的做法和工具，不然比較難看出來有
07/12 20:34, 1F
→
07/12 20:34, 2月前 , 2F
什麼問題
07/12 20:34, 2F
→
07/13 01:00, 2月前 , 3F
我做法是 直接按F12 進去複製html
07/13 01:00, 3F
→
07/13 01:00, 2月前 , 4F
但是複製下來經過python分析只有取出30幾個
07/13 01:00, 4F
→
07/13 01:00, 2月前 , 5F
當滾輪往下不管滾多久時 也只能取出30幾個ID
07/13 01:00, 5F
→
07/13 01:00, 2月前 , 6F
目前只有想到就是一直滾一直複製（但是實在很耗時加上
07/13 01:00, 6F
→
07/13 01:00, 2月前 , 7F
又要對有沒有重複）全部加起來的ID有16000個
07/13 01:00, 7F
→
07/13 01:00, 2月前 , 8F
實在想不出什麼其他方法，希望有大師指點一下
07/13 01:00, 8F
推
07/13 07:02, 2月前 , 9F
我菜居，但有興趣可以看看selenium能不能幫到你。
07/13 07:02, 9F
→
07/13 23:55, 2月前 , 10F
你都寫程式了 結果竟然還要手動捲+手動檢查重複
07/13 23:55, 10F
推
07/15 09:59, 2月前 , 11F
先查一下該網頁內容CSS資料裡面是怎樣換到下一頁
07/15 09:59, 11F
→
07/15 09:59, 2月前 , 12F
有的是利用Jason
07/15 09:59, 12F
→
07/16 23:16, 2月前 , 13F
call api….但可能會被擋
07/16 23:16, 13F
→
07/17 02:14, 2月前 , 14F
感謝上面的前輩 我先研究一下
07/17 02:14, 14F
→
07/20 16:28, 2月前 , 15F
利用Jason → 這讓我嘴角失守了
07/20 16:28, 15F
→
07/20 16:30, 2月前 , 16F
Jason(X) JSON(O)
07/20 16:30, 16F
→
07/20 16:32, 2月前 , 17F
當然如果你有朋友剛好叫Jason，而且也剛好會的話，是可
07/20 16:32, 17F
→
07/20 16:32, 2月前 , 18F
以考慮問他啦! :)
07/20 16:32, 18F
推
07/26 16:49, 1月前 , 19F
我就是Jason!
07/26 16:49, 19F
推
08/10 12:13, 1月前 , 20F
可能要先研究如何對付蝦皮的斧頭
08/10 12:13, 20F
→
08/10 12:13, 1月前 , 21F
不然等你這個搞定了
08/10 12:13, 21F
→
08/10 12:13, 1月前 , 22F
一遇到的斧頭就白忙了一場
08/10 12:13, 22F
‣ 更多 Dannybigma 的文章
文章代碼(AID): #1cZF4ve1 (Python)