[問題] Django多worker爬蟲 如何做shared memory

看板Python作者 (米拿雷)時間5年前 (2019/03/10 16:33), 編輯推噓0(0推 0噓 4→)
留言4則, 3人參與, 5年前最新討論串1/1
我目前在使用Django celery multiple worker做爬蟲 shared memory的部分使用cache & db 但如果遇到requests session 或 socket連線 就無法使用cache了 變成每個worker都要登入一次 有什麼建議的方法嗎 感謝指導! -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.24.100.97 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1552206815.A.4B8.html
→
03/10 19:22, 5年前 , 1F
requests 的 session 你可以存起來後續載入使用就好
03/10 19:22, 1F
→
03/10 22:01, 5年前 , 2F
我用 rabbitmq + celery，雲端架 worker
03/10 22:01, 2F
→
03/10 22:01, 5年前 , 3F
worker 一個月5鎂，可以開很多個，蠻便宜的
03/10 22:01, 3F
→
03/10 22:22, 5年前 , 4F
存session/存cookie
03/10 22:22, 4F
‣ 更多 Minarai 的文章
文章代碼(AID): #1SXClVIu (Python)