嗨,新手到此拜會.
想問個問題,我有個工作需要用迴圈讀大量資料.
我想,假如在迴圈中指定了很多區域變數,這些變數空間在下一圈都直接拋棄掉嗎?
或者,我是否該在迴圈跑到一個數量的圈數,就開一次gc?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.167.145.113
※ 文章網址: http://www.ptt.cc/bbs/Python/M.1400610793.A.346.html
→
05/21 14:31, , 1F
05/21 14:31, 1F
→
05/21 17:24, , 2F
05/21 17:24, 2F
→
05/21 23:32, , 3F
05/21 23:32, 3F
推
05/22 23:00, , 4F
05/22 23:00, 4F
→
05/22 23:01, , 5F
05/22 23:01, 5F
→
05/22 23:02, , 6F
05/22 23:02, 6F
→
05/22 23:03, , 7F
05/22 23:03, 7F
→
05/23 12:09, , 8F
05/23 12:09, 8F
推
05/23 22:28, , 9F
05/23 22:28, 9F
→
05/23 22:28, , 10F
05/23 22:28, 10F
→
05/23 22:29, , 11F
05/23 22:29, 11F
→
05/23 22:29, , 12F
05/23 22:29, 12F
→
05/23 22:31, , 13F
05/23 22:31, 13F
→
05/23 22:31, , 14F
05/23 22:31, 14F
→
05/23 23:03, , 15F
05/23 23:03, 15F
→
05/23 23:04, , 16F
05/23 23:04, 16F
→
05/23 23:05, , 17F
05/23 23:05, 17F
→
05/23 23:05, , 18F
05/23 23:05, 18F
先為我問了問題之後,再嫌答題答案的動作致歉。但我很直接的想法是:假如你不知道
我問的是什麼,並且不知道其實你沒有回答到我的問題,那我真想要的答案就不會出現。
別人會以為,我真的再問gc怎麼用。
我的問題緣起是,我有一批現有XML資料要處理,並且未來有更多XML資料。
由於每個XML都小,但是XML檔的數量很多,所以我的程式顯然是一個迴圈,每一圈裡頭
都有各自獨立的檔案讀取、解碼轉換為CSV的動作,而且是在一圈中就跑出好幾個XML或
CSV的物件。
這個程式,雖然我還沒寫,但是我可以先評估程式的結構、效能,資源的使用與浪費。
因此,詢問「迴圈使用gc」的問題,其實是要等熟悉python VM的人回答一些底層機制
的因素,像是迴圈中的變數,有沒有根據dependency來決定要不要啟動gc。我評估迴圈
中的變數是否累積,用意是要考量是否需要為了這一點寫容錯的程式。
雖然你很用功看了python的源碼有關gc.collect()的那一行,但是,你的討論似乎談到
一個很小的層面,你只用gc.collect()這一段程式,就想要說明python整個系統gc機制,
這樣有意義嗎?我倒覺得,不要浪費時間,如果能有精力看VM源碼,來bbs回答一個很小
的重點,實在是糟蹋。
※ 編輯: yauhh (118.167.144.208), 05/23/2014 23:48:54
→
05/24 11:03, , 19F
05/24 11:03, 19F
→
05/24 11:04, , 20F
05/24 11:04, 20F
推
05/24 18:23, , 21F
05/24 18:23, 21F