[問題] 大量數據(大矩陣)載入function的處理

看板MATLAB作者 (老穆)時間11年前 (2013/10/29 14:19), 編輯推噓2(2推 0噓 7→)
留言9則, 5人參與, 最新討論串1/1
大家好 請問當一個很大的矩陣(幾10萬 X 幾千)要載入函式裡做某些分析處理 在執行上要花很長時間 有沒有甚麼技巧可以縮短函式載入和回傳的運行時間? 因為BOSS在做一個處理大規模數據的演算法 所以在中間處理運算上不希望被重複的函式傳遞去影響演算法效率 查了相關處理大數據的問題都是在源頭讀取資料 而我們的數據在源頭於主程序已經載入成大矩陣 所以不考慮頭尾I/O的運行速度 先謝謝各位 -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 140.113.59.229
→
10/29 16:01, , 1F
call c function去跑計算的地方，如果還太慢
10/29 16:01, 1F
→
10/29 16:02, , 2F
對輸入資料做sampling或是降維
10/29 16:02, 2F
→
10/29 16:54, , 3F
不好意思我再補充。現在先不考慮計算過程，只是單純的丟
10/29 16:54, 3F
→
10/29 16:54, , 4F
大矩陣到function的程序。是不是把大矩陣轉成數個小矩陣
10/29 16:54, 4F
→
10/29 16:56, , 5F
在丟到函式後重組回大矩陣，這樣會比直接丟大矩陣快嗎?
10/29 16:56, 5F
→
10/29 21:30, , 6F
如果組合回去結果的算法是線性的，通常分解開來會比較快
10/29 21:30, 6F
推
10/29 22:13, , 7F
能不能拆矩陣(平行化)應該要看你的演算法決定？
10/29 22:13, 7F
推
10/30 00:12, , 8F
改丟指標(byref)的方式, 然後比較不同function處理資料速度
10/30 00:12, 8F
→
10/30 00:13, , 9F
這樣可以嗎?
10/30 00:13, 9F
‣ 更多 aj4rmp4 的文章
文章代碼(AID): #1IRrEFdi (MATLAB)