使用平行處理處理大型 csv 檔案 #eg39
發佈於2024-11-02
瀏覽：838
csv文件儲存了大量的訂單資料。
使用Java處理該文件：查找金額在3000到5000之間的訂單，按客戶分組，並對訂單金額進行求和併統計訂單。
寫出以下 SPL 語句：
=file("d:/OrdersBig.csv").cursor@mtc(;8).select(金額>=3000 && 金額
cursor()函數解析無法放入記憶體的大檔案；預設情況下，它執行串行計算。 @m選項啟用多線程資料檢索； 8是並行線程數； @t 選項允許導入第一行作為列標題；@c 選項允許使用逗號作為分隔符號。
閱讀如何在 Java 中呼叫 SPL 腳本，以了解如何將 SPL 整合到 Java 應用程式中。
這是 StackOverflow 上的問題之一。你可以點擊查看，傳統的解決方案相當複雜，但SPL方法確實簡單有效率。
SPL開源位址
版本聲明
本文轉載於：https://dev.to/esproc_spl/process-a-large-csv-file-with-parallel-processing-eg38-40mo?1如有侵犯，請聯絡[email protected]刪除
最新教學
更多>
-
Java為何無法創建泛型數組？通用陣列創建錯誤 arrayList [2]; JAVA報告了“通用數組創建”錯誤。為什麼不允許這樣做？ 答案：Create an Auxiliary Class:public static ArrayList<myObject>[] a = new ArrayList<my...程式設計 發佈於2025-05-19 -
在Ubuntu/linux上安裝mysql-python時，如何修復\“ mysql_config \”錯誤？mysql-python安裝錯誤：“ mysql_config找不到”“ 由於缺少MySQL開發庫而出現此錯誤。解決此問題，建議在Ubuntu上使用該分發的存儲庫。使用以下命令安裝Python-MysqldB： sudo apt-get安裝python-mysqldb sudo pip in...程式設計 發佈於2025-05-19
-
如何使用node-mysql在單個查詢中執行多個SQL語句？Multi-Statement Query Support in Node-MySQLIn Node.js, the question arises when executing multiple SQL statements in a single query using the node-mys...程式設計 發佈於2025-05-19
-
如何使用Python有效地以相反順序讀取大型文件？在python 反向行讀取器生成器 == ord（'\ n'）： 緩衝區=緩衝區[：-1] 剩餘_size- = buf_size lines = buffer.split（'\ n'....程式設計 發佈於2025-05-19
-
如何使用Regex在PHP中有效地提取括號內的文本php：在括號內提取文本在處理括號內的文本時，找到最有效的解決方案是必不可少的。一種方法是利用PHP的字符串操作函數，如下所示： 作為替代 $ text ='忽略除此之外的一切（text）'; preg_match（'＃（（。 &&& [Regex使用模式來搜索特...程式設計 發佈於2025-05-19
-
表單刷新後如何防止重複提交？在Web開發中預防重複提交 在表格提交後刷新頁面時，遇到重複提交的問題是常見的。要解決這個問題，請考慮以下方法： 想像一下具有這樣的代碼段，看起來像這樣的代碼段：））{ //數據庫操作... 迴聲“操作完成”； 死（）; } ？ > ...程式設計 發佈於2025-05-19
-
PHP與C++函數重載處理的區別作為經驗豐富的C開發人員脫離謎題，您可能會遇到功能超載的概念。這個概念雖然在C中普遍，但在PHP中構成了獨特的挑戰。讓我們深入研究PHP功能過載的複雜性，並探索其提供的可能性。 在PHP中理解php的方法在PHP中，函數超載的概念（如C等語言）不存在。函數簽名僅由其名稱定義，而與他們的參數列表無關...程式設計 發佈於2025-05-19
-
同實例無需轉儲複製MySQL數據庫方法在同一實例上複製一個MySQL數據庫而無需轉儲在同一mySQL實例上複製數據庫，而無需創建InterMediate sqql script。以下方法為傳統的轉儲和IMPORT過程提供了更簡單的替代方法。 直接管道數據 MySQL手動概述了一種允許將mysqldump直接輸出到MySQL cli...程式設計 發佈於2025-05-19
-
如何使用PHP從XML文件中有效地檢索屬性值？從php PHP陷入困境。 使用simplexmlelement :: attributes（）函數提供了簡單的解決方案。此函數可訪問對XML元素作為關聯數組的屬性： - > attributes（）為$ attributeName => $ attributeValue）{ echo...程式設計 發佈於2025-05-19
-
-
如何使用Python理解有效地創建字典？在python中，詞典綜合提供了一種生成新詞典的簡潔方法。儘管它們與列表綜合相似，但存在一些顯著差異。 與問題所暗示的不同，您無法為鑰匙創建字典理解。您必須明確指定鍵和值。 For example:d = {n: n**2 for n in range(5)}This creates a dict...程式設計 發佈於2025-05-19
-
編譯器報錯“usr/bin/ld: cannot find -l”解決方法錯誤：“ usr/bin/ld：找不到-l “ 此錯誤表明鏈接器在鏈接您的可執行文件時無法找到指定的庫。為了解決此問題，我們將深入研究如何指定庫路徑並將鏈接引導到正確位置的詳細信息。 添加庫搜索路徑的一個可能的原因是，此錯誤是您的makefile中缺少庫搜索路徑。要解決它，您可以在鏈接器命令中添...程式設計 發佈於2025-05-19
-
在JavaScript中如何並發運行異步操作並正確處理錯誤？同意操作execution 在執行asynchronous操作時，相關的代碼段落會遇到一個問題，當執行asynchronous操作：此實現在啟動下一個操作之前依次等待每個操作的完成。要啟用並發執行，需要進行修改的方法。 第一個解決方案試圖通過獲得每個操作的承諾來解決此問題，然後單獨等待它們： c...程式設計 發佈於2025-05-19
-
如何高效地在一個事務中插入數據到多個MySQL表？mySQL插入到多個表中，該數據可能會產生意外的結果。雖然似乎有多個查詢可以解決問題，但將從用戶表的自動信息ID與配置文件表的手動用戶ID相關聯提出了挑戰。 使用Transactions和last_insert_id（） 插入用戶（用戶名，密碼）值（'test'，'tes...程式設計 發佈於2025-05-19
-
如何在Java字符串中有效替換多個子字符串？在java 中有效地替換多個substring，需要在需要替換一個字符串中的多個substring的情況下，很容易求助於重複應用字符串的刺激力量。 However, this can be inefficient for large strings or when working with nu...程式設計 發佈於2025-05-19
學習中文
- 1 走路用中文怎麼說？ 走路中文發音，走路中文學習
- 2 坐飛機用中文怎麼說？ 坐飞机中文發音，坐飞机中文學習
- 3 坐火車用中文怎麼說？ 坐火车中文發音，坐火车中文學習
- 4 坐車用中文怎麼說？ 坐车中文發音，坐车中文學習
- 5 開車用中文怎麼說？ 开车中文發音，开车中文學習
- 6 游泳用中文怎麼說？ 游泳中文發音，游泳中文學習
- 7 騎自行車用中文怎麼說？ 骑自行车中文發音，骑自行车中文學習
- 8 你好用中文怎麼說？ 你好中文發音，你好中文學習
- 9 謝謝用中文怎麼說？ 谢谢中文發音，谢谢中文學習
- 10 How to say goodbye in Chinese? 再见Chinese pronunciation, 再见Chinese learning
