使用并行处理处理大型 csv 文件 #eg39
发布于2024-11-02
浏览：211
csv文件存储了大量的订单数据。
使用Java处理该文件：查找金额在3000到5000之间的订单，按客户分组，并对订单金额进行求和并统计订单。
编写以下 SPL 语句：
=file("d:/OrdersBig.csv").cursor@mtc(;8).select(金额>=3000 && 金额
cursor()函数解析无法放入内存的大文件；默认情况下，它执行串行计算。 @m选项启用多线程数据检索； 8是并行线程数； @t 选项允许导入第一行作为列标题； @c 选项允许使用逗号作为分隔符。
阅读如何在 Java 中调用 SPL 脚本，了解如何将 SPL 集成到 Java 应用程序中。
这是 StackOverflow 上的问题之一。你可以点击查看，传统的解决方案相当复杂，但是SPL方法确实简单高效。
SPL开源地址
版本声明
本文转载于：https://dev.to/esproc_spl/process-a-large-csv-file-with-parallel-processing-eg38-40mo?1如有侵犯，请联系[email protected]删除
最新教程
更多>
-
PHP SimpleXML解析带命名空间冒号的XML方法在php 很少，请使用该限制很大，很少有很高。例如：这种技术可确保可以通过遍历XML树和使用儿童（）方法（）方法的XML树和切换名称空间来访问名称空间内的元素。编程 发布于2025-05-20 -
为什么PYTZ最初显示出意外的时区偏移？与pytz 最初从pytz获得特定的偏移。例如，亚洲/hong_kong最初显示一个七个小时37分钟的偏移： 差异源利用本地化将时区分配给日期，使用了适当的时区名称和偏移量。但是，直接使用DateTime构造器分配时区不允许进行正确的调整。 example pytz.timezone（...编程 发布于2025-05-20
-
在UTF8 MySQL表中正确将Latin1字符转换为UTF8的方法在UTF8表中将latin1字符转换为utf8 ，您遇到了一个问题，其中含义的字符（例如，“jáuòiñe”）在utf8 table tabled tablesset中被extect（例如，“致电。为了解决此问题，您正在尝试使用“ mb_convert_encoding”和“ iconv”转换受...编程 发布于2025-05-20
-
编译器报错“usr/bin/ld: cannot find -l”解决方法错误：“ usr/bin/ld：找不到-l “ 此错误表明链接器在链接您的可执行文件时无法找到指定的库。为了解决此问题，我们将深入研究如何指定库路径并将链接引导到正确位置的详细信息。添加库搜索路径的一个可能的原因是，此错误是您的makefile中缺少库搜索路径。要解决它，您可以在链接器命令中添加...编程 发布于2025-05-20
-
如何解决由于Android的内容安全策略而拒绝加载脚本... \”错误？Unveiling the Mystery: Content Security Policy Directive ErrorsEncountering the enigmatic error "Refused to load the script..." when deployi...编程 发布于2025-05-20
-
解决MySQL插入Emoji时出现的\\"字符串值错误\\"异常Resolving Incorrect String Value Exception When Inserting EmojiWhen attempting to insert a string containing emoji characters into a MySQL database us...编程 发布于2025-05-20
-
Java是否允许多种返回类型：仔细研究通用方法？在Java中的多个返回类型：一种误解类型：在Java编程中揭示，在Java编程中，Peculiar方法签名可能会出现，可能会出现，使开发人员陷入困境，使开发人员陷入困境。 getResult（string s）; ，其中foo是自定义类。该方法声明似乎拥有两种返回类型：列表和E。但这确实是如此吗...编程 发布于2025-05-20
-
如何有效地选择熊猫数据框中的列？在处理数据操作任务时，在Pandas DataFrames 中选择列时，选择特定列的必要条件是必要的。在Pandas中，选择列的各种选项。选项1：使用列名 如果已知列索引，请使用ILOC函数选择它们。请注意，python索引基于零。 df1 = df.iloc [：，0：2]＃使用索引0和1 c...编程 发布于2025-05-20
-
如何检查对象是否具有Python中的特定属性？方法来确定对象属性存在寻求一种方法来验证对象中特定属性的存在。考虑以下示例，其中尝试访问不确定属性会引起错误： >>> a = someClass（） >>> A.property Trackback（最近的最新电话）： 文件“ ”，第1行， AttributeError: SomeClass...编程 发布于2025-05-20
-
C++成员函数指针正确传递方法如何将成员函数置于c [&& && && && && && && && && && &&&&&&&&&&&&&&&&&&&&&&&华仪的函数时，在接受成员函数指针的函数时，要在函数上既要提供指针又可以提供指针和指针到函数的函数。需要具有一定签名的功能指针。要通过成员函数，您需要同时提供对象指针（此...编程 发布于2025-05-20
-
查找当前执行JavaScript的脚本元素方法如何引用当前执行脚本的脚本元素在某些方案中理解问题在某些方案中，开发人员可能需要将其他脚本动态加载其他脚本。但是，如果Head Element尚未完全渲染，则使用document.getElementsbytagname（'head'）[0] .appendChild（v）的常规方...编程 发布于2025-05-20
-
eval（）vs. ast.literal_eval（）：对于用户输入，哪个Python函数更安全？称量（）和ast.literal_eval（）中的Python Security 在使用用户输入时，必须优先确保安全性。强大的Python功能Eval（）通常是作为潜在解决方案而出现的，但担心其潜在风险。 This article delves into the differences betwee...编程 发布于2025-05-20
-
为什么我的CSS背景图像出现？故障排除：CSS背景图像未出现 ，您的背景图像尽管遵循教程说明，但您的背景图像仍未加载。图像和样式表位于相同的目录中，但背景仍然是空白的白色帆布。而不是不弃用的，您已经使用了CSS样式： bockent {背景：封闭图像文件名：背景图：url（nickcage.jpg）; 如果您的html，css...编程 发布于2025-05-20
-
Python中嵌套函数与闭包的区别是什么嵌套函数与python 在python中的嵌套函数不被考虑闭合，因为它们不符合以下要求：不访问局部范围scliables to incling scliables在封装范围外执行范围的局部范围。 make_printer（msg）： DEF打印机（）： 打印（味精） ...编程 发布于2025-05-20
-
版本5.6.5之前，使用current_timestamp与时间戳列的current_timestamp与时间戳列有什么限制？在时间戳列上使用current_timestamp或MySQL版本中的current_timestamp或在5.6.5 此限制源于遗留实现的关注，这些限制需要对当前的_timestamp功能进行特定的实现。 创建表`foo`（ `Productid` int（10）unsigned not n...编程 发布于2025-05-20
学习中文
- 1 走路用中文怎么说？走路中文发音，走路中文学习
- 2 坐飞机用中文怎么说？坐飞机中文发音，坐飞机中文学习
- 3 坐火车用中文怎么说？坐火车中文发音，坐火车中文学习
- 4 坐车用中文怎么说？坐车中文发音，坐车中文学习
- 5 开车用中文怎么说？开车中文发音，开车中文学习
- 6 游泳用中文怎么说？游泳中文发音，游泳中文学习
- 7 骑自行车用中文怎么说？骑自行车中文发音，骑自行车中文学习
- 8 你好用中文怎么说？你好中文发音，你好中文学习
- 9 谢谢用中文怎么说？谢谢中文发音，谢谢中文学习
- 10 How to say goodbye in Chinese? 再见Chinese pronunciation, 再见Chinese learning
