「労働者が自分の仕事をうまくやりたいなら、まず自分の道具を研ぎ澄まさなければなりません。」 - 孔子、「論語。陸霊公」
表紙 > プログラミング > 並列処理で大きな CSV ファイルを処理する #eg39

並列処理で大きな CSV ファイルを処理する #eg39

2024 年 11 月 2 日に公開
ブラウズ:942

CSV ファイルには大量の注文データが保存されます。

Process a large csv file with parallel processing #eg39

Java を使用してこのファイルを処理します。金額が 3,000 ~ 5,000 の注文を検索し、顧客ごとにグループ化し、注文金額を合計して注文をカウントします。

Process a large csv file with parallel processing #eg39
次の SPL ステートメントを記述します:

=file("d:/OrdersBig.csv").cursor@mtc(;8).select(金額>=3000 && 金額

cursor() 関数は、メモリに収まらない大きなファイルを解析します。デフォルトでは、シリアル計算が実行されます。 @m オプションはマルチスレッドのデータ取得を有効にします。 8 は並列スレッドの数です。 @t オプションを使用すると、最初の行を列タイトルとしてインポートできます。 @c オプションを使用すると、区切り文字としてカンマを使用できるようになります。

SPL を Java アプリケーションに統合する方法については、「Java で SPL スクリプトを呼び出す方法」を参照してください。

これは StackOverflow の問題の 1 つです。これをクリックすると、従来のソリューションは非常に複雑ですが、SPL アプローチは非常にシンプルで効率的であることがわかります。

SPL オープンソース アドレス

リリースステートメント この記事は次の場所に転載されています: https://dev.to/esproc_spl/process-a-large-csv-file-with-Parallel-processing-eg38-40mo?1 侵害がある場合は、[email protected] までご連絡ください。それを削除するには
最新のチュートリアル もっと>

免責事項: 提供されるすべてのリソースの一部はインターネットからのものです。お客様の著作権またはその他の権利および利益の侵害がある場合は、詳細な理由を説明し、著作権または権利および利益の証拠を提出して、電子メール [email protected] に送信してください。 できるだけ早く対応させていただきます。

Copyright© 2022 湘ICP备2022001581号-3