Go에서 효율적인 CSV 읽기 및 쓰기

제공된 Go 코드에서 CSV 읽기 및 쓰기 프로세스가 심각한 성능 문제를 일으키고 있습니다. 이 문제를 해결하기 위해 이러한 작업을 간소화하는 대체 접근 방식을 살펴보겠습니다.

CSV를 효율적으로 읽기

CSV 파일 전체를 메모리에 로드한 다음 처리하는 대신, 한 번에 한 줄씩 처리하는 csv.Reader의 기능을 활용할 수 있습니다. 이렇게 하면 메모리 사용량이 크게 줄어들고 성능이 향상됩니다. 다음 코드 조각은 이 접근 방식을 보여줍니다.

func processCSV(rc io.Reader) (ch chan []string) {
    ch = make(chan []string, 10)
    go func() {
        r := csv.NewReader(rc)
        if _, err := r.Read(); err != nil { //read header
            log.Fatal(err)
        }
        defer close(ch)
        for {
            rec, err := r.Read()
            if err != nil {
                if err == io.EOF {
                    break
                }
                log.Fatal(err)

            }
            ch 
이 함수는 io.Reader를 입력으로 사용하고 CSV 레코드를 나타내는 문자열 조각을 생성하는 채널을 반환합니다.
CSV를 효율적으로 작성
마찬가지로 CSV 작성의 경우 한 번에 한 줄씩 작성하는 csv.Writer의 방법을 사용하여 성능을 향상시킬 수 있습니다. 효율적인 CSV 쓰기를 위한 코드는 CSV 읽기와 대체로 유사합니다.
func writeCSV(wc *csv.Writer, data [][]string) {
    go func() {
        defer wc.Flush(nil)
        for _, rec := range data {
            if err := wc.Write(rec); err != nil {
                log.Fatal(err)
            }
        }
    }()
}
이 함수는 csv.Writer와 문자열 조각(CSV 데이터를 나타냄)을 입력으로 사용하고 데이터를 CSV 파일에 비동기적으로 씁니다.
통합
최적화된 CSV 읽기 및 쓰기 기능을 사용하면 프로그램의 기본 로직을 다시 작성하여 이러한 기능을 사용하여 개선할 수 있습니다. 성능:
func main() {
    recordsCh := processCSV(os.Open("./path/to/datafile.csv"))
    outfile, err := os.Create("./where/to/write/resultsfile.csv"))
    if err != nil {
        log.Fatal("Unable to open output")
    }
    defer outfile.Close()
    writer := csv.NewWriter(outfile)
    writer.Write([]string{"time", "value", "score"})
    for record := range recordsCh {
        time := record[0]
        value := record[1]
        
        // calculate scores; THIS EXTERNAL METHOD CANNOT BE CHANGED
        score := calculateStuff(value)
        
        valueString := strconv.FormatFloat(floatValue, 'f', 8, 64)
        scoreString := strconv.FormatFloat(prob, 'f', 8, 64)
        writer.Write([]string{time, valueString, scoreString})
    }
    writer.Flush()
}
이 수정된 코드는 읽기 및 쓰기 모두에서 높은 성능을 유지하면서 CSV 파일을 효율적으로 읽고 즉석에서 점수를 계산합니다.