在不加载到内存的情况下以 JSON 形式编组大数据流

经常需要将大数据流编码为 JSON，但是加载整个数据流立即流入内存可能是不切实际的。本文探讨了在不使用内置 json.Marshaler 接口的情况下克服这一挑战的方法。

使用 json.Encoder 进行编码：限制

尝试对大型流进行编码使用 json.Encoder 处理数据将失败，因为它无法处理内存中的通道（chan 字符串）。

自定义 JSON 编码

在没有合适的构建的情况下- 在解决方案中，自定义 JSON 编码变得必要。这涉及手动构建 JSON 字符串，如下面的代码片段所示：

w := os.Stdout
w.WriteString(`{ "Foo": "`   t.Foo   `", "Bar": [`)

for x := range t.Bar {
    _ = json.NewEncoder(w).Encode(x)
    w.WriteString(`,`)
}

w.WriteString(`]}`)

扩展encoding/json以支持通道

要增强encoding/json包的通道支持，可以修改reflectValueQuoted函数位于encoding/json/encode.go中。具体来说，为通道添加类似于以下内容的案例：

case reflect.Chan:
    e.WriteByte('[')
    i := 0
    for {
        x, ok := v.Recv()
        if !ok {
            break
        }
        if i > 0 {
            e.WriteByte(',')
        }
        e.reflectValue(x)
        i  
    }
    e.WriteByte(']')

结论

虽然encoding/json包当前不支持通道编码，但本文提供了编组大型数据流的替代方法高效地使用 JSON 格式。自定义编码允许将数据直接流式传输到 JSON 输出，而扩展encoding/json 则提供更强大的解决方案。