Pandas로 중첩된 JSON 개체를 처리하는 방법

이 문서에서는 Pandas를 사용하여 중첩된 개체로 JSON 데이터 구조를 효과적으로 조작하는 방법을 살펴보겠습니다.

중첩된 JSON 구조

다음 JSON 구조를 고려하세요.

{
    "number": "",
    "date": "01.10.2016",
    "name": "R 3932",
    "locations": [
        {
            "depTimeDiffMin": "0",
            "name": "Spital am Pyhrn Bahnhof",
            "arrTime": "",
            "depTime": "06:32",
            "platform": "2",
            "stationIdx": "0",
            "arrTimeDiffMin": "",
            "track": "R 3932"
        },
        {
            "depTimeDiffMin": "0",
            "name": "Windischgarsten Bahnhof",
            "arrTime": "06:37",
            "depTime": "06:40",
            "platform": "2",
            "stationIdx": "1",
            "arrTimeDiffMin": "1",
            "track": ""
        },
        {
            "depTimeDiffMin": "",
            "name": "Linz/Donau Hbf",
            "arrTime": "08:24",
            "depTime": "",
            "platform": "1A-B",
            "stationIdx": "22",
            "arrTimeDiffMin": "1",
            "track": ""
        }
    ]
}

json_normalize

pandas의 json_normalize 함수를 사용하여 평면화하면 중첩된 개체를 표 형식으로 평면화할 수 있습니다.

import json

with open('myJson.json') as data_file:    
    data = json.load(data_file)  

df = pd.json_normalize(data, 'locations', ['date', 'number', 'name'], 
                    record_prefix='locations_')

이렇게 하면 중첩된 "locations" 객체의 각 키에 대한 열이 있는 DataFrame이 생성됩니다.

평탄화 없이 그룹화된 연결

평탄화가 아닌 경우 원하는 경우 Pandas의 그룹화 및 연결 기능을 사용할 수 있습니다.

df = pd.read_json("myJson.json")
df.locations = pd.DataFrame(df.locations.values.tolist())['name']
df = df.groupby(['date', 'name', 'number'])['locations'].apply(','.join).reset_index()

이 접근 방식은 "위치"를 연결합니다. " 값은 "날짜", "이름" 및 "번호"의 각 고유 조합에 대해 쉼표로 구분된 문자열로 표시됩니다.

결론

pandas의 json_normalize 및 그룹화/연결 기능을 활용하면, 중첩된 JSON 구조를 효과적으로 처리하여 표 형식의 데이터를 추출하고 조작할 수 있습니다.