”工欲善其事,必先利其器。“—孔子《论语.录灵公》
首页 > 编程 > 我使用 Python 自动化 XML 字段检查的那一天

我使用 Python 自动化 XML 字段检查的那一天

发布于2024-08-27
浏览:200

The Day I Automated XML Field Checking with Python

这一切都始于我接受检查多个 XML 文件是否缺少字段的任务。在我们继续下一步之前,团队需要确保这些文件中存在所有必填字段。听起来很简单,对吧?嗯,不完全是。

我打开了第一个 XML 文件,扫描了属性,手动查找所需字段,然后勾选了相应的框。正如你所预料的那样,很快就会感到疲倦。在一个文件中只看了几分钟后,我的眼睛变得呆滞,我没有真正的信心我没有错过一些重要的事情。我的意思是,XML 可能非常挑剔,单个缺失字段可能会导致严重问题。

我有一种令人痛苦的恐惧感,因为我知道我还有一堆文件需要处理。当然,准确性至关重要——一个被忽视的缺失字段可能会带来灾难。因此,经过几次深呼吸和思考片刻后,我决定必须有更好的方法来解决这个问题。

顿悟:自动化来救援

作为一名程序员,我有一个想法:为什么不编写一个脚本来为我完成这项单调的工作呢?我可以将其自动化并保证准确性,同时在过程中保持理智,而不是手动检查每个字段。是时候利用 Python 的力量了。

概念很简单:

  • 我有一个存储在 JSON 文件中的必填字段列表,这使得脚本具有高度的可重用性和适应性。通过使用这种方法,脚本可以轻松处理其他 XML 文件,甚至是那些具有不同结构的文件。您只需使用任何新 XML 格式所需的字段更新 JSON 文件,从而使脚本无需修改即可自动调整为不同的 XML 架构。
  • 我需要编写一个 Python 脚本来遍历每个 XML 文件,检查是否缺少任何必需字段,然后输出摘要。

这样,我可以轻松识别每个文件中缺少某个字段的次数、存在多少个属性,并获得清晰的报告 - 不再需要无休止的手动检查,不再出现错误。这是我的处理方法。

编写实用程序脚本

首先,我需要加载必填字段的列表。这些存储在键 required_fields 下的 JSON 文件中,因此我编写了一个函数来读取此文件:

import os
import json
import xml.etree.ElementTree as ET

def load_required_fields(json_file_path):
    with open(json_file_path, 'r') as file:
        data = json.load(file)
        return data.get("required_fields", [])

然后真正的魔法来了。我编写了一个函数来解析每个 XML 文件,循环遍历其属性,并检查每个必填字段是否存在:

def check_missing_fields(file_path, required_fields):
    # Load the XML file
    tree = ET.parse(file_path)
    root = tree.getroot()

    # Initialize variables to store counts and track missing fields
    total_properties = 0
    missing_fields_counts = {field: 0 for field in required_fields}

    # Loop through each property to check for missing fields
    for property in root.findall('.//property'):
        total_properties  = 1
        for field in required_fields:
            # Use the find() method to look for direct children of the property element
            element = property.find(f'./{field}')
            # Check if the field is completely missing (not present)
            if element is None:
                missing_fields_counts[field]  = 1

    # Print the results
    print('-----------------------------------------')
    print(f'File: {os.path.basename(file_path)}')
    print(f'Total number of properties: {total_properties}')
    print('Number of properties missing each field:')
    for field, count in missing_fields_counts.items():
        print(f'  {field}: {count} properties')
    print('-----------------------------------------')

此函数加载 XML 文件,计算属性数量,并跟踪每个必填字段缺少多少属性。该函数打印出一份报告,显示每个处理文件的结果。

最后,我将所有内容放在 main() 函数中。它将迭代指定目录中的所有 XML 文件并对每个文件运行字段检查函数:

def main():
    # Directory containing XML files
    xml_dir = 'xmls'
    json_file_path = 'required_fields.json'

    # Load required fields from JSON file
    required_fields = load_required_fields(json_file_path)

    # Iterate over each file in the xmls directory
    for file_name in os.listdir(xml_dir):
        if file_name.endswith('.xml'):
            file_path = os.path.join(xml_dir, file_name)
            check_missing_fields(file_path, required_fields)

if __name__ == "__main__":
    main()

运行该过程后,您将收到与此类似的结果摘要:

File: properties.xml
Total number of properties: 4170
Number of properties missing each field:
  Title: 0 properties
  Unit_Number: 0 properties
  Type: 0 properties
  Bedrooms: 0 properties
  Bathrooms: 0 properties
  Project: 0 properties
  Price: 0 properties
  VAT: 0 properties
  Status: 10 properties
  Area: 0 properties
  Location: 100 properties
  Latitude: 30 properties
  Longitude: 0 properties
  Apartment_Floor: 0 properties
  Block: 0 properties
  Phase: 0 properties
  Construction_Stage: 0 properties
  Plot_Size: 0 properties
  Yard: 120 properties
  Description: 0 properties
  gallery: 27 properties

结果:保持理智

一切准备就绪后,我就在 XML 文件目录上运行脚本。输出正是我所需要的:一个简洁的摘要,显示每个文件中有多少属性缺少哪些字段,以及每个 XML 中的属性总数。

我无需花费数小时手动检查每个文件,而是在几秒钟内得到答案。该脚本捕获了几个丢失的字段,如果我继续手动路线,我可能会忽略这些字段。

经验教训

  1. 自动化是救星:每当您面临重复性任务时,请考虑如何将它们自动化。它不仅可以节省您的时间,还可以降低人为错误的风险。
  2. 准确性很重要:在这种情况下,准确性至关重要。像我写的那样的简单脚本可以确保您不会忽略任何事情,这在处理关键数据时尤其重要。
  3. 利用你的编程技能:有时,我们会陷入手动做事的困境,即使我们有能力让我们的生活更轻松。花点时间退一步问自己,“有没有更有效的方法来做到这一点?”

最后,一开始是一项令人厌烦、容易出错的任务变成了一次有益的经历。现在,每当我接到感觉乏味或容易出错的任务时,我都会提醒自己脚本和自动化的力量。我想知道接下来我可以简化多少其他任务......

您可以通过克隆我创建的 XML Checker 存储库来快速开始这种自动化。这将为您提供所需的一切,包括脚本和示例文件。从那里,您将能够自己运行自动化,对其进行自定义以满足您的需求或进一步扩展其功能。

享受!

版本声明 本文转载于:https://dev.to/rafaelogic/the-day-i-automated-xml-field-checking-with-python-59ja?1如有侵犯,请联系[email protected]删除
最新教程 更多>
  • Java字符串非空且非null的有效检查方法
    Java字符串非空且非null的有效检查方法
    检查字符串是否不是null而不是空的 if(str!= null && str.isementy())二手: if(str!= null && str.length()== 0) option 3:trim()。isement(Isement() trim whitespace whitesp...
    编程 发布于2025-06-26
  • 如何限制动态大小的父元素中元素的滚动范围?
    如何限制动态大小的父元素中元素的滚动范围?
    在交互式接口中实现垂直滚动元素的CSS高度限制问题:考虑一个布局,其中我们具有与用户垂直滚动一起移动的可滚动地图div,同时与固定的固定sidebar保持一致。但是,地图的滚动无限期扩展,超过了视口的高度,阻止用户访问页面页脚。$("#map").css({ marginT...
    编程 发布于2025-06-26
  • Async Void vs. Async Task在ASP.NET中:为什么Async Void方法有时会抛出异常?
    Async Void vs. Async Task在ASP.NET中:为什么Async Void方法有时会抛出异常?
    在ASP.NET async void void async void void void void void的设计无需返回asynchroncon而无需返回任务对象。他们在执行过程中增加未偿还操作的计数,并在完成后减少。在某些情况下,这种行为可能是有益的,例如未期望或明确预期操作结果的火灾和...
    编程 发布于2025-06-26
  • FastAPI自定义404页面创建指南
    FastAPI自定义404页面创建指南
    response = await call_next(request) if response.status_code == 404: return RedirectResponse("https://fastapi.tiangolo.com") else: ...
    编程 发布于2025-06-26
  • Python高效去除文本中HTML标签方法
    Python高效去除文本中HTML标签方法
    在Python中剥离HTML标签,以获取原始的文本表示Achieving Text-Only Extraction with Python's MLStripperTo streamline the stripping process, the Python standard librar...
    编程 发布于2025-06-26
  • CSS可以根据任何属性值来定位HTML元素吗?
    CSS可以根据任何属性值来定位HTML元素吗?
    靶向html元素,在CSS 中使用任何属性值,在CSS中,可以基于特定属性(如下所示)基于特定属性的基于特定属性的emants目标元素: 字体家庭:康斯拉斯(Consolas); } 但是,出现一个常见的问题:元素可以根据任何属性值而定位吗?本文探讨了此主题。的目标元素有任何任何属性值,属...
    编程 发布于2025-06-26
  • 如何使用不同数量列的联合数据库表?
    如何使用不同数量列的联合数据库表?
    合并列数不同的表 当尝试合并列数不同的数据库表时,可能会遇到挑战。一种直接的方法是在列数较少的表中,为缺失的列追加空值。 例如,考虑两个表,表 A 和表 B,其中表 A 的列数多于表 B。为了合并这些表,同时处理表 B 中缺失的列,请按照以下步骤操作: 确定表 B 中缺失的列,并将它们添加到表的末...
    编程 发布于2025-06-26
  • 在GO中构造SQL查询时,如何安全地加入文本和值?
    在GO中构造SQL查询时,如何安全地加入文本和值?
    在go中构造文本sql查询时,在go sql queries 中,在使用conting and contement和contement consem per时,尤其是在使用integer per当per当per时,per per per当per. [&​​&&&&&&&&&&&&&&&默元组方法在...
    编程 发布于2025-06-26
  • 版本5.6.5之前,使用current_timestamp与时间戳列的current_timestamp与时间戳列有什么限制?
    版本5.6.5之前,使用current_timestamp与时间戳列的current_timestamp与时间戳列有什么限制?
    在时间戳列上使用current_timestamp或MySQL版本中的current_timestamp或在5.6.5 此限制源于遗留实现的关注,这些限制需要对当前的_timestamp功能进行特定的实现。 创建表`foo`( `Productid` int(10)unsigned not n...
    编程 发布于2025-06-26
  • \“(1)vs.(;;):编译器优化是否消除了性能差异?\”
    \“(1)vs.(;;):编译器优化是否消除了性能差异?\”
    答案: 在大多数现代编译器中,while(1)和(1)和(;;)之间没有性能差异。编译器: perl: 1 输入 - > 2 2 NextState(Main 2 -E:1)V-> 3 9 Leaveloop VK/2-> A 3 toterloop(next-> 8 last-> 9 ...
    编程 发布于2025-06-26
  • 如何使用Python的请求和假用户代理绕过网站块?
    如何使用Python的请求和假用户代理绕过网站块?
    如何使用Python的请求模拟浏览器行为,以及伪造的用户代理提供了一个用户 - 代理标头一个有效方法是提供有效的用户式header,以提供有效的用户 - 设置,该标题可以通过browser和Acterner Systems the equestersystermery和操作系统。通过模仿像Chro...
    编程 发布于2025-06-26
  • Java数组中元素位置查找技巧
    Java数组中元素位置查找技巧
    在Java数组中检索元素的位置 利用Java的反射API将数组转换为列表中,允许您使用indexof方法。 (primitives)(链接到Mishax的解决方案) 用于排序阵列的数组此方法此方法返回元素的索引,如果发现了元素的索引,或一个负值,指示应放置元素的插入点。
    编程 发布于2025-06-26
  • 如何使用Python理解有效地创建字典?
    如何使用Python理解有效地创建字典?
    在python中,词典综合提供了一种生成新词典的简洁方法。尽管它们与列表综合相似,但存在一些显着差异。与问题所暗示的不同,您无法为钥匙创建字典理解。您必须明确指定键和值。 For example:d = {n: n**2 for n in range(5)}This creates a dicti...
    编程 发布于2025-06-26
  • 如何克服PHP的功能重新定义限制?
    如何克服PHP的功能重新定义限制?
    克服PHP的函数重新定义限制在PHP中,多次定义一个相同名称的函数是一个no-no。尝试这样做,如提供的代码段所示,将导致可怕的“不能重新列出”错误。 但是,PHP工具腰带中有一个隐藏的宝石:runkit扩展。它使您能够灵活地重新定义函数。 runkit_function_renction_re...
    编程 发布于2025-06-26

免责声明: 提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发到邮箱:[email protected] 我们会第一时间内为您处理。

Copyright© 2022 湘ICP备2022001581号-3