使用布尔索引对 Pandas 数据帧和系列进行高效过滤

在数据分析场景中，应用多个过滤器来缩小结果范围通常至关重要。本文旨在提出一种有效的方法来链接 Pandas 数据对象上的多个比较操作。

挑战

目标是处理关系运算符的字典并将它们附加地应用于给定的 Pandas Series 或 DataFrame，生成过滤后的数据集。此操作需要最大限度地减少不必要的数据复制，尤其是在处理大型数据集时。

解决方案：布尔索引

Pandas 提供了一种使用布尔索引过滤数据的高效机制。布尔索引涉及创建逻辑条件，然后使用这些条件对数据建立索引。考虑以下示例：

df.loc[df['col1'] >= 1, 'col1']

这行代码选择 DataFrame df 中的所有行，其中“col1”列中的值大于或等于 1。结果是一个包含过滤值的新 Series 对象。

要应用多个过滤器，我们可以使用逻辑运算符（如 &）组合布尔条件。 （和）和| （或者）。例如：

df[(df['col1'] >= 1) & (df['col1'] <= 1)]

此操作过滤其中的行'col1' 既大于或等于 1，又小于或等于 1。

辅助函数

为了简化应用多个过滤器的过程，我们可以创建辅助函数：

def b(x, col, op, n): 
    return op(x[col], n)

def f(x, *b):
    return x[(np.logical_and(*b))]

b 函数为给定列和运算符创建布尔条件，而 f 将多个布尔条件应用于 DataFrame 或 Series。

用法示例

要使用这些函数，我们可以提供过滤条件的字典：

filters = {'>=': [1], '
b1 = b(df, 'col1', ge, 1)
b2 = b(df, 'col1', le, 1)
filtered_df = f(df, b1, b2)
此代码将过滤器应用于 DataFrame df 中的“col1”列，并返回带有过滤结果的新 DataFrame。
增强功能
Pandas 0.13 引入了查询方法，它提供了一种使用字符串表达式应用过滤器的便捷方法。对于有效的列标识符，可以使用以下代码：
df.query('col1 
这一行实现了与我们的相同的过滤前面的示例使用了更简洁的语法。
通过利用布尔索引和辅助函数，我们可以有效地将多个过滤器应用于 Pandas 数据帧和系列。这种方法可以最大限度地减少数据复制并提高性能，特别是在处理大型数据集时。