好习惯!pandas 8 个常用的 index 设置

百家 作者:AI100 2022-07-19 19:58:46

作者 |?东哥起飞

来源 |?Python数据科学


在数据处理时,经常会因为index报错而发愁。不要紧,本次来和大家聊聊pandas中处理索引的几种常用方法。

1.读取时指定索引列

很多情况下,我们的数据源是 CSV 文件。假设有一个名为的文件data.csv,包含以下数据。
date,temperature,humidity
07/01/21,95,50
07/02/21,94,55
07/03/21,94,56
默认情况下,pandas将会创建一个从0开始的索引行,如下:
>>>?pd.read_csv("data.csv",?parse_dates=["date"])
????????date??temperature??humidity
0?2021-07-01???????????95????????50
1?2021-07-02???????????94????????55
2?2021-07-03???????????94????????56
但是,我们可以在导入过程中通过将index_col参数设置为某一列可以直接指定索引列。
>>>?pd.read_csv("data.csv",?parse_dates=["date"],?index_col="date")
????????????temperature??humidity
date?????????????????????????????
2021-07-01???????????95????????50
2021-07-02???????????94????????55
2021-07-03???????????94????????56

2. 使用现有的 DataFrame 设置索引

当然,如果已经读取数据或做完一些数据处理步骤后,我们可以通过set_index手动设置索引。
>>>?df?=?pd.read_csv("data.csv",?parse_dates=["date"])
>>>?df.set_index("date")
????????????temperature??humidity
date?????????????????????????????
2021-07-01???????????95????????50
2021-07-02???????????94????????55
2021-07-03???????????94????????56
这里有两点需要注意下。
  1. set_index方法默认将创建一个新的 DataFrame。如果要就地更改df的索引,需要设置inplace=True
df.set_index(“date”,?inplace=True)
  1. 如果要保留将要被设置为索引的列,可以设置drop=False
df.set_index(“date”,?drop=False)

3. 一些操作后重置索引

在处理 DataFrame 时,某些操作(例如删除行、索引选择等)将会生成原始索引的子集,这样默认的数字索引排序就乱了。如要重新生成连续索引,可以使用reset_index方法。
>>>?df0?=?pd.DataFrame(np.random.rand(5,?3),?columns=list("ABC"))
>>>?df0
??????????A?????????B?????????C
0??0.548012??0.288583??0.734276
1??0.342895??0.207917??0.995485
2??0.378794??0.160913??0.971951
3??0.039738??0.008414??0.226510
4??0.581093??0.750331??0.133022
>>>?df1?=?df0[df0.index?%?2?==?0]
>>>?df1
??????????A?????????B?????????C
0??0.548012??0.288583??0.734276
2??0.378794??0.160913??0.971951
4??0.581093??0.750331??0.133022
>>>?df1.reset_index(drop=True)
??????????A?????????B?????????C
0??0.548012??0.288583??0.734276
1??0.378794??0.160913??0.971951
2??0.581093??0.750331??0.133022
通常,我们是不需要保留旧索引的,因此可将drop参数设置为True。同样,如果要就地重置索引,可设置inplace参数为True,否则将创建一个新的 DataFrame。

4. 将索引从 groupby 操作转换为列

groupby分组方法是经常用的。比如下面通过添加一个分组列team来进行分组。
>>>?df0["team"]?=?["X",?"X",?"Y",?"Y",?"Y"]
>>>?df0
??????????A?????????B?????????C?team
0??0.548012??0.288583??0.734276????X
1??0.342895??0.207917??0.995485????X
2??0.378794??0.160913??0.971951????Y
3??0.039738??0.008414??0.226510????Y
4??0.581093??0.750331??0.133022????Y
>>>?df0.groupby("team").mean()
?????????????A?????????B?????????C
team??????????????????????????????
X?????0.445453??0.248250??0.864881
Y?????0.333208??0.306553??0.443828
默认情况下,分组会将分组列编程index索引。但是很多情况下,我们不希望分组列变成索引,因为可能有些计算或者判断逻辑还是需要用到该列的。因此,我们需要设置一下让分组列不成为索引,同时也能完成分组的功能。
有两种方法可以完成所需的操作,第一种是用reset_index,第二种是在groupby方法里设置as_index=False。个人更喜欢第二种方法,它只涉及两个步骤,更简洁。
>>>?df0.groupby("team").mean().reset_index()
??team?????????A?????????B?????????C
0????X??0.445453??0.248250??0.864881
1????Y??0.333208??0.306553??0.443828
>>>?df0.groupby("team",?as_index=False).mean()
??team?????????A?????????B?????????C
0????X??0.445453??0.248250??0.864881
1????Y??0.333208??0.306553??0.443828

5.排序后重置索引

当用sort_value排序方法时也会遇到这个问题,因为默认情况下,索引index跟着排序顺序而变动,所以是乱雪。如果我们希望索引不跟着排序变动,同样需要在sort_values方法中设置一下参数ignore_index即可。
>>>?df0.sort_values("A")
??????????A?????????B?????????C?team
3??0.039738??0.008414??0.226510????Y
1??0.342895??0.207917??0.995485????X
2??0.378794??0.160913??0.971951????Y
0??0.548012??0.288583??0.734276????X
4??0.581093??0.750331??0.133022????Y
>>>?df0.sort_values("A",?ignore_index=True)
??????????A?????????B?????????C?team
0??0.039738??0.008414??0.226510????Y
1??0.342895??0.207917??0.995485????X
2??0.378794??0.160913??0.971951????Y
3??0.548012??0.288583??0.734276????X
4??0.581093??0.750331??0.133022????Y

6.删除重复后重置索引

删除重复项和排序一样,默认执行后也会打乱排序顺序。同理,可以在drop_duplicates方法中设置ignore_index参数True即可。
>>>?df0
??????????A?????????B?????????C?team
0??0.548012??0.288583??0.734276????X
1??0.342895??0.207917??0.995485????X
2??0.378794??0.160913??0.971951????Y
3??0.039738??0.008414??0.226510????Y
4??0.581093??0.750331??0.133022????Y
>>>?df0.drop_duplicates("team",?ignore_index=True)
??????????A?????????B?????????C?team
0??0.548012??0.288583??0.734276????X
1??0.378794??0.160913??0.971951????Y

7. 索引的直接赋值

当我们有了一个 DataFrame 时,想要使用不同的数据源或单独的操作来分配索引。在这种情况下,可以直接将索引分配给现有的 df.index
>>>?better_index?=?["X1",?"X2",?"Y1",?"Y2",?"Y3"]
>>>?df0.index?=?better_index
>>>?df0
???????????A?????????B?????????C?team
X1??0.548012??0.288583??0.734276????X
X2??0.342895??0.207917??0.995485????X
Y1??0.378794??0.160913??0.971951????Y
Y2??0.039738??0.008414??0.226510????Y
Y3??0.581093??0.750331??0.133022????Y

8.写入CSV文件时忽略索引

数据导出到 CSV 文件时,默认 DataFrame 具有从 0 开始的索引。如果我们不想在导出的 CSV 文件中包含它,可以在to_csv方法中设置index参数。
>>>?df0.to_csv("exported_file.csv",?index=False)
如下所示,导出的 CSV 文件中,索引列未包含在文件中。
其实,很多方法中都有关于索引的设置,只不过大家一般比较关心数据,而经常忽略了索引,才导致继续运行时可能会报错。以上几个高频的操作都是有索引设置的,建议大家平时用的时候养成设置索引的习惯,这样会节省不少时间。


往期回顾

太卷了!AI 高数考试正确率81%


马斯克痛失大将!自动驾驶将驶向何方?


用 Python 制作可视化 GUI 界面


如何用 Python 实现景区安防系统?


分享

点收藏

点点赞

点在看

关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接