pandas是Python數據分析必備工具,它有強大的數據清洗能力,往往能用非常少的代碼實現較復雜的數據處理
今天,總結了pandas篩選數據的15個常用技巧,主要包括5個知識點:
比較運算:==、《、》、》=、《=、!=
范圍運算:between(left,right)
字符篩選:str.contains(pattern或字符串,na=False)
邏輯運算:&(與)、|(或)、not(取反)
比較函數:eq, ne, le, lt, ge, gt(相當于==,=!,《=,《,》=,》)
apply和isin函數
”下面以超市運營數據為例,給大家逐個講解首先讀取數據:
import pandas as pd
data=pd.read_excel(‘超市運營數據模板.xlsx’)
data

先看一下各列的數據類型:
data.dtypes
商品ID int64
類別ID int64
門店編號 object
單價 float64
銷量 float64
訂單ID object
日期 datetime64[ns]
時間 object
dtype: object
下面以實際應用場景為例開始講解:
1.篩選門店編號為‘CDXL’的運營數據①第一種方法,用比較運算符‘==’:
data[data.門店編號==‘CDXL’]

②第二種方法,用比較函數‘eq’:
data[data[‘門店編號’].eq(‘CDXL’)]

2.篩選單價小于等于10元的運營數據③第一種方法,用比較運算符‘《=’:
data[data.單價《=10]

④第二種方法,用比較函數‘le’:
data[data[‘單價’].le(10)]

3.篩選銷量大于2000的運營數據⑤第一種方法,用比較運算符‘》=’:
data[data.銷量》2]

⑥第二種方法,用比較函數‘ge’:
data[data[‘銷量’].ge(2)]

4.篩選除門店‘CDXL’外的運營數據⑦第一種方法,用比較運算符‘!=’:
data[data.門店編號!=‘CDXL’]

⑧第二種方法,用比較函數‘ne’:
data[data[‘門店編號’].ne(‘CDXL’)]

5.篩選2020年5月的運營數據首先將日期格式化:
data[‘日期’]=data[“日期”].values.astype(‘datetime64’) #如果已為日期格式則此步驟可省略
data[‘日期’]
import datetime
s_date = datetime.datetime.strptime(‘2020-04-30’, ‘%Y-%m-%d’).date() #起始日期
e_date = datetime.datetime.strptime(‘2020-06-01’, ‘%Y-%m-%d’).date() #結束日期
⑨第一種方法,用邏輯運算符號‘》’ ‘《’和‘&’:
Pandasdatetime64[ns]不能直接與datetime.date相比,需要用pd.Timestamp進行轉化
data[(data.日期》pd.Timestamp(s_date))&(data.日期《pd.Timestamp(e_date))]

⑩第二種,用比較函數‘gt’‘lt’和‘&’:
data[(data[‘日期’].lt(pd.Timestamp(e_date)))&(data[‘日期’].gt(pd.Timestamp(s_date)))]

?第三種,用apply函數實現:
id_a=data.日期.apply(lambda x: x.year ==2020 and x.month==5)
data[id_a]

?第四種,用between函數實現:
id_b=data.日期.between(pd.Timestamp(s_date),pd.Timestamp(e_date))
data[id_b]

6.篩選“類別ID”包含‘000’的數據?第一種,用contains函數:
data[‘類別ID’]=data[‘類別ID’].values.astype(‘str’) #將該列轉換為字符數據類型
id_c=data.類別ID.str.contains(‘000’,na=False)
data[id_c]

?第二種,用isin函數:
id_i=data.類別ID.isin([‘000’]) #接受一個列表
data[id_i]
很遺憾,isin函數搞不定,因為它只能判斷該列中元素是否在列表中
7.篩選商品ID以“301”開頭的運營數據?需要用contains函數結合正則表達式使用:
data[‘商品ID’]=data[‘商品ID’].values.astype(‘str’) #將該列轉換為字符數據類型
id_c2=data.商品ID.str.contains(‘301d{5}’,na=False)
data[id_c2]

為了方便大家學習,我已經將本文數據及代碼打包好,請關注 數據分析與開發 公眾號在后臺回復關鍵字:篩選數據 獲取。
原文標題:一次性總結了pandas提取數據的15種方法,統統只需1行代碼!
文章出處:【微信公眾號:數據分析與開發】歡迎添加關注!文章轉載請注明出處。
責任編輯:haq
-
數據分析
+關注
關注
2文章
1516瀏覽量
36208 -
python
+關注
關注
57文章
4876瀏覽量
90022
原文標題:一次性總結了pandas提取數據的15種方法,統統只需1行代碼!
文章出處:【微信號:DBDevs,微信公眾號:數據分析與開發】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
1688 商品詳情 API 調用與數據解析 Python 實戰
Linux進程管理不用愁!這6個工具幫你搞定90%場景
Linux Shell文本處理神器合集:15個工具+實戰例子,效率直接翻倍
如何使用Python讀取不間斷數據,并將其傳輸到LabVIEW進行處理?
合同審查、簡歷篩選、審核中小企業AI審核工具怎么選?
應用生命周期管理Perforce ALM 產品更新詳解:標簽和篩選功能
PYQT 應用程序框架及開發工具
用 Python 給 Amazon 做“全身 CT”——可量產、可擴展的商品詳情爬蟲實戰
termux調試python猜數字游戲
termux如何搭建python游戲
基礎篇3:掌握Python中的條件語句與循環
python入門圣經-高清電子書(建議下載)
?如何在虛擬環境中使用 Python,提升你的開發體驗~
零基礎入門:如何在樹莓派上編寫和運行Python程序?
Python工具pandas篩選數據的15個常用技巧
評論