第一章：第一节数据载入及初步观察-课程

import numpy as np
import pandas as pd
import os

df=pd.read_csv('train.csv')#拿出train.csv中的训练集，使用相对路径

df.shape#维数

(891, 12)

df.T#行与列交换

12 rows × 891 columns

path=os.path.abspath('train.csv')#查找绝对路径

pd.read_csv(path)#使用绝对路径

891 rows × 12 columns

pd.read_table(path)#默认竖线为分隔符

891 rows × 1 columns

pd.read_table(path,sep=',')#将默认改为逗号为分隔符

891 rows × 12 columns

df=pd.read_csv('train.csv',chunksize=1000)#chunksize为迭代数量，10000为迭代一次的数量

 for i in df:#得到逐块数据
     print(i)

     PassengerId  Survived  Pclass  \
0              1         0       3   
1              2         1       1   
2              3         1       3   
3              4         1       1   
4              5         0       3   
..           ...       ...     ...   
886          887         0       2   
887          888         1       1   
888          889         0       3   
889          890         1       1   
890          891         0       3   

                                                  Name     Sex   Age  SibSp  \
0                              Braund, Mr. Owen Harris    male  22.0      1   
1    Cumings, Mrs. John Bradley (Florence Briggs Th...  female  38.0      1   
2                               Heikkinen, Miss. Laina  female  26.0      0   
3         Futrelle, Mrs. Jacques Heath (Lily May Peel)  female  35.0      1   
4                             Allen, Mr. William Henry    male  35.0      0   
..                                                 ...     ...   ...    ...   
886                              Montvila, Rev. Juozas    male  27.0      0   
887                       Graham, Miss. Margaret Edith  female  19.0      0   
888           Johnston, Miss. Catherine Helen "Carrie"  female   NaN      1   
889                              Behr, Mr. Karl Howell    male  26.0      0   
890                                Dooley, Mr. Patrick    male  32.0      0   

     Parch            Ticket     Fare Cabin Embarked  
0        0         A/5 21171   7.2500   NaN        S  
1        0          PC 17599  71.2833   C85        C  
2        0  STON/O2. 3101282   7.9250   NaN        S  
3        0            113803  53.1000  C123        S  
4        0            373450   8.0500   NaN        S  
..     ...               ...      ...   ...      ...  
886      0            211536  13.0000   NaN        S  
887      0            112053  30.0000   B42        S  
888      2        W./C. 6607  23.4500   NaN        S  
889      0            111369  30.0000  C148        C  
890      0            370376   7.7500   NaN        Q  

[891 rows x 12 columns]

df.get_chunk()#得到逐块数据（方法2）

891 rows × 12 columns

df=pd.read_csv('train.csv')
df.columns=['乘客ID','是否幸存','乘客等级(1/2/3等舱位)','乘客姓名','性别','年龄','堂兄弟/妹个数','父母与小孩个数','船票信息','票价','客舱','登船港口']
#将表头改成中文，索引改为乘客ID，直接进行替换

df

891 rows × 12 columns

df=pd.read_csv('train.csv',names=['乘客ID','是否幸存','乘客等级(1/2/3等舱位)','乘客姓名','性别','年龄','堂兄弟/妹个数','父母与小孩个数','船票信息','票价','客舱','登船港口'])
#将表头改成中文，索引改为乘客ID,相当于多加一个表头

df

892 rows × 12 columns

df.info()#查看数据的基本信息

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 892 entries, 0 to 891
Data columns (total 12 columns):
 #   Column          Non-Null Count  Dtype 
---  ------          --------------  ----- 
 0   乘客ID            892 non-null    object
 1   是否幸存            892 non-null    object
 2   乘客等级(1/2/3等舱位)  892 non-null    object
 3   乘客姓名            892 non-null    object
 4   性别              892 non-null    object
 5   年龄              715 non-null    object
 6   堂兄弟/妹个数         892 non-null    object
 7   父母与小孩个数         892 non-null    object
 8   船票信息            892 non-null    object
 9   票价              892 non-null    object
 10  客舱              205 non-null    object
 11  登船港口            890 non-null    object
dtypes: object(12)
memory usage: 83.8+ KB

df.describe()#查看数据的基本信息

df.head(15)#前十五个数据

df.tail(15)#后十五个数据

df.isnull()#true表示数据为空

891 rows × 12 columns

df.to_csv('train_chinese.csv')

s=pd.Series(np.random.randn(5),index=['a','b','c','d','e'])#随机生成1维数据

s

a   -0.557197
b    1.348717
c    0.228413
d    0.356737
e   -0.123567
dtype: float64

s1=pd.Series([1,2,3,4,5],index=['a','b','c','d','e'])#生成1维数据
s1

pandas.core.series.Series

s=pd.Series({'a':1,'b':2,'c':3,'d':4,'e':5})#将字典实列化
s

a    1
b    2
c    3
d    4
e    5
dtype: int64

d={'one':pd.Series([1,2,3,4,5],index=['a','b','c','d','e']),'two':pd.Series([6,7,8,9,10],index=['a','b','c','d','e'])}
d#生成二维数据

{'one': a    1
 b    2
 c    3
 d    4
 e    5
 dtype: int64,
 'two': a     6
 b     7
 c     8
 d     9
 e    10
 dtype: int64}

pd.DataFrame(d)#生成有序列表

df=pd.read_csv('train.csv')

df.columns#查看df每一列的项

Index(['PassengerId', 'Survived', 'Pclass', 'Name', 'Sex', 'Age', 'SibSp',
       'Parch', 'Ticket', 'Fare', 'Cabin', 'Embarked'],
      dtype='object')

df.Cabin#查看Cabin列的所有项(方法1)

0       NaN
1       C85
2       NaN
3      C123
4       NaN
       ... 
886     NaN
887     B42
888     NaN
889    C148
890     NaN
Name: Cabin, Length: 891, dtype: object

df['Cabin']#查看Cabin列的所有项(方法2),返回类型为Series类型

0       NaN
1       C85
2       NaN
3      C123
4       NaN
       ... 
886     NaN
887     B42
888     NaN
889    C148
890     NaN
Name: Cabin, Length: 891, dtype: object

df[['Cabin']]#返回类型为DataFrame类型

891 rows × 1 columns

test_1=pd.read_csv('test_1.csv')
test_1

891 rows × 14 columns

del test_1['a']#删除a列数据(方法1)

test_1

891 rows × 13 columns

a=test_1.pop('a')#删除a列数据(方法2),a表示删除的东西
test_1

0      100
1      100
2      100
3      100
4      100
      ... 
886    100
887    100
888    100
889    100
890    100
Name: a, Length: 891, dtype: int64

test_1.drop(['a'],axis=1)#删除a列数据(方法3),axis=1表示列,axis=0表示行（返回的是副本，不是test_1本身）

891 rows × 13 columns

test_1.drop(['a'],axis=1,inplace=True)#inplace=True表示返回的是test_1本身,母本进行改变
test_1

891 rows × 13 columns

test_1=pd.read_csv('test_1.csv')
test_1
test_1.drop(['a','PassengerId','Survived','Pclass'],axis=1)#返回的是没有以上元素的副本

891 rows × 10 columns

test_1=pd.read_csv('test_1.csv')
test_1['Age'] < 10 #当Age小于10时返回True,其余返回Faulse

0      False
1      False
2      False
3      False
4      False
       ...  
886    False
887    False
888    False
889    False
890    False
Name: Age, Length: 891, dtype: bool

test_1[test_1['Age'] < 10]#将结果为True的拿出来

62 rows × 14 columns

midage=test_1[(test_1['Age'] > 10) & (test_1['Age'] < 50)]#返回Age大于10岁，且Age小于50岁的结果
midage.head()

midage1=test_1[(test_1['Age'] > 50) | (test_1['Age'] < 10)]#返回Age小于10岁，和Age大于50岁的结果
midage1

126 rows × 14 columns

midage.loc[[100],['Pclass','Sex']]#取出midage中索引为100的数据并拿出Pclass和Sex的结果（并不是第100个数据）
#索引还是与拿过来时的索引一样，不能代表排列顺序

midage.to_csv('midage.csv')#将生成的midage表格存储

midage1=midage.reset_index(drop=True)#将midage中的索引改成由0开始的连续排列索引（drop=True是为了删除原来索引，不加的话原来的索引会变成数据）

midage1.to_csv('midage1.csv')
midage1.loc[[100],['Pclass','Sex']]#此时取出的是真正的第100个数据

midage.index

Index([  0,   1,   2,   3,   4,   8,   9,  12,  13,  14,
       ...
       880, 881, 882, 883, 884, 885, 886, 887, 889, 890],
      dtype='int64', length=576)

midage1.loc[[100,105,108],['Pclass','Name','Sex']]#取出第100，105，108个数据

midage1.iloc[[100,105,108],[3,4,5]]#用iloc表示将输出行的名称更改为列索引相对应的列数，如Pclass用3表示因为Pclass在从左往右数第3个（从0开始数）

midage1.head(3)

sample = pd.DataFrame(np.random.randn(6,4),
                      index=list('632451'),
                     columns=list('BDCA'))
sample#随机生成一个6*4的矩阵，并将其改为行索引为123456，列索引叫ABCD的表格

sample.sort_values('B')#按B从小到大排列,axis=0默认按行排序，ascending=False表示按降序排列,inplace=True表示将母本替换

sample.sort_index()#按行索引顺序排列

sample.sort_index(axis=1)#按列顺序排列

sample.sort_index(axis=1,ascending=False)#按列降序排列

sample.sort_values(['B','A'],ascending=False)#任选两列数据降序排列

df=pd.read_csv('train.csv')
df.columns=['乘客ID','是否幸存','乘客等级(1/2/3等舱位)','乘客姓名','性别','年龄','堂兄弟/妹个数','父母与小孩个数','船票信息','票价','客舱','登船港口']
df.sort_values(['票价','年龄'],ascending=False)#先优先按票价排序，在按年龄排序

891 rows × 12 columns

x = pd.DataFrame(np.random.randn(4,4),
                      index=list('3241'),
                     columns=list('BDCA'))
x

y = pd.DataFrame(np.random.randn(5,4),
                      index=list('53241'),
                     columns=list('BDCE'))
y

x+y#只有行和列都相同的才能相加

max(df['堂兄弟/妹个数']+df['父母与小孩个数'])#取最大值

10

df.describe()

from matplotlib import pyplot as plt

plt.hist(df['年龄'])#画年龄的直方图

(array([ 54.,  46., 177., 169., 118.,  70.,  45.,  24.,   9.,   2.]),
 array([ 0.42 ,  8.378, 16.336, 24.294, 32.252, 40.21 , 48.168, 56.126,
        64.084, 72.042, 80.   ]),
 <BarContainer object of 10 artists>)

df['票价'].describe()#票价基本信息

count    891.000000
mean      32.204208
std       49.693429
min        0.000000
25%        7.910400
50%       14.454200
75%       31.000000
max      512.329200
Name: 票价, dtype: float64

plt.hist(df['票价'])#票价的直方图

(array([732., 106.,  31.,   2.,  11.,   6.,   0.,   0.,   0.,   3.]),
 array([  0.     ,  51.23292, 102.46584, 153.69876, 204.93168, 256.1646 ,
        307.39752, 358.63044, 409.86336, 461.09628, 512.3292 ]),
 <BarContainer object of 10 artists>)

​

​

df['父母与小孩个数'].describe()#父母与小孩个数基本信息

count    891.000000
mean       0.381594
std        0.806057
min        0.000000
25%        0.000000
50%        0.000000
75%        0.000000
max        6.000000
Name: 父母与小孩个数, dtype: float64

plt.hist(df['父母与小孩个数'])#父母与小孩个数的直方图

(array([678., 118.,   0.,  80.,   0.,   5.,   4.,   0.,   5.,   1.]),
 array([0. , 0.6, 1.2, 1.8, 2.4, 3. , 3.6, 4.2, 4.8, 5.4, 6. ]),
 <BarContainer object of 10 artists>)

​