人工智能训练师

Appearance

低碳生活行为影响因素数据清洗和标注流程设计 ​

1.导入库 ​

python
import pandas as pd
  • 导入 pandas 库，⽤于数据处理和分析，通常别名为 pd

2.加载Excel数据集 ​

python
data = pd.read_excel('大学生低碳生活行为的影响因素数据集.xlsx')
print(data.head())

  • pd.read_excel() : 读取Excel文件

    • 参数：文件路径('大学生低碳生活行为的影响因素数据集.xlsx')

  • data.head() : 显示数据框的前5行

  • 功能：加载数据集并预览前5行数据

3.缺失值处理 ​

python
initial_row_count = data.shape[0] # 获取原始数据行数
data = data.dropna() # 删除包含缺失值的行
final_row_count = data.shape[0] # 获取处理后数据行数
print(f'处理后数据行数: {final_row_count}, 删除的行数: {initial_row_count - final_row_count}')

  • data.shape[0] : 获取DataFrame的行数

  • data.dropna() : 删除包含任何缺失值的行

    • 默认删除任何包含NaN的行

  • 功能：统计并删除缺失值，打印处理前后的数据量变化

4.删除重复行 ​

python
data = data.drop_duplicates()

  • data.drop_duplicates() : 删除完全重复的行

  • 功能：确保数据集中没有重复记录

5.数据标准化 ​

python
from sklearn.preprocessing import StandardScaler
numerical_features = ['4.您的月生活费○≦1,000元 ○1,001-2,000元 ○2,001-3,000元 ○≧3,001元']
scaler = StandardScaler()
data[numerical_features] = scaler.fit_transform(data[numerical_features])

  • StandardScaler() : 创建标准化对象

    • 标准化公式：(x - mean) / std

  • fit_transform() : 计算均值和标准差并应用转换

  • 功能：对数值特征（月生活费）进行标准化处理

6.特征选择 ​

python
selected_features = [
'1.您的性别○男性 ○女性',
'2.您的年级○大一 ○大二 ○大三 ○大四',
'3.您的生源地○农村 ○城镇（乡镇） ○地县级城市 ○省会城市及直辖市',
'4.您的月生活费○≦1,000元 ○1,001-2,000元 ○2,001-3,000元 ○≧3,001元',
'5.您进行过绿色低碳的相关生活方式吗?',
'6.您觉得"低碳"，与你的生活关系密切吗？',
'7.低碳生活是否会成为未来的主流生活方式？',
'8.您是否认为低碳生活会提高您的生活质量？'
]
X = data[selected_features]
  • X : 特征矩阵(自变量)
  • 功能：选择用于建模的特征列

7.创建目标变量 ​

python
y = data['低碳行为积极性']
  • y : 目标变量(因变量)
  • 功能：指定预测目标

8.划分训练集和测试集 ​

python
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

  • train_test_split() : 划分数据集

    • X : 特征数据
    • y : 目标数据
    • test_size=0.2 : 测试集占20%
    • random_state=42 : 随机种子(保证可重复性)

  • 功能：将数据划分为训练集(80%)和测试集(20%)

9.合并并保存处理后的数据 ​

python
cleaned_data = pd.concat([X, y], axis=1)
cleaned_data.to_csv('2.1.2_cleaned_data.csv', index=False)

  • pd.concat() : 沿列方向(axis=1)合并特征和目标

  • to_csv() : 保存为CSV文件

    • index=False : 不保存行索引

  • 功能：保存处理后的完整数据集

制定数据清洗规范 ​

1. 数据加载：使用 pandas 库加载数据集，检查数据的基本结构和类型。
2. 检查数据集中的缺失值，使用删除包含缺失值的行的办法处理，记录缺失值处理后的数据行数；
3. 检查数据集中的重复值并删除所有重复值，并记录删除的行数；
4. 对数值型数据进行标准化处理，确保数据在同一量纲下进行分析；
5. 保存清洗后的数据: 将经过清洗和处理后的数据保存为新的 CSV 文件，以便后续使用。

制定数据标注规范 ​

1. 数据来源：标注数据的来源，包括数据集的名称、获取日期和数据提供者。
2. 数据描述：提供详细的数据描述，包括每列数据的含义、单位和可能的取值范围。
3. 特征选择: 确定对目标变量预测最有用的特征。
4. 目标变量设定: 根据业务需求和数据特性，选择对低碳生活行为预测最有用的特征。
5. 数据划分: 将数据分为训练集和测试集，通常采用 80/20 的比例，以便于模型的训练和评估。
6. 保存处理后的数据：保存处理后的数据，并记录保存文件的路径和文件名。
7. 数据清洗和标注规范文档