达观杯-文本智能处理挑战赛-初识数据

赛题目标：
建立模型通过长文本数据正文，预测文本对应的类别

数据准备：
train_set.csv 用于模型训练
test_set.csv 用于模型预测

读取前5000条数据：

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
my_data = pd.read_csv('../datasets/train_set.csv', nrows = 5000)

查看缺失情况、文本类别数量：

my_data.isnull().sum()
my_data['class'].value_counts()

发现数据中无缺失值，文本类别共分为19类

拆分训练集和验证集：

X, y = my_data.ix[:,:-1], my_data.ix[:,-1]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.3, random_state = 42)
train_data = pd.DataFrame(np.column_stack((X_train, y_train)), columns = my_data.columns)
test_data = pd.DataFrame(np.column_stack((X_test, y_test)), columns = my_data.columns)

拆分后训练集和验证集大小分别为3500和1500：

print(train_data.shape, test_data.shape)

根据赛题提供数据可得，虽然赛题为文本处理，但数据都是脱敏后的，不需要通过jieba等做切词处理，直接对数据建模即可。