本发明涉及一种基于3D卷积网络多特征融合的疲劳检测方法及系统。该方法包括利用动作识别数据集对X3D卷积神经网络进行预训练,确定动作分类模型;利用动作分类模型中的网络权值对所述X3D卷积神经网络进行初始化,并利用驾驶员视频数据对所述初始化后的X3D卷积神经网络进行训练,确定初始的疲劳检测模型;对驾驶员视频数据进行预处理;在所述初始的疲劳检测模型中添加注意力层,构建疲劳检测分类网络;利用预处理后的图像对所述疲劳检测分类网络进行训练与验证,确定疲劳检测模型;利用疲劳检测模型对待检测视频进行疲劳检测分类。本发明能够提高疲劳检测的精度。