你的位置:首页 > 新闻动态 > 刊文精选

2022年第25期·基于物联云平台及智能处理的大数据专业实训探索

2022-9-21 11:27:20点击:

[出处] 教育教学论坛_2022年第25期

黄晋 汤俊伟 罗瑞奇 陈佳

[关键词] 大数据;物联云平台;智能处理;实训

[基金项目] 2020年度湖北省自然科学基金计划一般面上项目“基于MR影像的柔性生物组织变形场测量应用研究”(2020CFB801)

[作者简介] 黄 晋(1982—),男,湖北武汉人,博士,武汉纺织大学计算机与人工智能学院讲师,主要从事大数据方向研究;汤俊伟(1990—),男,湖北蕲春人,博士,武汉纺织大学计算机与人工智能学院讲师,主要从事移动安全与人工智能研究;陈 佳(1982—),女,湖北武汉人,博士,武汉纺织大学计算机与人工智能学院副教授(通信作者),主要从事图像处理、人工智能研究。

[中图分类号] G642 [文献标识码] A [文章编号] 1674-9324(2022)25-0033-04 [收稿日期] 2022-03-17

引言

大數据学科是随着互联网的飞速发展和数据科学的发展逐渐形成的,它针对数据获取、数据分析和数据可视化各个环节,利用计算机网络技术进行数据传输,借助数学模型和人工智能算法进行数据处理和分析,并利用二维和三维技术实现分析结果的可视化。在当前世界信息化和全球化的趋势面前,做好高等院校大数据专业的教学研究工作,为国家培养适应形势变化的复合型信息技术人才越发重要。

武汉纺织大学计算机与人工智能学院下设大数据专业和人工智能专业,并于2019年开始招收全日制本科生。开设了大数据专业的全套本科课程,包括“数据科学导论”“数据采集与网络爬虫”“数据分析与实践”“大数据可视化技术”等。目前,我校大数据教学方面还有长足的发展和较大的提升空间。

针对大数据课程的特点,结合我们在专业实训中的实际经验,就大数据专业实训内容提出自己的想法和若干建议,希望能为大数据专业建设提供新的思路。

一、大数据专业实训特点

(一)大数据专业实训的特点

1.大数据专业内容涉及面广。大数据是一门新兴学科,也是一门综合性很强的学科,涉及计算机网络、人工智能和机器学习、概率论等诸多学科。

2.大数据专业基础课程体系复杂。基础类课程包括数学基础课、计算机基础课、大数据基础课程;进阶类课程包括数据获取类课程、数据分析和机器学习类课程、数据可视化类课程。每一类课程由若干门课程构成,且课程之间存在较多的依赖关系。

3.大数据专业知识更新快,前沿性强。随着互联网的飞速发展,新的数据类型不断产生,新的应用需求不断发展。这就要求针对新的需求和数据类型,提出新的大数据技术和理论,解决不断出现的实际问题。

(二)大数据专业实训中面临的困难

大数据专业实训中的主要困难有:(1)大数据知识和技术资源相对独立和分散;(2)理论知识和实践知识结合得不紧密;(3)前沿内容众多且理论难度较大;(4)省属高校学生能力参差不齐。

二、物联云平台实验的概念和模式

物联云平台实验是学科专业实训与云计算发展的产物。随着计算机网络和传感器的飞速发展,海量数据大多数产生于该类平台。基于该类型平台进行专业实训[1-3],能够让学生实际体验平台的内容和特点,提高实践能力。

现有物联网设备主要包含多种类型的传感器设备,如视频、音频、红外等;其中树莓派是一种使用广泛的开源嵌入式平台[4,5]。该平台选用的Linux操作系统是一种嵌入式的系统。目前云平台包括新浪云、百度云和阿里云,这几种云架构[6,7]是类似的。其中新浪云使用较为广泛,且部分可以免费使用;阿里云商用最为广泛,但是费用较高;而百度云使用较少,不在我们考虑之列。

根据目前业界开发应用需求,并结合目前市场上提供的设备及在线云资源的情况,物联网前端传感器负责数据采集和预处理,拟采用基于平台树莓派的硬件平台。该平台软硬件都具有较高开放性,软硬件支持非常丰富。后端云平台负责数据管理,拟采用新浪云。

三、智能数据处理实验的概念和模式

智能数据处理实验是大数据专业和产业技术应用深度融合的产物,将人工智能和数据挖掘中的各种技术和算法[8-10]在实训的实验中加以应用。国内外智能数据处理技术总结如下。

Tensorflow是由谷歌公司开发的开源深度学习平台,尤其擅长分析图像和自然语言,主要技术是使用卷积神经网络,内置各种最先进的深度模型。Pytorch是另一种开源的深度学习开发平台,与Tensorflow类似,且其编程方式更加简洁并易于理解,硬件同时支持CPU和GPU。国内也有自主研发的类似平台,如百度的飞桨(Paddle)和清华大学的计图(Jittor),软件部分实现了自主可控。智能数据处理实验模式如图1所示。针对具体的产业应用需求,在物联网平台和云平台上构建数据处理算法支撑环境,进行算法的学习和实践。智能数据处理教学分为两个部分的内容。

(一)物联网前端软硬件学习和处理算法学习与实践

物联网前端设备负责原始数据的采集和数据的预处理,预处理通常采用机器学习或者图像处理的方法。因此,需要学习在树莓派的嵌入式Linux操作系统环境中进行环境配置及编程实践方法,将预处理后的数据通过网络发送至远程云平台。

(二)云平台中数据分析算法学习与实践

首先,学习内容方面,在学习Python的基础上进一步掌握机器学习和深度学习算法的理论和实验。其次,技能实践方面,需要掌握云平台中各种算法库的使用方法,以及算法集成技术,为了将这些算法功能在项目工作中正常使用。最后,完成项目设计、程序设计实践,并完成最终的演示和报告内容。

四、大数据专业实践教学方案

通过对现有应用和教学经验的研究,将物联云平台和智能数据处理算法应用到大数据专业实训的教学实践中。课程设置方案包括准备阶段、教学阶段、实践阶段。

1.准备阶段:配发讲义,其内容主要与教材《Raspberry Pi用户指南》(Raspberry Pi User Guide)和《利用Python进行数据分析》(Python for Data Analysis)的内容接近。本阶段还要安排教学进度,其进度可以根据具体时间长短对内容进行精简或扩充。

典型教学进度安排包括教学阶段和实践阶段两部分,总计16个学时,具体分为四个阶段。第一阶段,基础知识教学阶段。安排2个学时,主要介绍树莓派及设备的安装和使用,以及Linux系统安装使用以及简单编程开发。由于课堂教学时间非常有限,需要学生在课下熟悉和掌握Linux平台c语言和Pyhton语言开发方法和应用实例。第二阶段,系统架构搭建阶段。安排6个学时,完成云架构的设计和实现、传感器网络通信的协议和方法,以及应用端的设计和实现,同时要求学生在课下开通云平台账号,使用Python实现传感器的数据采集、传输和云端存储,并学习使用php实现云平台数据管理。第三阶段,进阶实践阶段。安排4个学时,完成数据分析核心算法,包括使用Python语言在Linux中实现数据预处理算法,使用php语言在云端实现数据分析算法。第四阶段,评估阶段。安排4个学时,以小组的方式进行,每组2~3人,选出1人为组长负责沟通和安排工作,最终以小组为单位向大家讲解和展示项目成果,并完成小组互评和教师点评。

2.教学阶段:根据教学进度安排,实施教学。教学过程中结合树莓派的软硬件资料和云端开发的教学资源供学生参考和使用。针对不同的应用场景,教师讲解,学生组成合作小组,根据教学安排给出设计方案并完成系统搭建。

3.实践阶段:学生根据教学安排和内容完成系统设计和实现工作。在设计阶段,首先画出整体层次框架,包括具体的功能模块及模块之间的交互内容和方式。完成云平台的搭建、前端物联网设备的初始化和数据通信,以及设备端和云端的数据分析。通过团队合作,完成一系列的设计和实现,进一步巩固、实践所学习的理论知识。

五、教学心得体会

将物联云平台和智能数据处理教学引入大数据专业实训教学中,使得教学模式和方法产业化、智能化、规范化,旨在提高学生实际工程能力,扩展学生知识的广度和深度,并接触业界最前沿的技术和知识。具体意义描述详见图2。

搭建包含物联网的云平台开发环境,将专业实训和当前产业应用相融合。在实训教学过程中将传感器硬件、物联网、云平台的软件和硬件优化组合,探索本类案例的产业特点,旨在调动学生学习积极性、深入实践、锻炼能力。通过该物联云平台,整合大数据实训的相关资源,提供针对实践的教学服务,同时培养学生的工程能力和动手能力。

引入智能数据处理的实训内容,将人工智能和数据挖掘算法融入实训内容。学习并探讨产业和学术前沿的技术内容,在此基础上探索适合大数据专业的教学内容和教学方法方式,在专业实训的教学过程中,讲授算法的原理及算法的实际应用场景。将算法能力培养与大数据专业实训融合起来。在此过程中,平台和智能算法将共同发挥作用,旨在提高学生的算法应用能力、拓展前沿知识,为国家培养出面向产业的高素质专业人才。

本论文的探索方向主要是鼓勵主动自学、注重实践、开放思考。选择的讲授方式为线上线下结合的教学模式,激发学生学习热情,提高学习的主动性,提高学生的实践动手能力。通过物联云平台中各类应用技术,逐步提高学生的实践动手能力,扩展知识的广度和深度。

结语

在计算机教学中,专业实训是非常重要的一环。专业实训能够提升学生的动手能力,使学生能够更加深刻地理解和掌握理论知识,并初步掌握实际工程中分析问题和解决问题的能力。同时,本次实训探索能够完善学校实训内容,并进一步推动实训与产业和实践的深度结合。此外,所选软件和硬件平台成本较低且开放程度高,不会给学校和学生带来明显的经济负担。通过实践教学证明了专业实训的可行性和有效性。然而实训的内容和方式还有改进的空间,需要在今后的教研中更进一步地探索。