引言
在开发本项目过程中,数据的完整性和准确性是项目成功的关键。本文将详细介绍我们的数据来源、构建过程以及如何解决军事院校数据缺失的问题,确保平台能够提供全面、准确的高校信息。
核心数据来源
教育部文件
我们的基础数据主要来源于教育部发布的官方文件:
- 全国普通高等学校名单(最近更新于2025年6月20日):作为基础数据源。
- "211工程"学校名单:来源于教育部学位管理与研究生教育司2005年12月23日发布的文件
- "985工程"学校名单:来源于教育部学位管理与研究生教育司2006年12月6日发布的文件
军事院校信息
除此之外,本项目的数据来源还涉及了国防部发布的 2017年军队院校调整改革后全军和武警部队院校名单。其原因是:在数据处理过程中,我们发现教育部的普通高校名录并不包含军事类院校1。这导致了以下问题:
- 985高校:国防科技大学不在普通高校名单中,但它是公认的39所985高校之一
- 211高校:第二军医大学、国防科学技术大学、第四军医大学不在普通高校名单中,但它们都是211工程高校
为了解决这个问题,我们专门补充了军事院校数据:基于2017年军队院校调整改革后全军和武警部队院校名单,共补充了43所军校信息
以上这些官方文件提供了权威的高校信息,是我们构建数据集的基础。
数据集构建
在数据集构建过程中,我们进行了以下预处理:
- 院校名称标准化:统一院校名称格式,如将"国防科学技术大学"标准化为"中国人民解放军国防科技大学"
- 地理位置信息:补充和标准化院校的地理位置信息。新增了城市和省份的映射关系,便于按省份的维度来可视化高校的数量。
- 数据字段统一:为不同来源的数据建立统一的数据字段:以《全国普通高等学校名单》为基础。高校的基本信息包括:序号、学校名称、学校标识码、主管部门、所在地、办学层次、备注
我们的数据集主要包括以下几个部分:
省份代码的使用
todo
1. 985高校数据
- 文件:
data/universities/985.json - 结构:按省份分类,包含院校名称、地理位置、成立时间、网站和描述
- 特点:包含了国防科技大学,确保985高校数据的完整性
2. 211高校数据
- 文件:
data/universities/211.json - 结构:按省份分类,包含院校名称、地理位置
- 特点:包含了第二军医大学等军事院校,确保211高校数据的完整性
3. 军事院校数据
- 文件:
data/military-schools.json - 结构:包含院校名称、地理位置
- 特点:完整收录了43所军事院校,包括军委直属院校、军兵种院校和武警部队院校
未能完全处理为统一的数据库。
数据库构建工具
我们发布了网页版的数据构建工具。
数据完整性验证
我们通过以下方式验证数据的完整性:
- 985高校:共39所,与官方名单一致,包括国防科技大学
- 211高校:包含了所有官方名单中的高校,以及第二军医大学等军事院校
- 军事院校:完整收录了43所军事院校,与国防部公布的名单一致
挑战与解决方案
挑战
- 数据来源分散:不同类型的高校数据来自不同的官方渠道
- 军事院校数据缺失:教育部普通高校名单不包含军事院校
- 数据格式不统一:不同来源的数据格式不一致
军校的学校标识码、主管部门、所在地、办学层次等信息无法获得。
解决方案
- 多源数据整合:从多个官方渠道收集数据,确保数据的全面性
- 军事院校数据补充:专门收集和整理军事院校数据,确保数据的完整性
- :对不同来源的数据进行标准化处理,确保数据格式的一致性
