事例布景
上海市气候局是上海政府的专业管理部门，首要担任上海行政区域内的气候监测、气候预告、灾害性气候预警等作业。气候能见度是气候要素观测中的根本项目之一，是直接影响人类日子、出产、交通的重要问题。此次长江中下游流域能见度预告预警和监测渠道树立项目旨在通过大数据和机器学习技能，进步能见度猜测精度，并通过可视化模块完成气候数据的价值传递。
问题与需求
作为全国最长的内陆航道，长江干线航道年货运量超20亿吨，位居全球内河榜首，年客运量3.2亿人次，对沿岸经济发展至关重要，是当之无愧的“黄金水道”。航道船只的飞行安全与航道的能见度凹凸息息相关， 能见度预告的精确与否决议着各大宗干散货、集装箱、滚装运送在长江中下游的航运安全。
1、能见度猜测精度低
在能见度猜测方面，气候局之前首要运用数值预告的办法进行猜测，其精度还有很大的进步空间，因而期望凭仗于机器学习的算法，来对差错进行批改，全体进步能见度猜测精度，以便做好预警，防止恶劣气候下的人员伤亡和财产损失。猜测目标为未来72h内的逐小时能见度，猜测频率为每小时预告一次，数据更新频率为每天。
2、缺少可视化出现
为便利大众用户、决议计划用户和职业用户快速了解72h内的逐小时能见度，长江中下游流域能见度预告预警和监测渠道的可视化功用亟待开发，在核算得出能见度猜测数据后，主动构成可视化地图，以便用户快速呼应做出决议计划。
解决方案
上海市气候局的此次项目旨在树立长江中下游流域能见度预告预警和监测渠道，完成预告、产品可视化以及评价查验功用。
全体的数据架构首要分为三个层次，榜首层是运转环境，包含气候局自建的应用服务器及操作体系;第二层是数据存储层，存储气候和数值预告相关的数据;第三层是事务应用层，包含预告产品的归纳显现、相关预告作用的查验等。
能见度猜测模型架构如下。
施行成效
气候数据质量操控
数据质量操控的流程是指对收集到的湿度、温度、气压、降水、风速、风向、地表污染物、时刻及空间数据进行一体化的数据处理，将数据格式转化构成归一化的数据。之后进行主动标识，检测数据是否有用，保存有用数据，除掉无效数据。数据质量操控流程通过前期的数据清洗核对，大幅进步了进入模型的数据质量以及能见度的猜测精度。
2、单个站点特性建模
因为长江流域的某些站点之间间隔较远，而且所在的地理位置、气候环境、社会环境、出产环境均有非常大的差异，而这些差异难以在有限的数据中表现。因而为了下降站点之间的数据搅扰，保证猜测精度，分别对单个站点进行独自建模，下降不可控数据的搅扰。整个体系的建模数为两百多个，模型更新频率为每天一次。
3、数值预告差错补全
气候局从前运用的猜测办法为数值预告，即用很多的数据方程描绘整个大气运动的动态，再用大型核算机对方程进行核算。这些方程的假定比较多，需求简化后机器才干算，假如简化太多，则方程无法彻底描绘大气特征，因而会在保证可以描绘大气特征的前提下恰当简化方程。在简化方程之后，必然会发生一些差错，需求凭仗机器学习的算法添补数值预告的差错缺点，进步气候能见度预告的精度。
算法方面，运用二分类模型、XGboost和lightGBM模型进行多模型交融猜测，因为每个气候站每小时都会监测到精确的气候实时数据，因而为机器学习模型不断地注入新的练习集。经机器学习的优化后的能见度猜测模型，对长江中下游流域的城市，如：江苏、安徽、浙江、湖北、湖南、江西、上海等，大部分城市的能见度猜测差错和相关系数都有9%~67%的明显进步。
4、能见度可视化出现
通过机器学习算法猜测的每个气候站的能见度数值，以深浅纷歧的色彩显现在地图上，绿色表明能见度较好，深色表明能见度较差，改写频率为每小时。用户可选择“实时”或“预告”功用，检查实时的能见度或未来72h内的每小时能见度预告。
星环凭仗大数据和机器学习技能助力气候局树立长江中下游流域能见度预告预警和监测渠道，昭示了上海市气候局向人工智能、才智气候方向的成功转型，渠道完成能见度的主动建模、参数调优和模型优化，进步猜测精度，并凭仗可视化模块衔接大众用户、决议计划用户和职业用户，加强了信息的互通同享，为“黄金水道”的安全航运保驾护航。
转载请注明出处。
