1. 1. 产品研发
    1. 1.1. 质量舆情研发
      1. 1.1.1. 事件分析
      2. 1.1.2. 风险快讯
      3. 1.1.3. 抽检信息
      4. 1.1.4. 业务信息
    2. 1.2. 产品风险监测研发
      1. 1.2.1. 构建产品质量监管数据中台
      2. 1.2.2. 梳理产品质量监管事项目录
      3. 1.2.3. 构建质量监管效能监督评价
      4. 1.2.4. 事中事后全生命周期监管
  2. 2. 基础架构研发
    1. 2.1. 深度质量信息采集系统研发
      1. 2.1.1. 数据采集与分析平台
      2. 2.1.2. 任务调度平台
      3. 2.1.3. 后台管理平台
    2. 2.2. 深度异构数据源整合系统研发
      1. 2.2.1. 数据转换平台
      2. 2.2.2. 数据调度平台
  3. 3. 团队管理
    1. 3.1. 初步实践 OKR 工作法
    2. 3.2. 技术分享计划
  4. 4. 研发计划
    1. 4.1. 以产品分类、企业为中心构建核心产品
      1. 4.1.1. 类目管理
      2. 4.1.2. 商品管理
      3. 4.1.3. 维度管理
      4. 4.1.4. 品牌管理
      5. 4.1.5. 企业管理
  5. 5. 结束语

2019年度总结

产品研发

2019 年主要完成了两类产品的研发工作。

  1. 质量舆情研发
  2. 产品风险监测研发

质量舆情研发

事件分析

基于时间和网页权重等综合因素的对互联网信息进行事件聚类,针对互联网信息流对热点事件进行有效检测。自动生成涵盖事件基本信息、事件相关新闻、情感分析、媒体来源占比、媒体活跃度、地域分析、关键词云、事件走势、事件总结的事件分析报告。

风险快讯

对互联网上的负面新闻归类,包括但不限于产品负面信息、特种设备负面信息、食品药品负面信息,根据不同舆情的负面信息分析出风险程度和本地相关度。

抽检信息

将国家及各省市市场监管局官方发布的抽检信息及时搜集汇总,第一时间了解产品质量状况,进一步缩短抽检信息系统内流转时间。

业务信息

汇集市场监管各类质量信息,包括标准、计量、认证认可、检验检测、产品质量、假冒伪劣、食品安全、药品疫苗、特种设备、广告监管、反垄断、价格监管、知识产权、传销监管等类别。

产品风险监测研发

一直以来产品质量监督抽查是国家对产品质量进行监督和宏观管理的主要手段和有效手段之一,但是随着监管企业日益增加,产品种类日益纷繁,传统的产品质量监督抽查需要有新的手段和新的机制作为补充和辅助。2019 开发继续以产品分类、企业为中心的思想完善产品风险监测,更好地保障产品质量安全,更快速及时地掌控产品质量安全信息,更科学地进行有效监管。

构建产品质量监管数据中台

构建监管基础数据库,全面归集各类监管、执法信息,形成监管事项目录库、监管对象基础信息库、执法人员信息库、监管行为库、投诉举报库、失信人员(企业)库、监管舆情及第三方信息库知识库等。构建监管主题数据库,对社会投诉举报信息、第三方数据(信用数据等)、互联网舆情数据等进行全面接入和融合。

构建监管历史数据库,对监管事项归档,让监管可跟踪可追溯。

梳理产品质量监管事项目录

实现监管事项的编码规则管理、目录清单管理、事项汇聚审核、分类反馈、统计分析、分类查询,规范事项的发布运行,推动事项目录动态化、标准化管理。

构建质量监管效能监督评价

基于监管业务、投诉举报、社会舆情、重大事故、群众评价等监管数据资源,构建可计量、可检索、可追溯、可问责的综合评价指标体系,对部门地方监管部门的事前市场准入监管、事中日常检查监管、事后执法处罚监管的综合评价。

事中事后全生命周期监管

对监督抽查事中事后流程进行二次设计研发,实现移动端监管过程全记录,保证任务执行全程“看得见”、可追溯。

基础架构研发

为保证产品研发高效、有序的向前推进,2019 年同步完成相关基础架构的研发工作。

  1. 深度质量信息采集系统研发
  2. 深度异构数据源整合系统研发

深度质量信息采集系统研发

深度质量信息采集系统由三个模块组成:数据采集与分析平台、任务调度平台与后台管理平台。数据采集分析平台主要负责数据的采集与简单的分析工作;任务调度平台负责对数据采集分析平台的任务进行计划性周期调用,确保数据能正常采集;后台管理平台主要对爬虫任务、规则、爬取网站进行可视化管理。

数据采集与分析平台

完成对互联网数据的采集,其中包括新闻数据,抽检数据(省市)、电商数据、企查查四个数据集。

任务调度平台

任务调度平台的作用是建立合理的调度管理组织体系,确保数据采集与分析平台能正常有计划性的对数据进行采集与分析。任务调度平台需包含三个功能,任务读取,任务推送与任务调用。

后台管理平台

后台管理平台作为一个可视化管理平台。主要负责对爬虫的可视化管理。具体功能设计目前包括整体概览、网站管理、规则管理与任务管理四个功能模块。另外还具有登录验证模块,确保数据安全性。

深度异构数据源整合系统研发

数据转换平台

抽检 Excel 数据读取。抽检爬虫在定时爬取各个网站的抽检数据后,将爬取到的数据存储按地名相对应的位置 ,通过 kettle 工具远程获取到该文件夹的所处位置下的所有 Excel 文件。

对数据进行分类筛选。读取到 Excel 文件时,需要通过工作表名(sheet),来读取指定的工作表下的内容,读取到工作表后,筛选需要的字段。

数据存储。筛选完字段后,可能有些字段不能够直接对应字段存储,需要进行转换或判断,转换为数据库可以存储的格式,转换完成后,将所需要存储的字段与数据库想对应,之后连接数据库,进行存储。

数据调度平台

对抽检转换功能进行调度,编写完转换功能时,只能运行一次,而抽检爬虫是时时刻刻在爬取的,所以需要一个能够定时运行转换功能,这样就需要任务调度平台,对抽检转换进行实施的调度。

团队管理

初步实践 OKR 工作法

使用的 OKR 工作法由三个步骤组成:首先,设置有挑战、可衡量的阶段性目标。其次,确保你和你的团队一直朝着这个目标前进,不要被其他事情干扰。最后,把握节奏,所有成员一直明确需要努力达成的目标,并相互支持、相互鼓励。在 2019 年 7 月份,我因上班路上的意外导致的骨折住院了两周,期间得到了公司领导的热情关怀和同事们的热心问候,让我非常感谢与感动。同时同事们的工作以 OKR 原则继续有条不紊的进行,没有受到任何干扰。在 2020 年的工作中会继续深化实践,输出团队最大效能。

技术分享计划

2019,开发部共三人进行了技术分享,分别为《复杂系统与人工智能》、《机器学习》和《Scrapy 爬虫技术》,在 2020 会保证计划继续进行,互相学习,学以致用。

研发计划

以产品分类、企业为中心构建核心产品

2019 年 12 月,在结合历史经验和对比市场上成熟、相似的产品后,推出了面向多端用户产品排行的设计思路,研究了产品分类体系、数据评价体系的相关原理。2020 年 1 月,将相关设想落地,构建了以小程序为前端,数据管理为中台的新版产品。

类目管理

动态调整分目标用户的分类体系,支持多用户多分类的设计理念。

商品管理

将线上、线下的商品管理到动态分类上。

维度管理

支持多产品多维度、不同产品不同维度的设计理念。

品牌管理

动态管理企业品牌。

企业管理

以企业为中心组织各类信息。

结束语

愿来年开春,我们继续以 2019 年末设置的目标奋力向前推进,在 2020 年末有"鼠"不尽的收获,祝大家新年快乐!