加强数据库的质量控制

汪培山

2009-3-30

2

数据系统的质量控制，就是在对数据进行采集、录入、传输交换、存储管理、加工处理过程中有效地进行质量控制和管理，确保数据的真实准确、安全可靠。

是进行分析和科学研究的质量保证的前提。

3

数据库的主要问题和质量控制 上年度数据库的一些问题 数据库质量控制的要求 建议的措施 初步整理核对的方法

4

主要的问题 数据不完整。

缺失值太多。表现为多种变量的缺失值太多，有的地区几乎所有的重要的变量均不完整。

记录丢失，或者变量丢失。个别数据库，可能主要发生在数据转换时。

数据的错误。

5

主要的问题 数据的错误。

不合逻辑的错误：例如年龄，应该在 35-69 岁范围。0 岁至 500 岁。结婚年龄大于年龄；分类变量，除了 1 2 3 ，还有 1.5 ， 2.2 等；身高，体重异常；性别，有男性，……

或者数据合乎逻辑，但是不是纳入的范围，例如年龄 25 岁。

编号和姓名错误，表格之间不匹配。例如，如果只有钼靶结果，则无法应用；或号码重复，由于人数多核对极其麻烦。

变量编码混乱。没有按照编码的要求填写，例如民族，临床检查的结果等。

6

数据库质量控制的要求 完整性 准确性 标准性 一致性 安全性

7

数据库质量控制的要求 完整性

数据库的完整和每个记录的内容的完整，不能缺项，尤其是重要的项目。

准确性 保证数据的真实可靠，准确无误。包括数据

收集的真实可靠，数据输入的真实可靠，准确无误。

8

数据库质量控制的要求 标准性

保持原设计的数据库的要求，不可擅自更改和重新创建数据库。

一致性 数据的转换、传输、整理过程中，保证数据

的一致，不至于发生改变。

9

数据库质量控制的要求 安全性

数据库专人管理，未经授权，不可更改任何内容；

数据在流程中不受到非法攻击和计算机病毒的侵袭，保证数据不被破坏、改变；

保证数据的安全，不丢失，及时保证备份； 保证数据库中个人信息的安全性。

10

建议的措施 表格的完整：表格填写的完整和正确是资料完整的前

提，必须保证表格数据收集的完全、准确、真实、可靠。

数据库专人负责：由一位专门的人员负责数据库的管理和质量控制。

双输入：按照要求进行双输入，可以有效地保证数据的正确性。

整理核对：在数据输入过程中和完成后，负责数据库的人员进行检查核对。如果发现问题，就地争取补充完整，例如核对原表格，电话补充资料等。

最后应该提交净化的数据。

11

初步整理核对的方法 负责管理数据的人员要定期以及在最后完成数

据库的时候进行初步的核对和检查，以便及时发现和纠正有些错误。

如何发现异常和不合理的数据？ 排序：对各个变量进行简单地排序，包括升序和降序，发现缺失值和极端数据；

简单的频数分布的描述，发现缺失值、极端数据和不合理的数据；

散点图：两个计量数据之间的相关图，发现合理范围之外的数据。

其它 :如抽查，两个表格拼接检查编号错误……

12

13

14

15

是否需进一步检查

Frequency Percent Valid Percent

Cumulative

Percent

!!! 95 2.2 2.2 2.2

1 554 12.9 12.9 15.1

2 3656 84.9 84.9 100.0

Valid

Total 4305 100.0 100.0

16

marriage

Frequency Percent Valid Percent

Cumulative

Percent

— 3 .0 .0 .0

1 4 .0 .0 .1

２ 1 .0 .0 .1

2 10183 99.0 99.0 99.1

21 1 .0 .0 99.1

22 5 .0 .0 99.2

3 9 .1 .1 99.3

32 1 .0 .0 99.3

4 9 .1 .1 99.4

5 66 .6 .6 100.0

Valid

Total 10282 100.0 100.0

17

18

19

20

质量控制要求 完整性：数据库的完整和每个记录的内容的完整。 准确性：保证数据的真实可靠，准确无误。 标准性：保持原设计的数据库的要求，不可擅自更改

和重新创建数据库。 一致性：数据的转换、传输、整理过程中，保证数据

的一致，不至于发生改变。 安全性：保证数据不被破坏、改变；不丢失，保证备

份；保证数据库中个人信息的安全性。

21

如何达到质量控制要求

科学的态度 + 认真负责的精神