11
2016
02

数据存储与管理

在“大数据”盛行的今天,数据充斥着生活和工作的方方面面,数据管理,是各行各业不可避免的话题。

 

数据:

简单来说,我们所获取的所有信息都可以称之为数据,而一般我们所指的是指书面记录下来的数据。

 

数据来源:

数据来源很多,比如有设备自动生成的电子数据、比如有设备自动打印的纸质数据、比如有手工填写的纸质/电子数据等。另外,现在所使用的各种系统比如SAP,OA等,或者一些GMP compliance的系统,都可以保存数据,而数据存储的位置,一般为此类系统的数据库。我们常见的数据库一般有SQL,ACCESS,hadoop,EXCEL,txt等,这些有的是数据分布系统,有的是指软件,而我们最常用的,无非就是excel,因为它的易得(每台电脑上都有安装),自由设计,使用方便等特性,被我们广泛使用。

 

法规要求:

根据数据完整性的一般要求及MHRA发布的《数据完整性定义与期望》中关于数据审核的要求“应该建立规程,描述包括原始数据在内的数据审核和批准流程。数据的审核必须包括相关元数据及其审计追踪的审核”和数据归档的要求“归档记录应被锁定,以免记录的更改和删除未被察觉和没有审计追踪记录”。

这就意味着,我们的数据管理在合规上要求,需要做到以下2点:

  1. 数据复核:数据应是经过复核的,对于计算机系统,可以通过不同权限帐户对数据进行复核。对于纸版录入电子的,不仅应对纸版数据进行复核,还应对录入的电子数据进行复核,以避免数据录入过程的错误。

  2. 数据权限管理:数据应被锁定加密,不同的人员拥有不同的权限,对于有外层系统(比如数据只存储在某台服务器上)的,可以通过外层系统的控制来控制数据,或通过数据存储平台本身进行管理。

 

数据格式和分析要求:

数据有扁平和堆叠状态两种,对于需要分析,而不仅仅只是用于展示的数据,应尽量避免扁平存储格式,对于有计算机数据库基础的朋友来说可能更容易理解一些,也就是分字段存储记录,而展示的数据,一般为数据库的交叉表查询的结果。

 

扁平:

无标题_副本.jpg

 

按字段存储:

无标题2_副本.jpg

« 上一篇 下一篇 »

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。