数据库管理员(Database Administrator,简称DBA),是从事管理和维护
数据库管理系统(DBMS)的相关工作人员的统称,属于
运维工程师的一个分支,主要负责业务数据库从设计、测试到部署交付的全生命周期管理。
主要职责
狭义
一般意义上的数据库管理员是一个负责管理和维护数据库服务器的人,数据库管理员负责全面管理和控制数据库系统,包括数据库的安装、监控、备份、恢复等基本工作。数据库管理员的主要职责有以下几个方面:
设计数据库设计,包括字段、表和关键字段;资源在辅助存储设备上是怎样使用的,怎样增加和删除文件及记录,以及怎样发现和补救损失。
2.监视监控数据库的警告日志,定期做备份删除。监控数据库的日常会话情况。碎片、剩余表空间监控,及时了解表空间的扩展情况、以及剩余空间分布情况。监视对象的修改。定期列出所有变化的对象安装和升级数据库服务器(如Oracle、MicrosoftSQLserver),以及应用程序工具。数据库设计系统存储方案,并制定未来的存储需求计划。制定数据库备份计划,灾难出现时对数据库信息进行恢复。维护适当介质上的存档或者备份数据。备份和恢复数据库。联系数据库系统的生产厂商,跟踪技术信息。
3.备份对数据库的备份监控和管理数据库的备份至关重要,对数据库的备份策略要根据实际要求进行更改,数据的日常备份情况进行监控。
4.修改密码:规范数据库用户的管理定期对管理员等重要用户密码进行修改。对于每一个项目,应该建立一个用户。DBA应该和相应的项目管理人员或者是程序员沟通,确定怎样建立相应的数据库底层模型,最后由DBA统一管理,建立和维护。任何数据库对象的更改,应该由DBA根据需求来操作。
5.SQL语句:对SQL语句的书写规范的要求一个SQL语句,如果写得不理想,对数据库的影响是很大的。所以,每一个程序员或相应的工作人员在写相应的SQL语句时,应该严格按照《SQL书写规范》一文,最后要有DBA检查才可以正式运行。
6.最终用户服务和协调:数据库管理员规定用户访问权限和为不同用户组分配资源。如果不同用户之间互相抵触,数据库管理员应该能够协调用户以最优化安排。
7.数据库安全:数据库管理员能够为不同的数据库管理系统用户规定不同的访问权限,以保护数据库不被未经授权的访问和破坏。例如,允许一类用户只能检索数据,而另一类用户可能拥有更新数据和删除记录的权限。
广义
但是广义上的DBA职责比这个大得多,需要覆盖产品从需求设计、测试到交付上线的整个生命周期,在此过程中不仅要负责数据库管理系统的搭建和运维,更要参与到前期的数据库设计,中期的数据库测试和后期的数据库容量管理和性能优化。
对于初创公司,DBA的工作可能由运维工程师来兼任,从申请域名开始,到服务器上架,配置网络设备,部署操作系统,安装数据库,设计和部署监控,防止漏洞和攻击等等。而大型公司对DBA工作的要求越来越高,以下从各个维度来看DBA工作的职责。
产品生命周期维度
DBA负责了业务数据库从设计、测试到部署交付的全生命周期管理,各个阶段的职责包括:
1. 产品发布前
这个阶段DBA的职责是数据库准入,主要包括:
1)产品的业务熟悉;
2)产品数据库设计评审:包括架构的合理性评估,存储容量和性能是否满足需求,是否需要缓存,是否需要冗余备份等,同时需要提供数据库schema设计的合理性建议以使产品能够满足上线发布并稳定运行的基本要求;
3)资源评估,包括所需的服务器资源、网络资源以及资源的分布等,同时把关产品对资源预算申请的合理性,控制服务成本;
4)资源就位,将申请的服务器及基础环境/域名准备就位。
2. 产品发布
这个阶段DBA负责数据库发布的具体工作,将具体的数据库安装部署和初始化完成后并对外提供服务。对于已在线数据库的升级也属于发布范畴,这个时候的产品发布一般要保障在线发布,在不中断对外服务的情况下完成数据库的升级。对于大型复杂的变更也存在中止服务发布完成后再重新提供服务的情况,但这种情况需要DBA通过尽可能的技术手段来避免。
3. 产品运行维护
这个阶段的工作重点包括:
1)监控:对数据库服务运行的状态进行实时的监控,包括数据库会话、数据库日志、数据文件碎片、表空间监控、用户访问监控等,随时发现数据库服务的运行异常和资源消耗情况;输出重要的日常数据库服务运行报表以评估数据库服务整体运行状况,发现数据库隐患;
2)备份:制定和实施数据库备份计划,灾难出现时对数据库信息进行恢复,维护适当介质上的存档或者备份数据。对数据库的备份策略要根据实际要求进行更改,数据的日常备份情况进行监控。
3)安全审计:为不同的数据库管理系统用户规定不同的访问权限,以保护数据库不被未经授权的访问和破坏。例如,允许一类用户只能检索数据,而另一类用户可能拥有更新数据和删除记录的权限。
4)故障处理:对数据库服务出现的任何异常进行及时处理,尽可能避免问题的扩大化甚至中止服务。这之前DBA需要针对各类服务异常,如机房/网络故障、程序bug等问题制定处理的预案,问题出现时可以自动或手动执行预案达到止损的目的。
5)容量管理:包括数据库规模扩张后的资源评估、扩容、机房迁移、流量调度等规划和具体实施。
4. 数据库性能优化
产品对外提供服务最重要的一点是用户体验,用户体验中非常重要的是产品的可用性和响应速度。而如何用最合理的资源支持产品提供高可用和高速度的用户体验,这也是DBA的重要职责。
技术分工
产品的整个生命周期里数据库管理员的职责重要而广泛,这催生了各个纵向的运维技术方向,凡是关系到数据库质量、效率、成本、安全等方面的工作,及涉及到的技术、组件,主要包括:
能力要求
数据库管理员以技术为基础,通过技术保障数据库提供更高质量的服务。DBA工作的职责及在业务中的位置决定了DBA需要具备更加广博的知识和深入的技术能力。在数据库环境的管理与维护中,技术任务可归结成许多不同的分类。下面列出了一名DBA应掌握的一些技术(排名不分先后)。
1.理解数据备份/恢复与灾难恢复
恢复已损坏的数据库是每一个DBA应掌握的最重要的技能。DBA需要完全理解数据库所有可能的备份与恢复方法,以及不同备份方法与不同恢复策略的对应关系。此外,DBA还需要与业务部门合作,一起确认业务需求,明确用户能够容忍的数据丢失底线。此外,业务用户还需要确定在系统故障情况下,他们的业务能够维持多长时间。理解这些需求可以帮助DBA开发出一个满足业务用户要求的备份/恢复方法。一个优秀的DBA要定期测试备份与恢复流程,保证他们有能力恢复业务数据,满足企业所规定的业务数据丢失与恢复要求。
2.工具集的使用
所谓工具集,指是的他们要有一组用于执行不同DBA任务的脚本。这个工具集应该包含不同的小代码片段,它们可以快速诊断问题或执行一个特定的任务。这些工具脚本应该按DBA的活动类型归类,如备份、索引维护、性能优化、容量管理等。由于总是会执行新任务、发现新问题或找到其他人开发的好用脚本,因此一个优秀的DBA会不断地给这个工具集增加新脚本。此外,他还应该了解网上哪里能够找到一些免费的工具和脚本。一个好的DBA知道什么时候可以利用其他人编写的脚本,从而节省自己的时间和改进自己的工具集。
3.知道如何快速寻找答案
数据库每天会面临各种各样故障的挑战,从硬件到网络,从性能压力到程序bug,DBA都要从容应对,一一排除。即使是数据库大牛,也不可能是无所不知的,因此每个DBA一方面需要不断修炼自己,积累操作系统、网络、硬件、存储系统、分布式计算等理论基础,另一方面还要有快速寻找新问题解决方法的能力。如果一个数据库实例不能按预期方式运转,那么快速寻找新问题的解决方法也是一个重要能力。一个好的DBA知道如何快速地在网上查找一个未知问题的解决方法。此外,他们也可能已经知道了一些非常不错的网站,也知道业界专家会提供一些好建议,同时知道什么时候应该忽略一些不好的建议。你可能想象不到,确实有一些建议不值得参考。
4.知道如何监控和优化数据库性能
对于任何数据库产品,性能都尤其重要,它会直接影响产品的响应速度和用户体验。对于一个DBA来说,性能优化一般需要占用50%的工作时间,因此DBA需要知道如何监控和优化数据性能。
以SQL Server举例,性能是一个关键的问题,因此DBA需要知道如何修复故障和监控性能问题。有许多第三方性能监控工具可以帮助DBA优化性能。如果DBA只使用第三方工具,而不会使用SQL Server自带的原生工具来监控性能,那么相信很快就会出现问题。虽然使用第三方工具来监控性能也很不错,但是DBA一定要理解SQL自带的一些原生工具,如SQL Server Profiler、Database Engine Tuning Advisor、Dynamic ManagementViews、系统/扩展的存储过程、Extended Events等。许多第三方工具实际上在使用这些底层的原生工具。因此,理解这些自带的原生工具将有利于增强DBA使用第三方工具的经验。
5.研究新版本
在技术领域中,没有什么是一成不变的。每隔两三年,主流数据库厂商都会发布一个大版本的更新。DBA应该紧跟新版本所作的修改,它们可能有许多变化方法,最好的方法是尽早介入这个过程。测试版开放后马上下载和安装,尽快掌握第一手使用经验。一名好的DBA总是走在学习排头兵,总是会第一时间安装和测试新版本。这样他们就可以尽早理解新特性,然后提出一些合理的新建议,帮助组织更好地利用新版本数据库。
6.理解代码最佳实践方法
DBA应该了解如何编写高效的代码。有许多糟糕的编码实践方法会导致拙劣的性能。一名好的DBA要能够理解和识别这些糟糕的编码实践方法,知道如何修改这些烂代码,让它们变成高效代码。此外,他们还要记录下写代码的最佳实践方法,并且将这些实践方法分享给其他人。
7.持续不断地学习
数据库及其组件涉及面非常广。DBA很难理解一个技术的方方面面。DBA需要持续学习如何管理数据库。这个学习过程有很多方法。其中之一就是参加正式培训。但是,并非人人都有这样充裕的时间和金钱,也并非人人都能够放下手头工作专门出去参加正式的培训。但是,还有许多其他方法可以获得培训,而且大多数还是免费的。一名好的DBA一定要订阅一些定期发布数据库新技巧和新文章的社区网站。此外,他还应该加入一些用户组织,可以在周末参加一些当地的免费沙龙活动。
8.数据库安全性
安全性是一个热门话题。DBA应该完全掌握如何实现数据库的安全访问。他们应该理解操作系统身份验证和数据库身份验证的区别,以及它们各自的使用场合。他们应该理解如何使用数据库角色来管理不同类型用户的安全配置。他们应该理解连接数据库的端口与协议。此外,他们还应该理解如何加密整个数据库,或者加密一个数据库中一个表的某一个字段,同时理解关于加密数据的各种问题。
9.数据库设计
决定数据库性能的一个关键问题是数据库设计。DBA需要理解关于数据库设计的各个方面。他们要能够理解设计好坏的区别。他们需要理解为什么使用正确的外键约束、主键、检查约束和使用数据类型能够保持数据库的数据完整性和实现高效的数据查询与更新。
10.索引设计
数据库索引是提高应用程序检索和更新数据速度的重要环节。DBA需要知道索引的工作原理。他们应该知道聚簇索引和非聚簇索引的区别,知道这些索引的物理存储方式。DBA应该知道如何在执行计划中使用这些索引。他们应该理解如何找到索引的使用统计、理解索引碎片及如何发现丢失的索引。他们应该知道如何维护索引,以及索引统计信息对于查询引擎的重要作用。
11.容量监控与规划
数据库往往要使用大量的资源,包括CPU、内存、I/O及磁盘空间。DBA应该理解如何监控数据库所需要的不同主机资源的用量。他们应该能够理解这些资源在不同时间的使用情况,以及利用历史使用数据来规划未来的容量需求。在监控过程中,DBA应该能够预见到容量规划会在将来什么时候出现问题,然后采取必要的措施保持数据库不会因为容量限制而出现中断。
12.数据库许可证
不同的产品有许多不同的许可证授权方式。而且,同一款产品本身又有许多不同的版本。DBA应该理解所负责的数据库版本的不同授权模式。他们应该能够提供指导如何通过合理购买授权来减少数据库总拥有成本,以及如何合理利用授权方法来降低未来版本的升级成本。
13.尽可能实现自动化
DBA每天都需要执行许多的日常任务。其中一些任务需要每天执行,而另一些则每周、每月或每年执行。一名好的DBA需要理解如何高效地安排自己的时间。其中一种方法是建立工作流程,这些日常任务的自动执行。通过实现日常任务的自动化执行,DBA就可以用更多的时间去关注于数据库环境管理中遇到的严重问题。
职业性格
DBA需要跟各种人员打交道,这些人员可能是销售商、用户、开发人员或者管理人员。这说明:DBA必须具有下面的个性特点:
职业等级
DBA的等级并不是很严格的。按照对数据库的掌握情况,我简单地分成三个等级:初级Primary、中级Intermediate和高级Senior。
初级DBA又称为DBBS,是英文Database Baby Sitter的缩写。初级DBA常常是兼职的,他们往往同时是程序员或者兼任其他的工作。初级DBA往往把个人简历写得很棒,参与了很多和数据库有关的项目或工作。但是,这些项目或者工作往往是:第三方软件供应商已经安装并配置了数据库,他们只做一些监控的工作。他们能处理一些简单的问题,但大多数时候他们向应用软件供应商求救。初级DBA更喜欢图形化的数据库管理或者监控工具,他们喜欢Access这样的桌面数据库简单易用,并把这些小型数据库的经验简单地应用到大型数据库相关的工作中。
初级DBA是最好区分的。而中级DBA和高级DBA就不太好区分。他们的差别在于经验的不同和个性特点、能力方面的差异。中级DBA比较多,他们可以胜任高级DBA的大部分工作,包括:
1、数据库安装;
2、数据库配置和管理;
3、权限设置和安全管理;
4、监控和性能调节;
5、备份和恢复;
6、解决一般的问题;
中级DBA往往从业一年左右,熟悉某种操作系统环境下的数据库。因为对中级DBA来讲,Windows NT和Unix是有很大差别的。中级DBA对SQL比较熟悉,他们自己购买了几本数据库方面的书籍,并深入钻研。中级DBA往往同时兼任数据库程序员,他们的工作对性能、稳定性、安全性的追求基本上不是很高,往往配合高级DBA做一些例行工作。
高级DBA在国内是非常少的。他们能够熟练阅读数据库方面的英文资料,并且都熟悉很多种操作平台下的几种大型数据库。他们知道各种不同数据库在不同环境下的优势和劣势,并能在数据库平台和数据库环境的选择方面做出决策。他们一般通晓系统架构和数据库设计,并能对数据库进行各种级别的优化。高级DBA一般都配有助手,他们更偏向做决策和计划。高级DBA往往在银行业、保险业、在线交易等对稳定性、安全性、性能都要求比较高的关键业务处理领域大显身手。
很多时候,是否取得数据库专家认证证书并不是很重要。很多数据库厂商的培训只要你去了都会获得证书。有很多的公司提供商业化的培训,他们的服务质量也有好有劣。所以证书并不是特别地有意义。
行业竞争力
1. 薪酬竞争力
1)影响因素:经验和能力决定DBA的等级,熟悉的数据库系统决定DBA的领域,个性特点和潜力决定你的升值空间。
2)纵向对比:DBA作为专项领域的高质量人才,薪酬竞争力较高,市场需求旺盛,尤其是中高阶DBA,往往紧缺程度高于软件研发工程师。
3)第三方薪酬调查报告,仅供参考:
《2013年数据库工程师薪酬调查报告》
《Database Administrator Salary》
2. 市场需求
1)数据库运维行业的市场价值:参考ITOM(IT Operation Management) 2013年的市场规模是190亿美金
2)人员需求:由于业务规模较大,中大型公司比较紧缺中高阶DBA,而初创公司由于其新生的业务特点,比较紧缺初级和中级DBA。
职业前景
数据库作为整个系统的一部分,它的表现直接受服务器、操作系统、存储、网络、应用程序中SQL语句的质量、数据库设计的质量、以及其它诸多因素的影响,这些因素加在一起非常复杂,经验起着非常重要的作用。因此一个好的DBA除了知识作为基础,经验的多寡、见识的薄广,往往决定了是否合格与优秀。
优秀的DBA不仅关心自己运维的数据库系统的原理和发展,而且紧跟业界数据库前沿技术,并关注数据库领域的顶级会议。其中包括国际著名的数据库三大会议SIGMOD、VLDB、ICDE,还有知名数据库公司Percona主办的Percona Live和Oracle主办的Open World,以及国内知名的DBA盛会中国数据库技术大会(DTCC)等。
从另外一个角度说,DBA工作领域对实践经验和独立工作能力要求较高,没有经过大量的动手实践是很难胜任DBA相关工作的。正是由于上述原因,其职场现状是DBA职位不易进入,而用人单位很难找到合适的从业人员,人员缺口非常大。
也正是由于上述原因,随着工作年限的增长,DBA的经验在增加,就像医生一样,其价值会越来越高,可以逐步成长为资深DBA、系统架构师、信息主管(CIO)等等,而不会出现许多软件开发从业人员在一定年龄后面临的转行问题。
另外,从职业前景看,从事DBA有着更多的职场机遇。一般而言,系统中的软硬件都是IBM、HP、Oracle等业界一流厂商提供的,在与厂商谈判、合作、测试、实施、维护、优化等等过程中,会产生许多极佳的职场机遇,这一点是从事开发工作很难比拟的。
从DBA的工资统计数据看,随着工作经验的积累,DBA工资的增长幅度会远大于其它的计算机方向。
从工作的稳定性上看,系统的复杂性和经验的重要性已经决定了DBA职位的不可替代性。
从知识的积累、更新和替代角度看,数据库的根基始终没变,变的是不断增强的功能和不断扩展的应用范围。因此,在不同时期所学的知识和获得的经验是叠加和累积的关系。
因此, DBA职业是一个高挑战和高回报的职业,有一定能力的和聪明的技术人员应该挑战自我,进入这个被二十多年事实不断证明的越来越有前景的职业。