钢铁行业高级计划排程系统（APS）规范-测试方法（测试指标）

测试指标

测试目的

应用的方法

公式及测试

元素计算

测试值解释

测试

输入

功能实现的完整度

按照服务协 议，功能实现的完整程度

按照服务协议对服务做功能性的测试。对实际实现的功能数进行计数，将其与服务协议中约定的功能数相比较

X=A/B 式中： X—功

能实现的完整度； A— 实际实现的功能数； B

—服务协议中约定功能

数

0≤X≤1 X 越接近 1

越好

服务协议测试报告

测试指标

测试目的

应用的方法

公式及测试

元素计算

测试值解释

测试输

入

功能的实现程度

被测试的APS 服务功能实现的正确程度

按照服务协议对服务做功能性的测 试。对测试确认充分的功能数进行计数， 将其与服务协议中约定的功能数

相比较

X=A/B 式中： A—测试确认充分功能数； B—服务协议中约定功能 数

0≤X≤1

X 越接近 1 越好

服务协议测试报告

测试指

标

测试目的

应用的方法

公式及测试

元素计算

测试值解释

测试输

入

功能实现的适当性

服务功能满足客户需要的程度

按照服务协议对服务做可用性测试。对服务实际满足的客户需求进行计数，将其与服务协议中约定的客户需求数相比较

X=A/B

式 中 ： A——实际实现客户需求 数 ； B——服务协议中约定

客户需求数

0≤X≤1 X 越接近 1

越好

服务协议

测试报告

测试指标

测试目的

应用的方法

公式及测试元素

测试值

测试输入

计算

解释

系统及资源的非授权变更比例

服务过程中APS 及资源是否能在正确的授权下进行变更操作

系统及资源的非授权变更数与系统及资源的总变更操作数进行比较

X=A/B 式中

A 系统及资源

的非授权变更数； B—-系统及资源的总变更操作数

0≤X≤1 X 越接近1 越好

服务协议测试报告

测试指标

测试目的

应用的方法

公式及测试元索汁算

测试值解释

测试输入

保密与权

测试 APS

服务供方

对 APS 服务供方的保密策略和制度的建立与实施情况进行检查

X=A/5，式中，

A 从下列选取相应质量

等级对应值:1：既没有建立保密策略与制度，实施也很差；2:没有建立保密策略与制度，但实施良好； 3 :建立了保密策略与制

度，但实施差；4:建立了保密策略与制度，实施良好；5 :建立了保密策略与制度， 实施良好，且所有员工都清楚并理解安全策略与制度要求；

5——最高级別值

0≤X≤1 X 越接近 1

越好

限控制制

度健全性

是否具备

应对保密

测试报告

与有效性

问题的能

力

测试 APS

服务供方

统计保密事故发生的

当 A<B 时，X=1-A/B;

当 A≥B 时，X=0 式中：

A---保密事故发生的次数B---服务协议中允许的保密事故发生次数

0≤X≤1 X 越接近 1

越好

保密事故

发生率

在服务履

行过程当

次数，与服务协议中

允许的保密事故发生

服务协议

测试报告

中的保密

次数进行比较

管理水平

测试指标

测试目的

应用的方

法

公式及测试

元素计算

测试值解释

测试输入

涉及安全的活动的可追溯性

测试 APS 服务过程中涉及安全的活动是否具备完整的原始记录

具有完整记录的活动数量与所有所需要记录的活动数量进行比较

X=A/B

式 中 ： A——具有完整记录的活动数量；

B 一所有所需要记录的活动数量

0≤X≤1

X 越接近 1 越好

服务协议测试报告

测试指标

测试目的

应用的方法

公式及测试元

素计算

测试值解释

测试输入

重大事故发生的比率

APS 服务的连续性

统计重大事 故发生的次 数，与服务协议中允许的 重大事故发 生次数进行 比较

当 A<B 时， X=1-A/B;

当A≥B 时，X=0：式中：A—重大事故发生的次 数； B—服务协议中允许的重 大 事故发生次

数

0≤X≤1 X 越接近 1

越好

服务协议测试报告

服务连续运行的比率

APS 服务的连续性

统计 APS 服务

运行中的平均无故障时间和平均恢复时间，并进

行比较

X=A/ (A+B)

式中：

A 一平均无故障工作时间；

B 平均恢复

时间

0≤X≤1 X 越接近 1 信息技术服务的连续

性越好

服务协议测试报告

已制定容灾

X=A/B

式 中 ： A—已制定容灾机制的关键业

务数量； B—需要制定容灾机制的关键

业务数量

服务协议 测试报告

支撑关键业

机制的关键

关键业务

务的 APS 服

业务数量与

0≤X≤1

容灾就绪

务是否进行

需要制定容

X 越接近 1

度

了有效的容

灾机制的关

越好

灾机制

键业务数量

进行比较

注：平均恢复时间是指服务中断到服务恢复之间的平均间隔时间。

测试指标

测试目的

应用的方法

公式及测试元素计算

测试值解释

测试

输入

服务的稳定程度

测试该服务提供是否在约定的偏差范围内

对 APS 服务协议中约定的服务特性值进行抽样，计算其标准差并与服务协议约定的该特性偏差范围进行比较

X=1-Y

式中：Y-标准偏差率； Xi—服务特性抽样样 本值

——服务特性的抽样样本均值；

Eu-服务协议约定的偏差上限值

E1-服务协议约定的偏差下限值；

n 对服务进行抽样

的次数

当 Y>1,取 1;

当 Y<1,取 Y

值

0≤X≤1

X 越接近1 越好

服务协议测试报告

测试指标

测试目的

应用的方法

公式及测试元素计算

测试值解释

测试输入

服务与其他相关服务一致的程度

APS 服

务与其他服务一致的程度

统计APS 服务与其他服务发生冲突的次数，与服务协议中允许的次数进

行比较

当 A<B 时，

X=l-A/B:

当A≥B 时，X=0式中：

A—— 服务发生冲突的次

数；

0≤X≤1 X 越接近1 越好

服务协议测试报告

B——服务协议中允许发生的次数

测试指标

测试目的

应用的方法

公式及测试元素计算

测试值解释

测试

输入

服务可得和可接近性

APS 可获得性

对 APS 服务协议中约定的服务进行抽样验证， 计 算其标准差并与服务协 议约定的偏差范围进行 比较

X=l-Y

式中： Y-标准偏差率； Xi

——服务实现抽样样本值； X——服务实现的抽样样本均值； Eu-服务协议约定的偏差 上限值； E1——服务协议约定的偏差下限值； n

——对服务进行抽样的次数

当 Y>1，取1;   当 Y≤1,

取 Y 值；

0≤X≤1

X 越接近1 越好

服务协议测试报告

测试指标

测试目的

应用的方法

公式及测试元素

计算

测试值

解释

测试输

入

及时响应率

APS 服务供方对服务请求的响应速度

统计并比较及时响应的 服务请求的数量与总的 服务请求数量

X=1-A/B

式中：

A—-响应时间不符合服务协议要求的服务请求数量； B——总的服务请求数量

0≤X≤1 X 越接近1 越好

服务协议测试报告

及时解决率

APS 服务供

方对服务请求的解决速

统计并比较及时解

决的 服务请求的数量与总的 服务请求

X=1-A/B

式中：

A—解决时间不符

0≤X≤1 X 越接近1 越好

测试报告

度

数量

合服务协 议要求的服务请求数量； B——总的服务请

求数量

测试指标

测试目的

应用的方法

公式及测试

元素计算

测试值解释

测试

输入

互动沟通机制

测试 APS 服务供方 互动沟通 机制（包括投诉处理、客户满意 度调查、服务报告和 服务状态 等）的建立和实施状

况

对 APS 服务供方的互动沟通机制的建立与实施情况进行检査

X=A/5 式 中 ： A—从下列选取 相应质量等级对 应值：1：既没有建立互动沟通机 制实施也很差；2: 没有建立互动沟 通机制，但实施良好；3:建立了互动沟通机制，但实施差；4:建立了互动沟通机制，实施良好;5：建立了互动沟通机制，实施良好， 且所有员工都清楚并理解互 动沟通机制要求；

5—-最高级别值

0≤X≤1

X 越接近 1 越好

测试报告

服务报告提交率

测试 APS 服务报告按照服务协议要求提交的比率

统计并比较实际提交的满足服务协议要求的服务报告数量和服务协议要求的服务报告数量

X=A/B

式中： A—实际提交的满足服务协议要求的服务报告数量；B—服务协议要求的服务报吿数量

0≤X≤1

X 越接近 1 越好

测试报告

服务报告及时提交率

测试 APS 服务报告按照服务协议要求及时提交的比率

统计并比较实际按时提交的满足服务协议要求的服务报告数量和服务协议要求的服务报告数量

X=A/B 式中： A-实际按时提交满足服务协议要求服务报告数量; B—服务协议要求賴服务报告数量

0≤X≤1

X 越接近 1 越好

服务协议测试报告

投诉处理率

测试 APS 服务投诉是否得到有效解决

的比率

统计并比较得到有效处理的投诉数量和收到的投诉数量

X=A/B 式中：A—

—得到有效处理的投诉数量； B

—收到的投诉数

量

0≤X≤1

X 越接近 1 越好

测试报告

度测试指

标

度测试目的

应应用的方法

公公式及测试元素计算

度测试值解释

度测试输入

部部分服务改变 时影响可分析

部部分服务改变时影响可分析的程度

对对 APS 服务改变时产生的影响进行分析

XX=A/3  式中： A

—从下列选取相应质量等级对应值：1:产生的影响效果显著，可以分析； 2:产生的影响可见，可以分析；3:产生的影响不可见，无法分析； 3-最高等级

值

00≤X≤1 X 越接近 1 越好

评测试报告

服服务出现缺陷 时可分

析

服务出现缺陷时可分析程度

评测试 APS 服务出现缺陷时可以进行原因分析的次 数与所有发现的缺

陷数 进行比较

XX=A/B 式中： A

——缺陷可以进行原因分析的次数； B——发现的所有缺陷数

00≤X≤1 X 越接近 1 越好

评测试报告

服服务被修改可 分析

服服务被修改时可分析程 度

评测试服务修改流程的建立和服务实施情况进行 测试

XX=A/5 式中： A

—从下列选取相应质量等级对应 值：1:既没有建立规范，实施也很 差；2:没有建立规范，但实施良好； 3:建立了规范，但实施差；4:建立了规范，实施良好； 5:建立了规范，实施良好，且所有 员工都清楚并理 解服务要求； 5

——最高等级值

00≤X≤1 X 越接近 1 越好

评测试报告

测试指标

测试目的

应用的方法

公式及测试

元素计算

测试值解释

测试输入

服务可以被修改

测试用户需求改变时，可以修改服务的程度

测试服务进行修改时相关规范的建立与执行情况

X=A/5:

式 中 ： A——从下列选取相应质 量等级对应 值：1：既没有建立规范， 实施也很差； 2:没有建立 规范，但实施良好；3:建立了规范，但实施差；4:建立了规范， 实施良好；5:建立了规范， 实施良好，且所有员工都 清楚并理解 服务要求； 5

—最高等级

值

0≤X≤1

X 越接近 1 越好

服务协议测试报告