Индикаторы оценки качества (KPIs)

Введение

Жесткая конкуренция наряду с требованиями клиентов все более сложных и качественных сервисов заставляют операторов связи осуществлять непрерывный контроль эффективности работы различных процессов с целью измерения прогресса достижения целей, стоящих перед организацией. Для количественного измерения прогресса достижения целей используются Ключевые показатели эффективности (англ. Key Performance Indicator (далее KPI)), которые вытекают из стратегических целей оператора и распространяются на всю организацию в целом. Спецификация 3GPP 32.410 определяет основные шаблоны индикаторов KPI. 
С целью контроля качества обслуживания клиентов, в соответствии с TMF (англ. TeleManagement Forum), используется SLA (англ. Service Level Agreement), который определяет общее понимание всех аспектов предоставления сервиса клиенту таких как, процедуры взаимодействия, тарификация, предоставляемые услуги и т.д. Для реализации SLA используются KQI (англ. Service Quality Indicator) продукта или услуги. KQI услуги является исходными данными для KQI продукта, KQI продукта в свою очередь является исходными данными для оценки качества продукта и выполнения SLA. При этом KPI являются исходными данными для поддержки KQI. Иерархия ключевых индикаторов оценки эффективности в соответствии с 3GPP 32.410 показана на рисунке 1.

Рисунок 1. Иерархия ключевых индикаторов оценки эффективности.

Каждый оператор связи имеет собственные набор и реализацию тех или иных услуг и соответственно индикаторы KPI для разных операторов будут разные. Использование стандартизированных показателей KPI будет полезно если необходимо сравнить два решения различных производителей.
Далее рассмотрим рекомендации по созданию KPI, описанные в спецификации 3GPP 32.410.

Определение KPI и шаблоны

KPI подразделяют по типам, категориям и объектам к которым они применимы. 
Типы KPI:
 - Отношение (RATIO): показывает процент возникновения какого-либо события к общему числу событий
 - Среднее значение (MEAN): показывает среднее значение на основании выборки
 - Кумулятивное значение (CUM): показывает кумулятивное, накопленное значение параметра, которое всегда увеличивается
KPI подразделяют на следующие категории:
 - Характеристики обслуживания (англ. Serveability)
 - Характеристики доступа (англ. Accessibility)
 - Качество сервиса (англ. Retainability)
 - Целостность (англ. Integrity)
 - Доступность (англ. Availability)
 - Надежность (англ. Reliability)
 - Характеристики техобслуживания (англ. Maintainability)
 - Использование ресурсов (англ. Utilization)
 - Мобильность (англ. Mobility)
Объекты KPI
Объектами KPI могут выступать:
 - UTRAN
 - GERAN
 - CS core
 - PS core
 - IMS

Описание KPI

В соответствии с 3GPP 32.410 при создании KPI используется стандартное описание, включающее:
1. Имя (обязательный параметр)
2. Описание (обязательный параметр)
3. Логическая формула. Представление формулы в текстовом виде (обязательный параметр)
4. Физическая формула (опциональный параметр)
5. Наименование измерений (опциональный параметр)
6. Объект KPI (обязательный параметр)
7. Категория KPI (обязательный параметр)
8. Единицы измерения KPI (обязательный параметр)
9. Тип KPI (обязательный параметр)
10. Комментарий (опциональный параметр)

Для примера рассмотрим описание KPI: RAB Establishment Success Rate (процент успешного установления соединений на радио части):
1. Имя: 
RAB establishment success rate

2. Описание: 
KPI описывает отношение успешно установленных радио соединений ко всем попыткам установления с целью оценки доступности сервиса на радио части

3. Логическая формула:
KPI вычисляется посредством деления суммы всех успешно установленных радио соединений на сумму всех попыток установления радио соединения 

4. Физическая формула:

5. Наименование измерений:
CS:
RAB.AttEstabCS.Conv, RAB.AttEstabCS.Strm, RAB.AttEstabCS.Intact, RAB.AttEstabCS.Bgrd, RAB.SuccEstabCSNoQueuing.Conv, RAB.SuccEstabCSQueuing.Conv,  
RAB.SuccEstabCSNoQueuing.Strm, RAB.SuccEstabCSQueuing.Strm, 
RAB.SuccEstabCSNoQueuing.Intact, RAB.SuccEstabCSQueuing.Intact,
RAB.SuccEstabCSNoQueuing.Bgrd, RAB.SuccEstabCSQueuing.Bgrd (см. TS 32.405)

PS:
RAB.AttEstabPS.Conv, RAB.AttEstabPS.Strm, RAB.AttEstabPS.Intact, RAB.AttEstabPS.Bgrd, RAB.SuccEstabPSNoQueuing.Conv, RAB.SuccEstabPSQueuing.Conv, 
RAB.SuccEstabPSNoQueuing.Strm, RAB.SuccEstabPSQueuing.Strm,
RAB.SuccEstabPSNoQueuing.Intact, RAB.SuccEstabPSQueuing.Intact, 
RAB.SuccEstabPSNoQueuing.Bgrd, RAB.SuccEstabPSQueuing.Bgrd. (см. TS 32.405)
6. Объект KPI:
UTRAN

7. Категория KPI:
Характеристики доступа (англ. Accessibility)

8. Единицы измерения KPI:
Процент

9. Тип KPI:
Отношение (RATIO):

Ниже приведены примеры стандартизованных KPI для сервисов на базе IMS, которые наряду с оценкой эффективности также могут быть полезны при сравнении решений различных поставщиков оборудования. 

Список стандартизованных KPI для IMS

Категория	KPI
Доступность сервиса	Initial Registration Success Rate of S-CSCF Session Setup Time (Mean) Session Establishment Success Rate Third Party Registration Success Rate Re-registration Success Rate of S-CSCF Session Setup Time Originated from IMS (Mean) Session Setup Time Originated from CS (Mean) Immediate Messaging Success Rate Session Establishment Network Success Rate
Целостность и качество	Call Drop Rate of IMS Sessions
Использование ресурсов	Mean Session Utilization

Список стандартизованных KPI для VoLTE

Категория	KPI
Доступность сервиса	IMS Registration success ratio IMS Registration time
Целостность и качество	Voice MO accessibility (NER-MO or SAT-MO success ratio) Voice MT accessibility (NER -MT or SAT-MT success ratio) Voice MO session setup time (PDD-MO or STT-MO duration) Voice MT session setup time (PDD-MT or STT-MT duration) Voice MO session setup ratio (CSSR-MO) Voice MT session setup ratio (CSSR-MT) Voice MO session duration Voice MT session duration OIP transparency MO (CLI transparency) OIP transparency MT (CLI transparency) Speech quality on call basis at R-party Speech quality on call basis at H-party Speech quality R-factor at R-party Speech quality R-factor at H-party
Мобильность сервиса	SRVCC MO success ratio SRVCC MT success ratio SRVCC MO time SRVCC MT time
Качество LTE сети	Default EPS bearer context activation success ratio Default EPS bearer context activation time Default EPS bearer QCI Default EPS bearer UL AMBR Default EPS bearer DL AMBR Dedicated EPS bearer context activation success ratio (audio) Dedicated EPS bearer context activation time (audio) Dedicated EPS bearer QCI (audio) Dedicated EPS bearer UL GBR (audio) Dedicated EPS bearer DL GBR (audio) IP data volume received on QCI5 bearer at R-party IP data volume transmitted on QCI5 bearer at R-party IP data volume received on QCI5 bearer at H-party IP data volume transmitted on QCI5 bearer at H-party IP data volume received on QCI1 bearer at R-party IP data volume transmitted on QCI1 bearer at R-party IP data volume received on QCI1 bearer at H-party IP data volume transmitted on QCI1 bearer at H-party
Качество предоставления голосовых услуг	RTP max packet delay variation R2H (A-B) RTP mean packet delay variation H2R (B-A) RTP mean interarrival jitter of incoming streaming R2H (A-B) RTP mean interarrival jitter of incoming streaming H2R (B-A) RTP mean data rate transmitted R2H (A-B) RTP mean data rate received H2R (B-A) RTP mean data rate transmitted H2R (B-A) RTP mean data rate received R2H (A-B) RTP packets lost R2H (A-B) RTP packets lost H2R (B-A) RTP packet lost ratio R2H (A-B) RTP packet lost ratio H2R (B-A) RTP round-trip delay (RTD RHR A-B-A) RTP round-trip delay (RTD HRH B-A-B) RTP one-way delay (OWD R2H A-B) RTP one-way delay (OWD H2R B-A) RTP max packet delay variation H2R (B-A) RTP mean packet delay variation R2H (A-B)

Список стандартизованных KPI для ViLTE

Категория	KPI
Доступность сервиса	IMS Registration success ratio IMS Registration time
Целостность и качество	ViLTE MO accessibility (NER-MO or SAT-MO success ratio) ViLTE MT accessibility (NER -MT or SAT-MT success ratio) ViLTE MO session setup time (PDD-MO or STT-MO duration) ViLTE MT session setup time (PDD-MT or STT-MT duration) ViLTE MO session setup ratio (CSSR-MO) ViLTE MT session setup ratio (CSSR-MT) ViLTE MO session duration ViLTE MT session duration OIP transparency MO (CLI transparency) OIP transparency MT (CLI transparency) Speech quality on sample basis at R-party Speech quality on sample basis at H-party Speech quality R-factor at R-party Speech quality R-factor at H-party Video quality on sample basis at R-party Video quality on sample basis at H-party
Мобильность сервиса	SRVCC MO success ratio SRVCC MT success ratio SRVCC MO time SRVCC MT time
Качество LTE сети	RTP max packet delay variation R2H (A-B) RTP max packet delay variation H2R (B-A) RTP mean packet delay variation R2H (A-B) RTP mean packet delay variation H2R (B-A) RTP mean interarrival jitter of incoming streaming R2H (A-B) RTP mean interarrival jitter of incoming streaming H2R (B-A) RTP mean data rate transmitted R2H (A-B) RTP mean data rate received H2R (B-A) RTP mean data rate transmitted H2R (B-A) RTP mean data rate received R2H (A-B) RTP packets lost R2H (A-B) RTP packets lost H2R (B-A) RTP packet lost ratio R2H (A-B) RTP packet lost ratio H2R (B-A) RTP round-trip delay (RTD RHR A-B-A) RTP round-trip delay (RTD HRH B-A-B) RTP one-way delay (OWD R2H A-B) RTP one-way delay (OWD H2R B-A)
Качество RTP транспорта	RTP max packet delay variation R2H (A-B) RTP max packet delay variation H2R (B-A) RTP mean packet delay variation R2H (A-B) RTP mean packet delay variation H2R (B-A) RTP mean interarrival jitter of incoming streaming R2H (A-B) RTP mean interarrival jitter of incoming streaming H2R (B-A) RTP mean data rate transmitted R2H (A-B) RTP mean data rate received H2R (B-A) RTP mean data rate transmitted H2R (B-A) RTP mean data rate received R2H (A-B) RTP packets lost R2H (A-B) RTP packets lost H2R (B-A) RTP packet lost ratio R2H (A-B) RTP packet lost ratio H2R (B-A) RTP round-trip delay (RTD RHR A-B-A) RTP round-trip delay (RTD HRH B-A-B) RTP one-way-delay (OWD R2H A-B) RTP one-way-delay (OWD H2R B-A)

Список стандартизованных KPI для SMS поверх IP

Категория	KPI
Доступность сервиса SMSoIP	IMS Registration success ratio IMS Registration success time SMSoIP-MO accessibility SMSoIP-MT accessibility SMSoIP-MO access delay SMSoIP-MT access delay
Установление соединения	SMSoIP-MO e2e delay SMSoIP-MT e2e delay

Подробное описание всех перечисленных KPI можно найти в международных рекомендациях:
- 3GPP TS 32.404: "Telecommunication management; Performance Management (PM); Performance measurements - Definitions and template".
- 3GPP TS 32.405: "Telecommunication management; Performance Management (PM); Performance measurements Universal Terrestrial Radio Access Network (UTRAN) ".
- 3GPP TS 32.406: "Telecommunication management; Performance Management (PM); Performance measurements Core Network (CN) Packet Switched (PS) domain".
- 3GPP TS 32.407: "Telecommunication management; Performance Management (PM); Performance measurements Core Network (CN) Circuit Switched (CS) domain".
- 3GPP TS 32.408: "Telecommunication management; Performance Management (PM); Performance measurements Teleservice".
- 3GPP TS 32.409: "Telecommunication management; Performance Management (PM); Performance measurements IP Multimedia Subsystem (IMS) ".
- 3GPP TS 52.402: "Telecommunication management; Performance Management (PM); Performance measurements - GSM".
- 3GPP TR 32.814: "Telecommunication management; UTRAN and GERAN Key Performance Indicators (KPI)".
- ITU-T Recommendation E.800: "Terms and definitions related to quality of service and network performance including dependability".
- TMF GB917: "SLA management handbook, release 2.5", July 2005.
- TMF GB923: "Wireless service measurements handbook", version 3.0, March 2004.
- 3GPP TS 25.331: "Radio Resource Control (RRC); Protocol specification".