DDU для лога мониторинга

Материал из Dynatrace

На этой странице объясняется концепция мониторинга журналов, как мы рассчитываем DDU для мониторинга журналов и как вы можете оценивать и отслеживать потребление DDU, если вы используете мониторинг журналов.

Что такое мониторинг журналов?

Используя мониторинг журналов как часть платформы Ключ-АСТРОМ, вы получаете прямой доступ к содержимому журналов всех ваших критически важных процессов. Вы можете создавать собственные показатели журнала для более разумного и быстрого устранения неполадок. Вы сможете понять данные журнала в контексте вашего полного стека, включая реальные воздействия на пользователя.

Как Ключ-АСТРОМ рассчитывает потребление DDU для мониторинга журналов?

Модель единиц данных Дэвиса (DDU) подсчитывает все входящие записи журнала (записи) из ваших данных журнала. Каждая запись журнала (строка, сообщение, запись) вычитается 0.0005 DDUиз доступной квоты. Например, 1 миллион записей журнала, умноженный на вес DDU, равный 0,0005, потребляет всего 500 DDU.

Запись журнала распознается двумя способами:

  • Отметка времени
  • Объект JSON

Отметка времени

Ключ-АСТРОМ предполагает, что отметка времени является началом новой записи журнала.

Например, в следующих данных журнала (потребляемых с помощью файла журнала или общего приема) Ключ-АСТРОМ насчитывает девять записей журнала на основе появления метки времени:

Ввод файла журнала 

1: Oct 18 05:56:11 INFO ip-10-176-34-132 DHCPREQUEST on eth0 to 10.176.34.1
2: Oct 18 05:56:12 INFO ip-10-176-34-132 DHCPACK from 10.176.34.1
3: Oct 18 05:56:13 INFO ip-10-176-34-132 bound to 10.176.34.132 -- renewal in 1551s4:
4: Oct 18 05:56:15 INFO ip-10-176-34-132 [get_meta] Getting token for IMDSv
5: Oct 18 05:56:16 INFO ip-10-176-34-132 [get_meta] Trying to get http://169.23.2.3
6: Oct 18 05:56:18 INFO ip-10-176-34-132 [rewrite_aliases] Rewriting aliases
7: Oct 18 06:22:06 INFO ip-10-176-34-132 DHCPREQUEST on eth0 to 10.176.34.1 port 67
8: Oct 18 06:22:07 INFO ip-10-176-34-132 DHCPACK from 10.176.34.1 (xid=0x3a182c8c)
9: Oct 18 06:22:10 INFO ip-10-176-34-132 bound to 10.176.34.132 -- renewal in 1364s

Общие входные данные для приема 

curl -X POST "https://my.activegate/api/v2/logs/ingest" 
     -H  "accept: application/json; charset=utf-8" 
     -H  "Content-Type: text/plain; charset=utf-8" 
     -d "Oct 18 05:56:11 INFO ip-10-176-34-132 DHCPREQUEST on eth0 to 10.176.34.1Oct 18 05:56:12 INFO ip-10-176-34-132 DHCPACK from 10.176.34.1Oct 18 05:56:13 INFO ip-10-176-34-132 bound to 10.176.34.132 -- renewal in 1551s4:Oct 18 05:56:15 INFO ip-10-176-34-132 [get_meta] Getting token for IMDSvOct 18 05:56:16 INFO ip-10-176-34-132 [get_meta] Trying to get http://169.23.2.3Oct 18 05:56:18 INFO ip-10-176-34-132 [rewrite_aliases] Rewriting aliasesOct 18 06:22:06 INFO ip-10-176-34-132 DHCPREQUEST on eth0 to 10.176.34.1 port 67Oct 18 06:22:07 INFO ip-10-176-34-132 DHCPACK from 10.176.34.1 (xid=0x3a182c8c)Oct 18 06:22:10 INFO ip-10-176-34-132 bound to 10.176.34.132 -- renewal in 1364s"

Стоимость DDU - это 9строки журнала / записи x 0.0005вес журнала = 0.0045DDU.

Объект JSON

Ключ-АСТРОМ предполагает, что отдельный объект JSON является записью журнала. Файл JSON может содержать несколько объектов, которые считаются записью журнала.

Например, в следующих данных журнала Ключ-АСТРОМ подсчитывает три записи журнала на основе вхождения объекта JSON:

Лог-файл 

[
  {
  "timestamp": "2021-07-29T10:54:40.962165022Z",
  "level": "error",
  "log.source": "/var/log/syslog",
  "application.id": "PaymentService-Prod",
  "content": "DHCPREQUEST on eth0 to 10.176.34.1"
  },
  {
  "log.source": "/var/log/syslog",
  "content": "[get_meta] Getting token for IMDSv"
  },
  {
  "content": "DHCPACK from 10.176.34.1 (xid=0x3a182c8c)"
  }
]

Общий проглатывание 

curl -X POST "https://my.activegate/api/v2/logs/ingest" 
     -H  "accept: application/json; charset=utf-8" 
     -H  "Content-Type: application/json; charset=utf-8" 
     -d "[{\"timestamp\":\"2021-07-29T10:54:40.962165022Z\",\"level\":\"error\",\"log.source\":\"/var/log/syslog\",\"application.id\":\"PaymentService-Prod\",\"content\":\"DHCPREQUEST on eth0 to 10.176.34.1\"},{\"log.source\":\"/var/log/syslog\",\"content\":\"[get_meta] Getting token for IMDSv\"},{\"content\":\"DHCPACK from 10.176.34.1 (xid=0x3a182c8c)\"}]"

Стоимость DDU - это 3строки журнала / записи x 0.0005вес журнала = 0.0015DDU.

Как мониторинг журналов может повлиять на потребление DDU

Ключ-АСТРОМ считает записи журнала на основе отметки времени, даже если запись журнала содержит присоединенную трассировку стека.

Например, оба следующих журнала ( Log1 и Log2 ) содержат 14 строк данных журнала. Ключ-АСТРОМ вычисляет записи журнала, которые используют DDU с действительной меткой времени. В результате Log1 генерировал стоимость 0.007DDU, а Log2 генерировал стоимость 0.001DDU.

Журнал1 

1:  Oct 18 05:56:11 INFO ip-10-176-34-132 DHCPREQUEST on eth0 to 10.176.34.1
2:  Oct 18 05:56:12 INFO ip-10-176-34-132 DHCPACK from 10.176.34.1
3:  Oct 18 05:56:13 INFO ip-10-176-34-132 bound to 10.176.34.132 -- renewal in 1551s4:
4:  Oct 18 05:56:15 INFO ip-10-176-34-132 [get_meta] Getting token for IMDSv
5:  Oct 18 05:56:16 INFO ip-10-176-34-132 [get_meta] Trying to get http://169.23.2.3
6:  Oct 18 05:56:15 INFO ip-10-176-34-132 [get_meta] Getting token for IMDSv
7:  Oct 18 06:16:16 INFO ip-10-176-34-132 [get_meta] Trying to get http://169.23.2.3
8:  Oct 18 06:16:18 INFO ip-10-176-34-132 [rewrite_aliases] Rewriting aliases
9:  Oct 18 06:21:26 INFO ip-10-176-34-132 DHCPREQUEST on eth0 to 10.176.34.1 port 67
10: Oct 18 06:22:06 INFO ip-10-176-34-132 DHCPREQUEST on eth0 to 10.176.34.1 port 67
11: Oct 18 06:22:07 INFO ip-10-176-34-132 DHCPACK from 10.176.34.1 (xid=0x3a182c8c)
12: Oct 18 06:22:10 INFO ip-10-176-34-132 bound to 10.176.34.132 -- renewal in 1364s
13: Oct 18 14:51:22 ERROR ip-10-176-34-32 classOne: Index out of range
14: Oct 18 16:52:10 ERROR ip-10-176-34-32 classOne: Index out of range

Стоимость DDU - это 14записи 0.0005журнала x вес журнала = 0.007DDU.

Журнал2 

1: Oct 18 14:51:22 ERROR ip-10-176-34-32 classOne: Index out of range
2:     java.lang.StringIndexOutOfBoundsException: String index out of range: 18
3:     at java.lang.String.charAt(String.java:658)
4:     at com.example.app.loggingApp.classOne.getResult(classOne.java:15)
5:     at com.example.app.loggingApp.AppController.tester(AppController.java:27)
6:     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
7:     at sun.reflect.NativeMethodAccessorImpl.invoke0(NativeMethodAccessorImpl.java:62)
8: Oct 18 16:52:10 ERROR ip-10-176-34-32 classOne: Index out of range
9:     java.lang.StringIndexOutOfBoundsException: String index out of range: 18
10:    at java.lang.String.charAt(String.java:658)
11:    at com.example.app.loggingApp.classOne.getResult(classOne.java:15)
12:    at com.example.app.loggingApp.AppController.tester(AppController.java:27)
13:    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
14:    at sun.reflect.NativeMethodAccessorImpl.invoke0(NativeMethodAccessorImpl.java:62)

Стоимость DDU - это 2записи 0.0005журнала x вес журнала = 0.001DDU.

FAQs

Могу ли я изменить срок хранения для мониторинга журналов?

Начиная с версии Ключ-АСТРОМ 1.208+, больше нет возможности изменять сроки хранения в SaaS. Однако это возможно для учетных записей Ключ-АСТРОМ Managed.

Где я могу проверить потребление журналов для DDU?

Вы можете проверить потребление DDU на странице обзора единиц данных Дэвиса ( Настройки > Учет > Обзор единиц данных Дэвиса ). Убедитесь, что вы выбрали правильный источник из списка.

Каков вес одной записи журнала?

Каждая запись журнала потребляет 0,0005 DDU.

Каков размер одной записи журнала?

Ключ-АСТРОМ распознает запись журнала как отдельную запись журнала, которая содержит действительную метку времени или описана в объекте JSON. Эта запись журнала может содержать несколько строк данных журнала, и, в зависимости от степени детализации журнала, один и тот же объем данных журнала может содержать разное количество записей журнала, использующих DDU.

Доступны ли какие-либо DDU, включенные в хост, для мониторинга журналов?

Нет. Ключ-АСТРОМ предлагает только метрики, включенные в хост. При загрузке журналов всегда используются DDU, которые вычитаются из доступной квоты.

Источник — https://doc.expert-apm.kz/index.php?title=DDU_для_лога_мониторинга&oldid=391