查看集群仪表板 - 日志记录 | 可观测性 | Red Hat OpenShift Service on AWS

访问 Elasticsearch 和 OpenShift 日志仪表板
关于 OpenShift 日志仪表板
日志/Elasticsearch 节点仪表板上的图表

在OpenShift 集群管理器中的日志/Elasticsearch 节点和OpenShift 日志仪表板包含有关 Elasticsearch 实例和您可以用来预防和诊断问题的各个 Elasticsearch 节点的详细信息。

OpenShift 日志仪表板包含显示集群级别 Elasticsearch 实例详细信息的图表，包括集群资源、垃圾回收、集群中的分片和 Fluentd 统计信息。

日志/Elasticsearch 节点仪表板包含显示 Elasticsearch 实例详细信息的图表，许多图表都在节点级别，包括索引、分片、资源等的详细信息。

编辑

访问 Elasticsearch 和 OpenShift 日志仪表板

您可以在OpenShift 集群管理器中查看日志/Elasticsearch 节点和OpenShift 日志仪表板。

步骤

启动仪表板

在 AWS Red Hat 混合云控制台上的 Red Hat OpenShift 服务中，单击观察→仪表板。
在仪表板页面上，从仪表板菜单中选择日志/Elasticsearch 节点或OpenShift 日志。

对于日志/Elasticsearch 节点仪表板，您可以选择要查看的 Elasticsearch 节点并设置数据分辨率。

将显示相应的仪表板，其中显示多个数据图表。
可选：从时间范围和刷新间隔菜单中选择不同的显示时间范围或数据的刷新率。

有关仪表板图表的详细信息，请参阅关于 OpenShift 日志仪表板和关于日志/Elastisearch 节点仪表板。

编辑

关于 OpenShift 日志仪表板

OpenShift 日志仪表板包含显示集群级别 Elasticsearch 实例详细信息的图表，您可以使用这些图表来诊断和预测问题。

表 1. OpenShift 日志图表
指标	描述
Elastic 集群状态	当前 Elasticsearch 状态在线 - 指示 Elasticsearch 实例处于在线状态。离线 - 指示 Elasticsearch 实例处于离线状态。
Elastic 节点	Elasticsearch 实例中 Elasticsearch 节点的总数。
Elastic 分片	Elasticsearch 实例中 Elasticsearch 分片的总数。
Elastic 文档	Elasticsearch 实例中 Elasticsearch 文档的总数。
磁盘上的总索引大小	用于 Elasticsearch 索引的总磁盘空间。
Elastic 等待任务	尚未完成的 Elasticsearch 更改总数，例如索引创建、索引映射、分片分配或分片故障。
Elastic JVM GC 时间	JVM 在集群中执行 Elasticsearch 垃圾回收操作所花费的时间量。
Elastic JVM GC 速率	JVM 每秒执行垃圾回收活动的总次数。
Elastic 查询/获取延迟总和	查询延迟：每个 Elasticsearch 搜索查询的平均执行时间。获取延迟：每个 Elasticsearch 搜索查询花费在获取数据上的平均时间。获取延迟通常比查询延迟短。如果获取延迟持续增加，则可能表示磁盘速度慢、数据丰富或请求过大，结果过多。
Elastic 查询速率	每个 Elasticsearch 节点每秒针对 Elasticsearch 实例执行的总查询数。
CPU	Elasticsearch、Fluentd 和 Kibana 使用的 CPU 量，每个组件都显示。
Elastic JVM 堆使用量	使用的 JVM 内存量。在一个健康的集群中，该图显示了 JVM 垃圾回收释放内存时的规律性下降。
Elasticsearch 磁盘使用情况	每个 Elasticsearch 节点 Elasticsearch 实例使用的总磁盘空间。
正在使用的文件描述符	Elasticsearch、Fluentd 和 Kibana 使用的文件描述符总数。
FluentD 发射计数	Fluentd 默认输出每秒的 Fluentd 消息总数，以及默认输出的重试计数。
FluentD 缓冲区使用情况	用于块的 Fluentd 缓冲区百分比。缓冲区已满可能表示 Fluentd 无法处理收到的日志数量。
Elastic rx 字节	Elasticsearch 从 FluentD、Elasticsearch 节点和其他来源接收的总字节数。
Elastic 索引失败率	Elasticsearch 索引失败的每秒总数。高比率可能表示索引存在问题。
FluentD 输出错误率	FluentD 每秒无法输出日志的总次数。

编辑

日志/Elasticsearch 节点仪表板上的图表

**日志/Elasticsearch 节点** 仪表板包含显示 Elasticsearch 实例详细信息的图表，许多图表都处于节点级别，以便进一步诊断。

Elasticsearch 状态: **日志/Elasticsearch 节点** 仪表板包含以下关于 Elasticsearch 实例状态的图表。

表 2. Elasticsearch 状态字段
指标	描述
集群状态	在选定时间段内的集群健康状态，使用 Elasticsearch 绿色、黄色和红色状态。 0 - 表示 Elasticsearch 实例处于绿色状态，这意味着所有分片都已分配。 1 - 表示 Elasticsearch 实例处于黄色状态，这意味着至少一个分片的副本分片未分配。 2 - 表示 Elasticsearch 实例处于红色状态，这意味着至少一个主分片及其副本未分配。
集群节点	集群中 Elasticsearch 节点的总数。
集群数据节点	集群中 Elasticsearch 数据节点的数量。
集群待处理任务	尚未完成并正在集群队列中等待的集群状态更改数量，例如索引创建、索引删除或分片分配。增长趋势表明集群无法跟上更改。

Elasticsearch 集群索引分片状态: 每个 Elasticsearch 索引都是一个或多个分片的逻辑组，分片是持久化数据的基本单元。索引分片有两种类型：主分片和副本分片。当文档被索引到索引中时，它被存储在其主分片之一中，并复制到该分片的每个副本中。创建索引时指定主分片的数量，并且在索引生命周期内该数量不能更改。您可以随时更改副本分片的数量。

索引分片根据其生命周期阶段或集群中发生的事件可能处于几种状态。当分片能够执行搜索和索引请求时，分片处于活动状态。如果分片无法执行这些请求，则分片处于非活动状态。如果分片正在初始化、重新分配、未分配等，则分片可能处于非活动状态。

索引分片由许多较小的内部块组成，称为索引段，它们是数据的物理表示。索引段是一个相对较小、不可变的 Lucene 索引，当 Lucene 提交新索引的数据时创建。Lucene（Elasticsearch 使用的搜索库）在后台将索引段合并成更大的段，以保持段的总数较低。如果合并段的过程比创建新段的速度慢，则可能表示存在问题。

当 Lucene 执行数据操作（例如搜索操作）时，Lucene 会针对相关索引中的索引段执行该操作。为此，每个段都包含加载到内存中并映射的特定数据结构。索引映射会对段数据结构使用的内存产生重大影响。

**日志/Elasticsearch 节点** 仪表板包含以下关于 Elasticsearch 索引分片的图表。

表 3. Elasticsearch 集群分片状态图表
指标	描述
集群活动分片	集群中活动主分片的数量和包括副本在内的分片总数。如果分片数量增加，集群性能可能会开始下降。
集群正在初始化的分片	集群中非活动分片的数量。非活动分片是指正在初始化、正在重新分配到其他节点或未分配的分片。集群通常在短时间内具有非活动分片。较长时间内非活动分片数量的增长可能表明存在问题。
集群正在重新定位的分片	Elasticsearch 正在重新定位到新节点的分片数量。Elasticsearch 由于多种原因重新定位节点，例如节点上的内存使用率高或在将新节点添加到集群之后。
集群未分配的分片	未分配的分片数量。由于多种原因，Elasticsearch 分片可能未分配，例如添加新索引或节点故障。

Elasticsearch 节点指标: 每个 Elasticsearch 节点都有有限数量的资源可用于处理任务。当所有资源都被使用并且 Elasticsearch 尝试执行新任务时，Elasticsearch 会将任务放入队列中，直到一些资源可用。

**日志/Elasticsearch 节点** 仪表板包含以下关于所选节点的资源使用情况以及 Elasticsearch 队列中等待的任务数量的图表。

表 4. Elasticsearch 节点指标图表
指标	描述
线程池任务	按任务类型显示各个队列中等待的任务数量。任何队列中任务的长期累积都可能表明节点资源短缺或其他问题。
CPU 使用率	所选 Elasticsearch 节点使用的 CPU 量，占分配给主机容器的总 CPU 的百分比。
内存使用率	所选 Elasticsearch 节点使用的内存量。
磁盘使用率	所选 Elasticsearch 节点上用于索引数据和元数据的总磁盘空间。
文档索引速率	所选 Elasticsearch 节点上索引文档的速率。
索引延迟	在所选 Elasticsearch 节点上索引文档所需的时间。索引延迟会受到许多因素的影响，例如 JVM 堆内存和整体负载。延迟增加表示实例中资源容量不足。
搜索速率	在所选 Elasticsearch 节点上运行的搜索请求数量。
搜索延迟	在所选 Elasticsearch 节点上完成搜索请求所需的时间。搜索延迟会受到许多因素的影响。延迟增加表示实例中资源容量不足。
文档计数（含副本）	存储在所选 Elasticsearch 节点上的 Elasticsearch 文档数量，包括存储在分配到该节点的主分片和副本分片中的文档。
文档删除速率	从分配给所选 Elasticsearch 节点的任何索引分片中删除的 Elasticsearch 文档数量。
文档合并速率	在分配给所选 Elasticsearch 节点的任何索引分片中合并的 Elasticsearch 文档数量。

Elasticsearch 节点字段数据: 字段数据 是一种 Elasticsearch 数据结构，它保存索引中的术语列表，并保存在 JVM 堆中。由于字段数据构建是一项昂贵的操作，因此 Elasticsearch 会缓存字段数据结构。当底层索引段被删除或合并，或者没有足够的 JVM 堆内存用于所有字段数据缓存时，Elasticsearch 可以逐出字段数据缓存。

**日志/Elasticsearch 节点** 仪表板包含以下关于 Elasticsearch 字段数据的图表。

表 5. Elasticsearch 节点字段数据图表
指标	描述
字段数据内存大小	所选 Elasticsearch 节点上用于字段数据缓存的 JVM 堆量。
字段数据驱逐	从选定的 Elasticsearch 节点中删除的字段数据结构的数量。

Elasticsearch 节点查询缓存: 如果索引中存储的数据不变，则搜索查询结果将缓存在节点级查询缓存中，以便 Elasticsearch 重用。

日志/Elasticsearch 节点面板包含以下关于 Elasticsearch 节点查询缓存的图表。

表 6. Elasticsearch 节点查询图表
指标	描述
查询缓存大小	分配给选定 Elasticsearch 节点的所有分片使用的查询缓存的总内存量。
查询缓存驱逐	选定 Elasticsearch 节点上的查询缓存驱逐次数。
查询缓存命中	选定 Elasticsearch 节点上的查询缓存命中次数。
查询缓存未命中	选定 Elasticsearch 节点上的查询缓存未命中次数。

Elasticsearch 索引节流: 索引文档时，Elasticsearch 会将文档存储在索引片段中，这些片段是数据的物理表示。同时，Elasticsearch 定期将较小的片段合并成较大的片段，以此来优化资源使用。如果索引速度快于合并片段的能力，则合并过程无法快速完成，这可能会导致搜索和性能问题。为防止这种情况，Elasticsearch 会对索引进行节流，通常是将分配给索引的线程数减少到单个线程。

日志/Elasticsearch 节点面板包含以下关于 Elasticsearch 索引节流的图表。

表 7. 索引节流图表
指标	描述
索引节流	Elasticsearch 在选定 Elasticsearch 节点上对索引操作进行节流的时间量。
合并节流	Elasticsearch 在选定 Elasticsearch 节点上对段合并操作进行节流的时间量。

节点 JVM 堆统计信息: 日志/Elasticsearch 节点面板包含以下关于 JVM 堆操作的图表。

表 8. JVM 堆统计图表
指标	描述
已用堆	在选定的 Elasticsearch 节点上使用的总分配 JVM 堆空间的量。
GC 次数	在选定的 Elasticsearch 节点上运行的垃圾收集操作次数，按旧式和新生代垃圾收集区分。
GC 时间	JVM 在选定的 Elasticsearch 节点上运行垃圾收集操作所花费的时间量，按旧式和新生代垃圾收集区分。