GaGa's Blog

在 Elasticsearch 中，不同的节点类型对 CPU 的消耗程度取决于它们所承担的任务。

高 CPU 消耗的节点类型

1. Data Node（数据节点）

   • 原因: 数据节点负责存储和处理索引数据，执行搜索、聚合、索引操作等任务。这些操作通常涉及大量计算，例如：
     • 搜索和查询: 复杂的查询（例如模糊查询、正则表达式、通配符）需要遍历大量文档。
     • 聚合: 如 terms、histogram 或 significant_terms，需要对数据进行分组和计算。
     • 索引: 写入数据时需要分词、构建倒排索引。
   • CPU 消耗: 高，尤其是在高吞吐量写入或复杂查询场景下。
   • 优化建议: 增加数据节点数量、分片优化、减少复杂查询。

2. Ingest Node（摄取节点）

   • 原因: 摄取节点在数据索引前执行预处理（ingest pipeline），例如正则表达式提取、字段转换、脚本处理等。如果 pipeline 包含复杂的逻辑（如 Grok 解析或脚本计算），会显著增加 CPU 使用。
   • CPU 消耗: 中到高，取决于 pipeline 的复杂性和数据量。
   • 优化建议: 简化 pipeline，或将摄取任务分散到多个节点。

3. Machine Learning Node（机器学习节点）

   • 原因: 运行机器学习任务（如异常检测、时间序列预测）需要大量的数学计算和模型推理。这些任务本质上是 CPU 密集型的。
   • CPU 消耗: 非常高，尤其是在处理大规模数据集或实时分析时。
   • 优化建议: 使用专用 ML 节点，并确保有足够的 CPU 核心和内存。

4. Coordinating Node（协调节点）

   • 原因: 协调节点负责接收客户端请求、分发任务给数据节点，并汇总结果。以下情况会增加 CPU 消耗：
     • 处理大量并发请求。
     • 汇总复杂的聚合结果（例如从多个分片收集数据并排序）。
   • CPU 消耗: 中到高，取决于请求量和结果处理的复杂性。
   • 优化建议: 设置专用协调节点，避免与其他角色混用。

在 Shell 脚本中（特别是 Bash），数组是一种非常有用的数据结构，可以用来存储多个值。

1. 声明数组

在 Bash 中，可以通过以下方式声明一个数组：

1

array_name=(value1 value2 value3)

驼峰命名法（Camel Case）是一种常见的命名约定，广泛用于编程、变量命名和其他技术场景中。它的特点是将多个单词组合成一个标识符，单词之间没有分隔符（如空格或下划线），通过大小写变化来区分单词边界。

1. 什么是驼峰命名法

• 定义：单词首字母大写或小写来表示不同的单词，形似骆驼的驼峰，因此得名。
• 两种变体：
  1. 小驼峰命名法（Lower Camel Case）：
     • 第一个单词首字母小写，后续单词首字母大写。
     • 示例：myVariableName
  2. 大驼峰命名法（Upper Camel Case 或 Pascal Case）：
     • 每个单词首字母都大写。
     • 示例：MyVariableName

1.字符串符号

• ‘str1’ 单引号是强引用，原样输出
• “str1” 双引号弱引用，支持部分字符串含义($…)
• str1 命令执行

2. 字符串长度

在 Shell 中，可以使用 `$

1. 什么是 Shell 变量

Shell 变量是用来存储数据的容器，可以在脚本或 Shell 会话中保存和操作值。它们通常是键值对的形式，比如 name=value，不需要提前声明类型（Shell 是弱类型语言）。

变量类型

• shell变量 (仅仅在shell中有效)
• 局部变量 (x=y 函数局部变量 local x=y,仅仅在函数内部有效)
• 只读变量(变量不能被修改 readonly x=y)
• 环境变量 (export x=y, 其他shell也可以使用变量x)

Shell 脚本是一种用 Shell 语言（通常是 Bash、sh 等）编写的程序，用于自动化任务或执行一系列命令。要运行 Shell 脚本，需要一个特定的运行环境。以下是 Shell 脚本运行环境的详细介绍：

1. 运行 Shell 脚本方式

有几种方法可以在环境中运行 Shell 脚本：

在计算机科学中，shell 是一种用户界面，用于与操作系统交互。它通常是一个命令行界面（CLI），允许用户通过输入文本命令来执行任务，比如运行程序、管理文件或配置系统。Shell 的名称来源于它像“壳”一样包裹着操作系统内核，提供了一个与内核沟通的桥梁。

常见Shell 类型

1. Bourne Shell (sh)

   • Unix中最古老的shell之一，由Stephen Bourne开发。
   • 简单但功能有限，很多现代shell都基于它。

2. Bash (Bourne Again Shell)

   • 最流行的Linux shell，是Bourne Shell的增强版。
   • 支持脚本编写、命令历史、自动补全等功能。

3. Zsh

   • 一个功能强大的现代shell，扩展了Bash的功能。
   • 提供更好的自定义选项和插件支持，比如Oh My Zsh。

4. Fish (Friendly Interactive Shell)

   • 以用户友好著称，默认提供语法高亮和智能建议。

5. PowerShell

   • 微软开发的shell，主要用于Windows，但也支持跨平台。
   • 面向对象，适合系统管理和自动化。

fluent-bit在ubuntu上安装过程

env

• ubuntu-24.04.2 LTS (Noble Numbat)

fluent-bit setup in ubuntu docs

Fluent Bit 是一个开源的、高性能的日志处理器和转发器，专为嵌入式系统、物联网设备和云原生环境设计。它由 Treasure Data 开发，现由 CNCF（云原生计算基金会）托管，与 Fluentd 同属一个生态系统，但相比 Fluentd，Fluent Bit 更轻量，资源占用更低，适用于资源受限的场景。

fluent-bit

• https://github.com/fluent/fluent-bit
• https://fluentbit.io/

...
Unpacking linux-headers-6.8.0-56 (6.8.0-56.58) ...
dpkg-deb (subprocess): decompressing archive '/var/cache/apt/archives/linux-headers-6.8.0-56_6.8.0-56.58_all.deb' (size=13837808) member 'data.tar': zstd error: Data corruption detected
dpkg-deb: error: <decompress> subprocess returned error exit status 2
...

env

• ubuntu-24.04.2 LTS (Noble Numbat)

OpenObserve 简介

OpenObserve 是一个开源的云原生可观测性平台，专注于日志、指标、追踪、分析和实时用户监控（RUM）。它被设计为 Elasticsearch、Splunk 或 Datadog 的替代品，号称易用性提高 10 倍，存储成本降低 140 倍，支持 PB 级规模。它使用 Rust 编写，内置用户界面，无需额外的组件（如 Kibana），适合快速部署和体验。

使用 Docker 体验 OpenObserve

1. 前提条件

dstat命令介绍

dstat 是 Linux 系统中的一个多功能资源统计工具，属于 dstat 软件包。它可以实时监控系统的 CPU、内存、磁盘 I/O、网络流量等多种资源使用情况，被认为是 vmstat、iostat、netstat 和 ifstat 等传统工具的替代品和增强版。dstat 的优势在于它能以直观的表格形式输出数据，支持灵活的选项和插件，能够同时显示多个维度的统计信息，便于系统管理员和开发者进行性能分析和故障排查。

使用方法