GaGa's Blog

Twisted 是一个基于事件驱动（Event-Driven）的网络框架，核心目标是：

• 高并发网络服务开发
• 异步 I/O 处理
• 协议驱动开发（TCP/UDP/HTTP/FTP/SSH 等）

其设计理念类似于：

• Node.js（事件循环）
• Reactor模式（经典IO模型）

HttpClient 是用于发送 HTTP 请求并接收 HTTP 响应的客户端组件，广泛应用于服务间通信、API 调用、爬虫、网关等场景。

在 Java 生态中，主流实现包括：

• Apache HttpClient（经典、功能强）
• OkHttp（现代化、性能优）
• Java HttpClient（JDK 原生）

1.框架特点

Django

Django 走的是 “约定优于配置” + “开箱即用” 路线。它自带很多企业开发常用能力：

• ORM
• Admin 后台
• 路由系统
• 模板引擎
• 表单系统
• 用户认证
• Session / Middleware
• 安全防护机制

Flask 路由本质上是：把某个 URL 规则映射到某个视图函数上，当客户端发起 HTTP 请求时，Flask 根据请求的 路径、请求方法、参数规则 找到对应函数执行，再把结果返回给客户端。

可以理解为：

• URL：外部访问入口
• 路由规则：匹配条件
• 视图函数：实际处理逻辑
• 路由表：Flask 内部维护的映射关系

LitServer.run()的函数签名

• https://lightning.ai/docs/litserve/api-reference/litserver

1
2
3
4
5
6
7
8
9
10
11

def run(
    self,
    host: str = "0.0.0.0",
    port: Union[str, int] = 8000,
    num_api_servers: Optional[int] = None,
    log_level: str = "info",
    generate_client_file: bool = True,
    api_server_worker_type: Literal["process", "thread"] = "process",
    pretty_logs: bool = False,
    **kwargs, # timeout_keep_alive=30 -> 透传给uvicorn
)

editcap 是 Wireshark 自带的一个非常强大的命令行工具，专门用于切分、转换和过滤 pcap/pcapng 抓包文件。

如果你想切割大文件，主要有两种常用方式：按数据包数量”切割 或 按时间间隔”切割。

1. 按数据包数量切割

Wireshark 会根据捕获到的网络流量，自动为你计算并展示与 TCP 流相关的时间差，这在分析网络延迟、性能瓶颈或排查异常时非常有用。

数据逐行解析

tcp.stream eq 13520完美锁定了这一条流。总结为：客户端本想优雅地关闭连接（FIN），但服务端却无情地直接掀了桌子（RST）。

1. 正常的前半段：HTTP 业务顺利完成

• POST 请求：客户端（100.127.128.146）向服务端（192.168.3.4）发送了一个 POST /ocr_v4_mobile 请求，传输的是 JSON 数据。
• 200 OK 响应：服务端很给力，立刻返回了 HTTP/1.1 200 OK，也带有 JSON 回应。
• 到这里为止，业务层面的交互已经圆满结束了。

Stream index 的主要作用是逻辑分组。在一个网络抓包文件（pcap）中，可能同时存在成千上万个数据包，来自不同的设备、不同的应用。Wireshark 通过给每个独立的 TCP 或 UDP 会话分配一个独一无二的数字编号（从 0 开始递增），把属于同一个对话的数据包“打包”在一起。

• 追踪完整对话：点击这个字段，Wireshark 就能立刻知道这个包属于哪一次对话。
• 方便过滤分析：你可以通过它快速过滤出这特定的一整组对话，排除其他无关流量的干扰。

1. 为什么它能精准定位特定tcp连接数据

定向爬虫，核心就是：只抓取特定目标站点、特定栏目、特定数据字段的爬虫。

它和“全网搜索式爬虫”不同，目标非常明确，通常只关心这些问题：

• 抓哪个网站
• 抓哪些页面
• 提取哪些字段
• 如何保存结果

Scrapy 非常适合这种场景，因为它天生就是为规则清晰、结构化采集设计的。

框架思维Framework Thinking本质是：

用结构化模型，将复杂问题拆解为“有边界、有层次、有关系”的可分析对象

它强调三个核心能力：

• 抽象（Abstraction）：从具体问题提炼共性
• 结构化（Structuring）：组织为层级/模块
• 可复用（Reusable）：形成稳定认知模板

WSGI 是可靠、同步，而 ASGI 则是为了高并发和实时功能而生的现代、异步。

1.核心区别一览