本文共 3450 字，大约阅读时间需要 11 分钟。

OpenResty 与 Kafka集成解决方案

前提安装

安装并配置OpenResty以及相关插件，确保环境到位。以下为必要操作步骤：

location / {
    default_type text/html;
    content_by_lua_file /usr/local/openresty/tmp.lua;
}

实现案例

基于上述配置，我们将构建一个数据采集到Kafka的实际案例。

流程说明

实现代码

以下为完整的Lua代码实现，需要放置在openresty/lualib/resty中：

-- 设置通用阈值，默认为100
local DEFAULT_THRESH = 100
-- 配置Kafka Broker地址，需根据实际IP修改
local BROKER_LIST = {
    { host = "192.168.xx.101", port = 9092 },
    { host = "192.168.xx.102", port = 9092 },
    { host = "192.168.xx.103", port = 9092 }
}
-- 设置Kafka主题名称
local TOPIC = "csdn"
-- producer配置，需根据实际情况进行调整
local CONNECT_PARAMS = {
    producer_type = "async",
    socket_timeout = 30000,
    flush_time = 10000,
    request_timeout = 20000
}
-- 自定义分区策略，根据key轮询发送到各分区
local function default_partitioner(key, num, correlation_id)
    local id = key and crc32(key) or correlation_id
    return id % num
end
-- 采集数据处理逻辑
local sharedKey = "shared_Key"
local shared_data = ngx.shared.shared_data
local key_val = shared_data:get(sharedKey)
if not key_val then
    key_val = 1
    shared_data:set(sharedKey, key_val)
end
-- 获取当前消息的分区
local key = key_val
local partition_id = key % PARTITION_NUM
local msg = key + " # partition_id=" + partition_id
shared_data:incr(sharedKey, 1)
-- 阈值判断与数据采集
local isGone = true
if ngx.var.connections_active and ngx.var.connections_active > 0 and DEFAULT_THRESH then
    if (tonumber(ngx.var.connections_active) > tonumber(DEFAULT_THRESH)) then
        isGone = false
    end
end
if isGone then
    -- 数据采集逻辑，获取服务器上关联的各种信息
    local time_local = ngx.var.time_local or ""
    local request = ngx.var.request or ""
    local request_method = ngx.var.request_method or ""
    local content_type = ngx.var.content_type or ""
    local http_referer = ngx.var.http_referer or ""
    local remote_addr = ngx.var.remote_addr or ""
    local http_user_agent = ngx.var.http_user_agent or ""
    local time_iso8601 = ngx.var.time_iso8601 or ""
    local server_addr = ngx.var.server_addr or ""
    local http_cookie = ngx.var.http_cookie or ""
    
    -- 构建采集信息
    local message = time_local .. "#" .. request .. "#" 
                .. request_method .. "#" .. content_type .. "#" 
                .. request_body .. "#" .. http_referer .. "#" 
                .. remote_addr .. "#" .. http_user_agent .. "#" 
                .. time_iso8601 .. "#" .. server_addr .. "#" 
                .. http_cookie
    
    -- 初始化生产者实例
    local producerDic = require "resty.kafka.producer"
    local producer = producerDic:new(BROKER_LIST, CONNECT_PARAMS)
    
    -- 发送消息
    local ok, err = producer:send(TOPIC, partition_id, msg)
    if not ok then
        ngx.log("kafka send message error:", err)
    end
end

消费者配置

在消费者端启动监听工具，例如使用以下命令：

kafka-console-consumer.sh --bootstrap-server mypc01:9092,mypc02:9092,mypc03:9092 --topic csdn

每次刷新nginx网页，订阅主题中的消息，将自动显示在终端中。

注意事项

advertised.listeners=PLAINTEXT://your.broker.ip:9092

2. 数据均匀性：通过自定义分区策略确保每个分区都能接收到均匀分布的数据。

3. 性能优化：根据实际负载情况调整connect_params，例如flush_time和socket_timeout，确保数据推送效率。

4. 高可用性：配置Kafka broker的高可用性和多副本，确保消息可靠性和系统稳定性。

转载地址：http://kasmz.baihongyu.com/