nginx-kafka 数据采集

作者 : 开心源码 本文共2157个字,预计阅读时间需要6分钟 发布时间: 2022-05-12 共262人阅读

传统大数据采集一般通过flume采集nginx的log来实现,而后再经过kafka传递数据
有了ngx_kafak_module 数据采集就能通过nginx直接向kafka发送数据(客户行为日志)

多逛逛全球最大的同性交友网站还是能学到很多东西滴~

nginx-kafka安装脚本

注意CentOS/Ubuntu安装依赖库时的区别

install-nginx-kafka.sh

#!/bin/bash# centos#yum update; yum install -y gcc gcc-c++ pcre-devel zlib-devel make git wget curl vim#ubuntuapt-get update; apt-get install -y gcc g++ libpcre3 libpcre3-dev zlib1g-dev libssl-dev make git wget curl vimcd /tmpgit clone  edenhill/librdkafkagit clone  brg-liuwei/ngx_kafka_modulewget http://nginx.org/download/nginx-1.15.5.tar.gzcd /tmp/librdkafka./configure; make; sudo make installtar -zxvf nginx-1.15.5.tar.gzcd /tmp/nginx-1.15.5./configure --prefix=/usr/local/nginx_kafka --add-module=/tmp/ngx_kafka_module; make; sudo make installsudo ln -s /usr/local/nginx_kafka/sbin/nginx /usr/local/bin/nginx-kafkasudo echo "/usr/local/lib" >> /etc/ld.so.confsudo ldconfig
  1. 升级软件源 & 安装依赖库、软件
  2. 下载librdkafka、ngx_kafka_module、nginx源码
  3. 编译安装librdkafka
  4. 解压nginx源码 & 带上ngx_kafka_module编译安装
  5. 为了方便,制作nginx-kafka软链(不与其余nginx冲突)
  6. 假如启动nginx报错,找不到kafka.so.1的文件
    error while loading shared libraries: librdkafka.so.1: cannot open shared object file: No such file or directory
  7. 加载so库
    echo "/usr/local/lib" >> /etc/ld.so.conf; ldconfig

nginx-kafka.conf

#user  nobody;worker_processes  1;#error_log  logs/error.log;#error_log  logs/error.log  notice;#error_log  logs/error.log  info;#pid        logs/nginx.pid;events {    worker_connections  1024;}http {    include       mime.types;    default_type  application/octet-stream;    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '    #                  '$status $body_bytes_sent "$http_referer" '    #                  '"$http_user_agent" "$http_x_forwarded_for"';    #access_log  logs/access.log  main;    sendfile        on;    #tcp_nopush     on;    #keepalive_timeout  0;    keepalive_timeout  65;    #gzip  on;        kafka;    kafka_broker_list kafka-1:9092 kafka-2:9092 kafka-3:9092;          server {        listen       80;        server_name  localhost;        #charset koi8-r;        #access_log  logs/host.access.log  main;        location = /kafka/log {                kafka_topic log;        }        location = /kafka/user {                kafka_topic user;        }        #error_page  404              /404.html;        # redirect server error pages to the static page /50x.html        #        error_page   500 502 503 504  /50x.html;        location = /50x.html {            root   html;        }    }}
  1. 指定kafka集群kafka_broker_list ip | host:port;
  2. location 可以根据topic划分URL

启动nginx

  • 启动zookeeper集群和kafka集群(创立topic)
    略。。。

  • 测试配置文件
    nginx-kafka -c nginx-kafka.conf -t

  • 启动nginx-kafka
    nginx-kafka -c nginx-kafka.conf -s reload

  • enjoy 。

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » nginx-kafka 数据采集

发表回复