nginx-kafka 数据采集
传统大数据采集一般通过flume采集nginx的log来实现,而后再经过kafka传递数据
有了ngx_kafak_module 数据采集就能通过nginx直接向kafka发送数据(客户行为日志)多逛逛全球最大的同性交友网站还是能学到很多东西滴~
nginx-kafka安装脚本
注意CentOS/Ubuntu安装依赖库时的区别
install-nginx-kafka.sh
#!/bin/bash# centos#yum update; yum install -y gcc gcc-c++ pcre-devel zlib-devel make git wget curl vim#ubuntuapt-get update; apt-get install -y gcc g++ libpcre3 libpcre3-dev zlib1g-dev libssl-dev make git wget curl vimcd /tmpgit clone edenhill/librdkafkagit clone brg-liuwei/ngx_kafka_modulewget http://nginx.org/download/nginx-1.15.5.tar.gzcd /tmp/librdkafka./configure; make; sudo make installtar -zxvf nginx-1.15.5.tar.gzcd /tmp/nginx-1.15.5./configure --prefix=/usr/local/nginx_kafka --add-module=/tmp/ngx_kafka_module; make; sudo make installsudo ln -s /usr/local/nginx_kafka/sbin/nginx /usr/local/bin/nginx-kafkasudo echo "/usr/local/lib" >> /etc/ld.so.confsudo ldconfig- 升级软件源 & 安装依赖库、软件
- 下载librdkafka、ngx_kafka_module、nginx源码
- 编译安装librdkafka
- 解压nginx源码 & 带上ngx_kafka_module编译安装
- 为了方便,制作nginx-kafka软链(不与其余nginx冲突)
- 假如启动nginx报错,找不到kafka.so.1的文件
error while loading shared libraries: librdkafka.so.1: cannot open shared object file: No such file or directory - 加载so库
echo "/usr/local/lib" >> /etc/ld.so.conf; ldconfig
nginx-kafka.conf
#user nobody;worker_processes 1;#error_log logs/error.log;#error_log logs/error.log notice;#error_log logs/error.log info;#pid logs/nginx.pid;events { worker_connections 1024;}http { include mime.types; default_type application/octet-stream; #log_format main '$remote_addr - $remote_user [$time_local] "$request" ' # '$status $body_bytes_sent "$http_referer" ' # '"$http_user_agent" "$http_x_forwarded_for"'; #access_log logs/access.log main; sendfile on; #tcp_nopush on; #keepalive_timeout 0; keepalive_timeout 65; #gzip on; kafka; kafka_broker_list kafka-1:9092 kafka-2:9092 kafka-3:9092; server { listen 80; server_name localhost; #charset koi8-r; #access_log logs/host.access.log main; location = /kafka/log { kafka_topic log; } location = /kafka/user { kafka_topic user; } #error_page 404 /404.html; # redirect server error pages to the static page /50x.html # error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } }}- 指定kafka集群kafka_broker_list ip | host:port;
- location 可以根据topic划分URL
启动nginx
启动zookeeper集群和kafka集群(创立topic)
略。。。测试配置文件
nginx-kafka -c nginx-kafka.conf -t启动nginx-kafka
nginx-kafka -c nginx-kafka.conf -s reloadenjoy 。
说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » nginx-kafka 数据采集
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » nginx-kafka 数据采集