ELK(9)：ELK-logstash收集TCP日志

通过logstash的tcp/udp插件收集日志，通常用于在向elasticsearch日志补录丢失的部分日志，可以将丢失的日志通过一个TCP端口直接写入到elasticsearch服务器。

或者监控某个端口，因为logstash是普通用户启动，这个端口不能低于1024。

输出配置文件

#sudo vim /etc/logstash/conf.d/tcp.confinput{    tcp{    port => "8888"    type=> "tcplog"    }}output{    stdout{    codec => "rubydebug"        }}

 

 

测试文件

sudo /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/tcp.conf -t

 

 

启动监听

sudo /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/tcp.conf

 

[admin@pe-jira ~]$ sudo netstat -lntp|grep 8888tcp6       0      0 :::8888                 :::*                    LISTEN      16028/java[admin@pe-jira ~]$

 

 

另一台机器nc传输

[admin@pe-db ~]$ echo "hahahahah" |  nc  10.6.76.27 8888

[admin@pe-db ~]$ echo "tcp测试" |  nc  10.6.76.27 8888

[admin@pe-db ~]$

 

收到测试数据

/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/awesome_print-1.7.0/lib/awesome_print/formatters/base_formatter.rb:31: warning: constant ::Fixnum is deprecated{       "message" => "hahahahah",          "host" => "pe-db",      "@version" => "1",    "@timestamp" => 2019-07-16T02:10:33.138Z,          "type" => "tcplog",          "port" => 48650}   {       "message" => "tcp测试",          "host" => "pe-db",      "@version" => "1",    "@timestamp" => 2019-07-16T02:10:54.249Z,          "type" => "tcplog",          "port" => 48651}

 

伪设备传输

在类Unix操作系统中，设备节点并不一定要对应物理设备。没有这种对应关系的设备是伪设备。操作系统运用了它们提供的多种功能。部份经常使用到的伪设备包括： null,zero,full,loop,random,urandom

tcp通信只是dev下面众多伪设备的一种

echo "伪设备3"  > /dev/tcp/10.6.76.27/8888

 

写入elasticsearch

input{    tcp{    port => "8888"    type=> "tcplog"    }}output{    if [type] == "tcplog"{        elasticsearch {           hosts => ["10.6.76.27:9200"]           index => "tcp-log-%{+YYYY.MM.dd}"        }    }}

 

测试

#[admin@pe-db ~]$echo "现在时间是--`date +%F-%H-%M-%S`" |  nc  10.6.76.27 8888

 加入kibana