[Logstash] Cannot create pipeline

Cannot create pipeline

Logstash 초기화 작업 중에 발생하는 Cannot create pipeline 에러를 해결해보자. 서비스가 active 상태여도 발생할 수 있다.

---

에러 로그

[2022-04-04T23:59:29,598][ERROR][logstash.agent] Cannot create pipeline {:reason=>"Expected one of #, { at line 8, column 4 (byte 53) after output \n   "}

/var/log/logstash/logstash-plain.log에 출력된 로그

---

발생 원인

발생 환경

• ubuntu 18.04

발생 조건

• 잘못된 설정 파일

Logstash 설정 파일이 제대로 작성되지 않아서 Logstash가 초기화되는 과정 중에 생기는 문제이다. 문법에 맞지 않게 작성되었을 때 발생한다. (본인의 경우 윈도우에서 미리 작성한 뒤 리눅스로 옮기는 과정에서 \n, \t 를 부적절하게 사용했다.)

 

특히 이 에러는 런타임에 발생한다고 해도 서비스를 종료하지 않고 로딩을 계속 재시도하기 때문에 서비스가 정상적으로 실행되는 것으로 보일 수 있다.

즉, Logstash 서비스는 실행(active)되고 있지만 초기화 과정에서 파이프라인을 생성할 수 없어 Logstash를 사용할 수 없는 상태다.

---

해결 방법

Logstash가 설정 파일을 제대로 로딩할 수 있도록 설정 파일을 다시 제대로 작성하면 된다. 보통 설정 파일의 위치는 /etc/logstash/conf.d/*.conf 에 위치해 있다.