Apache Kafka 설치

준비 사항

1. CentOS 7이 설치된 서버 (또는 VM)
2. 오픈 JDK 패키지 설치

• yum install java-1.8.0-openjdk.x86_64
• 설치가 잘 되었는지 확인하려면 아래의 명령어를 실행해서 자바 버전 확인
• java -version

3. 자바 환경 변수 설정

• 텍스트 에디터를 이용해서 ‘/etc/profile’에 자바 환경 변수 설정을 추가
  • vim /etc/profile
  • profile 파일 안에 아래의 내용을 추가
    • export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
    • export JRE_HOME=/usr/lib/jvm/jre
  • source 명령어를 이용해서 변경된 내용 적용
    • source /etc/profile

설치 단계

1. Kafka 패키지 다운로드

• wget http://www-us.apache.org/dist/kafka/0.10.0.1/kafka_2.11-0.10.0.1.tgz
  • 위의 버전이 최신 버전이 아니면 kafka 웹사이트 (http://www-us.apache.org/dist/kafka)에 들어가셔서 최신 버전을 확인 후 다운 받으세요.
• tar xvf kafka_2.11-0.10.0.1.tgz
• mv kafka_2.11-0.10.0.1 /opt
• cd /opt/kafka_2.11-0.10.0.1

2. Zookeeper 서버 시작

• bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

3. Kafka 서버 시작

• bin/kafka-server-start.sh config/server.properties
  • 서버 시작 후 아래와 같은 로그를 확인하셨다면 서버가 정상적으로 시작된 것입니다.
  • INFO [Kafka Server 0], started (kafka.server.KafkaServer)

4. Kafka 패키지에서 제공하는 클라이언트 프로그램을 이용한 간단한 서버 테스트

• 테스트 토픽 생성
  • bin/kafka-topics.sh —create —zookeeper localhost:2181 —replication-factor 1 —partitions 1 —topic test
• Consumer 생성
  • bin/kafka-console-consumer.sh —zookeeper localhost:2181 —topic test —from-beginning
• Producer 생성
  • 같은 SSH 연결에서 Consumer와 Producer를 같이 생성할 수 없기 때문에 새로운 SSH 연결을 한 후 에 아래의 명령어를 실행합니다.
  • bin/kafka-console-producer.sh —broker-list localhost:9092 —topic test
  • 위의 명령어를 실행 후 콘솔에 텍스트를 입력하고 엔터를 누르면 입력한 텍스트가 Consumer 쪽 콘솔에 출력 되는 것을 확인하실 수 있으십니다.

5. References https://www.vultr.com/docs/how-to-install-apache-kafka-on-centos-7http://davidssysadminnotes.blogspot.com/2016/01/installing-apache-kafka-and-zookeeper.htmlhttp://www.javaworld.com/article/3060078/big-data/big-data-messaging-with-kafka-part-1.html

출처 : http://utk-unm.blogspot.kr/2016/10/apache-kafka-centos-721511-64-bit.html