วิธีการติดตั้ง Apache Kafka ใน CentOS/RHEL 7

Apache Kafka เป็นเครื่องมือรับส่งข้อความที่ทรงพลัง ซึ่งใช้กันอย่างแพร่หลายในโครงการ BigData และวงจรชีวิตของ การวิเคราะห์ข้อมูล เป็นแพลตฟอร์มโอเพ่นซอร์สเพื่อสร้างไปป์ไลน์การสตรีมข้อมูลแบบเรียลไทม์ เป็นแพลตฟอร์มเผยแพร่และสมัครสมาชิกแบบกระจายซึ่งมีความน่าเชื่อถือ ความสามารถในการขยายขนาด และความทนทาน

เราสามารถมี Kafka เป็นแบบสแตนด์อโลนหรือแบบคลัสเตอร์ก็ได้ Kafka จัดเก็บข้อมูลสตรีมมิ่งและสามารถจัดหมวดหมู่เป็นหัวข้อได้ หัวข้อจะมีพาร์ติชันจำนวนหนึ่งเพื่อให้สามารถจัดการข้อมูลจำนวนเท่าใดก็ได้ นอกจากนี้ เรายังสามารถมีแบบจำลองหลายรายการเพื่อให้ทนทานต่อข้อผิดพลาดได้เหมือนกับที่เรามีใน HDFS ในคลัสเตอร์ Kafka นายหน้าคือส่วนประกอบที่จัดเก็บข้อมูลที่เผยแพร่

Zookeeper เป็นบริการบังคับในการเรียกใช้คลัสเตอร์ Kafka เนื่องจากใช้สำหรับจัดการการประสานงานของนายหน้า Kafka Zookeeper มีบทบาทสำคัญในระหว่างผู้ผลิตและผู้บริโภค โดยมีหน้าที่รับผิดชอบในการรักษาสถานะของโบรกเกอร์ทั้งหมด

ในบทความนี้ เราจะอธิบายวิธีการติดตั้ง Apache Kafka ในโหนดเดียว CentOS 7 หรือ RHEL 7

การติดตั้ง Apache Kafka ใน CentOS 7

1. ขั้นแรก คุณต้องติดตั้ง Java บนระบบของคุณเพื่อรัน Apache Kafka โดยไม่มีข้อผิดพลาดใดๆ ดังนั้น ให้ติดตั้ง Java เวอร์ชันเริ่มต้นที่มีอยู่โดยใช้คำสั่ง yum ต่อไปนี้ และตรวจสอบเวอร์ชัน Java ตามที่แสดง

yum -y install java-1.8.0-openjdk
java -version

2. จากนั้น ดาวน์โหลด Apache Kafka เวอร์ชันเสถียรล่าสุดจากเว็บไซต์อย่างเป็นทางการ หรือใช้คำสั่ง wget ต่อไปนี้เพื่อดาวน์โหลดโดยตรงและแตกไฟล์ออก

wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
tar -xzf kafka_2.13-2.7.0.tgz 

3. สร้างลิงก์สัญลักษณ์สำหรับแพ็คเกจ kafka จากนั้นเพิ่มพาธสภาพแวดล้อม Kafka ไปยังไฟล์ .bash_profile จากนั้นเริ่มต้นดังที่แสดง

ln -s kafka_2.13-2.7.0 kafka
echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
source ~/.bash_profile

4. จากนั้น ให้เริ่ม Zookeeper ซึ่งมาพร้อมกับแพ็คเกจ Kafka เนื่องจากเป็นคลัสเตอร์โหนดเดียว คุณจึงสามารถเริ่มต้นผู้ดูแลสวนสัตว์ด้วยคุณสมบัติเริ่มต้นได้

zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. ตรวจสอบว่าผู้ดูแลสวนสัตว์สามารถเข้าถึงได้หรือไม่โดยเพียงแค่ telnet ไปยัง Zookeeper พอร์ต 2181

telnet localhost 2181

6. เริ่ม Kafka ด้วยคุณสมบัติเริ่มต้น

kafka-server-start.sh -daemon /root/kafka/config/server.properties

7. ตรวจสอบว่า Kafka สามารถเข้าถึงได้หรือไม่โดยเพียงแค่ Telnet ไปยังพอร์ต Kafka 9092

telnet localhost 9092

8. ต่อไป สร้างหัวข้อตัวอย่าง

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

9. ระบุหัวข้อที่สร้างขึ้น

kafka-topics.sh --zookeeper localhost:2181 --list

บทสรุป

ในบทความนี้ เราได้เห็นวิธีการติดตั้งคลัสเตอร์ Kafka โหนดเดียวใน CentOS 7 แล้ว เราจะดูวิธีการติดตั้ง Kafka Cluster แบบหลายโหนดในบทความถัดไป