스스로 빛을 내는 개발자 스스로 빛을 내는 개발자

Kafka란?아파치 카프카(Apache Kafka)는 LinkedIn에서 개발한 분산 스트리밍 플랫폼이다. 발행-구독 모델을 기반으로 동작한다.  기존 링크드인의 데이터 처리 시스템은 그림과 같이 각 애플리케이션과 DB가 end-to-end 로 연결되어 있고, 요구사항이 늘어남에 따라 데이터 시스템 복잡도가 높아지면서 장애 발생 대응이 어렵고 확장성이 떨어져 관리의 어려움을 겪었다.이러한 문제를 해결하기 위해 새로운 시스템의 개발 필요성이 높아졌고, 다음과 같은 목표를 가지고 새로운 시스템을 개발했다.모든 시스템으로 데이터를 전송할 수 있고, 실시간 처리도 가능하며, 급속도로 성장하는 서비스를 위해 확장이 용이한 시스템을 만들자!   카프카를 적용함으로써 앞서 말했던 문제점들이 어느정도 완화되었다.모든 ..