Войти
  • 2927Просмотров
  • 3 года назадОпубликованоПросто про ІТ

Advanced: Apache Kafka vs AWS SNS+SQS vs RabbitMQ, подієорієнтована архітектура, брокери повідомлень

00:00 - Вступ 00:22 - Event-driven архітектура, publisher-subscriber, producer-consumer 11:00 - Pub-sub та producer-consumer у RabbitMQ та AWS SNS+SQS 12:23 - Основні концепції Apache Kafka 18:55 - Особливості і проблеми Rabbit MQ 20:15 - Особливості і проблеми AWS SNS+SQS 21:14 - Особливості і проблеми Apache Kafka 26:58 - Проміжний підсумок по RabbitMQ 28:00 - Retry у RabbitMQ - heartbeats 30:05 - Quality-of-service: at least once vs at most once, неможливий exactly once 33:46 - Retry у RabbitMQ - in-flight повідомлення і heartbeats 34:41 - Retry у AWS SQS - visibility timeout 41:45 - Heartbeat у Kafka 44:19 - Кількість партицій у Kafka, порядок повідомлень 46:20 - Проблеми із retry у Kafka та традиційних брокерів 49:14 - Ще про порядок повідомлень у Kafka, message key 55:01 - Log compaction у Kafka 1:00:19 - Загальний підсумок 1:06:15 - Як Kafka зберігає offsets 1:08:55 - Чому Kafka це message broker а не просто distributed log 1:11:17 - Епілог UPD: Як підказали мені глядачі (за що їм щира подяка) - для уникнення враппінгу повідомлення у додатковий envelope при передачі з SNS у SQS потрібно на SNS топіку ввімкнути "raw message delivery".