Apache Kafka. Потоковая обработка и анализ данных

Отзывы о книге
Предисловие ко второму изданию
Предисловие к первому изданию
Введение
	Для кого предназначена эта книга
	Условные обозначения
	Использование примеров кода
	Благодарности
От издательства
Глава 1. Знакомьтесь: Kafka
	Обмен сообщениями по типу «публикация/подписка»
		С чего все начинается
		Отдельные системы организации очередей
	Открываем для себя систему Kafka
		Сообщения и пакеты
		Схемы
		Топики и разделы
		Производители и потребители
		Брокеры и кластеры
		Несколько кластеров
	Почему Kafka?
		Несколько производителей
		Несколько потребителей
		Сохранение информации на диске
		Масштабируемость
		Высокое быстродействие
		Особенности платформы
	Экосистема данных
		Сценарии применения
	История создания Kafka
		Проблема LinkedIn
		Рождение Kafka
		Открытый исходный код
		Коммерческое взаимодействие
		Название
	Приступаем к работе с Kafka
Глава 2. Установка Kafka
	Настройка среды
		Выбрать операционную систему
		Установить Java
		Установить ZooKeeper
	Установка брокера Kafka
	Настройка брокера
		Основные параметры брокера
		Настройки топиков по умолчанию
	Выбор аппаратного обеспечения
		Пропускная способность дисков
		Емкость диска
		Память
		Передача данных по сети
		CPU
	Kafka в облачной среде
		Microsoft Azure
		Веб-сервисы Amazon Web Services
	Настройка кластеров Kafka
		Сколько должно быть брокеров
		Конфигурация брокеров
		Тонкая настройка операционной системы
	Промышленная эксплуатация
		Параметры сборки мусора
		Планировка ЦОД
		Размещение приложений на ZooKeeper
	Резюме
Глава 3. Производители Kafka: запись сообщений в Kafka
	Обзор производителя
	Построение производителя Kafka
	Отправка сообщения в Kafka
		Синхронная отправка сообщения
		Асинхронная отправка сообщения
	Настройка производителей
		client.id
		acks
		Время доставки сообщения
		linger.ms
		buffer.memory
		compression.type
		batch.size
		max.in.flight.requests.per.connection
		max.request.size
		receive.buffer.bytes и send.buffer.bytes
		enable.idempotence
	Сериализаторы
		Пользовательские сериализаторы
		Сериализация с помощью Apache Avro
		Использование записей Avro с Kafka
	Разделы
		Реализация пользовательской стратегии секционирования
	Заголовки
	Перехватчики
	Квоты и регулирование запросов
	Резюме
Глава 4. Потребители Kafka: чтение данных из Kafka
	Принципы работы потребителей Kafka
		Потребители и группы потребителей
		Группы потребителей и перебалансировка разделов
		Статические участники группы
	Создание потребителя Kafka
	Подписка на топики
	Цикл опроса
		Безопасность потоков
	Настройка потребителей
		fetch.min.bytes
		fetch.max.wait.ms
		fetch.max.bytes
		max.poll.records
		max.partition.fetch.bytes
		session.timeout.ms и heartbeat.interval.ms
		max.poll.interval.ms
		default.api.timeout.ms
		request.timeout.ms
		auto.offset.reset
		enable.auto.commit
		partition.assignment.strategy
		client.id
		client.rack
		group.instance.id
		receive.buffer.bytes и send.buffer.bytes
		offsets.retention.minutes
	Фиксация и смещения
		Автоматическая фиксация
		Фиксация текущего смещения
		Асинхронная фиксация
		Сочетание асинхронной и синхронной фиксации
		Фиксация заданного смещения
	Прослушивание на предмет перебалансировки
	Получение записей с заданными смещениями
	Выход из цикла
	Десериализаторы
		Пользовательские сериализаторы
		Использование десериализации Avro в потребителе Kafka
	Автономный потребитель: зачем и как использовать потребитель без группы
	Резюме
Глава 5. Программное управление Apache Kafka
	Обзор AdminClient
		Асинхронный и в итоге согласованный API
		Опции
		Горизонтальная иерархия
		Дополнительные примечания
	Жизненный цикл AdminClient: создание, настройка и закрытие
		client.dns.lookup
		request.timeout.ms
	Управление основными топиками
	Управление конфигурацией
	Управление группами потребителей
		Изучение групп потребителей
		Модификация групп потребителей
	Метаданные кластера
	Расширенные операции администратора
		Добавление разделов в топик
		Удаление записей из топика
		Выборы лидера
		Переназначение реплик
	Тестирование
	Резюме
Глава 6. Внутреннее устройство Kafka
	Членство в кластере
	Контроллер
		KRaft: новый контроллер Kafka на основе Raft
	Репликация
	Обработка запросов
		Запросы от производителей
		Запросы на извлечение
		Другие запросы
	Физическое хранилище
		Многоуровневое хранилище
		Распределение разделов
		Управление файлами
		Формат файлов
		Индексы
		Сжатие
		Как происходит сжатие
		Удаленные события
		Когда выполняется сжатие топиков
	Резюме
Глава 7. Надежная 
доставка данных
	Гарантии надежности
	Репликация
	Настройка брокера
		Коэффициент репликации
		«Нечистый» выбор ведущей реплики
		Минимальное число согласованных реплик
		Поддержание синхронизации реплик
		Долговременное хранение на диске
	Использование производителей в надежной системе
		Отправка подтверждений
		Настройка повторов отправки производителями
		Дополнительная обработка ошибок
	Использование потребителей в надежной системе
		Свойства конфигурации потребителей, важные для надежной обработки
		Фиксация смещений в потребителях явным образом
	Проверка надежности системы
		Проверка конфигурации
		Проверка приложений
		Мониторинг надежности при промышленной эксплуатации
	Резюме
Глава 8. Семантика «только один раз»
	Идемпотентный производитель
		Как работает идемпотентный производитель
		Ограничения идемпотентного производителя
		Как использовать идемпотентный производитель Kafka
	Транзакции
		Варианты использования транзакций
		Какие проблемы решают транзакции
		Как происходит гарантия транзакций «только один раз»
		Какие проблемы не решаются транзакциями
		Как использовать транзакции
		Идентификаторы транзакций и ограждения
		Как работают транзакции
	Функциональные характеристики транзакций
	Резюме
Глава 9. Создание конвейеров данных
	Соображения по поводу создания конвейеров данных
		Своевременность
		Надежность
		Высокая/переменная нагрузка
		Форматы данных
		Преобразования
		Безопасность
		Обработка сбоев
		Связывание и быстрота адаптации
	Когда использовать Kafka Connect, а когда клиенты-производители и клиенты-потребители
	Kafka Connect
		Запуск Kafka Connect
		Пример коннектора: файловый источник и файловый приемник
		Пример коннектора: из MySQL в Elasticsearch
		Преобразования одиночных сообщений
		Взглянем на Kafka Connect поближе
	Альтернативы Kafka Connect
		Фреймворки ввода и обработки данных для других хранилищ
		ETL-утилиты на основе GUI
		Фреймворки потоковой обработки
	Резюме
Глава 10. Зеркальное копирование между кластерами
	Сценарии зеркального копирования данных между кластерами
	Мультикластерные архитектуры
		Реалии взаимодействия между различными ЦОД
		Архитектура с топологией типа «звезда»
		Архитектура типа «активный — активный»
		Архитектура типа «активный — резервный»
		Эластичные кластеры
	Утилита MirrorMaker (Apache Kafka)
		Настройка MirrorMaker
		Топология мультикластерной репликации
		Обеспечение безопасности MirrorMaker
		Развертывание MirrorMaker для промышленной эксплуатации
		Тонкая настройка MirrorMaker
	Другие программные решения для зеркального копирования между кластерами
		uReplicator компании Uber
		LinkedIn Brooklin
		Решения для зеркального копирования данных между ЦОД от компании Confluent
	Резюме
Глава 11. Обеспечение 
безопасности Kafka
	Блокировка Kafka
	Протоколы безопасности
	Аутентификация
		SSL
		SASL
		Повторная проверка подлинности
		Обновления системы безопасности без простоя
	Шифрование
		Сквозное шифрование
	Авторизация
		AclAuthorizer
		Настройка авторизации
		Вопросы безопасности
	Аудит
	Обеспечение безопасности ZooKeeper
		SASL
		SSL
		Авторизация
	Обеспечение безопасности платформы
		Защита паролей
	Резюме
Глава 12. Администрирование Kafka
	Операции с топиками
		Создание нового топика
		Перечисление всех топиков в кластере
		Подробное описание топиков
		Добавление разделов
		Уменьшение количества разделов
		Удаление топика
	Группы потребителей
		Вывод списка и описание групп
		Удаление группы
		Управление смещениями
	Динамические изменения конфигурации
		Переопределение значений настроек топиков по умолчанию
		Переопределение настроек клиентов и пользователей по умолчанию
		Переопределение настроек конфигурации брокера по умолчанию
		Описание переопределений настроек
		Удаление переопределений настроек
	Производство и потребление
		Производитель консолей
		Консольный потребитель
	Управление разделами
		Выбор предпочтительной ведущей реплики
		Смена реплик раздела
		Сброс на диск сегментов журнала
		Проверка реплик
	Другие утилиты
	Небезопасные операции
		Перенос контроллера кластера
		Отмена удаления топиков
		Удаление топиков вручную
	Резюме
Глава 13. Мониторинг Kafka
	Основы показателей
		Как получить доступ к показателям
		Какие показатели мне нужны
		Контроль состояния приложения
	Цели на уровне обслуживания
		Определения уровня сервиса
		Какие показатели являются хорошими индикаторами уровня обслуживания
		Использование целей уровня обслуживания для оповещений
	Показатели брокеров Kafka
		Диагностика проблем с кластером
		Искусство недореплицированных разделов
		Показатели брокеров
		Показатели топиков и разделов
		Мониторинг JVM
		Мониторинг ОС
		Журналирование
	Мониторинг клиентов
		Показатели производителя
		Показатели потребителей
		Квоты
	Мониторинг отставания
	Сквозной мониторинг
	Резюме
Глава 14. Потоковая обработка
	Что такое потоковая обработка
	Основные понятия потоковой обработки
		Топология
		Время
		Состояние
		Таблично-потоковый дуализм
		Временные окна
		Гарантии обработки
	Паттерны проектирования потоковой обработки
		Обработка событий по отдельности
		Обработка с использованием локального состояния
		Многоэтапная обработка/повторное разделение на разделы
		Обработка с применением внешнего справочника: соединение потока данных с таблицей
		Соединение таблицы с таблицей
		Соединение потоков
		Внеочередные события
		Повторная обработка
		Интерактивные запросы
	Kafka Streams в примерах
		Подсчет количества слов
		Сводные показатели фондовой биржи
		Обогащение потока событий перехода по ссылкам
	Kafka Streams: обзор архитектуры
		Построение топологии
		Оптимизация топологии
		Тестирование топологии
		Масштабирование топологии
		Как пережить отказ
	Сценарии использования потоковой обработки
	Как выбрать фреймворк потоковой обработки
	Резюме
Приложение А. Установка Kafka на других операционных системах
	Установка на Windows
		Использование Windows Subsystem для Linux
		Использование Java естественным образом
	Установка на macOS
		Использование Homebrew
		Установка вручную
Приложение Б. Дополнительные инструменты Kafka
	Комплексные платформы
	Развертывание и управление кластером
	Мониторинг и исследование данных
	Клиентские библиотеки
	Потоковая обработка
Об авторах
Иллюстрация на обложке