Kafka Streams в действии. Приложения и микросервисы для работы в реальном времени

Об авторе
Об этой книге
	Кому стоит прочитать эту книгу
	Структура издания
	О коде
	Другие онлайн-ресурсы
Введение
Предисловие
Благодарности
Часть I. Знакомство с Kafka Streams
	Глава 1. Добро пожаловать в Kafka Streams
		1.1. Движение больших данных и как оно повлияло на программирование
			1.1.1. Возникновение больших данных
			1.1.2. Важнейшие понятия парадигмы MapReduce
			1.1.3. Одной пакетной обработки недостаточно
		1.2. Знакомство с потоковой обработкой
		1.3. Обработка транзакции покупки товара
			1.3.1. Рассматриваем вариант с потоковой обработкой
			1.3.2. Представление требований в виде графа
		1.4. Транзакция покупки с другой точки зрения
			1.4.1. Узел-источник
			1.4.2. Узел маскирования номеров платежных карт
			1.4.3. Узел паттернов
			1.4.4. Узел поощрений
			1.4.5. Узел хранения
		1.5. Kafka Streams как граф 
узлов обработки
		1.6. Использование Kafka Streams для потока данных транзакций покупок
			1.6.1. Задаем источник
			1.6.2. Первый узел-обработчик: маскирование номеров платежных карт
			1.6.3. Второй узел-обработчик: 
паттерны покупок
			1.6.4. Третий узел-обработчик: 
поощрение покупателей
			1.6.5. Четвертый узел-обработчик: запись данных о покупках
		Резюме
	Глава 2. Kafka в двух словах
		2.1. Проблема данных
		2.2. Использование Kafka для обработки данных
			2.2.1. Первоначальная платформа данных компании ZMart
			2.2.2. Концентратор информации о транзакциях продаж на основе Kafka
		2.3. Архитектура Kafka
			2.3.1. Kafka — это брокер сообщений
			2.3.2. Kafka — это журнал
			2.3.3. Функционирование журналов в Kafka
			2.3.4. Kafka и секции
			2.3.5. Секции группируют данные по ключу
			2.3.6. Написание пользовательского класса секционирования
			2.3.7. Настройка пользовательского секционирования
			2.3.8. Выбор правильного числа секций
			2.3.9. Распределенный журнал
			2.3.10. ZooKeeper: ведущие/ведомые брокеры и репликация
			2.3.11. Apache ZooKeeper
			2.3.12. Выборы контроллера
			2.3.13. Репликация
			2.3.14. Обязанности контроллера
			2.3.15. Управление журналами
			2.3.16. Удаление журналов
			2.3.17. Сжатие журналов
		2.4. Отправка сообщений с помощью генераторов
			2.4.1. Свойства генераторов
			2.4.2. Указание секции или метки даты/времени
			2.4.3. Указание секции
			2.4.4. Метки даты/времени в Kafka
		2.5. Чтение сообщений с помощью потребителей
			2.5.1. Управление смещениями
			2.5.2. Автоматическая фиксация смещений
			2.5.3. Фиксация смещения вручную
			2.5.4. Создание потребителя
			2.5.5. Потребители и секции
			2.5.6. Перебалансировка
			2.5.7. Более точное назначение топиков/секций потребителям
			2.5.8. Пример потребителя
		2.6. Установка и запуск Kafka
			2.6.1. Локальные настройки Kafka
			2.6.2. Запуск Kafka
			2.6.3. Отправляем наше первое сообщение
		Резюме
Часть II. Разработка с помощью Kafka Streams
	Глава 3. Разработка приложений Kafka Streams
		3.1. API потоковых узлов-обработчиков
		3.2. Программа Hello, World для Kafka Streams
			3.2.1. Создание топологии для Yelling
			3.2.2. Настройка Kafka Streams
			3.2.3. Создание объектов Serde
		3.3. Работа с данными покупателей
			3.3.1. Конструирование топологии
			3.3.2. Создание пользовательского объекта Serde
		3.4. Интерактивная разработка
		3.5. Дальнейшие шаги
			3.5.1. Новые требования
			3.5.2. Сохранение записей вне Kafka
		Резюме
	Глава 4. Потоки данных и состояние
		4.1. Обработка событий
		4.2. Операции с сохранением состояния в Kafka Streams
			4.2.1. Узел-обработчик transformValues
			4.2.2. Поощрения покупателей с сохранением состояния
			4.2.3. Инициализация преобразователя значений
			4.2.4. Отображение, на основе состояния, объекта Purchase в объект RewardAccumulator
			4.2.5. Обновление узла-обработчика поощрений
		4.3. Использование хранилищ состояния для поиска и ранее виденные данные
			4.3.1. Локальность данных
			4.3.2. Восстановление после сбоя и отказоустойчивость
			4.3.3. Использование хранилищ состояния в Kafka Streams
			4.3.4. Другие поставщики хранилищ пар «ключ/значение»
			4.3.5. Отказоустойчивость StateStore
			4.3.6. Настройки топиков журналов изменений
		4.4. Получение дополнительной информации путем соединения потоков данных
			4.4.1. Подготовка данных
			4.4.2. Генерация, для соединения, ключей с идентификаторами покупателей
			4.4.3. Конструирование соединения
			4.4.4. Другие варианты соединений
		4.5. Метки даты/времени в Kafka Streams
			4.5.1. Готовые реализации интерфейса TimestampExtractor
			4.5.2. Класс WallclockTimestampExtractor
			4.5.3. Пользовательская реализация интерфейса TimestampExtractor
			4.5.4. Указываем, какой TimestampExtractor использовать
		Резюме
	Глава 5. API KTable
		5.1. Взаимосвязь между потоками данных и таблицами
			5.1.1. Поток записей
			5.1.2. Обновления записей (журнал изменений)
			5.1.3. Поток событий по сравнению с потоком обновлений
		5.2. Обновления записей и настройки KTable
			5.2.1. Задание размера буфера кэша
			5.2.2. Задание интервала фиксации
		5.3. Агрегирование и оконные операции
			5.3.1. Агрегирование объема продаж акций по отраслям промышленности
			5.3.2. Оконные операции
			5.3.3. Соединение объектов KStream и KTable
			5.3.4. Объекты GlobalKTable
			5.3.5. Доступное для запросов состояние
		Резюме
	Глава 6. API узлов-обработчиков
		6.1. Компромисс между повышением уровня абстракции и расширением возможностей контроля
		6.2. Создание топологии с использованием источников, узлов-обработчиков и стоков
			6.2.1. Добавление узла-источника
			6.2.2. Добавляем узел-обработчик
			6.2.3. Добавление узла-стока
		6.3. Углубляемся в API узлов-обработчиков на примере узла биржевой аналитики
			6.3.1. Узел-обработчик показателей акций
			6.3.2. Метод process()
			6.3.3. Выполнение пунктуатора
		6.4. Узел совместной группировки
			6.4.1. Создание узла совместной группировки
		6.5. Интеграция API узлов-обработчиков и API Kafka Streams
		Резюме
Часть III. Администрирование Kafka Streams
	Глава 7. Мониторинг и производительность
		7.1. Основы мониторинга Kafka
			7.1.1. Оценка производительности потребителей и генераторов
			7.1.2. Проверка отставания потребителя
			7.1.3. Перехват информации о поведении генераторов и потребителей
		7.2. Метрики приложения
			7.2.1. Настройки метрик
			7.2.2. Как получить доступ к собранным метрикам
			7.2.3. Использование JMX
			7.2.4. Просмотр метрик
		7.3. Дополнительные методики отладки Kafka Streams
			7.3.1. Просмотр структуры приложения
			7.3.2. Получение уведомлений о различных состояниях приложения
			7.3.3. Использование интерфейса StateListener
			7.3.4. Прослушиватель восстановления состояния
			7.3.5. Обработчик неперехваченных исключений
		Резюме
	Глава 8. Тестирование приложения Kafka Streams
		8.1. Тестирование топологии
			8.1.1. Создание теста
			8.1.2. Тестирование хранилища состояния в топологии
			8.1.3. Тестирование узлов-обработчиков и преобразователей
		8.2. Комплексное тестирование
			8.2.1. Создание комплексного теста
		Резюме
Часть IV. Передовые возможности Kafka Streams
	Глава 9. Создание продвинутых приложений с помощью Kafka Streams
		9.1. Интеграция Kafka с другими источниками данных
			9.1.1. Интеграция данных с помощью Kafka Connect
			9.1.2. Настройка Kafka Connect
			9.1.3. Преобразование данных
		9.2. Выбрасываем базу данных за борт
			9.1.2. Как работают интерактивные запросы
			9.2.2. Распределение хранилищ состояния
			9.2.3. Настройка и обнаружение распределенного хранилища состояния
			9.2.4. Написание кода для интерактивных запросов
			9.2.5. Внутри сервера запросов
		9.3. KSQL
			9.3.1. Потоки и таблицы KSQL
			9.3.2. Архитектура KSQL
			9.3.3. Установка и запуск KSQL
			9.3.4. Создание потока данных KSQL
			9.3.5. Написание KSQL-запроса
			9.3.6. Создание таблицы KSQL
			9.3.7 Настройка KSQL
		Резюме
Приложения
	Приложение А. Дополнительная информация о настройках
		А.1. Ограничение количества перебалансировок при запуске приложения
		А.2. Устойчивость к отказам брокеров
		А.3. Обработка ошибок десериализации
		А.4. Масштабирование приложения
		А.5. Конфигурация RocksDB
		А.6. Заблаговременное создание топиков повторного секционирования
		А.7. Настройка внутренних топиков
		А.8. Перезапуск приложения Kafka Streams
		А.9. Очистка локального состояния
	Приложение Б. Строго однократная доставка