Apache Kafka. Потоковая обработка и анализ данных

Предисловие
Введение
	Для кого предназначена эта книга
	Условные обозначения
	Использование примеров кода
	Благодарности
Глава 1. Знакомьтесь: Kafka
	Обмен сообщениями по типу «публикация/подписка»
		С чего все начинается
		Отдельные системы организации очередей
	Открываем для себя систему Kafka
		Сообщения и пакеты
		Схемы
		Топики и разделы
		Производители и потребители
		Брокеры и кластеры
		Несколько кластеров
	Почему Kafka?
		Несколько производителей
		Несколько потребителей
	Сохранение информации на диске
		Масштабируемость
		Высокое быстродействие
	Экосистема данных
		Сценарии использования
	История создания Kafka
		Проблема LinkedIn
		Рождение Kafka
		Открытый исходный код
		Название
	Приступаем к работе с Kafka
Глава 2. Установка Kafka
	Обо всем по порядку
		Выбрать операционную систему
		Установить Java
		Установить ZooKeeper
	Установка брокера Kafka
	Конфигурация брокера
		Основные настройки брокера
		Настройки топиков по умолчанию
	Выбор аппаратного обеспечения
		Пропускная способность дисков
		Емкость диска
		Память
		Передача данных по сети
		CPU
	Kafka в облачной среде
	Кластеры Kafka
		Сколько должно быть брокеров?
		Конфигурация брокеров
		Тонкая настройка операционной системы
	Промышленная эксплуатация
	Параметры сборки мусора
		Планировка ЦОД
		Размещение приложений на ZooKeeper
	Резюме
Глава 3. Производители Kafka: запись сообщений в Kafka
	Обзор производителя
	Построение производителя Kafka
	Отправка сообщения в Kafka
		Синхронная отправка сообщения
		Асинхронная отправка сообщения
	Настройка производителей
		acks
		buffer.memory
		compression.type
		retries
		batch.size
		linger.ms
		client.id
		max.in.flight.requests.per.connection
		timeout.ms, request.timeout.ms и metadata.fetch.timeout.ms
		max.block.ms
		max.request.size
		receive.buffer.bytes и send.buffer.bytes
	Сериализаторы
		Пользовательские сериализаторы
		Сериализация с помощью Apache Avro
		Использование записей Avro с Kafka
	Разделы
	Старые API производителей
	Резюме
Глава 4. Потребители Kafka: чтение данных из Kafka
	Принципы работы потребителей Kafka
	Потребители и группы потребителей
		Группы потребителей и перебалансировка разделов
	Создание потребителя Kafka
	Подписка на топики
	Цикл опроса
	Настройка потребителей
		fetch.min.bytes
		fetch.max.wait.ms
		max.partition.fetch.bytes
		session.timeout.ms
		auto.offset.reset
		enable.auto.commit
		partition.assignment.strategy
		client.id
		max.poll.records
		receive.buffer.bytes и send.buffer.bytes
	Фиксация и смещения
		Автоматическая фиксация
		Фиксация текущего смещения
		Асинхронная фиксация
		Сочетание асинхронной и синхронной фиксации
		Фиксация заданного смещения
	Прослушивание на предмет перебалансировки
	Получение записей с заданными смещениями
	Выход из цикла
	Десериализаторы
		Пользовательские сериализаторы
		Использование десериализации Avro в потребителе Kafka
	Автономный потребитель: зачем и как использовать потребитель без группы
	Старые API потребителей
	Резюме
Глава 5. Внутреннее устройство Kafka
	Членство в кластере
	Контроллер
	Репликация
	Обработка запросов
		Запросы от производителей
		Запросы на извлечение
	Другие запросы
	Физическое хранилище
		Распределение разделов
	Управление файлами
		Формат файлов
		Индексы
		Сжатие
		Как происходит сжатие
		Удаленные события
		Когда выполняется сжатие топиков?
	Резюме
Глава 6. Надежная доставка данных
	Гарантии надежности
	Репликация
	Настройка брокера
		Коэффициент репликации
		«Нечистый» выбор ведущей реплики
		Минимальное число согласованных реплик
	Использование производителей в надежной системе
		Отправка подтверждений
		Настройка повторов отправки производителями
		Дополнительная обработка ошибок
	Использование потребителей в надежной системе
		Свойства конфигурации потребителей, важные для надежной обработки
		Фиксация смещений в потребителях явным образом
	Проверка надежности системы
		Проверка конфигурации
		Проверка приложений
		Мониторинг надежности при промышленной эксплуатации
	Резюме
Глава 7. Создание конвейеров данных
	Соображения по поводу создания конвейеров данных
		Своевременность
		Надежность
		Высокая/переменная нагрузка
		Форматы данных
		Преобразования
		Безопасность
		Обработка сбоев
		Связывание и быстрота адаптации
	Когда использовать Kafka Connect, а когда клиенты-производители и клиенты-потребители
	Kafka Connect
		Запуск Connect
		Пример коннектора: файловый источник и файловый приемник
		Пример коннектора: из MySQL в Elasticsearch
		Взглянем на Connect поближе
	Альтернативы Kafka Connect
		Фреймворки ввода и обработки данных для других хранилищ
		ETL-утилиты на основе GUI
		Фреймворки потоковой обработки
	Резюме
Глава 8. Зеркальное копирование между кластерами
	Сценарии зеркального копирования данных между кластерами
	Мультикластерные архитектуры
		Реалии взаимодействия между различными ЦОД
		Архитектура с топологией типа «звезда»
		Архитектура типа «активный — активный»
		Архитектура типа «активный — резервный»
		Потери данных и несогласованности при внеплановом восстановлении после сбоя
		Начальное смещение для приложений после аварийного переключения
		После аварийного переключения
		Несколько слов об обнаружении кластеров
		Эластичные кластеры
	Утилита MirrorMaker (Apache Kafka)
		Настройка MirrorMaker
		Развертывание MirrorMaker для промышленной эксплуатации
		Тонкая настройка MirrorMaker
	Другие программные решения для зеркального копирования между кластерами
		uReplicator компании Uber
		Replicator компании Confluent
	Резюме
Глава 9. Администрирование Kafka
	Операции с топиками
		Создание нового топика
		Добавление разделов
		Удаление топика
		Вывод списка всех топиков кластера
		Подробное описание топиков
	Группы потребителей
		Вывод списка и описание групп
		Удаление группы
		Управление смещениями
	Динамические изменения конфигурации
		Переопределение значений настроек топиков по умолчанию
		Переопределение настроек клиентов по умолчанию
		Описание переопределений настроек
		Удаление переопределений настроек
	Управление разделами
		Выбор предпочтительной ведущей реплики
		Смена реплик раздела
		Изменение коэффициента репликации
		Сброс на диск сегментов журнала
		Проверка реплик
	Потребление и генерация
		Консольный потребитель
		Консольный производитель
	Списки управления доступом клиентов
	Небезопасные операции
		Перенос контроллера кластера
		Отмена перемещения раздела
		Отмена удаления топиков
		Удаление топиков вручную
	Резюме
Глава 10. Мониторинг Kafka
	Основы показателей
		Как получить доступ к показателям
		Внешние и внутренние показатели
		Контроль состояния приложения
		Охват показателей
	Показатели брокеров Kafka
		Недореплицированные разделы
		Показатели брокеров
		Показатели топиков и разделов
		Мониторинг JVM
		Мониторинг ОС
		Журналирование
	Мониторинг клиентов
		Показатели производителя
		Показатели потребителей
		Квоты
	Мониторинг отставания
	Сквозной мониторинг
	Резюме
Глава 11. Потоковая обработка
	Что такое потоковая обработка?
	Основные понятия потоковой обработки
		Время
		Состояние
		Таблично-потоковый дуализм
		Временные окна
	Паттерны проектирования потоковой обработки
		Обработка событий по отдельности
		Обработка с использованием локального состояния
		Многоэтапная обработка/повторное разделение на разделы
		Обработка с применением внешнего справочника: соединение потока данных с таблицей
		Соединение потоков
		Внеочередные события
		Повторная обработка
	Kafka Streams в примерах
		Подсчет количества слов
		Сводные показатели фондовой биржи
		Обогащение потока событий перехода по ссылкам
	Kafka Streams: обзор архитектуры
		Построение топологии
		Масштабирование топологии
		Как пережить отказ
	Сценарии использования потоковой обработки
	Как выбрать фреймворк потоковой обработки
	Резюме
Приложение. Установка Kafka на других операционных системах
	Установка на Windows
		Использование Windows Subsystem для Linux
		Использование Java естественным образом
	Установка на MacOS
		Использование Homebrew
		Установка вручную