Programming Spiders, Bots and Aggregators in Java

Cover......Page 1
Table of Contents......Page 7
What Is a Bot?......Page 10
What Is a Spider?......Page 11
What Are Agents and Intelligent Agents?......Page 12
The Java Programming Language......Page 13
Wrap Up......Page 14
The World of Sockets......Page 15
Java I/ O Programming......Page 23
Proxy Issues......Page 31
Socket Programming in Java......Page 33
Client Sockets......Page 34
Server Sockets......Page 46
Summary......Page 53
Address Formats......Page 55
Using Sockets to Program HTTP......Page 59
Bot Package Classes for HTTP......Page 69
Under the Hood......Page 82
Summary......Page 91
HTTP versus HTTPS......Page 93
Using HTTPS with Java......Page 94
HTTP User Authentication......Page 99
Securing Access......Page 105
Under the Hood......Page 114
Summary......Page 124
Working with HTML......Page 125
Tags a Bot Cares About......Page 127
HTML That Requires Special Handling......Page 132
Using Bot Classes for HTML Parsing......Page 135
Using Swing Classes for HTML Parsing......Page 137
Bot Package HTML Parsing Examples......Page 142
Under the Hood......Page 162
Summary......Page 172
Using Forms......Page 174
Bot Classes for a Generic Post......Page 180
Under the Hood......Page 195
Summary......Page 199
The Structure of the CSV File......Page 200
The Structure of a QIF File......Page 206
The XML File Format......Page 212
Summary......Page 222
Overview......Page 224
Examining Cookies......Page 225
Bot Classes for Cookie Processing......Page 239
Under the Hood......Page 241
Summary......Page 247
Structure of Websites......Page 248
Structure of a Spider......Page 251
Constructing a Spider......Page 255
Summary......Page 275
What Is Multithreading?......Page 276
Multithreading with Java......Page 277
Synchronizing Threads......Page 281
Using a Database......Page 284
The High- Performance Spider......Page 292
Under the Hood......Page 293
Summary......Page 324
Constructing a Typical Bot......Page 326
Using the CatBot......Page 340
An Example CatBot......Page 345
Under the Hood......Page 351
Summary......Page 368
Online versus Offline Aggregation......Page 369
Building the Underlying Bot......Page 370
Building the Weather Aggregator......Page 378
Summary......Page 383
Dealing with Websites......Page 384
Webmaster Actions......Page 390
A Conscientious Spider......Page 392
Under the Hood......Page 405
Summary......Page 410
Internet Information Transfer......Page 412
Understanding XML......Page 413
Transferring XML Data......Page 417
Summary......Page 421
Utility Classes......Page 423
HTTP Classes......Page 425
The Parsing Classes......Page 428
Spider Classes......Page 433
The ASCII Chart......Page 439
HTTP Headers......Page 443
HTTP Status Codes......Page 445
HTML Character Constants......Page 448
UNIX Errors......Page 450
Cross- Platform Errors......Page 453
How to Use the NOBOT Scripts......Page 455
Installing and Starting Tomcat......Page 456
A JSP Example......Page 458
Using the JDK......Page 460
Using VisualCafé......Page 465
Using the JDK......Page 467
Appendix G: Recompiling the Bot Package......Page 470
Glossary......Page 472