Solaris'!Internals: Solaris 10 and OpenSolaris Kernel Architecture

Cover......Page 1
Contents......Page 8
Foreword......Page 28
Preface......Page 30
About the Authors......Page 38
Acknowledgments......Page 40
PART ONE: Introduction to Solaris Internals......Page 48
 Chapter 1 Introduction......Page 50
  1.1 Key Features of Solaris 10, Solaris 9, and Solaris 8......Page 51
  1.2 Key Differentiators......Page 59
  1.3 Kernel Overview......Page 62
  1.4 Processes, Threads, and Scheduling......Page 65
  1.5 Interprocess Communication......Page 70
  1.6 Signals......Page 72
  1.7 Memory Management......Page 73
  1.8 Files and File Systems......Page 76
  1.9 Resource Management......Page 77
PART TWO: The Process Model......Page 88
 Chapter 2 The Solaris Process Model......Page 90
  2.1 Components of a Process......Page 91
  2.2 Process Model Evolution......Page 95
  2.3 Executable Objects......Page 99
  2.4 Process Structures......Page 102
  2.5 Kernel Process Table......Page 126
  2.6 Process Resource Attributes......Page 131
  2.7 Process Creation......Page 136
  2.8 System Calls......Page 145
  2.9 Process Termination......Page 153
  2.10 The Process File System......Page 157
  2.11 Signals......Page 176
  2.12 Sessions and Process Groups......Page 197
  2.13 MDB Reference......Page 203
  3.1 Fundamentals......Page 204
  3.2 Processor Abstractions......Page 209
  3.3 Dispatcher Queues, Structures, and Variables......Page 218
  3.4 Dispatcher Locks......Page 230
  3.5 Dispatcher Initialization......Page 237
  3.6 Scheduling Classes......Page 239
  3.7 Thread Priorities......Page 254
  3.8 Dispatcher Functions......Page 281
  3.9 Preemption......Page 293
  3.10 The Kernel Sleep/Wakeup Facility......Page 300
  3.11 Interrupts......Page 309
  3.12 Summary......Page 317
  3.13 MDB Reference......Page 318
 Chapter 4 Interprocess Communication......Page 320
  4.1 The System V IPC Framework......Page 321
  4.2 System V IPC Resource Controls......Page 329
  4.3 Configuring IPC Tuneables on Solaris 10......Page 332
  4.4 System V Shared Memory......Page 333
  4.5 System V Semaphores......Page 342
  4.6 System V Message Queues......Page 346
  4.7 POSIX IPC......Page 350
  4.8 Solaris Doors......Page 359
  4.9 MDB Reference......Page 368
  5.1 Then and Now......Page 370
  5.2 Least Privilege in Solaris......Page 371
  5.3 Process Privilege Models......Page 372
  5.4 Privilege Awareness: The Details......Page 381
  5.5 Least Privilege Interfaces......Page 391
PART THREE: Resource Management......Page 412
  6.1 Introduction......Page 414
  6.2 Zone Runtime......Page 418
  6.3 Booting Zones......Page 422
  6.4 Security......Page 426
  6.5 Process Model......Page 433
  6.6 File Systems......Page 436
  6.7 Networking......Page 440
  6.8 Devices......Page 445
  6.9 Interprocess Communication......Page 452
  6.10 Resource Management and Observability......Page 454
  6.11 MDB Reference......Page 461
  7.1 Projects and Tasks Framework......Page 462
  7.2 The Project Database......Page 465
  7.3 Project and Task APIs......Page 466
  7.4 Kernel Infrastructure for Projects and Tasks......Page 467
  7.5 Resource Controls......Page 470
  7.6 Interfaces for Resource Controls......Page 479
  7.7 Kernel Interfaces for Resource Controls......Page 484
PART FOUR: Memory......Page 492
  8.1 Virtual Memory Primer......Page 494
  8.4 Pages: Basic Units of Physical Memory......Page 495
  8.5 Virtual-to-Physical Translation......Page 496
  8.7 Virtual Memory as a File System Cache......Page 497
  8.8 New Features of the Virtual Memory Implementation......Page 498
  9.1 Design Overview......Page 502
  9.2 Virtual Address Spaces......Page 504
  9.3 Tracing the VM System......Page 513
  9.4 Virtual Address Space Management......Page 514
  9.5 Segment Drivers......Page 523
  9.6 Anonymous Memory......Page 532
  9.7 The Anonymous Memory Layer......Page 534
  9.8 The swapfs Layer......Page 536
  9.9 Virtual Memory Watchpoints......Page 539
  9.10 Changes to Support Large Pages......Page 541
  9.11 MDB Reference......Page 548
  10.1 Physical Memory Allocation......Page 550
  10.2 Pages: The Basic Unit of Solaris Memory......Page 553
  10.3 The Page Scanner......Page 563
  10.4 MDB Reference......Page 572
  11.1 Kernel Virtual Memory Layout......Page 574
  11.2 Kernel Memory Allocation......Page 581
  11.3 The Vmem Allocator......Page 599
  11.4 Kernel Memory Allocator Tracing......Page 609
  11.5 MDB Reference......Page 625
  12.1 HAT Overview......Page 628
  12.2 The UltraSPARC HAT Layer......Page 630
  12.3 The x64 HAT Layer......Page 672
  12.4 MDB Reference......Page 683
  13.1 Determining When to Use Large Pages......Page 686
  13.2 Measuring Application Performance......Page 687
  13.3 Configuring for Multiple Page Sizes......Page 692
PART FIVE: File Systems......Page 702
  14.1 File System Framework......Page 704
  14.2 Process-Level File Abstractions......Page 705
  14.3 Solaris File System Framework......Page 715
  14.4 File System Modules......Page 719
  14.5 The Virtual File System (vfs) Interface......Page 722
  14.6 The Vnode......Page 732
  14.7 File System I/O......Page 754
  14.8 File Systems and Memory Allocation......Page 765
  14.9 Path-Name Management......Page 769
  14.10 The Directory Name Lookup Cache......Page 773
  14.12 File System Conversion to Solaris 10......Page 781
  14.13 MDB Reference......Page 783
  15.1 UFS Development History......Page 784
  15.2 UFS On-Disk Format......Page 786
  15.3 The UFS Inode......Page 798
  15.4 Access Control in UFS......Page 811
  15.5 Extended Attributes in UFS......Page 814
  15.6 Locking in UFS......Page 815
  15.7 Logging......Page 822
  15.8 MDB Reference......Page 837
PART SIX: Platform Specifics......Page 840
 Chapter 16 Support for NUMA and CMT Hardware......Page 842
  16.1 Memory Hierarchy Designs......Page 843
  16.2 Memory Placement Optimization Framework......Page 846
  16.4 Scheduling......Page 849
  16.5 Memory Allocation......Page 850
  16.6 Lgroup Implementation......Page 851
  16.7 MPO APIs......Page 854
  16.8 Locality Group Hierarchy......Page 858
  16.9 MPO Statistics......Page 860
  16.10 MDB Reference......Page 861
  17.1 Synchronization......Page 862
  17.2 Parallel Systems Architectures......Page 863
  17.3 Hardware Considerations for Locks and Synchronization......Page 866
  17.4 Introduction to Synchronization Objects......Page 871
  17.5 Mutex Locks......Page 874
  17.6 Reader/Writer Locks......Page 882
  17.7 Turnstiles and Priority Inheritance......Page 887
  17.8 Kernel Semaphores......Page 891
  17.9 DTrace Lockstat Provider......Page 893
PART SEVEN: Networking......Page 900
  18.1 STREAMS and the Network Stack......Page 902
  18.2 Solaris 10 Stack: Design Goals......Page 909
  18.3 Solaris 10 Network Stack Framework......Page 910
  18.4 TCP as an Implementation of the New Framework......Page 917
  18.5 UDP......Page 922
  18.6 Synchronous STREAMS......Page 925
  18.7 IP......Page 927
  18.8 Solaris Device Driver Framework......Page 929
  18.9 Interrupt Model and NIC Speeds......Page 938
  18.11 MDB Reference......Page 942
PART EIGHT: Kernel Services......Page 946
  19.1 The System Clock Thread......Page 948
  19.2 Callouts and Callout Tables......Page 951
  19.3 System Time Facilities......Page 957
  19.4 The Cyclic Subsystem......Page 959
  20.1 Overview of Task Queues......Page 974
  20.2 Dynamic Task Queues......Page 975
  20.3 Task Queues Kernel Programming Interfaces......Page 979
  20.4 Device Driver Interface for Task Queues......Page 981
  20.5 Task Queue Observability......Page 982
  20.6 Task Queue Implementation Notes......Page 984
  21.1 Introduction......Page 990
APPENDICES......Page 1010
 Appendix A: Kernel Virtual Address Maps......Page 1012
 Appendix B: Adding a System Call to Solaris......Page 1018
 Appendix C: A Sample Procfs Utility......Page 1022
Bibliography......Page 1026
 A......Page 1030
 C......Page 1032
 D......Page 1035
 E......Page 1037
 F......Page 1038
 H......Page 1041
 I......Page 1042
 K......Page 1044
 L......Page 1045
 M......Page 1046
 O......Page 1049
 P......Page 1050
 Q......Page 1054
 R......Page 1055
 S......Page 1056
 T......Page 1061
 U......Page 1064
 V......Page 1065
 Z......Page 1066