Practical PID Handbook, livre ebook

A true practical guide, this book brings together all elements necessary for the practice of PID control in industries. The first part presents the different characteristics of the PID controller: continuous, digital, architectures, realization algorithms implementation. The second part describes different adjustment methods that are practiced in the industry, all illustrated with numerous response curves to show their specificities. We will also find elements concerning simple methods, often graphic, to identify the usual processes to be controlled, without identification software. The book is intended to be practical with many summary tables, for immediate use of knowledge with as few calculations as possible. This book is aimed at students wishing to learn the practice of PID control, as well as teachers, engineers and technicians of the profession.

Contents

Preamble . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . III

CHAPTER 1

Main Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.1 Context . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2 Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1.3 PID Actions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.3.1 Proportional Action . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.3.2 Integral Action . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.3.3 Derivative Action . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

1.4 Different Types of PID . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

1.5 Equivalence of PID . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

1.5.1 Mixed ↔ Parallel Conversion . . . . . . . . . . . . . . . . . . . . . . . . . . 19

1.5.2 Mixed ↔ Series Conversions. . . . . . . . . . . . . . . . . . . . . . . . . . . 19

1.5.3 Parallel ↔ Series Conversions . . . . . . . . . . . . . . . . . . . . . . . . . 23

1.5.4 Summary Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

1.5.5 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

1.6 PID: Frequency Response . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

1.6.1 Series PID . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

1.6.2 Mixed PID . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

CHAPTER 2

Digital PID . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

2.1 Continuous to Digital Transposition . . . . . . . . . . . . . . . . . . . . . . . . . . 37

2.1.1 z-Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

2.1.2 Backward or BW Approximation . . . . . . . . . . . . . . . . . . . . . . . 38

2.1.3 Forward or FW Approximation . . . . . . . . . . . . . . . . . . . . . . . . 38

2.1.4 z-Transformation and Approximation . . . . . . . . . . . . . . . . . . . . 39

2.2 Basic Actions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

2.2.1 Integral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

2.2.2 Derivative . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

2.2.3 Transposition Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

2.3 Digital PID . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

2.3.1 PID Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

2.3.2 RST Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

2.3.3 Correspondence Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

CHAPTER 3

Realization Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

3.1 Sample Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

3.2 Different Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

3.2.1 PID Forms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

3.2.2 RST Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

3.3 Ancillary Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

3.3.1 Manual Mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

3.3.2 Automatic Mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

3.3.3 Limitations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

3.3.4 Direct/Reverse Choice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

3.3.5 Inputs/Outputs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

3.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77

CHAPTER 4

Process Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

4.1 Different Process Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

4.1.1 Stable Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

4.1.2 Integrating Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84

4.1.3 Usual Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

4.1.4 Identification Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86

4.2 Broïda Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88

4.2.1 Open Loop Identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88

4.2.2 Closed Loop Identification (Dindeleux, 1989) . . . . . . . . . . . . . . 89

4.3 2nd Order Model with Delay. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90

4.3.1 Open Loop Identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90

4.3.2 Closed Loop Identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

4.4 Strejc Model (Strejc, 1960) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93

4.4.1 Open Loop Identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93

4.4.2 Closed Loop Identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97

4.5 Reverse Response Strejc Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100

4.6 Integrating Model with Delay . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

4.6.1 Open Loop Identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

4.6.2 Closed Loop Identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104

4.7 Integrator and 1st Order Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104

4.7.1 Open Loop Identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104

4.7.2 Closed Loop Identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107

4.8 Integrating Model and Order n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110

4.8.1 Open Loop Identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110

4.8.2 Closed Loop Identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

4.9 Integrating Reverse Response Model . . . . . . . . . . . . . . . . . . . . . . . . . . 115

4.9.1 Open Loop Identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

VIII Contents

4.9.2 Closed Loop Identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121

4.9.3 Case of Delay . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121

CHAPTER 5

Evaluation of Performances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

5.1 Process Performances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

5.1.1 Step Response . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

5.1.2 Frequency Response . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124

5.2 Adjustment Objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

5.3 Closed Loop Setting Criteria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

5.3.1 Stability Criteria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128

5.3.2 Step Response Criteria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130

5.3.3 1st or 2nd Order Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131

5.3.4 Order n Systems: Naslin Criterion (Naslin, 1968, 1962). . . . . . . 131

5.3.5 Optimization Criteria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134

5.3.6 Frequency Criteria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135

CHAPTER 6

Ziegler–Nichols and Associated Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137

6.1 Ziegler and Nichols Closed Loop Method. . . . . . . . . . . . . . . . . . . . . . . 137

6.2 Ziegler and Nichols Open Loop Method . . . . . . . . . . . . . . . . . . . . . . . 139

6.3 Cohen and Coon Method (Cohen and Coon, 1953) . . . . . . . . . . . . . . . 142

6.4 Takahashi Method (Takahashi et al., 1971) . . . . . . . . . . . . . . . . . . . . . 143

6.5 KT Method of Aström and Hägglund (1995) . . . . . . . . . . . . . . . . . . . . 144

6.5.1 Ultimate Gain Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144

6.5.2 Open Loop Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145

6.5.3 Adjustment Curves. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147

6.6 Performances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148

6.6.1 Stable Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148

6.6.2 Integrating Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153

6.6.3 Process with Delay . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155

6.7 Overview Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157

CHAPTER 7

Cancellation Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159

7.1 Dindeleux Method (Dindeleux, 1989) . . . . . . . . . . . . . . . . . . . . . . . . . 159

7.1.1 Stable Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159

7.1.2 Integrating Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160

7.1.3 Ultimate Gain Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161

7.1.4 Performances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161

7.2 Haalman Method (Haalman, 1965) . . . . . . . . . . . . . . . . . . . . . . . . . . . 170

7.3 Cancellation for 2nd Order . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173

7.3.1 Stable Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173

7.3.2 Integrating Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180

Contents IX

7.4 Direct Synthesis Method and IMC Method . . . . . . . . . . . . . . . . . . . . . 188

7.4.1 Direct Synthesis Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188

7.4.2 IMC Method (Internal Model Control) . . . . . . . . . . . . . . . . . . . 189

7.4.3 PID Controller . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190

7.5 Synthesis Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195

CHAPTER 8

Optimization Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197

8.1 Integral Criterion Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198

8.1.1 Study of Rovira, Murrill and Smith (Rovira et al., 1967) . . . . . 199

8.1.2 Study of Miller, Lopez and Smith (Miller et al., 1967). . . . . . . . 199

8.1.3 Study of Kaya and Scheib (Kaya and Scheib, 1988) . . . . . . . . . 200

8.1.4 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202

8.2 Chien, Hrones and Reswick Method (Chien et al., 1952) . . . . . . . . . . . 203

8.3 Samal Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207

8.4 Choice of a Method. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218

CHAPTER 9

Pole Placement Methods. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219

9.1 Naslin Method (Naslin, 1968, 1962) . . . . . . . . . . . . . . . . . . . . . . . . . . 219

9.1.1 Original Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219

9.1.2 Industrial Method (Chaussard et al., 1967) . . . . . . . . . . . . . . . . 222

9.1.3 Method for Integrating Process . . . . . . . . . . . . . . . . . . . . . . . . 240

9.1.4 Variant for Integrating Process . . . . . . . . . . . . . . . . . . . . . . . . . 244

9.1.5 Method for Integrating Strejc Model . . . . . . . . . . . . . . . . . . . . 249

9.2 Classical Method (Corriou, 2018; Flaus, 1994). . . . . . . . . . . . . . . . . . . 252

9.2.1 Setting Criteria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254

9.2.2 Performances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256

9.2.3 Case of a Derivative on the Measurement . . . . . . . . . . . . . . . . . 259

9.2.4 Use . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261

9.3 Dominant Poles Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261

9.3.1 Principle (Aström and Hägglund, 1995) . . . . . . . . . . . . . . . . . . 261

9.3.2 Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262

9.3.3 Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263

9.4 Choice of a Method. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265

CHAPTER 10

Frequency Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267

10.1 1st Method: Phase Margin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268

10.2 2nd Method: Resonance Factor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272

10.2.1 Examples of Application. . . . . . . . . . . . . . . . . . . . . . . . . . . . 274

10.2.2 Case of Integrating Systems . . . . . . . . . . . . . . . . . . . . . . . . . 276

10.3 Kessler’s Method (Kessler, 1958, 1955) . . . . . . . . . . . . . . . . . . . . . . . 280

10.3.1 2nd Order Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281

X Contents

10.3.2 3rd Order Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283

10.3.3 Performances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287

10.3.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287

10.4 KLV Method (Kessler, Landau and Voda) (Voda and Landau, 1995) 292

10.4.1 Basic Settings. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292

10.4.2 Auto-Calibration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294

10.4.3 KLV 1P Method. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296

10.4.4 KLV 2P Method. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298

10.4.5 Performances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300

10.5 Use and Choice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302

CHAPTER 11

Digital Settings Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303

11.1 Choice of the Sampling Period . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303

11.2 Zero Cancellation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304

11.3 Cancellation Method (Buhler, 1986) . . . . . . . . . . . . . . . . . . . . . . . . . 305

11.3.1 Principle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305

11.3.2 Process. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306

11.3.3 Case of Uncompensated Zeros . . . . . . . . . . . . . . . . . . . . . . . 306

11.3.4 Choice of HD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306

11.3.5 Controller. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307

11.3.6 Use . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309

11.3.7 Examples of Responses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309

11.4 Pole Placement Method (Borne et al., 1993; Landau, 1988) . . . . . . . . 313

11.4.1 Principle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313

11.4.2 Zero Cancellation of B . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314

11.4.3 Pole Placement with RST. . . . . . . . . . . . . . . . . . . . . . . . . . . 314

11.4.4 Process. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315

11.4.5 Use . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315

11.4.6 Summary Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316

11.4.7 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316

11.5 Tracking and Regulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323

11.5.1 Principle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323

11.5.2 Process. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326

11.5.3 Use . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326

11.5.4 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327

11.5.5 Summary Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331

11.6 Choice of a Dynamic d1, d2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331

11.6.1 Choice of Tracking Dynamics . . . . . . . . . . . . . . . . . . . . . . . . 335

11.6.2 Choice of a Regulation Dynamics . . . . . . . . . . . . . . . . . . . . . 338

CHAPTER 12

Adjustments and Use . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349

12.1 Sampling Period . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349

12.1.1 PI Controller . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349

Contents XI

12.1.2 PID Controller . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351

12.2 Filter Factor N (Visioli, 2006) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356

12.3 Model Compliance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357

12.3.1 Broïda Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357

12.3.2 Strejc Model. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 358

12.3.3 Static Gain. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359

12.4 Control Constraints. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360

12.5 Use . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364

12.5.1 Choice of Controller Type . . . . . . . . . . . . . . . . . . . . . . . . . . 364

12.5.2 Choice of an Adjustment Method . . . . . . . . . . . . . . . . . . . . . 365

12.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371

Appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373

Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 401

Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405