Chaos and Creation in the Backyard vydaný v roku 2005 bol okamžite vítaný ako pokračovanie horúcej série, ktorá zahŕňala Flaming Pie, Run Devil Run a Driving Rain. Album produkoval Nigel Godrich (Radiohead, Beck) a obsahoval singly „Fine Line“ a cenu Grammy „Jenny Wren“ a debutoval na 6. mieste v rebríčku Billboard. V rebríčkoch sa udržal takmer pol roka, zatiaľ čo Paul vystúpil na masívne „US“ Tour. V roku 2007 „Jenny Wren“ vyhrala cenu Grammy za najlepší mužský popový vokálny výkon, zatiaľ čo album bol nominovaný v troch ďalších kategóriách, vrátane albumu roka. Vydanie Chaos z roku 2018 sprístupní album na vinyle po prvýkrát od jeho počiatočného vydania ako 180 gramový čierny vinylový LP alebo CD digipak.
Tracklist:

• A1. Fine Line
• A2. How Kind Of You
• A3. Jenny Wren
• A4. At The Mercy
• A5. Friends To Go
• A6. English Tea
• A7. Too Much Rain
• B1. A Certain Softness
• B2. Riding To Vanity Fair
• B3. Follow Me
• B4. Promise To You Girl
• B5. This Never Happened Before
• B6. Anyway