La prison d’Azkaban est une immense forteresse située sur une minuscule île au large des côtes et gardées par des Détraqueurs. On dit qu’il est impossible de s’en enfuir, pourtant, deux hommes et deux seulement, ont réussi à s’échapper : utilisant sa capacité de se transformer en chien (c’est un animagus), Sirius Black, le parrain de Harry, a quitté la prison d’Azkaban sans que les Détraqueurs ne s’en aperçoivent, alors qu’on l’y avait injustement enfermé. Ainsi que Barty Croupton. Prenant la place de sa mère, malade, à la suite d’une visite de ses parents. Celle-ci est morte à sa place...

Les Détraqueurs sont des créatures de très grande taille, vêtus d’une cape noire et dont la tête est entièrement recouverte d’une cagoule de même couleur. Celle-ci cache un visage où se trouve à la place des yeux, une peau fine et grise, couverte de croûtes, tendue sur des orbites vides et, à la place de la bouche figure un trou, béant et informe, qui aspire de l’air dans un râle de mort. En fait d’air, ils se nourrissent de bonheur humain, et quiconque s’approche d’un détraqueur se repasse en mémoire les plus horribles moments de sa vie. Il existe un sortilège (formule : Spero Patronum) pour repousser les Détraqueurs. Il consiste à former un patronus (source d’énergie de formes variées ou parfois en bouclier et de couleur argentée lorsque ce sortilège est juste assez fort pour fournir du bonheur au Détraqueur), qui a pour but, normalement, de faire reculer le détraqueur. Mais c’est un sortilège très compliqué que peu de sorciers savent pratiquer.

A la fin du tome 5, les Détraqueurs se soulèvent contre le Ministère de la Magie et laissent s’échapper 10 des plus dangereux Mangemorts.