L'arrivée au pouvoir des nazis en l'Allemagne et la deuxième guerre mondiale ontété la pire période pour les Roms. Roms et juifs ont été les seuls groupes ethniques que les nazis allemands ont voué à l'extermination totale. En 1938, Heinrich Himmler a passé une loi appelée « Bekämpfung der Zigeunerplague », littéralement, « bataille contre la peste Tsigane ». Déjà plus tôt, les Allemands avaient arrêté les Roms allemand, pour la plupart des Sinti,et les avaient expédiés dans des camps de concentration. En Autriche, après l’Anschluss de 1938, beaucoup de Roms du Burgenland, où ils avaient été forcé de s’établir par Marie-Thérèse ont été également envoyés aux KZs. Ils ont été enfermés dans des camps comme ceux de Dachau, Buchenwald et Ravensbrück en Allemagne, de Mauthausen, de Lackenbach et à Salzbourg en Autriche.

Ces Roms ont été condamnés à une mort lente due à la famine et au travail forcé ou par meurtre pur et simple.

En 1939, Hitler a envahi la Pologne et en 1941 l'URSS. Beaucoup Roms vivaient dans ces pays. Les nazis, face a une population beaucoup plus élevée, aussi bien pour les Roms que les Juifs, ont développé une autre méthode pour s’en débarrasser. Les « Einsatztruppen » (troupes spéciales) ont simplement assassiné les Roms la où ils vivaient, dans les villages, les villes, sur la route ou dans les bois. Au contraire des camps de concentration, ces troupes n'ont laissé aucune évidence derrière eux, aucun registre documentant les exécutions. Il est donc très difficile de savoir combien de Roms ont été tués par ces Komandos.

En Pologne occupée, pratiquement immédiatement, les Allemands ont créé de nouveaux camps d’extermination (Vernichtungslager). Dans le plus connu, Auschwitz Birkenau, un Zigeunerlager, camp spécial pour les Tsiganes a été ouvert dès le début. Bon nombre des premiers Roms qui y sont arrivés ont bâti le camp principal d’Auschwitz. Les Roms ont aussi été déportés dans le ghetto de Litzmannstadt, un ghetto juif dans la ville polonaise de Lodz. Inutile de dire que dans tous ces camps, plusieurs milliers de Roms ont été assassinés. Dans le camp Tsigane à Auschwitz-Birkenau, les registrent fournissent des informations sur les Roms qui y ont été assassinés : Ils venaient d'Autriche, de Tchécoslovaquie, de France, d'Allemagne, de Hongrie, de Moravie, de Pologne, de Russie entre autres, en bref, de toute les régions occupées par les nazis. Le registre d’Auschwitz contient les noms et d'autres informations sur 20'943 Roms. Beaucoup d’autres, comme il est maintenant connu, ont été simplement envoyés aux chambres à gaz dès leur arrivée dans le camp sans y être enregistré. Les Roms polonais chantent encore une chanson au sujet de ces horreurs :

Ils nous on fait entrer par la porte

Ils nous ont fait sortir par la cheminée.

Les Roms ont été assassinés aussi dans d'autres camps. Les alliés des nazis, tel que les fascistes croates, les « ustasha » ont suivi l’example allemand. Dans leur camp de concentration de Jasenovac, ils ont exterminé des milliers Roms de toute la Yougoslavie.

En Roumanie, une action, encore connue dans les esprits roms sous le nom de « transmission », a été effectuée. Les Roms ont été envoyés à une mort lente par le travail et la famine dans ce qu'on appelait la Transnistrie, le territoire ukrainien sous contrôle roumain. En Bulgarie, de nombreux Roms ont été arrêtés dans les villages et les villes et ont été internés dans des camps, pour le travail forcé, côte à côte avec des Juifs.

Les personnes qui ont analysé l'Holocauste des Roms pendant la Seconde Guerre mondiale affirment maintenant qu'au moins 500 000 Roms ont été assassinés. D'autres avancent le chiffre supérieur de 2'500'000 victimes. La vérité n'est pas connue. L'analyse des archives (camps, exhumations, par exemple dans les États baltes, etc.) donne un nombre très faible (environ 200'000). Ce même écart entre les victimes réelles et les dossiers "officiels" existe également pour les Juifs. Simplement, dans le cas des Juifs, il existe des registres de population d'avant-guerre, alors que dans de nombreux pays, on ne peut que deviner la population tsigane totale d'avant-guerre. Le fait le plus important ne doit pas être occulté par une polémique sur les chiffres : les Roms ont été assassinés pour leur appartenance ethnique, au même titre que les Juifs. Même maintenant, peu de gens connaissent ou ont même entendu parler de cet holocauste des Roms. Il ne reste plus que quelques Roms qui ont survécu aux horreurs des camps de concentration et la plupart ne veulent pas parler de cette période.