Bien que les Roms soient arrivés en Europe dans l'Empire byzantin avant le tournant du premier millénaire, vers le début du Xe siècle, les premiers écrits européens concernant les Roms n'apparaissent que vers 1100. Dans un livre sur la vie de saint Georges Mtacmindeli, un moine géorgien du monastère d'Iveron sur le mont Athos a décrit "d'excellents diseurs de bonne aventure" appelés Athinganoi ou Atzinganoi à Constantinople. Dans de nombreux pays, les Roms sont connus sous le nom de Tzigan, Zigeuner, Zingari etc., noms dérivés du mot Atzinganoi.
En 1322, le franciscain Simeon Simeonis a rencontré Roms en Crète, en 1348 et 1362, on trouve des écrits sur les « Czingarije » en Serbie et en Croatie. La plus part des Roms sont restés dans les Balkans jusqu’aux invasions turques.
L’absence de textes antérieurs a 1100, ne signifie pas que les Rroma sont seulement apparus dans l’empire byzantin à cette période. Au contraire, Roms étaient déjà là depuis longtemps. Ils sont arrivés le plus probablement aux Balkans, particulièrement en Thrace, avant la fin du premier millénaire. Comment ils sont arrivés n’est pas sur, mais l’explication la plus probable est qu’ils ont été déportés avec les Arméniens dans ces régions suivant la défaite du Pauliciens par les forces byzantines. Le nom qu’on leur a donné, Athinganoi, correspond à celui d’une secte qui était souvent associée, au moins pendant des périodes byzantines, avec le Pauliciens.
Il faut insister qu’il y a beaucoup de documents à partir du 13e et du 14e siècles qui peuvent se rapporter à des Roms et à leur présence dans divers pays européens. Il est, malheureusement souvent difficile de décider si c’est le cas ou non. Nous avons choisi de nous référer à des documents de lesquels peut raisonnement supposer qu’ils se rapportent à des Roms. Beaucoup d’experts pensent que lorsque les Roms sont arrivés aux Balkans et dans les pays voisins, bon nombre d’entre eux ont trouvé le travail comme forgerons ou dans d’autres activités. La population autochtone avait besoin d’ouvriers, des Roma et de leurs travail. Pour cette raison, la plupart des Roms se sont définitivement installés dans ces pays, construits leurs maisons, villages et quartiers roms (mahalades)
Cela a continué même sous la domination turque. Les Ottomans ont accordé aux travailleurs roms dont ils avaient besoin certains privilèges et certains Roms ont même travaillé pour les troupes irrégulières turques. Ces privilèges sont l'une des raisons pour lesquelles tant de Roms vivent désormais dans les Balkans et dans les régions voisines telles que la Roumanie et la Hongrie.