Рай расположен в двух милях (3,2 км) от морского побережья, на правом берегу реки Ротер. Город стоит на холме.
Рыбацкое поселение на месте нынешнего города существовало ещё до норманнского завоевания. В XIII веке Рай, ставший важным морским портом, вошёл в состав пяти портов (фр. Cinque ports) — группы привилегированных английских портовых городов. В Средних веках Рай неоднократно подвергался нападениям со стороны французов и, реже, испанцев. В 1377 году он был разграблен объединённым кастильско-французским флотом адмиралов Фернандо де Товара и Жана де Вьена). В 1340 году пожертвованный городом на нужды королевского флота 240-тонный корабль «Михаил» участвовал в историческом морском сражении при Слёйсе[1].
В XVIII веке Рай был известен как город контрабандистов. Контрабандисты устроили целую сеть тайников в подвалах и других подземельях города.
Постепенно море отступило, и Рай утратил роль морского порта. Сейчас Рай находится в трёх километрах от моря.
В Рае имеется станция железной дороги, идущей из Брайтона в Эшфорд (Кент) (железнодорожная линия Маршлинк).
Рай обслуживается автобусами маршрута 711 Stagecoach Bus, соединяющего Дувр и Гастингс, а также автобусами маршрута 344. Автобусы ходят с интервалом в один час.