С запада Челси ограничен рекой Гудзон; с севера по 30 улице он граничит с районами Адская кухня и Швейным кварталом, с востока по 6-й авеню — с «Дамской милей» и Корейским кварталом, с юга по 14-й улице — с Мясоразделочным кварталом. Район находится под юрисдикцией 4-го и 5-го Общественных советов Манхэттена. В Челси входит так называемый «Исторический район Челси», созданный в 1970 году Комиссией Нью-Йорка по охране достопримечательностей. В 1977 году он был внесён в Национальный реестр исторических мест США. Жилая застройка в Челси представлена множеством многоквартирных домов, городских особняков, и малоэтажными жилыми блоками. В районе развита розничная торговля; на западе Челси расположено множество картинных галерей.
Район получил своё название по поместью с георгианским особняком, принадлежавшему отставному британскому майору Томасу Кларку (англ. Thomas Clarke). Поместье располагалось между рекой Гудзон и нынешними 8-й авеню и 21-й и 24-й улицами [1]. Кларк приобрёл его в августе 1750 года и дал ему имя в честь лондонского Челси, родины Томаса Мора. Поместье перешло по наследству дочери Кларка Черити, которая совместно со своим мужем, Бенджамином Муром, докупила земли к югу вплоть до нынешней 19-й улицы [1]. В поместье родился их сын, Клемент Мур. Он стал писателем и литературоведом, известным в том числе по поэме «Визит Святого Николая» и первым в США словарям греческого языка и иврита.
В 1827 году землю поместья, на которой находился яблоневый сад, Мур передал в собственность Епископальной епархии Нью-Йорка. На ней был построен кампус Главной теологической семинарии. В соответствии с Генеральным планом развития Манхэттена от 1811 года, посередине поместья Мура прошла 9-я авеню. Мур поделил прилегающие к авеню земли на отдельные участки и начал продавать их зажиточным горожанам[2]. По условиям сделок, участки не могли использоваться под производственные и коммерческие нужды, а также под конюшни; под запрет попали и архитектурные излишества[1].
В начале XIX века на побережье реки Гудзон происходило развитие промышленной зоны[1]. Оно захватило и Челси. В 1847 году между 10-й и 11-й авеню была проложена железнодорожная линия. Она отделила Челси от реки Гудзон. К началу Гражданской войны в районе к западу от 9-й авеню и к югу от 20-й улицы располагалось множество перегонных мануфактур, производящих скипидар и камфен. На 18-й улице располагалось большое производство коксового газа из каменного угля[3].