Манхэттенвилл ограничивается Западными 122-й, 136-й улицами, рекой Гудзон и Манхэттен-авеню[2]. На юге квартал граничит с кварталом Морнингсайд-Хайтс, на востоке — с центральным Гарлемом, на севере — с кварталом Гамильтон-Хайтс. Манхэттенвилл находится под юрисдикцией 9-го общественного совета Манхэттена[3].
Манхэттенвилл расположен в низине, которая во времена нидерландского владычества называлась «долиной Матери Давида» (нидерл. Moertje David's Vly)[4].. С приходом англичан она стала называться Гарлемской бухтой (англ. Harlem Cove). Во время Войны за независимость на территории Манхэттенвилла произошла битва за Харлем-Хайтс, одним из командующих в которой был Джордж Вашингтон. Защитные сооружения на юге Манхэттенвилла использовались и в Войне 1812 года[5][6]. Ныне на их месте построены жилые комплексы Морнингсайд-Гарденс (англ. Morningside Gardens) и средняя школа № 36.
В 1806 году в низине поблизости от пересечения нынешних Бродвея и 125-й улицы была основана деревня Манхэттенвилл. В ней селились в основном зажиточные квакеры. В деревне был своя паромная станция на реке Гудзон, мельница и пивоварня.[1] Расположенные по соседству, Гарлем и Манхэттенвилл стали наиболее процветающими поселениями Верхнего Манхэттена в XIX веке. К середине столетия население Манхэттенвилла насчитывало около 500 человек.[1]
В 1850 году вдоль Манхэттенвилла была проложена линия железной дороги Хадсон-Ривер. Это привело к наплыву ирландцев-католиков, основавших в 1854 году Церковь Благовещения (англ. Church of the Annunciation, 40°48′58″ с. ш. 73°57′11″ з. д.HGЯO), и немцев, основавших в 1860 году Римско-Католическую церковь Иосифа Обручника (англ. St. Joseph's Roman Catholic Church). После Гражданской войны Манхэттенвилл испытал приток еврейских поселенцев, основавших в 1911 году Старую Бродвейскую синагогу. Также в XIX веке в Манхэттенвилле были основаны Академия монастыря Святого Сердца (позже получившая название Манхэттенвиллский колледж) и Манхэттенский колледж.
С 1904 года, после прокладки компанией IRT новой железнодорожной ветки, Манхэттенвилл стал стремительно развиваться. В начале XX века он стал типичным промышленным кварталом с грузовым портом и многочисленными производствами и складами.[1] На протяжении столетия в Манхэттенвилле селились иммигранты из Кубы, Доминиканы и Пуэрто-Рико. В 1970-х годах, с расширением Колумбийского университета и Барнард-колледжа, в южной части Манхэттенвилла начало заселяться множество студентов и сотрудников учебных заведений. Эта тенденция продолжается и поныне, благоприятно сказываясь на экономике квартала. Так, в начале 2013 года газета The New York Times отмечала повышенный интерес крупных застройщиков к Западной 125-й улице[7]. В начале XXI века Колумбийский университет выкупил к северу от этой улицы[1] 17 акров (6,8 га) земли за 6,3 млрд $[8].