Первые следы человека в окрестностях Сюйчжоу относятся к 6-му тысячелетию до нашей эры (культура Давэнькоу).
Легенды утверждают, что император Яо даровал эти земли Пэн Цзу, и отсюда происходит название Пэнчэн (кит. упр. 彭城, пиньинь Péngchéng, буквально: «город Пэна»)
После того, как Китай впервые в истории был объединён в единое централизованное государство, и в империи Цинь было введено деление страны на уезды, в этих местах был создан уезд Пэнчэн (彭城县). В конце существования империи Цинь местным уездом Пэйсянь правил Лю Бан, впоследствии основавший империю Хань и ставший её первым императором.
В античные времена страна делилась на 9 провинций, одной из которых была провинция Сюйчжоу. В эпоху Троецарствия Цао Цао перевёл власти Сюйчжоу в Пэнчэн — с той поры Пэнчэн и называют Сюйчжоу. В последующие эпохи названия «Пэнчэн» и «Сюйчжоу» не раз меняли друг друга.
Во времена империи Суй была создана область Сюйчжоу. Во времена империи Цин она сначала была поднята в статусе до «непосредственно управляемой» (то есть стала подчиняться напрямую властям провинции Цзянсу, минуя промежуточное звено в виде управы), а в 1733 году была поднята в статусе до управы; для удобства администрирования мест, напрямую подчинённых властям управы, был создан уезд Туншань (铜山县). Сюйчжоуской управе (徐州府) подчинялись 1 область и 7 уездов. После Синьхайской революции в Китае была проведена реформа структуры административного деления, и области с управами были упразднены.
В декабре 1937 года эти места были оккупированы японскими войсками и перешли под власть марионеточного прояпонского правительства, которое 19 февраля 1939 года выделило урбанизированную часть уезда Туншань в город Сюйчжоу и сделало его столицей новой провинции Хуайхай.