После кругосветного путешествия и посещения Америки в 1903—1904 годах Зеленко познакомился с педагогом Станиславом Теофиловичем Шацким, совместно с которым впоследствии организовал общество «Сетлемент» по образцу американских общин. Шацкий работал здесь с 1907 по 1916 годы[1].
Выкупив участок и построив дом, они организовали классы, кружки, библиотеку, театр и детскую обсерваторию[1].
В 1908 году «Сетлемент» был закрыт, организаторы арестованы, но вскоре освобождены ввиду отсутствия состава преступления. После этого Александр Устинович уехал на некоторое время в Америку, а Шацкий воссоздал общество, но уже под названием «Детский труд и отдых». В Москве это учреждение пользовалось популярностью[1].
После Октябрьской революции в здании располагалась «Первая опытная станция по народному образованию». В 1918 году Шацким была открыта «Школа радости», впоследствии переименованная в школу № 204 им. Горького. Характерной особенностью учебного заведения была яркая эмоциональная окраска преподавания. Одной из самых известных выпускниц школы стала Л. З. Лунгина.
В конце 1990-х гг. архитектурное сооружение было отреставрировано и реконструировано. В ходе реставрации здание в архитектурном плане значительно упростилось, «удешевилось» и потеряло былое величие. В настоящее время оно приспособлено для делового использования, в нём размещается ряд коммерческих организаций[1].
«Дом Общества „Детский труд и отдых“» является объектом культурного наследия федерального значения[2].