В 1892 году Чехов купил имение Мелихово, где лечил местных крестьян, строил школы для крестьянских детей, выезжал в губернии, охваченные голодом, участвовал во всеобщей переписи населения. За годы «мелиховского сидения» было написано 42 произведения, и «Скрипка Ротшильда» стало одним из них.
Создавался рассказ с середины декабря 1893 года до середины января 1894 года и относится к позднему периоду творчества писателя.
Сюжет разворачивается в маленьком городке, который населяли «почти одни только старики» и в котором живёт и работает гробовщиком главный герой — Яков Иванов, которого жители зовут просто Яков, по прозвищу «Бронза».
Помимо основного заработка, Якову приносила доход игра на скрипке, обыкновенно на свадьбах и концертах местечкового оркестра, большинство музыкантов в котором были евреи. Играл он хорошо, но из-за грубого отношения к флейтисту оркестра — Ротшильду, который вызывал у Якова презрение и ненависть за свою жалобную игру, приглашали его не часто и «только в случае крайней необходимости».
Яков по сути своей алчный, жестокосердный человек, никогда не пребывающий в хорошем расположении духа и постоянно терпящий убытки от «сидения сложа руки» в праздники, коих набиралось около двухсот дней в году. Со страшными мыслями герой обыкновенно справлялся с помощью скрипки, струны которой он предпочитал перебирать в темноте, и ему становилось легче.
У Якова Иванова есть жена Марфа. Случилось так, что «шестого мая прошлого года» старуха вдруг занемогла. Занятый подсчётами убытков за год, Яков сразу не обратил внимания на состояние жены: та, казалось, умирала, но была счастлива избавиться от гробов и, собственно, от Якова. Вспомнив, как относился к Марфе за все прожитые вместе годы, герой понял, отчего она на смертном одре выглядит такой посвежевшей и, дождавшись утра, повез её в больницу. Вместо доктора пациентов принимал фельдшер Максим Николаич, про которого говорили, что он хоть и пьющий, но понимает в лечении больше доктора. Взглянув на больную старуху и поинтересовавшись её возрастом (без года семьдесят лет), Максим Николаич сообщает, что старуха и так долго пожила, пора и честь знать. Яков настаивает на том, чтобы Марфе поставили банки или хотя бы пиявок, но получает отказ и предписание поить больную два раза в день порошками и прикладывать холодный компресс. Раздражённый, он уезжает домой и в избе принимается за изготовление гроба, предварительно сняв мерки с притихшей жены.