В начале XX века гроссмейстерами или вельтмейстерами (нем. Weltmeister «чемпион мира») называли наиболее выдающихся шахматистов того времени — победителей крупных международных соревнований. Среди первых турниров, где выступали только гроссмейстеры (так называемые гроссмейстерские турниры), — Остенде (1905 год вельтмейстеры), Сан-Себастьян (1911 год вельтмейстеры), Петербург — первый турнир гроссмейстеров (1914 год).
В первой половине XX века гроссмейстерами считались А. Алехин, О. Бернштейн, Е. Боголюбов, М. Видмар, Э. Грюнфельд, О. Дурас, Ф. Земиш, X. Р. Капабланка, П. Керес, Эм. Ласкер, А. Лилиенталь, Г. Мароци, Ф. Маршалл, Ж. Мизес, А. Нимцович, Р. Рети, С. Решевский, A. Рубинштейн, 3. Тарраш, С. Тартаковер, Р. Тейхман, Р. Файн, С. Флор, М. Чигорин, К. Шлехтер, Р. Шпильман, Г. Штальберг, М. Эйве, Э. Элисказес, Д. Яновский и ряд других шахматистов.
В СССР звание гроссмейстера учреждено в 1927 году V Всесоюзным шахматным съездом. Первым обладателем звания стал Борис Верлинский в 1929 году, за победу в чемпионате СССР. Его можно считать первым в мире официальным гроссмейстером.
В 1931 году VII Всесоюзный шахматный съезд упразднил звание гроссмейстера, а затем оно было учреждено вновь в 1935 году.
Первым после восстановления звания гроссмейстера СССР был удостоен Михаил Ботвинник за успешное выступление во II Московском международном турнире в 1935 году. Вторым в 1937 году стал Григорий Левенфиш, сыгравший вничью матч с М. Ботвинником и сохранивший звание чемпиона СССР.
Первое положение о звании гроссмейстера СССР утверждено Всесоюзным комитетом по делам физической культуры и спорта при Совете Народного Хозяйства СССР в 1940 году.