До XVIII века регион, имеющий обширные плодородные земли, оставался малозаселённым по причине сурового климата и короткого лета. В 1886 году на этой территории появился небольшой торговый пост Дунсин (кит. упр. 东兴镇, пиньинь: Dōngxìng zhèn).
С 1906 года в провинции Хэйлунцзян началась ликвидация системы военной администрации, стали вводиться структуры гражданского управления, и эти земли оказались в подчинении Иланьской управы (кит. упр. 依兰府, пиньинь: Yīlán fǔ), а в 1910 году был официально образован уезд Хуачуань (кит. упр. 桦川县, пиньинь: Huàchuān xiàn), правление которого разместилось в посёлке Дунсин. Впоследствии выяснилось, что в другом месте уже имеется посёлок с названием «Дунсин», поэтому этот посёлок был переименован в Цзямусы. В 1912 году правление уезда переехало в посёлок Мэньлай (кит. упр. 悦来镇, пиньинь: Yuèlái zhèn).
В 1932 году в Маньчжурии японцами было создано марионеточное государство Маньчжоу-го. В августе 1934 года в Цзямусы вернулось правление уезда Хуачуань, а 1 декабря 1934 года в Маньчжоу-го было произведено изменение административно-территориального деления, и в посёлке Цзямусы разместилось правительство новой провинции Саньцзян. В 1937 году посёлок Цзямусы получил статус города. В 1937—1938 годах была проложена железная дорога в Суйхуа, Харбин и Муданьцзян.
В ходе советско-японской войны 17 августа 1945 года Цзямусы был занят силами 15-й армии и Амурской военной флотилии 2-го Дальневосточного фронта. Освобождённый от японских оккупантов город перешёл под контроль советской военной администрации.
После окончания Второй мировой войны город Цзямусы стал столицей новой провинции Хэцзян, и такое положение было подтверждено принятой 5 июня 1947 года правительством Китайской республики программой нового административного деления Северо-Востока. Однако правительству Китайской республики так и не удалось установить в провинции свою администрацию: уже в ноябре 1945 года было образовано Народное правительство провинции Хэцзян, ведущую роль в котором играли китайские коммунисты. После вывода весной 1946 года с территории Маньчжурии советских войск народно-демократическая администрация полностью контролировала и город, и провинцию. В мае 1949 года коммунистические власти присоединили провинцию Хэцзян к соседней провинции Сунцзян (которая, в свою очередь, была в 1954 году присоединена к провинции Хэйлунцзян). Цзямусы стал административным центром округа Хэцзян (кит. упр. 合江地区, пиньинь: Héjiāng dìqū).
1 января 1985 года округ Хэцзян был ликвидирован, а вместо него был образован городской округ Цзямусы (бывший город Цзямусы превратился в несколько районов городского округа). В 1987 году уезды Лобэй и Суйбинь были переданы в состав городского округа Хэган, а уезд Цзисянь — в состав городского округа Шуанъяшань. В 1991 году уезд Илань был передан в состав города субпровинциального значения Харбин.