22 июля 1812 г. 1-я и 2-я русские армии соединились под Смоленском. Барклай-де-Толли и Багратион вместе торжественно объехали строй приветствующих их солдат. В войсках царило воодушевление, многие были уверены, что теперь война пойдёт по-другому, что отступление окончено. Даже осторожный Барклай, выступавший за продолжение отступления, поначалу был вынужден пойти на уступки большинству офицеров, требовавших решительных действий. Он полагал, что подходящие к Смоленску корпуса французской армии можно будет разбить поодиночке, воспользовавшись их разрозненным положением.
Вскоре после соединения с армией Багратиона Барклай отдал приказ о наступлении на позиции кавалерийского корпуса Мюрата, который, по данным разведки, находился в городке Рудне к западу от Смоленска. Однако, руководя продвижением основных сил русской армии к Рудне, Барклай действовал очень медленно и осторожно, опасаясь неожиданных атак французов.
В это время Наполеон сумел быстро собрать в кулак разрозненные части французских войск, не дав Барклаю разгромить их по отдельности. Французские войска под Смоленском насчитывали около 250 тыс. человек, в то время как в обеих русских армиях было не более 130 тыс. солдат. Наполеон планировал стремительным манёвром выйти в тыл русским войскам, занять Смоленск и перекрыть путь к дальнейшему отступлению.
Поначалу французам действительно удалось обойти армию Барклая и приблизиться к Смоленску. Дорогу к городу преграждала лишь одна дивизия генерала Д. П. Неверовского, наполовину состоявшая из новобранцев – плохо обученных вчерашних крестьян. В сражении с кавалерией Мюрата эта дивизия понесла большие потери и была вынуждена оставить занятые позиции. Но при отходе к Смоленску, делая частые остановки, она внезапно атаковала французских кавалеристов из густого придорожного леса. Потеряв почти треть своего состава, дивизия, тем не менее, благополучно отошла к Смоленску и смогла задержать наступление неприятеля. За это время город успел занять 15-тысячный корпус генерала Раевского.
Утром 4 августа шедший в авангарде французской армии корпус маршала Нея начал штурм Смоленска. Город подвергся артиллерийскому обстрелу. Укрепления Смоленска мало подходили для того, чтобы успешно защищать город небольшими силами. Построенные ещё в начале XVII в., обветшалые крепостные стены и полуразрушенные земляные бастионы были лишены необходимых защитных сооружений для установки артиллерии, так что пушки пришлось установить в предместьях города. Тем не менее корпусу Раевского весь день удавалось успешно держать оборону. К вечеру к Смоленску подошли основные силы армий Багратиона и Барклая, и корпус Раевского был сменён свежими частями.
На следующий день к Смоленску подошли основные силы армии Наполеона, начался генеральный штурм города. От шквального артиллерийского обстрела загорелись деревянные дома, жители массово покидали Смоленск. Французам удалось вытеснить русские войска из предместий города; бои шли под самыми стенами, но прорваться в город французским войскам не удалось.
Несмотря на успешную оборону города, в ночь на 6 августа Барклай отдал приказ об отступлении. По мнению многих генералов, Смоленск можно было ещё долго оборонять, некоторые даже считали возможным переход в наступление на позиции французов. Но Барклай помнил, что французы всё ещё имеют значительное численное превосходство, и опасался, что они могут обойти Смоленск с востока и блокировать русские войска в горящем городе.
Русская армия отступила в полном боевом порядке, успев сжечь мост через Днепр, чтобы затруднить дальнейшее продвижение врага. В тот же день французы вступили в горящий, покинутый большинством жителей город.