Второй альбом We Are Not Alone музыканты выпустили спустя два года. В его записи принял участие знаменитый Билли Корган
Второй альбом We Are Not Alone музыканты выпустили спустя два года. В его записи принял участие знаменитый Билли Корган, в прошлом, руководитель успешной альтернативной команды Smashing Pumpkins. Вскоре, группа Breaking Benjamin отправилась в гастрольный тур совместно с Evanescence.
Песня So Cold сыграла значительную роль в альбоме We Are Not Alone, фанатам так понравился этот трек, что группа не могла не выпустить EP/single на тему So Cold. В этом же году выходит So Cold EP, который только повысил рейтинг группы. В EP вошли акустическая версия So Cold, записанная на концерте, саундтрек к компьютерной игре Halo 2 Blow me away, а также ранняя работа группы Lady Bug.
Кроме того, на песни So Cold и Follow Me были сделаны любительские клипы (по игре Half-Life 2 к первой и фильму Torque ко второй), что принесло группе небывалую популярность и увеличило число её фанатов.
В сентябре 2004 года из группы уходит барабанщик Джереми Хаммел, заменённый вскоре Чадом Зелига.
Позже, 28 сентября 2005 года, Джереми Хаммел обращается в Федеральный суд с иском, против Breaking Benjamin, из–за того, что он не получил деньги за написанные им песни. За это он хотел получить 8 миллионов долларов, но 25 октября 2006 года суд отклонил его иск.