Родился в Москве 11 (22) апреля 1779 года. Отец его был статс-секретарем Екатерины II, мать - из старого рода Хомутовых. Пяти лет мальчик был записан сержантом в лейб-гвардейский Измайловский полк и в 1795 году произведен в прапорщики. Служил в канцелярии московского главнокомандующего. В 1812 году работал в комитете для образования московского ополчения, затем вступил на службу в департамент государственных имуществ. В 1818 году у него отнялись ноги и стало ухудшаться зрение, в 1821 году он окончательно ослеп.
Зная французский и итальянский языки с детства, Козлов изучил английский, немецкий и польский языки. Он обладал феноменальной памятью, ещё сильнее развившейся во время болезни, он знал наизусть почти все сочинения Байрона, Вальтера Скотта, Шекспира, Расина, Тасса, Данте..., всё Евангелие.
Козлов выступил в печати в 1821 году стихотворением "К Светлане". Затем последовал целый ряд крупных и мелких произведений, которые он обыкновенно диктовал своей дочери. В 1824 году появился его "Чернец", в 1826 году - "Невеста Абидосская" Байрона, в 1828 году - "Княгиня Наталия Борисовна Долгорукая" и книжка "Стихотворений", в 1829 году - "Крымские сонеты" Мицкевича и подражание Бернсу: "Сельский субботний вечер в Шотландии", в 1830 году - "Безумная".
Скончался Иван Иванович 30 января 1840 года.
Стихотворение А.Фета, посвященное памяти Козлова «Вечерний звон» (1840 год):
Но что ж, — певец земных страстей,
Ты не умрёшь в сердцах людей! —
Так я мечтал — и надо мной
Пронёсся чрез эфир пустой
Какой-то грусти полный стон,
И я запел - Вечерний звон!