Зачем писали твердый знак в конце слов до 1917 года?

Вы сильно удивитесь (или не очень сильно), но когда-то буквы Ь и Ъ обозначали конкретные звуки, поэтому их присутствие в кириллице очень логичное, просто необходимое. Ь обозначал сверхкраткий и - [i], а Ъ - сверхкраткий [u], звучавший в восточнославянских диалектах как [o].

Да мало ли что в древнерусском языке было - носовые гласные тоже были, но язык постепенно избавлялся от звуков, не вписывавшихся в "генеральную линию". Поэтому "меньшевики" - носовые и редуцированные гласные - постепенно выживались из фонетической системы.

1. В тех случаях, когда Ъ и Ь стояли под ударением либо перед группой согласных, они приобрели больше звучности и превратились в полноценные гласные [o] и [э].
2. В тех же случаях, когда редуцированные находились в слабой позиции (перед слогом с ударный гласным, в абсолютном конце слова), он просто исчезал из слова. Так появились "беглые гласные".

Поэтому слово ДЬНЬ претерпело изменения и стало произноситься не как [d'in'i], а [d'en']. Отсюда и алломорф корня -дн- без гласного: дневной, дневник.

Этот процесс проходил во всех восточнославянских языках и закончился в самых "несдающихся" северных диалектах древнерусского к XIII в., а в основной массе - столетием раньше. С этой поры необходимость в буквах Ь и Ъ отпала. Однако Ь обозначал гласный переднего ряда, то есть такой, перед которым согласный звук смягчается, поэтому буква Ь начала обозначать особенности произношения стоящих перед ней согласных. Согласитесь, есть же разница между словами пыл и пыль. Мелочь, но при обильном чтении облегчает чтение и понимание текста.

У буквы Ъ не было никаких полезных функций, которые оправдывали бы её сохранение вплоть до октября 1918 г. Это значит, что Ъ, как клещ, вцепившийся в конец слова, пережил даже Петровскую реформу правописания, "для красоты" и просто в силу бездумного следования традиции.

Разъединительная функция между приставкой, заканчивавшейся на согласный, и гласной буквой, которая должна обозначать два звука, - единственная сфера применения Ъ. Это очень важный момент, поскольку правильное чтение влияет на смысл: объедать - это отнюдь не просто обедать. На радостях заменили Ъ апострофом, но он смотрелся настолько дико в русском тексте, что Ъ вернули в 1928 под именем "твёрдый знак".

Данный ответ является очень кратким изложением темы "Падение редуцированных в древрерусском языке", изучаемой в вузах. Обычно филологи сидят на этом вопросе приличное время, подробно разбирая все особенности исчезновения-прояснения редуцированных и их последствия для разных восточнославянских языков, я лишь попыталась пересказать её основные моменты простым языком.