Литературны ли выражения «по новой» и «по новому кругу»?

Скорее да, чем нет.

Для употребления в повседневной речи они вполне уместны, но в официальных документах (служебных записках, объяснительных, заявлениях и т. д.) лучше было бы использовать какой-нибудь лаконичный и лишённый литературных прикрас синоним, например, "вновь".