Я придумал себе личный тест нейронок. "Перечисли двести Х", птиц, енотов, чего угодно. Двести чего угодно отлично показывают сколько раз она произвольно накосячит в двухстах строках кода, плюс минус. Так как все двести нужно стабильно "понимать" логику и ее держать. Сейчас уже с шестой птицы идут косяки нередко и на двести их десяток другой косячных. В целом это показывает, что для кодогенерации они "самостоятельно" непригодны на данный момент.