Более подробно:
1. u-boot я не собирал, но его исходники можно найти после сборки армбиана в build/cache/sources/u-boot/v2022.07, а команды патчинга и сборки в compile*.txt
2. Ядро клонировал с kernel.org, патчи для ядра находятся в build/patch/kernel/archive/sunxi-5.15, список патчей в той же директории в series.conf. Главное патчи применять в той последовательности, в которой они находятся в series.conf. Пропатчив можно для гарантии диффнуть build/cache/sources/linux-mainline/5.15/. Собирал при помощи команды make -j6 ARCH=arm64 'CROSS_COMPILE=ccache aarch64-linux-gnu-' LOCALVERSION=-sunxi64 Image modules dtbs. Если правильно помню, то должны сгенерироваться deb пакеты с ядром, а dtb будет в arch/arm64/boot/dts. А конфиг ядра брать в build/config/kernel/linux-sunxi64-current.config
4. Символические ссылки должны называться uInitrd и Image

Наверное что-нибудь я упустил, но в любом случае методом тыка можно догадаться как всё настроить. Сверяться по compile*.txt файлу, по сгенерированному образу и по сгенерированным пакетам. Если буду снова собирать дебиан для одноплатника и обнаружу, что что-то в посте надо дополнить, то дополню.