
ASRN: Linear-memory long-range copying with learned proper-time clock [p]
ASRN (Adaptive Sparse Recurrence Network, red de recurrencia dispersa adaptativa) es una capa de modelo de lenguaje que recupera apariciones anteriores exactas con trabajo acotado por pieza: cada pieza atiende solo a sus C compañeros más recientes en casilleros de hash de signo aprendidos y copia la pieza que vino después de cada coincidencia; un reloj de tiempo propio aprendido, Bt = P u≤t βu, fija el olvido αse −κ(Bt−Bs) tanto de los puntajes de recuperación como de una intensidad autoexcitada (de Hawkes) sobre grupos de n piezas repetidos; y una puerta lee esas intensidades y una racha de r
Discussion
Rejoignez la communauté pour réagir et poser vos questions.
Aucun message pour l'instant. Lancez la discussion !