Here, \(A(\cdot )\)  and \(S(\cdot )\)  represent ANN and SNN models, respectively. Also, \(\tau \)  denotes distillation temperature, and \(m\)  is the balancing coefficient between two losses.
Note that \(L_{KD}\)  is knowledge distillation loss [1]}.
Surprisingly, we found that SNNs (on CIFAR10) with distillation loss almost maintain its performance even with only 100 synthetic training samples (\(0.2\%\)  of the total number of samples in the original CIFAR10 training set).

Здесь \(A(\cdot )\) и \(S(\cdot )\) представляют собой модели ANN и SNN соответственно. Кроме того, \(\tau\) обозначает температуру испарения, а \(m\) - это коэффициент балансировки между двумя потерями.

Обратите внимание, что \(L_{KD}\) - это потеря при передаче знаний \[1\].

Удивительно, что мы обнаружили, что SNN (на CIFAR10) с потерей при передаче знаний практически сохраняет свою производительность, даже с использованием только 100 синтетических обучающих образцов (\(0.2\%\) от общего числа образцов в исходном наборе данных CIFAR10).