8/13/2019 TREND IN nn

1/10

T r e n d s i n N e u r a l N e t w o r k R e s e a r c h

a n d a n A p p l i c a t i o n t o C o m p u t e r V i s i o n

E N N O L I T T M A N N

D e p a r t m e n t o f I n f o r m a t i o n S c i e n c e , B i e l e f e l d U n i v e r s i t y

P . O . B . 1 0 0 1 3 1 , D { 3 3 6 1 5 B i e l e f e l d , F R G e r m a n y

A B S T R A C T

I n r e c e n t y e a r s , a r t i c i a l n e u r a l n e t w o r k s ( A N N s ) b e g i n t o t u r n f r o m a ` b l a c k b o x '

t e c h n i q u e i n t o a s c i e n t i c a l l y w e l l - f o u n d e d r e s e a r c h e l d . W h i l e o r i g i n a l l y i n s p i r e d

b y m o d e l s o f b i o l o g i c a l n e u r o n s , c u r r e n t A N N s a r e p a r t o f n o n - l i n e a r s t a t i s t i c s , t o o .

T h e p a p e r g i v e s a s u m m a r y o f c u r r e n t t r e n d s i n n e u r a l n e t w o r k r e s e a r c h . T y p i c a l

r e p r e s e n t a t i v e s o f t h e m a i n n e u r a l n e t w o r k t y p e s a r e p r e s e n t e d a n d t h e i r a d v a n t a g e s

a n d p r o b l e m s a r e d i s c u s s e d . M a j o r e l d s f o r a p p l i c a t i o n s o f n e u r a l n e t w o r k s a r e

r o b o t i c s a n d c o m p u t e r v i s i o n . A h y b r i d s y s t e m i s p r e s e n t e d c o m b i n i n g c l a s s i c a l

a n d n e u r a l t e c h n i q u e s t o e x t r a c t h a n d o r i e n t a t i o n f r o m r e a l i m a g e s .

1 I n t r o d u c t i o n

I n r e c e n t y e a r s , n e u r a l n e t w o r k s h a v e b e c o m e e s t a b l i s h e d a s a m a j o r t o o l f o r

t a c k l i n g p r o b l e m s f r o m s u c h d i v e r s e e l d s a s p a t t e r n r e c o g n i t i o n , m e d i c a l d i a g n o s i s ,

c o m p o s i t i o n o f m u s i c , t a s k s c h e d u l i n g , s p e e c h r e c o g n i t i o n a n d g e n e r a t i o n , p r o c e s s

c o n t r o l , g a m e p l a y i n g a n d e v e n f o r e c a s t i n g o f b o n d r a t e s . B u t a l t h o u g h i t s o m e t i m e s

s e e m s t h a t n e u r a l n e t w o r k s a r e a d v e r t i s e d a s a n \ u n i v e r s a l a l g o r i t h m i c c u r e " t h a t

i s a b l e t o s o l v e a l m o s t a n y p r o b l e m a t h a n d , s e r i o u s e o r t s a r e m a d e t o i m p r o v e

t h e u n d e r s t a n d i n g o f t h e b a s i c s t r e n g t h s a n d w e a k n e s s e s o f t h e n e u r a l n e t w o r k

a p p r o a c h . A s u m m a r y o f t h e s e c u r r e n t t r e n d s i n n e u r a l n e t w o r k r e s e a r c h w i l l b e

g i v e n i n s e c t i o n 2 .

M o s t o f t h e s u c c e s s f u l c u r r e n t a p p l i c a t i o n s u s e n e u r a l n e t w o r k s t o i m p l e m e n t

s o m e k i n d o f s i g n a l t r a n s f o r m a t i o n t h a t c a n n o t b e c o m p u t e d s a t i s f a c t o r i l y b y a n y

o t h e r m e a n s , b e i t f o r l a c k o f k n o w l e d g e a b o u t t h e u n d e r l y i n g p r o c e s s , o r b e c a u s e

a m o r e t r a d i t i o n a l a p p r o a c h w o u l d t u r n o u t m o r e c o m p l i c a t e d o r e x p e n s i v e . F o r

s u c h t y p e s o f t a s k s , n e u r a l n e t w o r k s o e r a h i g h l y a t t r a c t i v e a p p r o a c h , a n d s i n c e

t h i s t y p e o f t a s k m a y o c c u r i n a w i d e v a r i e t y o f e l d s , n e u r a l n e t w o r k s h a v e p r o v e n

u s e f u l i n v e r y d i v e r s e d o m a i n s . T y p i c a l r e p r e s e n t a t i v e s o f t h e m a i n n e u r a l n e t w o r k

t y p e s a r e p r e s e n t e d i n s e c t i o n 3 a n d t h e i r a d v a n t a g e s a n d p r o b l e m s a r e d i s c u s s e d .

M a j o r e l d s f o r a p p l i c a t i o n s o f n e u r a l n e t w o r k s a r e r o b o t i c s a n d c o m p u t e r

v i s i o n . I f i s s u e s o f p e r c e p t i o n o r m o v e m e n t c o n t r o l a r e c o n c e r n e d w e h a v e n o w h e r e

c o m e e v e n r e m o t e l y c l o s e t o t h e i n f o r m a t i o n p r o c e s s i n g c a p a b i l i t i e s o f e v e n s i m p l e

a n i m a l s , s u c h a s b e e s o r b i r d s . T h e r e f o r e , t o u n d e r s t a n d t h e w o r k i n g p r i n c i p l e s o f

n e u r a l n e t w o r k s , t h e e l d s o f r o b o t i c s a n d c o m p u t e r v i s i o n s e e m t o b e p a r t i c u l a r l y

a d e q u a t e a n d p r o m i s i n g a r e a s , b o t h f o r s t u d y i n g t h e k i n d o f i n f o r m a t i o n p r o c e s s i n g

8/13/2019 TREND IN nn

2/10

t a s k s t h a t a r e w e l l s o l v e d b y b i o l o g i c a l n e t w o r k s , a n d f o r e x p l o r i n g w a y s t o r e p l i c a t e

t h e s e c a p a b i l i t i e s w i t h a r t i c i a l n e u r a l n e t w o r k s . O n e o f t h e k e y p r o b l e m s i s t h e

r o b u s t r e c o g n i t i o n , g r a s p i n g a n d m a n i p u l a t i o n o f o b j e c t s i n a n a r b i t r a r y e n v i r o n -

m e n t . P a r t o f t h i s t a s k i s t h e v i s u a l c o n t r o l o f h a n d m o v e m e n t s . I n s e c t i o n 4 a

h y b r i d s y s t e m i s p r e s e n t e d t h a t c o m b i n e s c l a s s i c a l m e t h o d s a n d n e u r a l n e t w o r k s t o

e x t r a c t t h e h a n d o r i e n t a t i o n f r o m r e a l i m a g e s .

2 C u r r e n t T r e n d s

T h e r e c e n t y e a r s w e r e m a i n l y d o m i n a t e d b y c o n t r i b u t i o n s s h o w i n g w h a t

p r o b l e m s c o u l d b e t a c k l e d b y n e u r a l n e t w o r k s i n p r i n c i p l e . T h e c l a i m o f b i o l o g i -

c a l p l a u s i b i l i t y w a s g r a d u a l l y a b a n d o n e d i n f a v o u r o f n e t w o r k s t h a t s o l v e d a c t u a l

p r o b l e m s . T h u s , t h e c l o s e r e l a t i o n s h i p o f m o s t o f t h e N N a l g o r i t h m s w i t h c l a s s i -

c a l m e t h o d s k n o w n f r o m s t a t i s t i c s i s m o r e a n d m o r e r e d i s c o v e r e d a n d i n s p i r e s t h e

a n a l y s i s o f t h e p r o p e r t i e s o f A N N s a s w e l l a s i m p r o v e m e n t s i n t h e i r p e r f o r m a n c e .

C u r r e n t l y , w e c a n d i s t i n g u i s h v e m a i n s t r e a m s o f r e s e a r c h :

F a i t h f u l m o d e l i n g o f b i o l o g i c a l n e u r a l s y s t e m s o n v a r i o u s l e v e l s

T e c h n i c a l N N s b a s e d o n a n d i m p r o v e d b y s t a t i s t i c a l a n d p r o b a b i l i s t i c m e t h o d s

O p t i m i z a t i o n o f t h e N N d e s i g n

N e w l e a r n i n g m e t h o d s f o r r e a l - w o r l d ( r e a l - t i m e ) a p p l i c a t i o n s

S o l u t i o n - o r i e n t e d h y b r i d s y s t e m s

2 . 1 B i o l o g i c a l n e u r a l s y s t e m s

I n f o r m e r y e a r s , t h e b i o l o g i c a l p l a u s i b i l i t y o f a N N m o d e l w a s a w i d e l y u s e d

c r i t e r i o n t o j u d g e t h e \ n e u r a l " c h a r a c t e r o f a n a p p r o a c h . T o d a y , t h e m e n t i o n e d

a r g u m e n t h a s l o s t s o m e o f i t s i m p o r t a n c e , s i n c e t h e o p i n i o n i s w i d e l y s p r e a d t h a t

i f n a t u r e n e e d e d s o m e a r c h i t e c t u r e o r a l g o r i t h m i t w i l l h a v e f o u n d w a y s t o r e a l i z e

i t i n n e u r a l s t r u c t u r e s . T h e n e w c h a l l e n g e i s t h e f a i t h f u l m o d e l i n g o f b i o l o g i c a l

d a t a . S u c h m o d e l s c o u l d b e a b l e t o p r o v e h y p o t h e s e s a b o u t t h e b i o l o g i c a l s y s t e m

b y s y n t h e s i s a n d s e r v e a s t o o l s t o o p t i m a l l y d e s i g n a n d g u i d e f u r t h e r b i o l o g i c a l

e x p e r i m e n t s . E x a m p l e s a r e m o d e l s t o e x p l a i n t h e s y n c h r o n i z a t i o n p h e n o m e n a , n e t -

w o r k s c o n s i s t i n g o f s p i k i n g n e u r o n s , o r e v e n m o d e l i n g t h e b e h a v i o r o f a s y n a p s e

i t s e l f . A l l t h e s e m o d e l s a r e l i m i t e d t o o n l y o n e o r f e w l e v e l s w i t h i n t h e w h o l e s c o p e

o f p o s s i b l e d e s c r i p t i o n l e v e l s r e a c h i n g f r o m m e m b r a n e p r o c e s s e s t o h i g h - l e v e l v i s i o n

o r l a n g u a g e u n d e r s t a n d i n g .

2 . 2 T e c h n i c a l n e u r a l n e t w o r k s

E v e n n o w a d a y s , N N r e s e a r c h s t i l l h a s a t o u c h o f a l c h e m y . W e d o n o t k n o w

w h a t t y p e ( a n d s t r u c t u r e , s i z e . . . ) o f n e t w o r k s h o u l d b e u s e d f o r w h a t t y p e o f

d a t a , w e d o n o t e v e n k n o w i f t h e r e a r e r u l e s f o r t h i s a t a l l . W e l l - k n o w n m e t h o d s

a r e a p p l i e d i n t h e c o n t e x t o f n e u r a l n e t w o r k s t o a n a l y z e t h e p r o p e r t i e s o f g i v e n

8/13/2019 TREND IN nn

3/10

d a t a w i t h i n t e r p r e t a b l e r e s u l t s , t h u s p r o v i d i n g a r m b a s i s f o r f u r t h e r r e s e a r c h .

I n v e s t i g a t i o n s o n t h e u s e o f m u t u a l i n f o r m a t i o n t o a n a l y z e t h e i m p o r t a n c e o f t h e

i n p u t d a t a f o r t h e o u t p u t 1 6 ] w i l l h e l p t o s e l e c t o p t i m i z e d f e a t u r e v e c t o r s . A l s o ,

p r o b a b i l i s t i c m e t h o d s a r e u s e d t o o p t i m i z e l e a r n i n g p r o c e d u r e s w h e r e v e r p o s s i b l e .

T h e i m p l e m e n t a t i o n o f a n o n - l i n e v e r s i o n o f t h e E M a l g o r i t h m f o r t h e t r a i n i n g

o f e x p e r t n e t w o r k s b y J o r d a n a n d J a c o b s 6 ] i s a n e x a m p l e f o r t h i s . W e l l - k n o w n

n u m e r i c a l t e c h n i q u e s c a n b e e n h a n c e d w i t h a d a p t i v e m e t h o d s t o y i e l d a n e t w o r k

a r c h i t e c t u r e w i t h a g r e a t t r a n s p a r e n c y .

2 . 3 O p t i m i z a t i o n o f t h e N N d e s i g n

A h i g h - t e c h n e u r a l n e t w o r k b a s e d o n t h e h e u r i s t i c s o f i t s d e s i g n e r - t h i s i s n o

l o n g e r a s a t i s f y i n g s i t u a t i o n . F u r t h e r m o r e , i t s h o u l d b e n o t e d t h a t i n m o s t c u r r e n t

a p p l i c a t i o n s t h e n e u r a l c o m p o n e n t m o s t l y c o n s i s t s o f a s i n g l e o r a s m a l l n u m b e r o f

\ n e u r a l m o d u l e s " , u s u a l l y o f m o d e r a t e s i z e a n d c o m p l e x i t y , a n d i t i s a m a z i n g t h a t

s u c h s m a l l s y s t e m s c a n a l r e a d y p e r f o r m t h e t a s k s t h a t h a v e b e e n d e m o n s t r a t e d s o

f a r . T h i s m a y g i v e u s s o m e n o t i o n o f w h a t p e r f o r m a n c e m a y b e e x p e c t e d i f w e

m a n a g e t o m o v e a r t i c i a l n e u r a l s y s t e m s c l o s e r t o t h e l e v e l o f c o m p l e x i t y t h a t w e

o b s e r v e e v e n i n s i m p l e b i o l o g i c a l n e u r a l s y s t e m s .

T h r e e b a s i c a p p r o a c h e s d e a l w i t h t h i s p r o b l e m . G e n e t i c a n d e v o l u t i o n a r y

a l g o r i t h m s c a n b e u s e d n o t o n l y t o t r a i n n e t w o r k s b u t a l s o t o s e l e c t a n d e v o l v e n e t -

w o r k s t r u c t u r e s f r o m n e t w o r k p o p u l a t i o n s ( f o r a n i n t r o d u c t i o n , c f . 3 ] ) . I n c r e m e n t a l

a p p r o a c h e s l i k e t h e c a s c a d e c o r r e l a t i o n a p p r o a c h b y F a h l m a n 1 ] , t h e c a s c a d e a r c h i -

t e c t u r e b y L i t t m a n n a n d R i t t e r 1 0 ] , o r t h e G C S b y F r i t z k e 2 ] , s t a r t w i t h v e r y s m a l l

n e t w o r k s t h a t g r o w u n t i l a c e r t a i n c r i t e r i o n i s m e t . T h e o p p o s i t e a p p r o a c h i s r e p r e -

s e n t e d b y p r u n i n g m e t h o d s l i k e t h e o p t i m a l b r a i n s u r g e o n 4 ] , w h e r e \ u n n e c e s s a r y "

w e i g h t s o r n o d e s a r e c u l l e d f r o m a n i n i t i a l l y o v e r s i z e d n e t w o r k .

2 . 4 N e w l e a r n i n g m e t h o d s

T h e o v e r w h e l m i n g p a r t o f p u b l i c a t i o n s i s c o n c e r n e d w i t h s u p e r v i s e d l e a r n i n g

s o f a r . R e a l - w o r l d a p p l i c a t i o n s , h o w e v e r , r e q u i r e o n - l i n e l e a r n i n g f r o m f e w e x a m -

p l e s , p r o c e s s i n g o f t i m e - v a r y i n g s i g n a l s o r p r e d i c t i v e c o n t r o l . A s p e c i a l i s s u e o f I E E E

T r a n s c a t i o n s o n N N o n r e c u r r e n t n e t w o r k s i s a b o u t t o a p p e a r . A u t o n o m o u s s y s -

t e m s n e e d u n s u p e r v i s e d l e a r n i n g a p p r o a c h e s l i k e r e i n f o r c e m e n t l e a r n i n g ( Q l e a r n i n g ,

D y n a Q ) . A f u r t h e r k e y i s s u e a r e s t r a t e g i e s t o l e a r n a c t i v e l y , t o e x p l o r e t h e e n v i r o n -

m e n t , i n s t e a d o f p a s s i v e l y t r a n s f o r m i n g e x a m p l e s i n t o w e i g h t s . T h e v a s t a m o u n t

o f i n f o r m a t i o n w e r e c e i v e i f w e e x p l o i t v i s u a l i n f o r m a t i o n l e a d s t o t h e d e m a n d f o r

m e t h o d s t o g u i d e s o m e f o c u s o f a t t e n t i o n i n o r d e r t o r e d u c e t h e i n f o r m a t i o n t o a

r e a s o n a b l e a m o u n t .

2 . 5 S o l u t i o n - o r i e n t e d h y b r i d s y s t e m s

A l t h o u g h m a n y p r o j e c t s a i m a t a p p l i c a t i o n s , t h e n u m b e r o f n e u r a l n e t w o r k s

b e i n g u s e d i n t h e e l d i s r a t h e r s m a l l . O f t e n , t h e N N a p p r o a c h d o e s n o t l e a d t o

a s u b s t a n t i a l p e r f o r m a n c e i m p r o v e m e n t s o t h a t t h e r e i s n o n e e d t o a b a n d o n t h e

e s t a b l i s h e d , w e l l - u n d e r s t o o d t e c h n i q u e s . S o f a r , w e c a n n o t p r e d i c t r e l i a b l y w h a t

p e r f o r m a n c e c a n b e e x p e c t e d a n d w h a t e o r t m u s t b e m a d e t o s o l v e a g i v e n t a s k

8/13/2019 TREND IN nn

4/10

w i t h a N N a p p r o a c h .

T h u s , i f w e a i m a t a p p l i c a t i o n s f o r t h e p r a c t i c a l u s e , w e m u s t a c c e p t t h a t

A N N s a r e e m p l o y e d f o r o n l y p a r t o f a c o m p l e x t a s k . S i n c e t h e r e i s a l a c k o f m e t h o d s

t o t r a i n v e r y l a r g e s y s t e m s , p r o b l e m s m u s t b e d e c o m p o s e d i n t o p a r t s a s i t c a n b e

d o n e e . g . b y s e m a n t i c n e t w o r k s . W h e r e v e r e x p l i c i t k n o w l e d g e o r e x a c t m e t h o d s

a r e a v a i l a b l e t h e y d e n i t e l y s h o u l d b e u s e d t o r e d u c e t h e c o m p l e x i t y o f t h e r e m a i n -

i n g p r o b l e m s . W h e n e v e r t h e d e c o m p o s i t i o n i s t o o c o m p l e x o r n o e x a c t k n o w l e d g e

a b o u t t h e u n d e r l y i n g p r o c e s s e s a v a i l a b l e , A N N s s h o u l d b e t a k e n i n t o a c c o u n t . T h i s

r e q u i r e s a c l o s e c o o p e r a t i o n o f e x p e r t s f r o m v a r i o u s e l d s .

3 B a c k p r o p a g a t i o n v s . S e l f - O r g a n i z i n g M a p s

T h e t w o m o s t i m p o r t a n t n e t w o r k t y p e s i n s u p e r v i s e d l e a r n i n g a r e m u l t i -

l a y e r p e r c e p t r o n s ( M L P ) t r a i n e d b y e r r o r - b a c k p r o p a g a t i o n ( o r v a r i a t i o n s ) a n d s e l f -

o r g a n i z i n g m a p s w i t h t h e e x t e n s i o n t o l e a r n i n g v e c t o r q u a n t i z a t i o n ( L V Q ) o r l o c a l

l i n e a r m a p s ( L L M ) .

3 . 1 M u l t i - l a y e r p e r c e p t r o n s

S i m p l e p e r c e p t r o n s h a v e b e e n p r o v e d t o b e r e s t r i c t e d t o t h e s o l u t i o n o f l i n -

e a r l y s e p a r a b l e p r o b l e m s . T h e s e l i m i t a t i o n s d o n o t a p p l y t o f e e d - f o r w a r d n e t w o r k s

w i t h \ h i d d e n " l a y e r s b e t w e e n t h e i n p u t a n d o u t p u t l a y e r a n d n o n l i n e a r u n i t s a t l e a s t

i n t h e h i d d e n l a y e r . W i t h t h e r e i n v e n t i o n o f a s u i t a b l e l e a r n i n g r u l e b y R u m e l h a r t

e t a l . 1 5 ] t h e t r a i n i n g o f s u c h n e t w o r k s b e c a m e t r a c t a b l e . T h e m a j o r i t y o f c u r r e n t

r e s e a r c h p r o j e c t s i n v o l v e s M L P s o r r e l a t e d a p p r o a c h e s .

T h e l a y e r s c o n s i s t o f u n i t s t h a t c a l c u l a t e a w e i g h t e d s u m o f t h e i r i n p u t s f o l -

l o w e d b y s o m e n o n l i n e a r o p e r a t i o n i n t h e c a s e o f n o n l i n e a r u n i t s . F o r t h e a d a p t a t i o n

o f t h e w e i g h t s a c o s t f u n c t i o n i s d e n e d . U s i n g g r a d i e n t d e s c e n t , t h e r e s u l t i n g e r r o r

c a n b e b a c k p r o p a g a t e d t h r o u g h t h e n e t w o r k a n d t h e w e i g h t s b e u p d a t e d a c c o r d i n g

t o t h e d e l t a r u l e ( f o r a f u l l a c c o u n t , c f . 5 ] ) .

3 . 2 L o c a l l i n e a r M a p s

L L M n e t w o r k s h a v e b e e n i n t r o d u c e d b y R i t t e r ( 1 2 , 1 4 ] ) . T h e y a r e r e l a t e d t o

s e l f - o r g a n i z i n g m a p s 7 ] a n d t h e G R B F - a p p r o a c h . T h e a r c h i t e c t u r e i s c o m p u t a t i o n -

a l l y e c i e n t a n d l e a r n s f a s t . B a s i c a l l y , i t a p p r o x i m a t e s a n o n - l i n e a r t r a n s f o r m a t i o n

b y a s e t o f l o c a l l y v a l i d , l i n e a r m a p p i n g s ( F i g . 2 ) , w h e r e m a p p i n g r ( r = 1 : : : N , N

b e i n g t h e n u m b e r o f \ u n i t s " o f t h e n e t w o r k ) i s g i v e n b y

y

r

= w

( o u t )

r

+ A

r

( x ? w

( i n )

r

) ( 1 )

H e r e , x d e n o t e s t h e i n p u t v e c t o r , w

( i n )

r

2 I R

L

a n d w

( o u t )

r

2 I R

M

( \ i n p u t " a n d \ o u t p u t

w e i g h t v e c t o r " ) a r e e l e m e n t s o f t h e i n p u t a n d o u t p u t s p a c e ( o f d i m e n s i o n a l i t y L

a n d M , r e s p . ) , a n d A

r

i s a M L - m a t r i x . T h e o u t p u t o f t h e n e t w o r k i s a w e i g h t e d

s u p e r p o s i t i o n o f t h e o u t p u t s y

r

o f t h e i n d i v i d u a l m a p s . I n t h e s i m p l e s t c a s e , t h e

c o n t r i b u t i o n o f t h e m a p s w i t h t h e m i n i m a l d i s t a n c e i n t h e i n p u t s p a c e i s u s e d

( \ w i n n e r - t a k e - a l l " - n e t w o r k ) . T h i s l e a d s t o a t e s s e l a t i o n o f t h e i n p u t s p a c e .

8/13/2019 TREND IN nn

5/10

S

Input vector

Bias

S

S

S

S

Hidden layer

S

S

S

Output units

S

F i g u r e 1 : M u l t i - l a y e r p e r c e p t r o n

Output Space

Units

Input Space

Matrix

F i g u r e 2 : L L M N e t w o r k

T o p e r f o r m t h e r e q u i r e d t r a n s f o r m a t i o n b e t w e e n i n p u t a n d o u t p u t s p a c e t h e

n e c e s s a r y v a l u e s o f t h e n e t w o r k p a r a m e t e r s a r e l e a r n e d d u r i n g a t r a i n i n g p h a s e .

F o r t h i s p u r p o s e c o r r e c t i n p u t - o u t p u t p a i r s ( x

( )

y

( )

) , = 1 2 ; : : : T , o f a s e t o f T

t r a i n i n g s a m p l e s a r e p r e s e n t e d r e p e a t e d l y a n d i n a r a n d o m s e q u e n c e . T h e i n p u t

a n d o u t p u t w e i g h t v e c t o r s a s w e l l a s t h e m a t r i x c o e c i e n t s a r e a d a p t e d a c c o r d i n g

t o t h e f o l l o w i n g s i m p l e e r r o r - c o r r e c t i o n r u l e s :

w

( i n )

s

=

1

( x

( )

? w

( i n )

s

)

w

( o u t )

s

=

2

( y

( )

? y

( n e t )

) ? A

s

w

( i n )

s

A

s

=

3

( d

2

s

)

1

( y

( )

? y

( n e t )

) ( x

( )

? w

( i n )

s

)

T

D u r i n g t h i s a d a p t a t i o n p r o c e s s e a c h t r a i n i n g s t e p p a r a m e t e r

i

d e c a y s e x p o n e n t i a l l y

f r o m a l a r g e i n i t i a l v a l u e t o a s m a l l n a l v a l u e .

3 . 3 C o m p a r i s o n

M a i n f e a t u r e s o f t h e M L P a r e t h e f a s t r e c a l l d u e t o t h e i n h e r e n t p a r a l l e l i t y

a n d t h e f o r m i n g o f i n t e r n a l r e p r e s e n t a t i o n s i n t h e h i d d e n l a y e r ( s ) . T h e p r o b l e m s

o f l o c a l m i n i m a a n d s l o w l e a r n i n g p r o g r e s s h a v e g i v e n r i s e t o a v a r i e t y o f p a r t i a l l y

u s e f u l e n h a n c e m e n t s l i k e t h e i n c l u s i o n o f m o m e n t u m t e r m s o r h i g h e r o r d e r l e a r n i n g

r u l e s s u c h a s q u i c k p r o p . T h e m a i n p r o b l e m , h o w e v e r , t h e o p t i m a l s t r u c t u r e a n d

l e a r n i n g r a t e f o r a g i v e n t a s k , i s f a r f r o m b e i n g s o l v e d .

L L M s a r e v e r y f a s t t o t r a i n a n d a r e q u i t e r o b u s t a g a i n s t g e t t i n g s t u c k i n

l o c a l m i n i m a . T h i s i s d u e t o t h e u n s u p e r v i s e d f o r m i n g o f t h e i n p u t q u a n t i z a t i o n

a n d t h e g u a r a n t e e d c o n v e r g e n c e o f t h e l i n e a r m a p p i n g p e r f o r m e d b y t h e m a t r i c e s

c o n n e c t e d t o t h e o u t p u t v e c t o r s . T h e c o n g u r a t i o n o f t h e i n p u t r e f e r e n c e v e c t o r s

r e e c t s t h e t o p o l o g y o f t h e i n p u t s p a c e . T h e m a i n d i s a d v a n t a g e i s t h e l o n g s e a r c h

t i m e n e e d e d t o n d t h e \ w i n n e r n o d e " o r , i f m o r e n o d e s c o n t r i b u t e t o t h e o u t p u t ,

8/13/2019 TREND IN nn

6/10

t h e c a l c u l a t i o n o f m a n y o u t p u t s i n s t e a d o f o n e .

4 A h y b r i d s y s t e m f o r h a n d p o s t u r e r e c o g n i t i o n

O n e o f t h e m a i n e l d s f o r a p p l i c a t i o n s o f A N N s i s s i g n a l p r o c e s s i n g a n d

i n t e r p r e t a t i o n . R e c o g n i t i o n a n d d e s c r i p t i o n o f o b j e c t s i s o n e o f t h e m a i n p r o b l e m s

i n c o m p u t e r v i s i o n . F u r t h e r m o r e , t h i s t a s k i s o n e o f t h e k e y c a p a b i l i t i e s r e q u i r e d

f o r t h e s u c c e s s f u l o p e r a t i o n o f b o t h b i o l o g i c a l o r g a n i s m s a n d a r t i c i a l r o b o t s . A k e y

p r o b l e m i n o u r r o b o t l a b i s t h e v i s u a l r e c o g n i t i o n o f a h a n d a n d t h e c h a r a c t e r i z a t i o n

o f i t s o r i e n t a t i o n . T h i s p o s e s a c h a l l e n g i n g v i s i o n p r o b l e m t h e s o l u t i o n o f w h i c h i s

o f g r e a t p r a c t i c a l i n t e r e s t , f o r i n s t a n c e t o f a c i l i t a t e t h e c o n t r o l o f m u l t i n g e r e d

a n t h r o p o m o r p h i c m a n i p u l a t o r s .

I n t h e f o l l o w i n g , a h y b r i d s y s t e m f o r h a n d p o s t u r e r e c o g n i t i o n w i l l b e p r e -

s e n t e d i n c l u d i n g n o t o n l y n e u r a l n e t w o r k s b u t a l s o c l a s s i c a l t o o l s f r o m i m a g e p r o -

c e s s i n g , b o t h a p p r o a c h e s t o g e t h e r o r g a n i z e d i n a s e m a n t i c n e t w o r k . T h e s e q u e n c e

d e m o n s t r a t e s h o w t h e m e t h o d , o r i g i n a l l y l i m i t e d t o c o m p u t e r - r e n d e r e d o r a t l e a s t

p r e s e g m e n t e d i m a g e s , i s i n t e g r a t e d i n t o a s y s t e m t h a t w o r k s w i t h r e a l i m a g e s .

F i g u r e 3 : P o s s i b l e h a n d o r i e n t a t i o n s w i t h e x t r e m e v a l u e s f o r r o l l a n d y a w w h e r e a s p i t c h w a s x e d

a t 0

. ( r o l l , y a w ) h a v e t h e v a l u e s ( a ) ( 3 5

? 5 5

) , ( b ) ( ? 3 5

? 5 5

) , ( c ) ( ? 3 5

0

) , ( d ) ( 3 5

0

)

4 . 1 H a n d p o s t u r e r e c o g n i t i o n

I n o r d e r t o e x t r a c t t h e h a n d o r i e n t a t i o n f r o m i m a g e s o n l y c o n t a i n i n g a h a n d

w i t h a b l a c k b a c k g r o u n d , t h e r e q u i r e d m a p p i n g o f a s u i t a b l e f e a t u r e s p a c e i n t o t h e

o r i e n t a t i o n s p a c e i s l e a r n e d b y a L L M n e t w o r k . T h e i m a g e s s h o w h a n d s w i t h i n a

c e r t a i n r a n g e o f p e r m i t t e d o r i e n t a t i o n s ( F i g . 3 ) . F i r s t , t h e i m a g e i s p r e p r o c e s s e d .

A f t e r t h r e s h o l d i n g , a l a p l a c e l t e r o p e r a t e s o n t h e i m a g e a n d n e g a t i v e l t e r v a l u e s

a r e c l i p p e d . T h e r e s u l t i n g i m a g e m a i n l y c o n t a i n s t h e e d g e i n f o r m a t i o n o f t h e o r i g i n a l

i m a g e a n d f o r m s t h e b a s i s f o r a s u b s e q u e n t o p e r a t i o n w i t h g a b o r l t e r s . T h e s e l t e r s

a r e o r i e n t a t i o n s e n s i t i v e a n d w e l l s u i t e d t o e x p l o i t t h e e d g e i n f o r m a t i o n . W e u s e

a 3 3 \ l t e r g r i d " c e n t e r e d a t t h e a r e a o f i n t e r e s t w i t h f o u r d i e r e n t o r i e n t a t i o n s

a t e a c h g r i d l o c a t i o n . T h e r e s u l t i n g 3 6 - d i m e n s i o n a l f e a t u r e v e c t o r f o r m s t h e i n p u t

f o r t h e L L M n e t w o r k ( s e e a l s o 1 1 ] ) . A t p r e s e n t , t h i s n e t w o r k c a l c u l a t e s t w o o f

t h e t h r e e r e l e v a n t a n g l e s | r o l l a n d y a w | , w h e r e a s t h e t h i r d ( p i t c h ) i s a c o n s t a n t

t h r o u g h a l l i m a g e s .

W h i l e t h i s m e t h o d y i e l d s g o o d r e s u l t s f o r i m a g e s w i t h \ n o " b a c k g r o u n d , i t

8/13/2019 TREND IN nn

7/10

d o e s n o t w o r k w i t h a r b i t r a r y b a c k g r o u n d s .

F i g u r e 4 : C o m p l e x s c e n e s w i t h a r o b o t e r h a n d F i g u r e 5 : O n e - s t e p s k i n - c o l o r a c t i v i t y m a p f o r

t h e i m a g e o f F i g . 4

F i g u r e 6 : S e g m e n t e d i m a g e w i t h i n s t a n c e s o f

h a n d - a r m - c o m p l e x ( e v e r y i n s t a n c e i s m a r k e d b y

o n e g r e y v a l u e )

F i g u r e 7 : O p t i m a l h a n d i n s t a n c e

4 . 2 H y b r i d i m a g e s e g m e n t a t i o n

T h u s , a s e g m e n t a t i o n o f t h e h a n d m u s t p r e c e d e t h e o r i e n t a t i o n r e c o g n i t i o n .

T h e r s t p a r t i s r e a l i z e d b y a L L M n e t w o r k , t o o . A n e t w o r k i s t r a i n e d t o m a p t h e

l o c a l c o l o r i n f o r m a t i o n i n t h e s u r r o u n d o f e a c h p i x e l o n t o a r e a l - v a l u e d \ s k i n - c o l o r

a c t i v i t y " v a l u e ( s e e F i g . 5 f o r a n e x a m p l e ) . T h e t r a i n i n g i s b a s e d o n s a m p l e s f r o m

s u b r e g i o n s o f t w o o f t h e t r a i n i n g i m a g e s . T h e 9 - d i m e n s i o n a l i n p u t f o r e a c h p i x e l

c o n t a i n s t h e R G B v a l u e s o f t h e p i x e l i t s e l f a s w e l l a s t h e a v e r a g e R G B v a l u e s w i t h i n

a 3 3 a n d a 5 5 n e i g h b o r h o o d , t h u s i n t r o d u c i n g a m o d e r a t e a m o u n t o f s p a t i a l

c o n t e x t i n f o r m a t i o n i n t o t h e n e t w o r k .

I n t h e h y b r i d a p p r o a c h , t h e n e t w o r k p r o v i d e s a \ s k i n - c o l o r a c t i v i t y m a p " t h a t

i s t h e b a s i s f o r t h e d e t e c t i o n o f t h e h a n d - a r m - c o m p l e x w i t h c l a s s i c a l a n d k n o w l e d g e -

b a s e d m e t h o d s . T h e s e i n c l u d e r s t a m e d i a n l t e r i n g t o e l i m i n a t e s m a l l r e g i o n s o f

a c t i v i t y . B a s e d o n t h e h i s t o g r a m o f t h e l t e r e d s k i n - c o l o r a c t i v i t y m a p a t h r e s h o l d

8/13/2019 TREND IN nn

8/10

i s c a l c u l a t e d . F o r t h e r e s u l t i n g b i n a r y i m a g e a r e g i o n l a b e l i n g i s p e r f o r m e d ( s e e

F i g . 6 ) . E a c h l a b e l e d r e g i o n i s t r a n s f o r m e d i n t o a n o r m a l i z e d o r i e n t a t i o n b y a

K a r h u n e n - L o e v e t r a n s f o r m a t i o n . F i n a l l y , t h e r e g i o n w i t h t h e s m a l l e s t d i s t a n c e

t o a s u b s p a c e s p a n n e d b y \ e i g e n h a n d s " d e r i v e d f r o m a t r a i n i n g s e t o f h a n d s i s

s e l e c t e d . T h i s m e t h o d i s a d o p t e d f r o m t h e e i g e n f a c e a p p r o a c h ( c f . 1 7 ] ) . B a s e d o n

g e n e r a l k n o w l e d g e a b o u t t h e s h a p e a n d p r o p o r t i o n s o f h a n d s a n d a r m s t h e h a n d i s

e x t r a c t e d f r o m t h e c o m p l e x . T h e r e s u l t i n g r e g i o n i s r e m a p p e d a n d r e p r e s e n t s t h e

a r e a o f i n t e r e s t f o r e v a l u a t i n g t h e o r i e n t a t i o n o f t h e h a n d ( s e e F i g . 7 ) . F r o m t h i s

i m a g e t h e h a n d o r i e n t a t i o n c a n b e e x t r a c t e d a c c o r d i n g t o t h e a p p r o a c h m e n t i o n e d

a b o v e . W i t h t h i s h y b r i d s y s t e m , w e c a n e x t r a c t t h e h a n d r e g i o n f r o m a l l 2 0 0 i m a g e s

o f o u r d a t a b a s e .

F i g u r e 8 : C o m p l e x s c e n e i n l o w r e s o l u t i o n F i g u r e 9 : S e g m e n t e d l o w r e s o l u t i o n i m a g e

F i g u r e 1 0 : C a n d i d a t e r e g i o n s i n l o w r e s o l u t i o n F i g u r e 1 1 : S e g m e n t e d h i g h r e s o l u t i o n i m a g e

4 . 3 N e u r a l i m a g e s e g m e n t a t i o n

I n r e a l i m a g e s , t h e r e a r e l o t s o f s i n g l e p i x e l s w i t h R G B v a l u e s i d e n t i c a l t o

t h o s e o f h a n d p i x e l s . T h i s l e a d s t o a n o i s y s e g m e n t a t i o n r e s u l t . T h e r e f o r e , w e c h o s e

a t w o - s t e p p r o c e s s t o a c c e l e r a t e a n d i m p r o v e t h e n e u r a l s e g m e n t a t i o n . F i r s t , t h e

r e s o l u t i o n i s d e c r e a s e d b y a f a c t o r o f 1 0 ( F i g . 8 ) . T h e s e g m e n t a t i o n o f t h i s b l u r r e d

i m a g e w i t h a s p e c i a l n e t w o r k i s v e r y f a s t ( F i g . 9 ) . N o w o n l y r e g i o n s w i t h a t l e a s t

f o u r c o n n e c t e d p i x e l s a r e s e l e c t e d a s c a n d i d a t e r e g i o n s . U s i n g a t h r e s h o l d w i t h l o w

s e n s i t i v i t y , w e a c h i e v e h i g h s p e c i t y a n d g e t a l m o s t e x c l u s i v e l y h a n d p i x e l s ( a l b e i t

8/13/2019 TREND IN nn

9/10

n o t a l l o f t h e m ) ( F i g . 1 0 ) . I n t h e s e c o n d s t e p , w e u s e t h e c a n d i d a t e r e g i o n s a n d

t h e i r s u r r o u n d i n g a s m a s k s f o r t h e s e g m e n t a t i o n o f t h e o r i g i n a l i m a g e ( F i g . 1 1 ) .

T h i s y i e l d s a s i g n i c a n t r e d u c t i o n i n t h e n u m b e r o f p i x e l s t o b e l t e r e d w i t h t h e

f u l l r e s o l u t i o n . A f t e r t h i s s t e p , t h e a p p r o a c h y i e l d s o n l y o n e ( a n d t h e c o r r e c t ) h a n d

r e g i o n f o r 1 9 0 o f 2 0 0 i m a g e s . T h e f u r t h e r s t e p s o f t h e h y b r i d a p p r o a c h h a v e n o t

b e e n r e p l a c e d y e t , b u t i n v e s t i g a t i o n s a r e u n d e r w a y .

4 . 4 L i g h t i n g c a l i b r a t i o n

A d d i t i o n a l l y , t h e r e s u l t o f t h e s e g m e n t a t i o n b y t h e L L M - n e t w o r k a s s h o w n

i n F i g . 5 s u e r s f r o m t h e v a r i a t i o n s i n t h e i m a g e s i n t r o d u c e d b y c h a n g i n g l i g h t i n g

c o n d i t i o n s , c a m e r a q u a l i t y a n d c a l i b r a t i o n .

O n e p o s s i b i l i t y t o a c h i e v e m o r e r o b u s t n e s s a g a i n s t s u c h e e c t s i s a s o f t -

c a l i b r a t i o n o f t h e i m a g e . T h e i d e a i s s i m i l a r t o t h e w h i t e - c a l i b r a t i o n o f s t a n d a r d

c a m e r a s . W e n e e d a r e f e r e n c e t a b l e i n c l u d i n g w h i t e a n d m a y b e c o l o r e d s p o t s t o b e

s e e n i n a t l e a s t o n e o f t h e i m a g e s o f e a c h s e r i e s w i t h c o n s t a n t c o n d i t i o n s . T h e n ,

t h i s c a l i b r a t i o n i n f o r m a t i o n c o u l d b e u s e d t o t r a n s f o r m t h e a c t u a l R G B v a l u e s o f

t h e i m a g e p i x e l s i n t o t h e v i r t u a l R G B v a l u e s t h e y w o u l d h a v e h a d , i f t h e i m a g e h a d

b e e n t a k e n u n d e r t h e c o n d i t i o n s t h e n e u r a l n e t w o r k s h a d b e e n t r a i n e d f o r .

T h i s t a s k i s n o t p a r t i c u l a r l y d i c u l t i f t h e r e a r e m a n y r e f e r e n c e p o i n t s a v a i l -

a b l e . T h e a i m , h o w e v e r , i s t o n d w a y s t o c a l i b r a t e t h e i m a g e s w i t h o u t p r e - k n o w n

r e f e r e n c e p o i n t s . R a t h e r , i t s h o u l d b e b a s e d o n e x t r e m e v a l u e s o f c o l o r , h u e , s a t u -

r a t i o n , o r i n t e n s i t y i n t h e i m a g e s a n d u s e t h e s e p o i n t s t o p a r a m e t r i z e t h e m a p p i n g

f o r t h e s o f t - c a l i b r a t i o n . A n a r c h i t e c t u r e t h a t s e e m s t o b e p a r t i c u l a r l y s u i t e d f o r t h i s

t a s k i s t h e p a r a m e t r i z e d s e l f - o r g a n i z i n g m a p ( P S O M ) p r o p o s e d b y R i t t e r 1 3 ] .

5 C o n c l u s i o n

T h e s a c r i c e o f t h e b i o l o g i c a l p l a u s i b i l i t y c l a i m h a s o p e n e d t h e n e u r a l n e t -

w o r k r e s e a r c h f o r a v a r i e t y o f n e w m e t h o d s . I n p a r t i c u l a r , w e l l - u n d e r s t o o d s t a t i s t i c a l

t o o l s h a v e f o u n d e n t r a n c e t o t h e d e s i g n a n d i n v e s t i g a t i o n o f n e u r a l a l g o r i t h m s a n d

h e l p t o i m p r o v e o u r u n d e r s t a n d i n g o f t h e w o r k i n g p r i n c i p l e s . F u r t h e r m o r e , t h e s t i l l

e x i s t i n g s k e p t i c i s m t o w a r d s t h e c a p a b i l i t i e s o f A N N s c o u l d b e r e d u c e d , w h i l e t h e

k n o w l e d g e o f n e u r a l n e t w o r k e x p e r t s a b o u t s i m i l a r i t i e s t o c l a s s i c a l a p p r o a c h e s h a s

i n c r e a s e d .

I n o u r a p p l i c a t i o n w e d o n o t c l a i m a n y b i o l o g i c a l p l a u s i b i l i t y . W e h a v e

d e c o m p o s e d t h e p r o b l e m o f t h e d e t e c t i o n o f c o m p l e x o b j e c t s i n r e a l i m a g e s i n t o

s u b t a s k s l i k e t h e r e c o g n i t o n o f h a n d o r i e n t a t i o n , i m a g e s e g m e n t a t i o n , o r c o l o r c a l -

i b r a t i o n . E a c h s u b t a s k e m p l o y s c l a s s i c a l t e c h n i q u e s a s w e l l a s n e u r a l n e t w o r k s

w h e r e v e r i t a p p e a r s t o b e c o n v e n i e n t . W i t h t h i s s y s t e m , w e a c t u a l l y c a n s o l v e t h e

t a s k u n d e r s o m e c o n s t r a i n t s b u t h a v e l o s t t h e e a s e w i t h w h i c h a n y o n e o f u s c a n n d

a n d t r a c k h a n d s i n a n a l m o s t a r b i t r a r y e n v i r o n m e n t . T h e i m p l e m e n t a t i o n o f s y s -

t e m s i n c l u d i n g n e u r a l n e t w o r k s t o s o l v e a c t u a l p r o b l e m s i s n e c e s s a r y t o j u s t i f y t h e

r e s e a r c h i n t h i s e l d a n d t o i n v e s t i g a t e t h e c o m p u t a t i o n a l p o w e r o f t h e a l g o r i t h m s .

N e v e r t h e l e s s , t h e b i o l o g i c a l m o d e l s h o u l d n e v e r b e f o r g o t t e n . L i g h t i n g i n -

8/13/2019 TREND IN nn

10/10

v a r i a n c e o r s e g m e n t a t i o n a r e s y m b o l i c n a m e s f o r p r o p e r t i e s t h a t p r o b a b l y w i l l n o t

e x i s t i n n a t u r e i n t h i s d i s t i n c t n e s s . W e w i l l h a v e t o l e a r n h o w t o c o m p o s e a n d h o w

t o t r a i n l a r g e s y s t e m s s o l v i n g a v a r i e t y o f p r o b l e m s s i m u l t a n e o u s l y . T h u s , w e m i g h t

l e a r n t o e x p l o i t t h o s e s y n e r g e t i c e e c t s t h a t o u r o w n c a p a b i l i t i e s a r e b a s e d o n .

6 A c k n o w l e d g e m e n t s

T h i s w o r k w a s s u p p o r t e d b y t h e G e r m a n M i n i s t r y o f R e s e a r c h a n d T e c h n o l -

o g y ( B M F T ) , G r a n t N o . I T N 9 1 0 4 A O . A n y r e s p o n s i b i l i t y f o r t h e c o n t e n t s o f t h i s

p u b l i c a t i o n i s w i t h t h e a u t h o r .

6 . R e f e r e n c e s

1 . F a h l m a n , S . E . , L e b i e r e , C . ( 1 9 8 9 ) , \ T h e C a s c a d e - C o r r e l a t i o n L e a r n i n g A r c h i t e c t u r e " , i n A d v a n c e s

i n N e u r a l I n f o r m a t i o n P r o c e s s i n g S y s t e m s 2 , e d . D . S . T o u r e t z k y , p p . 5 2 4 { 5 3 2 , M o r g a n K a u f m a n

P u b l i s h e r s , S a n M a t e o , C A .

2 . F r i t z k e , B . ( 1 9 9 3 ) , \ G r o w i n g C e l l S t r u c t u r e s | A S e l f - O r g a n i z i n g N e t w o r k f o r U n s u p e r v i s e d a n d

S u p e r v i s e d L e a r n i n g " , T R - 9 3 - 0 2 6 , I C S I , B e r k e l e y , C A .

3 . G o l d b e r g , D . E . ( 1 9 8 9 ) . G e n e t i c A l g o r i t h m s , A d d i s o n - W e s l e y , R e d w o o d C i t y , C A .

4 . H a s s i b i , B . , S t o r k , D . G . ( 1 9 9 3 ) . \ S e c o n d O r d e r D e r i v a t i v e s f o r N e t w o r k P r u n i n g : O p t i m a l B r a i n

S u r g e o n " , i n A d v a n c e s i n N e u r a l I n f o r m a t i o n P r o c e s s i n g S y s t e m s 5 , e d s . C . L . G i l e s , S . J . H a n s o n ,

J . D . C o w a n , p p . 1 8 8 { 1 9 5 , M o r g a n K a u f m a n P u b l i s h e r s , S a n M a t e o , C A .

5 . H e r t z , J . A . , K r o g h , A . S . , P a l m e r , R . G . ( 1 9 9 1 ) , I n t r o d u c t i o n t o t h e T h e o r y o f N e u r a l C o m p u t a t i o n

A d d i s o n - W e s l e y , R e d w o o d C i t y , C A .

6 . J o r d a n , M . I . , J a c o b s , R . A . ( 1 9 9 3 ) , \ H i e r a r c h i c a l m i x t u r e s o f e x p e r t s a n d t h e E M a l g o r i t h m " , T R - 9 3 0 1 ,

M I T C o m p u t a t i o n a l C o g n i t i v e S c i e n c e , C a m b r i d g e , M A .

7 . K o h o n e n , T . ( 1 9 8 4 ) , S e l f - O r g a n i z a t i o n a n d A s s o c i a t i v e M e m o r y , S p r i n g e r S e r i e s i n I n f o r m a t i o n S c i -

e n c e s 8 , S p r i n g e r , H e i d e l b e r g .

8 . K o h o n e n , T . ( 1 9 9 0 ) , \ T h e S e l f - O r g a n i z i n g M a p " , i n P r o c . I E E E 7 8 , p p . 1 4 6 4 { 1 4 8 0 .

9 . K u m m e r t , F . , L i t t m a n n , E . , M e y e r i n g , A . , P o s c h , S . , R i t t e r , H . , S a g e r e r , G . ( 1 9 9 3 ) . \ A H y b r i d A p -

p r o a c h t o S i g n a l I n t e r p r e t a t i o n U s i n g N e u r a l a n d S e m a n t i c N e t w o r k s " , P r o c . 1 5 . D A G M - S y m p o s i u m

1 9 9 3 , L u b e c k , e d s . S . J . P o p p l , H . H a n d e l s , p p . 2 4 5 - 2 5 2 , S p r i n g e r , H e i d e l b e r g .

1 0 . L i t t m a n n , E . , R i t t e r , H . ( 1 9 9 3 ) . \ G e n e r a l i z a t i o n A b i l i t i e s o f C a s c a d e N e t w o r k A r c h i t e c t u r e s " , i n

A d v a n c e s i n N e u r a l I n f o r m a t i o n P r o c e s s i n g S y s t e m s 5 , e d s . C . L . G i l e s , S . J . H a n s o n , J . D . C o w a n ,

p p . 1 8 8 { 1 9 5 , M o r g a n K a u f m a n P u b l i s h e r s , S a n M a t e o , C A .

1 1 . M e y e r i n g , A . , R i t t e r , H . ( 1 9 9 2 ) , \ L e a r n i n g 3 D - H a n d P o s t u r e s f r o m P e r s p e c t i v e P i x e l I m a g e s " , i n

A r t i c i a l N e u r a l N e t w o r k s 2 , e d s . I . A l e k s a n d e r , J . T a y l o r , p p . 8 2 1 - 8 2 4 , E l s e v i e r S c i e n c e P u b l i s h e r s

( N o r t h H o l l a n d ) .

1 2 . R i t t e r , H . ( 1 9 9 1 ) , \ L e a r n i n g w i t h t h e S e l f - o r g a n i z i n g M a p " , i n A r t i c i a l N e u r a l N e t w o r k s 1 , e d s .

T . K o h o n e n , K . M a k i s a r a , O . S i m u l a , J . K a n g a s , p p . 3 5 7 - 3 6 4 , E l s e v i e r S c i e n c e P u b l i s h e r s ( N o r t h -

H o l l a n d ) .

1 3 . R i t t e r , H . ( 1 9 9 3 ) , \ P a r a m e t r i z e d S e l f - O r g a n i z i n g M a p s " , i n A r t i c i a l N e u r a l N e t w o r k s 3 , e d s . S . G i e -

l e n , B . K a p p e n , p p . 5 6 8 - 5 7 5 , S p r i n g e r , H e i d e l b e r g .

1 4 . R i t t e r , H . , M a r t i n e t z , T . , S c h u l t e n , K . ( 1 9 9 2 ) . N e u r a l C o m p u t a t i o n a n d S e l f - o r g a n i z i n g M a p s

A d d i s o n - W e s l e y , R e a d i n g , M A .

1 5 . R u m e l h a r t , D . E . , H i n t o n , G . E . , W i l l i a m s , R . J . ( 1 9 8 6 ) , \ L e a r n i n g R e p r e s e n t a t i o n s b y B a c k - P r o p a -

g a t i n g E r r o r " , i n N a t u r e , p p . 5 3 3 { 5 3 6 .

1 6 . S t e i l , J . ( 1 9 9 3 ) . \ M a r k o s c h e F e l d e r u n d w e c h s e l s e i t i g e I n f o r m a t i o n i n d e r B i l d v e r a r b e i t u n g " , D i p l o m a

t h e s i s , B i e l e f e l d U n i v e r s i t y , F R G e r m a n y .

1 7 . T u r k , M . P e n t l a n d , A . ( 1 9 9 1 ) . \ E i g e n f a c e s f o r R e c o g n i t i o n " , i n J . C o g . N e u r o s c i e n c e 3 ( 1 ) , p p . 7 1 { 8 6 .