29

courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

  • Upload
    others

  • View
    10

  • Download
    0

Embed Size (px)

Citation preview

Page 1: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

������ ������������� �� ���� ������� �������

������� � �� ������ �! "#$$% ��&���'(��� )������*��(� +�,-���-�!

.�$$�(�#$���$ )�$���#�� -/ 0�(��-�-*!1�%,���*� 2 .& 34567

8-9�%,�� 4: 2 577;

<=>?@AB?CDEFGH IFJKLMN FGL IOMKFP MN MOFIG E FGN QKGLH RS IOTDMFIKUKOH FGL TOGOIFMV

KWFUKRGH X YO JIRJRHO F GRZOM E RLOM RS SFHU MOFIGKGT U[FU O\J MRKUH U[O JIRJ OIUKOHRS HJFIHO IOJIOHOGUFUKRGH FGL U[O ]RGHUIFKGUH KEJRHOL PN F JMFDHKPMO [FIL^FIOE O][FGKHE X _R LOERGHUIFUO RDI FJJIRF][ ^O LOH]IKPO F ]REJDUFUKRGFM ERLOM RSF]`DKHKUKRG KG U[O LRE FKG RS ERIJ[RJ[RGRMRTNX YO OG]FJHD MFUO J[RGRMRTK]FM KGVSRIE FUKRG FH P KLKIO]UKRGFM PRRMOFG ]RGHUIFKGU IOMFUKRGH RJOIFUKGT RG U[O ]MFHHK]FMMKGTDKHUK] IOJIOHOGUFUKRGH RS HJ OO][ HRDGLH KG UOIE RS LKHUKG]UKZO SOFUDIOH X _[OJOISRIE FG]O ERLOM KH LOH]IKP OL FH F [FIL^FIO E O][FGKHE U[FU KG]IOE OGUFMMNOGSRI]OH U[O ]RGHUIFKGUH X a[RGRMRTK]FM P O[FZKRI FIKHOH SIRE U[O F]UKRG RS U[KHE O][FGKHE X bRGHUIFKGUH FIO KGLD]OL SIRE F ]RIJDH RS ]REERG cGTMKH[ GRDGHFGL ZOIPH X _[O KGLD]UKRG FMTRIKU[E ]REJKMOH U[O ]RIJDH KGUR KG]IOFHKGTMN HRJ[KHVUK]FUOL ]RGHUIFKGUH X _[O FMTRIKU[E NKOMLH RGOVH[RU MOFIGKGT SIRE F SO^ O\FEJMOH XdDI ERLOM [FH POOG KEJMOE OGUOL FH F ]REJDUOI JIRTIFE X _[O JIRTIFE O\V[ KPKUH J[RGRMRTK]FM PO[FZKRI HKE KMFI UR U[FU RS NRDGT ][KMLIOG X e H F PRGDH U[O]RGHUIFKGUH U[FU FIO F]`D KIOL ]FG PO KGUOIJIOUOL FH ]MFHHK]FM MKGTDKHUK] IDMOH X

f ghijklm nopqrsprsptpupvwx yrzqy{ q{rq{y{t|z|}pt x ~zy| u{zqt }tv x q�u{ }t���|}pt x uztv�zv{

u{zqt }tv�j����� ���jk����j� n

� ����� �� �� ���� x � ���������� �x �� �� �� x � � ¡{�stpupvw ¢£�zq{ x ¤ ¥¡ x ¦zo�§q}�v{ x ¤¨ ©���ª «

Page 2: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

� �����������

¡s{ z§}u}|w |p u{zqt }y z szuuo zq p~ }t|{uu}v{t�{ « ��ozty qzr }� uw zt� q{u}z§ uw u{zqtoztw }t�y p~ q{v�uzq}|}{y zt� v{t{qzu}�z|}pty « ¨tw u{zqt}tv |s{pqw o�y| { ruz}t|s{ y{zq�s zt� q{rq{y{t|z|}pt §}zy{y |sz| oz{ ~zy| zt� qp§�y| u{zqt}tv r pyy}§ u{ « �{rqpr py{ z op�{u p~ }t�q{o {t|zu pt{�ysp| u{zqt }tv |sz| { r up}|y |s{ rqpr{q|}{y p~ yrzqy{q{rq{y{t|z|}pty zt� |s{ �pty|qz}t|y }orpy{� §w z ruz�y}§ u{ szq��zq{ o {�szt}yo «

��q rzq|}��uzq ywy|{o �{y}vt }y �pty}y|{t| � }|s �sz| wp� �p�u� { r {�| p~ �por�|{q{tv}t{{qy « �{ |s}t tz|�qzuuw }t |{qo y p~ ys}~| q{v}y|{qy x § }�}q{�|}ptzu �pty|qz}t|{u{o{t|y x § }| �{�|pqy x zt� vq{{�w u{zqt}tv zuvpq}|so y « �{ {t� }y}pt |s{y{ o {�szt}yo y|p §{ rzq| p~ z y{| p~ �porz|}§ u{ �porpt{t|y �zy |spy{ }t z ¡¡� �z|z § pp� |sz| �zt§ { o } {� zt� oz|�s{� |p �pty|q��| z �zq}{|w p~ u{zqt}tv op�{uy «

¡s{ r {q~pqozt�{ op��u{ }y }oru{o {t|{� zy z t{|�pq p~ �pty|qz}t| {u{o{t|y zt�y{�{qzu �z|z q{v}y|{qy « ¡s{ �pty|qz}t| {u{o {t|y z||{or| |p � uu }t o }yy}tv }t~pqoz|}pt}t |s{ �z|z q{v}y|{qy « ¡s}y o{�szt}yo zuup� y }t~pqoz|}pt |p § { �y{� o�u|}� }q{�|}pt�zuuw � |s{q{ zq{ tp �}y|}tv� }ys{� }tr�| pq p�|r�| r pq|y « ¡s{q{ zq{ |�p § {t{� |y p~pqvzt}� }tv |s{ r {q~pqozt�{ op��u{ zqp�t� �pty|qz}t|y « ¤ }yy}tv �z|z �zt p~|{t § {� uu{� }t x �pt~{qq}tv z �{vq{{ p~ tp}y{ }oo�t}|w« ¨ uyp x |s{q{ }y tp t{{� ~pq z��}|}ptzuo{�szt}yo y |p oz}t|z}t �pqq{uz|}pty § {|�{{t y{rzqz|{ q{rq{y{t|z|}pty |sz| o {�}z|{}tr�| zt� p�|r�| «

¡s{ u{zqt}tv op��u{ }t�q{o {t|zuuw §�}u�y |s{ r {q~pqozt�{ op��u{ §w z§y|qz�|}tvq{v�uzq}|}{y ~qpo |s{ �z|z « �p|s |s{ qz� �z|z zt� |s{ v{t{qzu}�z|}pty zq{ q{rq{y{t|{�zy �{�|pqy }t z s }vs��}o {ty}ptzu ~{z|�q{ yrz�{ « ¡s{y{ �{�|pqy zq{ }oru{o{t|{� zy |s{�pty|qz}t| {u{o{t|y p~ |s{ r {q~pqozt�{ op��u{ «

¨ {w |p ~zy| u{zqt }tv }y yrzqy{t{yy p~ |s{ s}vs��}o{ty}ptzu ~{z|�q{ yrz�{ « ¡s}yzuup� y y}or u{ swr {qr uzt{y |p y{rzqz|{ �u�y|{qy p~ { zoru{y « ¨ y z �pty{£�{t�{ x zrzqy}opt}p�y �{y�q}r|}pt �y��s zy z o }t}o�o u{tv|s �{y�q}r|}pt � �p�{q}tv z uzqv{q{v}pt p~ |s{ v{t{qzu}�z|}pt yrz�{ �zt § { }t���{� ~qpo z ~{� { zoru{y « ¡s}y yrzqy{t{yyrqpr {q|w o z{y |s{ z�£�}y}|}pt p~ q{v�uzq}|}{y s}vsuw {�{�|}�{ «

�{ �{opty|qz|{ p�q op�{u }t |s{ �poz}t p~ opqrsprsptpupvw� |s{ �ptt{�|}pt§ {|�{{t |s{ y|q��|�q{ p~ �pq�y zt� |s{}q rqpt�t�}z|}pt « �{ z||z� |s}y rqp§ u{o ~pq|�p q{zypty « � }qy| x |s{ rqp§ u{o }y q{u{�zt| |p |s{ ~p�t�z|}pt p~ �pvt}|}�{ y�}{t�{ x zy{� }�{t�{� §w |s{ �pt|qp�{qyw § {|�{{t |s{ y�rrpq|{qy p~ ywo§pu}� ¨ ¥ zt� �ptt{�|}pt }y|¨ ¥ «� ¢{�pt� x u{zqt}tv rsptpupv}�zu q{v�uzq}|}{y }y zt { zoru{ p~ z �uzyy p~ }t���|}ptrqp§ u{o y �s}�s rq{y{t|y yr {�}zu �szuu{tv{y |p z u{zqt{q �sp o�y| ~pqo �zu}� v{t{qzu�}�z|}pty pt |s{ §zy}y p~ z ~{� rpy}|}�{ { zoru{y zt� tp { ru}�}| �pqq{�|}pty ~pq � qptv§ {sz� }pq «

���� � ! " # " $ " % " !& '

Page 3: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

¢rzqy{t{yy p~ |s{ q{rq{y{t|z|}pt }y rzq|}zuuw z �pty{£�{t�{ p~ |s{ ~z�| |sz| rspt{o{yzq{ tp| z|po }� §�| zq{ {t�p�{� zy �po§}tz|}pty p~ {u{o {t|zqw ������ ����� � ����� «¡s{y{ ~{z|�q{y �zt § { |sp�vs| p~ zy z§y|qz�| o�y�� uzq �pt|qpuy p~ |s{ yr {{�s pqvzty «¡s{ rspt{o{y |sz| zq{ z�|�zuuw �y{� }t s�ozt uztv�zv{y zq{ ptuw z ~{� p~ |s{ rpyy}§ u{rspt{o{y |sz| �zt §{ �pty|q��|{� ~qpo |s{ �}y|}t�|}�{ ~{z|�q{y «

� ���� �������

¨uopy| {�{qw �s}u� u{zqty sp� |p yr {z zt� |p �t�{qy|zt� s}y tz|}�{ uztv�zv{ « ¨|zt zrrqprq}z|{ y|zv{ p~ �{�{upro{t| z �s}u� u{zqty �p �z§�uzqw � }|s zo z� }tv yr {{� �|wr }�zuuw z �s }u� u{zqty oztw t{� �pq�y x zt� |s{}q �pqq{�| �yzv{ x {z�s �zw« ¡s{u{zqt }tv }y {� �}{t| x }t |sz| z �s}u� �p {y tp| t{{� |p s{zq |s{ yzo{ �pq�y q{r {z|{�p�{q zt� p�{q zvz}t pq |p § { �pqq{�|{� �{qw p~|{t « ¡s�y u{zqt}tv uztv�zv{ o�y| § {{zywx §�| �{ �p tp| sz�{ {�{�|}�{ |s{pq}{y |sz| { ruz}t |s{ rs{tpo{tpt «

¡s{ owy|{qw �{{r {ty �s{t �{ tp|}�{ |sz| �s}u�q{t u{zqt oztw t{� �pq�y � }|sp�|{�{q s{zq}tv |s{o « ¥t z �uzyy}� { r{q}o{t| §w �{qp ��� x z t�o§{q p~ �tvu}ys�yr {z }tv�s }u�q{t �{q{ ysp�t q{rq{y{t|z|}pty p~ z ~zt�}~�u § {}tv �zuu{� z ���v «� � s{t zy{�|p yzw ypo{|s }tv z§ p�| z y}|�z|}pt � }|s opq{ |szt pt{ p~ |s{y{ § {}tvy x |s{ �s}u�q{t�pqq{�|uw r u�qzu}�{� |s{ tp�{u �pq� |p o z{ ���v�� �tp| ���vy� � « ¥t ztp|s{q { �r {q}o{t| �ª� x ¤ zq��y {| « zu « ysp�{� |sz| wp�tv �s}u�q{t �sp � qy| �y{ zt }qq{v�uzq�{q§ rqpr {quw �y��s zy ��zo{� � �p�u� uz|{q {qq pt |s{ yzo { �{q§ �§w y�rru{o{t|}tv��zo{� � }|s ��po {�� � §{~pq{ |s{w �y{ |s{ �{q§ �pqq{�|uw zvz}t « ��{t opq{ y|q} }tv}y |sz| �s}u�q{t �sp sz�{ ozy|{q{� |s{ �tvu}ys r u�qzu}�z|}pt q�u{y �zt rqp���{ |s{�pqq{�| r u�qzu ~pq z t{� �pq� {t�}tv � }|s z yp�t� tp| rq{y{t| }t �tvu}ys y��s zy ��}t |s{ tzo{ p~ |s{ �{qozt �porpy{q � �� « ¥~ |s{ tzo{ }y r u�qzu}�{� x |s{w z�� |s{�t�p}�{� � «

¡s�y �s}u�q{t q{u}z§ uw { s}§ }| § {sz� }pq |sz| }t� }�z|{y |sz| |s{w sz�{ oz�{ v{t{q�zu}�z|}pty |sz| u}tv�}y|y �{y�q}§ { � }|s q�u{y « ¤ pq{p�{q x |s{y{ v{t{qzu}�z|}pty zq{ tp|y}oruw y|z|{� }t |{qo y p~ zt zq§ }|qzqw u}y| p~ yr {{�s yp�t�y x §�| }t |{qo y p~ y}vt}� �zt|~{z|�q{y yszq{� §w �uzyy{y p~ yr {{�s yp�t�y «

¨ u|sp�vs o��s q{y{zq�s szy § {{t �pt{ }t |s}y rqp§ u{o x }| }y ~z}q |p yzw |sz|tp rq{� }p�y u{zqt }tv |s{pqw �zt z��p�t| ~pq |s{ rsptpupv}�zu § {sz� }pq p§y{q�{� }t�s }u�q{t x }t z �zw |sz| }y �pty}y|{t| � }|s |s{ q{v�uzq}|}{y |sz| u}tv�}y|y sz�{ }yp uz|{� «

Page 4: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

� ��� ��������

�{ ~p ��y pt |s{ z�£�}y}|}pt p~ }t�{�|}ptzu opqrsprsptpupvw �y��s zy r u�qzu}�z|}pt zt��{q§zu }t�{�|}pt � �s{q{ �{�{upro{t|zu �z|z zq{ z§�t�zt| « ¥t zt� p~ }|y{u~ }t�{�|}ptzuopqrsprsptpupvw }y tp| rzq|}��uzquw y}vt}� �zt| « ¡s{ q{zypt �{ y|��w |s}y rqp§ u{o yp}t|{ty{uw }y |sz| }| }y z y}oru{ �zy{ p~ |s{ q{v� uzq}|}{y |sz| zq{ ~p�t� }t opy| tz|�qzuuztv�zv{y «

�{ rq{y{t| z |s{pqw p~ sp� |p o z{ zt� �y{ rsptpupv}�zu v{t{qzu}�z|}pty « ��q|s{pqw { ruz}ty sp� |s{ v{t{qzu}�z|}pty �zt § { u{zqt{� ~qpo z ~{� qzt�po uw �sp�y{t { zoru{y « �pq { zoru{ x z~|{q y{{}tv z �p�{t �poopt tp�ty zt� |s{}q r u�qzuy xp�q o {�szt}yo }t�pqr pqz|{y �pty|qz}t|y |sz| �zr|�q{ �tvu}ys r u�qzu}�z|}pt q� u{y � ����p�ty {t�}tv }t pt{ p~ |s{ �s}yy}tv� yp�t�y ��y� x ��� x �ys � x ��s � x ��s � zt� �� �� zq{ r u��qzu}�{� §w z��}tv zt z��}|}ptzu ywuuz§ u{ �¥ «�� |p |s{ qpp| �pq� x ��� �p�ty {t�}tv }t z�p}�{� rspt{o{ �p|s{q |szt |s{ s}yy}tv yp�t�y� zq{ r u�qzu}�{� §w z��}tv z ��� yp�t� xzt� ��� �p�ty {t�}tv }t z �p}�{u{yy �ptyptzt| �p|s{q |szt |s{ s}yy}tv yp�t�y� zq{r u�qzu}�{� §w z��}tv z �y� yp�t� «

��q |s{pqw p~ z�£�}y}|}pt �}�{qy y}vt }��zt|uw ~qpo |spy{ §zy{� pt y|z|}y|}�y �y��szy ��� x ��� « ¥| }y }t�q{o{t|zu x vq{{�wx zt� ~zy| « ¥| szy zuopy| tp rzqzo{|{qy |p z���y| «��q |s{pqw oz{y ~zuy}�z§u{ �uz}o y z§ p�| |s{ u{zqt}tv p~ rsptpupv}�zu �pty|qz}t|y � ���|sz| u{zqt}tv q{£�}q{y �{qw ~{� { zoru{y� |{ty p~ { zoru{y }t z ~{� y|{ry zy prrpy{�|p |sp�yzt�y p~ { zoru{y |qz}t{� }t |sp�yzt�y p~ {r p �sy ��� x ��� |sz| |s{ yzo{ |zqv{|�pty|qz}t|y zq{ u{zqt{� }t�{r{t�{t| p~ |s{ rq{y{t|z|}pt pq�{q p~ |s{ �pqr�y x ��� |sz|{�{�|}�{ u{zqt}tv }y t{zquw }ty{ty}|}�{ |p |s{ |p{t ~q{£�{t�wx� zt� �  � |sz| u{zqt}tv}y opq{ {�{�|}�{ zy opq{ �pty|qz}t|y zq{ z�£�}q{� «

�{ �p tp| z||z� |s{ rqp§ u{o p~ sp� zt z�p�y|}� �z�{~pqo }y rqp �{yy{� « �{ y|zq|� }|s zt z§y|qz�|}pt ~qpo u}tv�}y|}�y �zy �{�{upr {� §w �pozt �zp§ypt x � }puz} ¡q��§ {|�pwx ¤pqq}y � zuu{ x zt� �pzo ¦spo yw � ��� � ¢r {{�s yp�t�y �rspt{o{y� zq{ tp|z|po }� §�| zq{ {t�p�{� zy �po§}tz|}pty p~ opq{ rq}o }|}�{ y|q��|�q{y x |s{ �}y|}t�|}�{~{z|�q{y « ¡s{ �}y|}t�|}�{ ~{z|�q{y q{~{q |p v{y|�q{y |sz| |s{ yr {{�s pqvzty �y��s zy|ptv�{ x u}ry x zt� �p �zu �pq�y� { {��|{ ��q}tv |s{ yr {z }tv rqp �{yy « ¡s{ ~{z|�q{ ywy�|{o p~ ¦spo yw zt� � zuu{ �y{y �  § }tzqw��zu�{� �}y|}t�|}�{ ~{z|�q{y « �z�s rspt{o{}y �t}£�{uw �szqz�|{q}�{� §w }|y �zu�{y pt |s{ �}y|}t�|}�{ ~{z|�q{y « ¡s{ �}y|}t�|}�{�~{z|�q{ q{rq{y{t|z|}pt }y { |q{o {uw yrzqy{ � �tvu}ys �y{y ptuw  © pq yp rspt{o{y p�|p~ |s{ |sp�yzt�y r pyy}§ u{ ~{z|�q{ �po§}tz|}pty x zt� tp s�ozt uztv�zv{ �y{y oztw

�� ���� �� ' � ' ������ �� � ��� ���� � �� � ��� � ��� ���� ����� � � ��� � � �� ������ �� �������� ���! "� ����� �" ��� ����� �%& '

#$�� �% ���� " ��� ������ "� ���� ��"��� �� ��� �� �� �" ��� �� � ����� ' &" ������ � '� '� '" �(&) ������������ � ��� �*� ���� �" ��� �� � ����� " ��� ������ � �� � �� �� * � �+ ����& ' ,� ��� ����� �! " � �� ����� ������ � '� '� '" ��&) �� � �� �� * � �- ����& ' .�� ���� ����� ��� ��� �������� �" ������ "����� ��� � ���� ����� ��� ��� *����� '

 

Page 5: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

opq{ |szt �©© rspt{o{y «¡s{ q{rq{y{t|z|}pt p~ yr {{�s yp�t�y zy z y{£�{t�{ p~ �}y�q{|{ ~{z|�q{y }y z �q��{

zrrqp }o z|}pt |p �sz| rswy}�zuuw |z{y r uz�{ ��q}tv yr {{�s « �{ oz{ |�p }�{zu}�z�|}pty « � }qy| x |s{ �}y|}t�|}�{ ~{z|�q{y zq{ �}y�q{|}�{� |p § }tzqw �zu�{y « ¢{�pt� x |s{�}y|}t�|}�{ ~{z|�q{y zq{ zyy�o{� |p �sztv{ ywt�sqptp�yuw« ¨ u|sp�vs |s{y{ }�{zu}�z�|}pty zq{ tp| |q�{� |s{ �}y|}t�|}�{ ~{z|�q{y zq{ q{zuuw ztzupv y}vtzuy zt� |s{ ��qz|}ptyp~ |s{ y}vtzuy t{{� tp| § { zu}vt{� r {q~{�|uw� |s{w zq{ q{zyptz§u{ � qy| zrrqp }o z|}pty~pq §�}u�}tv z o{�szt}y|}� op�{u |p �t�{qy|zt� sp� rsptpupv}�zu q{v�uzq}|}{y o }vs|§ { z�£�}q{�� «

��q �y{ p~ �{�|pqy p~ �}y|}t�|}�{ ~{z|�q{y |p q{rq{y{t| |s{ rspt{o{y �p {y tp|}or uw |sz| �{ § {u}{�{ |sz| |s{ q{�pvt}|}pt p~ yr {{�s ~qpo |s{ z�p�y|}� �z�{~pqorzyy{y |sqp�vs zt }t|{qo{�}z|{ y|zv{ �s{q{ |s{ ~{z|�q{y zq{ q{�pvt}�{� zt� |s{t |s{rspt{o{y zq{ zyy{o§u{� ~qpo |s{o « �{qszry p|s{q o{�szt}yo y� zq{ �y{� |p p§|z}t|s{ rspt{o }� q{rq{y{t|z|}pt ~qpo |s{ z�p�y|}� �z�{~pqo x zt� |s{ �}y|}t�|}�{ ~{z|�q{§ }| q{rq{y{t|z|}pt }y z q{y�u| p~ |s}y rqp �{yy x tp| z y|zv{ }t }| «

� � � �������� ����������� � ����

��q r {q~pqozt�{ op�{u }y {t� }y}pt{� zy z szq��zq{ o{�szt}yo x u}o }|}tv |s{ qztv{ p~§ {sz� }pq |sz| �zt §{ �{�{upr {� « ¨ o{�szt}yo |sz| { s}§ }|y s�ozt�u}{ rsptpupv}�zu§ {sz� }pq v }�{y �y zt �rr {q u}o }| pt |s{ �poru{ }|w t{�{yyzqw |p rqp���{ |sz| § {sz� }pq «�w q{y|q}�|}tv p�qy{u�{y |p z y}oru{ o {�szt}yo x u}o }|{� }t |s{ }t�y p~ rzq|y |sz|�{ ozw rpy|�uz|{ zt� }t |s{ �zwy |s{w ozw § { �ptt{�|{� x �{ �pty|q��| z qp§�y||s{pqw« ��q z}o }y |p ysp� |sz| rsptpupv}�zu § {sz� }pq }y z tz|�qzu �pty{£�{t�{ p~|s{ pqvzt}�z|}pt p~ |s{ szq��zq{ «

¡s{ o{�szt}yo �pty}y|y p~ �z|z q{v}y|{qy zt� �pty|qz}t| {u{o{t|y « ¡s{ �z|z q{v�}y|{qy spu� |s{ y|z|{ p~ |s{ �por�|z|}pt zy u}tv�}y|}� {�{t|y zq{ rqp �{yy{� « �¢{{� }v�q{ �«� ¡s{ u}tv�}y|}� }t~pqoz|}pt }y �{y�q}§ {� }t |{qo y p~ § ppu{zt ~{z|�q{y �§ }|y� «¡s{ �pty|qz}t| {u{o{t|y {o§p�w rsptpupv}�zu tp� u{�v{ q{uz|}tv yp�t� zt� o{zt}tvrz||{qty « �pq { zoru{ x |s{ r u�qzu �pty|qz}t|y �}y|}tv�}ys |s{ �zq}zt|y p~ |s{ r u�qzuopqrs{o{y ���� x �y� x zt� �¥ «��� �pt�}|}pt{� §w |s{ uzy| rspt{o{ p~ z �poopt tp�t «

¡s{ �pty|qz}t| {u{o {t|y }oru{o{t| § ppu{zt q{uz|}pty zoptv |s{ �zu�{y p~ |s{ ����� ��������! ����� � ��� � ��� �� *�� �� ��������� ���� �� ���� ���� � �������� ����� ��

� ����� � ����� ' ��� ��& ' .���� �� ���� ������* � ���������� � ������ �� �� � �� �� ��� ������ '�$�� �% ���� " ��� ������ �� � ! * � �%�� ���� "��� ��� ������� � �"��� ����� �� ������ � ����

������ �� ����� "� ����� " ���� � �������� ���� ������ � �& ' �� ������� �� �� � ������� ����������� ���� ���� * �! �%�� �� ���� ��"��� ���� "��� ����! ���������� �� ���� ' ,�� ���! ������� ���� �� �� ���� ��������� ������ �� �� ����������� �� ���� � �" ��� � ��� �" ��������� � "� ����� ��� �� � �� ��� ������ '�� � ��� �� �� �� � ����� � ������ �� �! "#�� �#&) '

Page 6: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

?

101

coronal

nasalvoice

strident

A Hardware Vision

<- past

?????

?plural

?verb

?noun

timing slots

PhonemeRegister

MeaningRegister

shift control

GrammarRegister

.

-3 -2 -1 3210

� }v�q{ � � ¡s{ szq��zq{ o {�szt}yo �pty}y|y p~ |sq{{ �z|z q{v}y|{qy « ¥t |s{ �spt{o{¢s}~| �{v}y|{q x {z�s �{q|}�zu y|q}r { q{rq{y{t|y z |}o{ yup| « ¡s{q{ zq{ yup|y ~pq ~�|�q{rspt{o{y �rpy}|}�{ |}o{ uz§ {uy� zy �{uu zy rzy| rspt{o{y �t{vz|}�{ |}o{ uz§ {uy� « �z�sspq}�pt|zu y|q}r { q{rq{y{t|y z �}y|}t�|}�{ ~{z|�q{ § }| « �pq { zoru{ x }~ |s{ rspt{o{ }t|}o{ yup| �� }y tp�t |p §{ z �p}�{� tpt�tzyzu |s{t }t |s{ �pu�ot uz§ {u{� �� |s{�p}�{ {t|qw �p�u� § { � zt� |s{ tzyzu {t|qw �p�u� § { © « ¥~ |s{ rspt{o{ }y tp�t |p§ { y|q}�{t| x |s{ y|q}�{t| {t|qw �p�u� §{ �« ¥~ z ~{z|�q{ }y �ttp�t x zy }t |s{ �pqptzu§ }| x �{ u{z�{ z £�{y|}pt o zq « ¡s{ � qzoozq � {v}y|{q �pt|z}ty § }|y �{y�q}§ }tv |s{vqzooz|}�zu y|z|�y p~ |s{ rspt{o{ y{£�{t�{ « ¡s{ ¤{zt}tv �{v}y|{q �pt|z}ty o {zt}tv§}|y «

~{z|�q{y }t |s{ q{v}y|{qy «� ¥~ |s{q{ }y y�� �}{t| o z|�s § {|�{{t |s{ ~{z|�q{y }t |s{q{v}y|{qy zt� |spy{ {t~pq�{� §w z rzq|}��uzq �pty|qz}t| {u{o{t| x |sz| {u{o{t| § {�po{yz�|}�{ « ¨t z�|}�{ {u{o{t| � uuy }t �{|z}uy §w zyy}vt}tv �zu�{y |sz| yz|}y~w |s{ �pty|qz}t||p § }|y }t |s{ q{v}y|{qy |sz| �{q{ rq{� }p�yuw �tyr {�}�{� « ¥~ |s{ }t~pqoz|}pt }t |s{q{v}y|{qy }y }t�pty}y|{t| � }|s |s{ q{uz|}pt {t~pq�{� §w zt z�|}�{ �pty|qz}t| {u{o{t| x|s}y �pt� }�| }y tp|{� «

¨ u}tv�}y|}� {�{t| o }vs| § { |s{ s{zq}tv pq yr {z }tv p~ z �pq� « ¨t {�{t| }y �{�y�q}§ {� §w |sq{{ |wr {y p~ }t~pqoz|}pt � yp�t� x vqzoozq x zt� o{zt}tv « ¡s{ yp�t�rz||{qt p~ z �pq� x q{rq{y{t|{� zy z y{£�{t�{ p~ � }y�q{|{ rspt{o{y x }y y|pq{� }t z ys}~|q{v}y|{q �zuu{� |s{ � ����� � ��� �����« �z�s |}o{ yup| p~ |s{ rspt{o{ q{v}y|{q spu�yz �{�|pq p~ �  § }tzqw��zu�{� �}y|}t�|}�{ ~{z|�q{y q{rq{y{t|}tv z rzq|}��uzq rspt{o{ «�¢{{ � }v�q{ � «� ¨y |s{ yr {{�s yp�t� }y s{zq� x |s{ rspt{o{ y{£�{t�{ }y ys}~|{� « ¡s{vqzooz|}�zu }t~pqoz|}pt p~ |s{ �pq� �y��s zy }|y rzq| p~ yr {{�s x t�o§{q x zt� v{t�{q�

��� �� ��� !�� � � �������� � ��� �� ���� � "�� ������ ��� ���� ���� ' �� �� �� ���� �� �� �� ������ ��� � ��� ��� � � ����� ��� �" ����� �� � ������� �� �� ��� ����� �" ��� ���"� �������� ����� "� ���� *������ � ����� � �� ���� '

Page 7: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

}y y|pq{� zy z �{�|pq p~ vqzooz|}�zu ~{z|�q{y }t |s{ � ��� � ��� ����� « ¡s{ � �������� ����� �pt|z}ty z y{| p~ § }|y |sz| �t}£�{uw }�{t|}~w |s{ o{zt}tv p~ |s{ �pq� « ��qu{zqt }tv |s{pqw �p {y tp| �{r {t� pt |s{ zyy}vto{t| p~ |s{ o{zt}tv §}|y «

�FO � �J � �M� �W� �FJJMOH�HNMMFPK] � � � �]RGHRGFGUFM � � � �HRGRIFGU � � � �[KT[ � � � �PF]Q � � � �MR^ � � � �IRDGL � � � �UOGHO � � � �FGUOIKRI � � � �]RIRGFM � � � �ZRK]O � � � �]RGUKGDFGU � � � �GFHFM � � � �HUIKLOGU � � � �

_ ��c � � � V V V� � � � � �

� }v�q{ � � ¡s{ yp�t� rz||{qt p~ z �pq� }y q{rq{y{t|{� §w z y{£�{t�{ p~ rspt{o{y « �pq{ zoru{ x |s{ �pq� �zrru{y� �pty}y|y p~ ~p�q rspt{o{y « �z�s rspt{o{ }y �t}£�{uw�szqz�|{q}�{� §w }|y �zu�{y pt |s{ �  �}y|}t�|}�{ ~{z|�q{y « �spt{|}� ywo§puy zq{ {t��upy{� }t y£�zq{ §qz�{|y « �pq { zoru{ x �z{� }y |s{ ywo§pu ~pq |s{ up� �� up� � x ~qpt|��§z� � x uz ��|{ty{� �p�{u }t �zrru{y «� �z�s ~{z|�q{ �{�|pq }y }t�{ {� §w z |}o{}ty|zt| « ¡s{ �pu�ot uz§{u{� §w |}o{ � © �pqq{yr pt�y |p |s{ opy| q{�{t|uw s{zq�rspt{o{ « �spt{o{y � }|s t{vz|}�{ |}o { }t�}�{y zq{ zuq{z�w s{zq� «

¡s{ �§}|y� }t |s{ q{v}y|{qy sz�{ ~p�q r pyy}§ u{ y|z|{y © x �x � x �� « ¡s{ §}|y �zt § {y{| §w zt { |{qtzu u}tv�}y|}� {�{t| pq §w �pty|qz}t| q{uz|}pty « ¥~ |s{ �zu�{ p~ z § }| }y��qq{t|uw �ttp�t }| �pt|z}ty zt �ttp�t ywo§pu ��� « ¥~ z § }| }y zyy{q|{� |p § { § p|s� zt� © § {�z�y{ p~ z �}yzvq{{o{t| zoptv |s{ �pty|qz}t|y }| rzq|}�}rz|{y }t x }| }y }t|s{ �pt� }�| y|z|{ x �s}�s �{ �{tp|{ §w ��� «

¡s{ �pty|qz}t| q{uz|}pt {t~pq�{� §w z �pty|qz}t| {u{o{t| }y q{rq{y{t|{� §w z §}|�{�|pq « �{ q{~{q |p |s{y{ § }| �{�|pqy zy ������ ��� « ¨ �uzyy}�{q }y z �t}|{ y|q}tv p�{q|s{ |sq{{�ywo§pu zursz§ {| © � � � � « ¨ ��� �pq �©� � |wr }�zuuw q{rq{y{t|y |s{ rq{y{t�{�pq z§y{t�{ � p~ z �szqz�|{q}y|}� « ¨ ��� o{zty �pt �| �zq{ x } «{ «x |s{ § }| �y z�|�zu �zu�{�p {y tp| o z||{q «

¡s{q{ zq{ |�p |wr {y p~ �uzyy}�{qy � ����������� �� zt� � ���� ����� �� « �¢{{ � }v�q{ � «�

Page 8: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

¡s{ qp|{��uzyy}�{qy �zr|�q{ yr {�}�� �pqq{uz|}pty zoptv |s{ § }| rz||{qty }t |s{ �z|zq{v}y|{qy « �pq { zoru{ x z qp|{��uzyy}�{q ~pq �zrru{� {t~pq�{y z �{q|z}t �pty|qz}t| zoptv|s{ rspt{o{y �z{ «r «u� }t |s{ rspt{o{ q{v}y|{q x |s{ ��tp�t x��{q§ x�ru�qzu «««� ~{z|�q{y}t |s{ vqzoozq q{v}y|{q x zt� |s{ § }|y }t |s{ o{zt}tv q{v}y|{q « ��u{��uzyy}�{qy �zr|�q{|s{ q{v� uzq}|}{y zoptv qp|{��uzyy}�{qy � |s{w �zt § { }t|{qrq{|{� zy v{t{qzu rsptpupv}�zu�pty|qz}t|y « ��u{��uzyy}�{qy zq{ |s{ §zy}y ~pq rq{� }�|}tv q{yr pty{y |p tp�{u �pq�y « ¥~|s{ rq{� }�|}pt }y �pqq{�| x |s{q{ }y tp t{{� ~pq qp|{�u{zqt}tv |s{ rzq|}��uzq �pqq{uz|}pty}t £�{y|}pt «

� ����� ��� ��� � ���� �� ���� ���� �� �� ������� �� � ��������

¡s{ §zy}� { {��|}pt �w�u{ p~ |s{ r {q~pqozt�{ op�{u �pty}y|y p~ |sq{{ y|{ry }oru{�o{t|}tv z �pty|qz}t| rqprzvz|}pt rqp �{yy �

�« ¨ �|}�z|{ |s{ opy| { �}|{� �pty|qz}t| {u{o{t| «� « �t~pq�{ § }| rz||{qty }t |s{ �z|z q{v}y|{qy z��pq�}tv |p |s{ q{uz|}pt |s{ �pty|qz}t|

{u{o{t| q{rq{y{t|y «� « � {z�|}�z|{ rq{� }p�yuw { �}|{� �pty|qz}t| {u{o{t|y |sz| tp uptv{q oz|�s |s{ q{v�

}y|{q �pt|{t|y «

¡s{ �w�u{ }y q{r {z|{� �t|}u |s{ �z|z q{v}y|{qy q{z�s z £�}{y�{t| y|z|{ «¨ �pty|qz}t| {u{o{t| }y { �}|{� }~ }|y { �}|z|}pt y|q{tv|s { �{{�y z �{q|z}t |sq{ys�

pu� « ¡s{ { �}|z|}pt y|q{tv|s }y o {zy�q{� §w |s{ � zoo }tv �}y|zt�{ § {|�{{t |s{�uzyy}�{q p~ |s{ �pty|qz}t| {u{o{t| zt� |s{ § }| rz||{qty }t |s{ �z|z q{v}y|{qy « ¤ �u|}�r u{ �por{|}tv �pty|qz}t| {u{o{t|y �zt § { { �}|{� z| ztw }ty|zt| « � s{t zt { �}|{��pty|qz}t| {u{o {t| }y z�|}�z|{� x }| vz}ty { �u�y}�{ �pt|qpu p�{q |s{ �z|z q{v}y|{qy x rq{��{t|}tv p|s{q �pty|qz}t| {u{o{t|y ~qpo � q}|}tv p�{q |s{ q{v}y|{q �pt|{t|y « ¨ y |s{q{v}y|{q �pt|{t|y �sztv{ x zt z�|}�z|{� �pty|qz}t| {u{o{t| o }vs| § { �{z�|}�z|{� zt�q{u}t£�}ys }|y �pt|qpu «�

¡s{ �pty|qz}t| rqprzvz|}pt rqp �{yy }y tp| �poo }||{� |p �y}tv ztw rzq|}��uzq �uzy�y}� {q }t z rq{�{|{qo }t{� �zw« ¨ �uzyy}�{q o zw �y{ rzq|}zu y{ozt|}� }t~pqoz|}pt |p{t~pq�{ �pty|qz}t|y pt |s{ rspt{o{ q{v}y|{q « ¥| o zw zuyp �y{ rzq|}zu rsptpupv}�zu}t~pqoz|}pt |p }t~{q y{ozt|}� }t~pqo z|}pt « ¡s{ rqprzvz|}pt rqp �{yy �zt § { ~q{{uw }t�|{qo } {� � }|s |s{ z��}|}pt p~ t{� �pty|qz}t|y zt� op�}��z|}pt p~ |s{ { }y|}tv pt{y «.�� � ��� �� ���� � ���� �� ��� ������ ��� ���� � ���� ���� �� " �� ���� ��� �� ��� � �� �"

����� ��� ������ �� '

Page 9: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

��A>>���@> � � �? ��B?�@ �@�>��?A? ��� �� ���>?@A ��? ��A? ���>@�?� B�A>>���@ A��

������ �� � ��� �� �������� �� � ������ !��" ������ ����#��� $�% � ����& �����& ��&$"�� �'�� $( ��� �

@)�� B�A>>���@ *��B�+ �)@A ������� �� � �&, �&, �&, ���!�$,�� �-�.��� ,� ����� �� � ������ �������/��%�( ����� �� � ������ ��������0��(��� � ��� $'(

& $��,( $�� � ��'(�(��( ��, � 1�� $( � 2' $�� �3�"�� � 4�

�����,5������ � ���( 1 � �������� � ���( 2 � �������� � ���( 6 � ���

� }v�q{ � � _^R UNJOH RS ]MFHHK7OIH X YO DHO HNEPRMK] GRUFUKRGH UR HKEJMKSN U[O LOH]IKJUKRG RSF ]MFHHK7OI X _[O GRUFUKRG �FO XJ XM� IOSOIH UR U[O 8 PKUH 9 : �8; IOJIOHOGUKGT U[O LKHUKG]UKZOSOFUDIOH RS U[O J[RGOE OH OG]MRHOL KG U[O H`DFIO PIF]QOUH X _[O HNEPRM �L]� SRI F J[RGOE OFPPIOZKFUOH F HUIKGT RS �8 LRG <UV]FIO P KUH X _[O GRUFUKRG �=GRDG � KGLK]FUOH U[FU U[O GRDG PKUKG U[O ]MFHHK7OI KH RG X >?@ A _[O IRUOV]MFHHK7OI �FJJMO� ]RIIOMFUOH U[O HRDGL JFUUOIG �FO XJ XM�^KU[ U[O TIFEEFI FGL EOFGKGT PKUH RS U[O ^RIL X B ?CC?D E _[O IDMOV]MFHHK7OI �ZRK]OLVJMDIFM�IOMFUOH F HKGTDMFI 9K XO X �FJMDIFM�; ]REERG GRDG OGLKGT KG F ZRK]OL J[RGOEO ^ KU[ KUH JMDIFMSRIE X �S U[O PKU JFUUOIG KG U[O TIFEEFI IOTKHUOI EFU][OH U[O HRDI]OVTIFEEFI ]REJRGOGU RSF IDMOV]MFHHK7OI G U[O ]RGHUIFKGU OMOE OGU LOH]IKP OL PN U[O IDMOV]MFHHK7OI JIRLD]OH F JMDIFM SRIEPN H[KSUKGT U[O J[RGOE O IOTKHUOI MOSU RGO HMRU 9FH HJO]K7OL KG U[O ]RGUIRM ]REJRGOGU RS U[OIDMOV]MFHHK7OI LOH]IKJUKRG ; FGL 7 MMKGT U[O DGQGR^GH KG U[O UOIE KGFM HMRU ^ KU[ F �W� J[RGOE O X �SU[O JFUUOIG KG U[O TIFEEFI IOTKHUOI E FU][OH U[O UFITOUVTIFEEFI ]REJRGOGU G U[O ]RGHUIFKGUOMOE OGU JIRLD]OH F HKGTDMFI SRIE PN IOZOIHKGT U[O ]RGUIRM F]UKRGH X _[O DGMR]Q JIKZKMOTO TIFGUH9RI IOSDHOH; ^IKUO F]]OHH PN U[O ]MFHHK7OI UR U[O MFHU J[RGOE O HMRUH X

¡p }uu�y|qz|{ sp� �por{|}tv �pty|qz}t| {u{o{t|y �zt �ppr {qz|{ |p {t~pq�{ rsptp�upv}�zu zt� y{ozt|}� �pty|qz}t|y x �{ { zo }t{ z y}oru{ y}|�z|}pt « ¨ yy�o{ |sz| z|ypo{ |}o{ |s{ o{zt}tv }�{t|}�{q �{y�q}§ }tv z q{� x qp�t� x {�}§ u{ ~q�}| zrr {zqy }t |s{o{zt}tv q{v}y|{q « ¡s{y{ § }|y o }vs| sz�{ § {{t y{| §w z � }y}pt op��u{ |sz| szy q{�pv�t}�{� zt zrru{ pq z r }�|�q{ p~ zt zrru{ x pq r {qszry §w zt pu~z�|pqw op��u{ |sz| szyq{�pvt}�{� |s{ yo{uu p~ zt zrru{ « �{ zuyp zyy�o{ |sz| ~pq ypo{ q{zypt |s{ r u�qzu § }|p~ |s{ vqzoozq q{v}y|{q }y y{| x r {qszry § {�z�y{ |s{q{ zq{ |�p zrr u{y «

ª

Page 10: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

¢�rrpy{ zuyp |sz| z| |s}y r p}t| |s{ r {q~pqozt�{ op�{u szy |�p �uzyy}�{qy � z qp|{��uzyy}�{q ~pq |s{ zrru{ �pty|qz}t| x �s}�s �zr|�q{y |s{ �pqq{uz|}pt § {|�{{t |s{ rspt{o{y{£�{t�{ �z{ «r «u� x |s{ �� q{� � qp�t� �{�}§ u{ � ~q�}|� o{zt}tv x zt� |s{ ��tp�t ��{q§�ru�qzu «««� vqzoozq x zt� z q�u{��uzyy}�{q ~pq |s{ �p}�{��r u�qzu q�u{ x �s}�s �zr|�q{y|s{ rsptpupv}�zu q�u{ |sz| |s{ r u�qzu p~ z tp�t {t�}tv }t z �p}�{� rspt{o{ }y ~pqo{�§w zrr {t�}tv z ��� rspt{o{ |p |s{ tp�t «

¡s{ y}|�z|}pt z| |s{ }t}|}zu |}o { }y �{r }�|{� }t � }v�q{   « ¡s{ }t}|}zu y}|�z|}pt|q}vv{qy z y{£�{t�{ p~ �uzyy}�{q z�|}pty |p � uu |s{ yup|y p~ |s{ rspt{o{ q{v}y|{q � }|s |s{yp�t� y{£�{t�{ �pqq{yr pt�}tv |p |s{ r u�qzu p~ �zrru{ «� ¡s{ �pt|{t| p~ |s{ o {zt}tvq{v}y|{q }y y�� �}{t| |p z�|}�z|{ |s{ �pty|qz}t| {u{o{t| �{y�q}§ {� §w |s{ qp|{��uzyy}�{q~pq zrr u{ « ¡s{ zrr u{ �pty|qz}t| |s{t z||{or|y |p y{| zy oztw �ttp�t §}|y zy }| �zt «¥| zyy{q|y |s{ § }|y �{y�q}§ }tv |s{ rspt{o{ y{£�{t�{ }t|p |s{ rspt{o{ q{v}y|{q « ¡s}y{t�p�t|{qy tp q{y}y|zt�{ § {�z�y{ zuu p~ |spy{ § }|y �{q{ }t}|}zuuw �ttp�t « ¡s{ zrru{�pty|qz}t| zuyp y{|y ypo{ vqzoozq §}|y « ¡s{ tp�t §}| }y |�qt{� pt zt� |s{ �{q§ §}|}y |�qt{� p� « �p�{�{q x z �pt� }�| zq}y{y p�{q |s{ y{||}tv p~ |s{ r u�qzu § }| « ¡s{ r }�|�q{p~ |�p zrru{y ~pq�{� |s{ r u�qzu § }| pt x §�| |s{ zrru{ �pty|qz}t| }y |qw }tv |p zyy{q| zy}tv�uzq « � }v�q{   �§ � ysp� y |s{ �pt|{t|y p~ |s{ q{v}y|{qy z| |s}y r p}t| «

¨ uu |s{ rspt{o{ §}|y ~qpo |s{ zrr u{ �pty|qz}t| zq{ tp� }t |s{ rspt{o{ q{v}y|{q «¡s{ ~z�| |sz| |s{q{ }y z tp�t �t�{q �pty}�{qz|}pt ��tp�t }t |s{ vqzoozq q{v}y|{q� x|sz| |s{q{ }y z �pt� }�| p�{q |s{ r u�qzu § }| x zt� |sz| |s{ |{qo }tzu �u� rspt{o{ }y���p}�{� }y z y�� �}{t| |q}vv{q |p z�|}�z|{ |s{ �pty|qz}t| q{rq{y{t|{� §w |s{ �p}�{��r u�qzu �uzyy}�{q « ¥| y{t�y z ys}~| u{~| y}vtzu |p |s{ rspt{o{ q{v}y|{q x o p� }tv |s{rspt{o{y z{ «r «u |p u{yy q{�{t| r py}|}pty x zt� up � }tv |s{ �{|{qo }t{� rspt{o{y yp|sz| |s{w �zttp| �sztv{ « ¡s{ opy| q{�{t| rspt{o{ yup| }y � uu{� � }|s �ttp�ty x�s}�s zq{ �{q|z}tuw zuup�{� |p �sztv{ « ¡s{ zrru{ �pty|qz}t| tp� § {�po{y u{yy { �}|{�§ {�z�y{ |s{ �zu�{y }| �p�u� u}{ }t |s{ rspt{o{ q{v}y|{q zq{ zuu }t �pt� }�| � }|s |s{pt{y |sz| zq{ |s{q{ « ¡s{ �p}�{��r u�qzu �pty|qz}t| tp� � uuy |s{ �ttp�ty }t |s{ ��qq{t|rspt{o{ yup| � }|s |s{ rspt{o{ ��� « ¢{{ � }v�q{   ��� «

¨ y |s{ zrru{ �uzyy}�{q }y �{z�|}�z|{� x }| �qpry }|y z||{or| |p y{| |s{ r u�qzu § }| |p© « ¡s{ tp�t x |s{ �{q§ x zt� |s{ r u�qzu § }|y q{|z}t |s{}q uzy| �zu�{y « ¡s{ ru�qzu § }|}y y|}uu }t �pt� }�| x §�| }| � }uu r�| �r tp q{y}y|zt�{ }~ ztp|s{q �pty|qz}t| |q}{y |p |�qt}| pt « ¥t rzq|}��uzq x |s{ { �}|{� �p}�{��r u�qzu q�u{��uzyy}�{q q{y|pq{y |s{ r u�qzu § }| |p�« ¨| |s}y r p}t| |s{ ywy|{o q{z�s{y z £�}{y�{t| y|z|{ �� }v�q{   �� �� � }|s z �pty}y|{t|q{rq{y{t|z|}pt p~ |s{ r u�qzu tp�t rqptp�t�{� �z{ «r «u «�� }t |s{ rspt{o{ q{v}y|{q «

¦pty|qz}t| {u{o{t|y }t~{q o{zt}tv ~qpo yp�t� zy �{uu zy yp�t� ~qpo o{zt}tv « �pq{ zoru{ x �y}tv |s{ yzo{ |�p �uzyy}�{qy zy § {~pq{ x |s{ r {q~pqozt�{ op�{u �zt � uu }t|s{ vqzooz|}�zu zt� y{o zt|}� �{|z}uy zy |s{ yp�t� rz||{qt p~ �zrru{y� }y ys}~|{� }t|p|s{ rspt{o{ q{v}y|{q « ¡s{ yzo{ o{�szt}yo p~ �pty|qz}t| {u{o{t|y zt� ys}~| q{v}y|{qy}y {�{�|}�{ ~pq § p|s rqp���|}pt zt� �porq{s{ty}pt p~ z �pq� «

�©

Page 11: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

(a) Initial State

+red + round ...

VOICED-PLURAL

? ? ? ? ?

+voicez-plural+noun

-plural+nounl

pae

Rule classifier:

+round+red

+fruit+edible

+plural-4 -3 -2 -1 0

<- past

?verb?noun

PhonemeRegister

MeaningRegister

shift control

GrammarRegister

Rote classifier:APPLE

+plural

(c) Voiced-plural classifier excited

-verb+noun

zlpae

+red + round ...

VOICED-PLURAL

?

+voicez-plural+noun

-plural+nounl

pae

Rule classifier:

+round+red

+fruit+edible

-4 -3 -2 -1 0<- past

PhonemeRegister

MeaningRegister

shift control

GrammarRegister

Rote classifier:APPLE

(b) Apple classifier excited

-verb+noun

*plurallpae

+red + round ...

VOICED-PLURAL

? ?

+voicez-plural+noun

-plural+nounl

pae

Rule classifier:

+round+red

+fruit+edible

-4 -3 -2 -1 0<- past

PhonemeRegister

MeaningRegister

shift control

GrammarRegister

Rote classifier:APPLE

(d) Quiescent State

-verb+noun

+pluralzlpae

+red + round ...

VOICED-PLURAL

?

+voicez-plural+noun

-plural+nounl

pae

Rule classifier:

+round+red

+fruit+edible

-4 -3 -2 -1 0<- past

PhonemeRegister

MeaningRegister

shift control

GrammarRegister

Rote classifier:APPLE

� }v�q{   � �OGOIFUKGT HRDGL SIRE EOFGKGT X 9F; ���C��� �C�C�A _[O JOISRIE FG]O ERLOM [FHU^R ]MFHHK7OIH A F IRUOV]MFHHK7OI SRI U[O FJJMO ]RGHUIFKGU FGL F IDMOV]MFHHK7OI SRI U[O ZRK]OLVJMDIFM ]RGHUIFKGU X eG OZOGU 7 MMH U[O EOFGKGT IOTKHUOI ^ KU[ SOFUDIOH LOH]IKP KGT FG FJJMO GFGL U[O TIFEEFI IOTKHUOI ^ KU[ U[O �=JMDIFM� SOFUDIO X 9P ; �@@ �� ?��C��� C �� �C�� E _[OFJJMO ]RGHUIFKGU 7 IOH FGL ^IKUOH U[O HRDGL HO`DOG]O �FO XJ XM� KGUR U[O J[RGOE O IOTKHUOI X RE ODGQGR^G TIFEEFUK]FM PKUH 9HD][ FH �GRDG FGL �ZOIP ; FIO FMHR 7 MMOL PN U[O FJJMO ]MFHHK7OI X�RUO U[FU F ]RG� K]U FIKHOH RZOI U[O FHHKTGE OGU RS U[O JMDIFM PKU X 9]; �?����@ ���� ?��C��� C�� �C�� E _[O ZRK]OLVJMDIFM ]RGHUIFKGU HOGLH F H[KSU MOSU HKTGFM UR U[O J[RGOE O IOTKHUOI G FGL 7 MMHU[O DGQGR^G UOIE KGFM HMRU ^ KU[ U[O �W� J[RGOE O X _[O ZRK]OLVJMDIFM ]RGHUIFKGU FMHR IOHURIOHU[O ]RG� K]U JMDIFM PKU UR � X _[O FJJMO ]RGHUIFKGU KH LOF]UKZFUOL X 9L ; ������� C �C�C�E _[OHNHUOE IOF][OH F ]RGHKHUOGU HUFUO ^ KU[ U[O JIRGDG]KFUKRG RS �FJJMOH G� �FO XJ XM XW � G KG U[O J[RGOE OIOTKHUOI X �R GO^ ]RGHUIFKGUH FIO O\]KUOL X

� ������� � ���� ����

¥t z ~� uu ywy|{o x |s{q{ zq{ oztw �uzyy}�{qy « �p� zq{ |s{ �uzyy}�{qy u{zqt{� �¥t}|}zuuw |s{ u{zqt{q szy tp �uzyy}�{qy « ¡s{ u{zqt{q o�y| z�£�}q{ |s{ �uzyy}�{qy

~qpo { zoru{ �pq�y rq{y{t|{� |p }| « �{ zyy�o{ z y{£�{t�{ p~ �pq�y }y rq{y{t|{� |p

��

Page 12: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

|s{ u{zqt{q « �z�s rq{y{t|z|}pt p~ z �pq� |q}vv{qy zt {�{t| |sz| � uuy |s{ �z|z q{v}y|{qy� }|s |s{ zrrqprq}z|{ yp�t� x vqzoozq x zt� o{zt}tv }t~pqoz|}pt « ¥~ |s{ u{zqt{q �zt� uu }t |s{ �{|z}uy p~ |s{ �pq� � }|sp�| {qqpq x |s{t }| rqp �{{�y |p |s{ t{ | �pq� « ¡s{u{zqt{q o }vs| ~z}u {}|s{q § {�z�y{ |s{q{ zq{ tp| ztw zrru}�z§ u{ �uzyy}�{qy pq § {�z�y{�por{|}tv �uzyy}�{qy �vs| |p zyy{q| }t�pty}y|{t| �zu�{y }t |s{ q{v}y|{qy « ¥t |s{ � qy|~z}u�q{ y}|�z|}pt x z t{� qp|{��uzyy}�{q }y �q{z|{� |p q{o {o§{q |s{ § }| rz||{qty }t |s{�z|z q{v}y|{qy « ¥t |s{ y{�pt� ~z}u�q{ y}|�z|}pt x |s{ �vs|}tv �uzyy}�{qy zq{ }t�q{o {t|zuuwq{�t{� «

�{| �y �pty}�{q z y}oru{ { zoru{ |p }uu�y|qz|{ |s{ §zy}� pr {qz|}pty p~ |s{ u{zqt}tvrqp �{��q{ « ¢�rrpy{ |sz| |p § {v}t � }|s |s{ u{zqt{q szy tp �uzyy}�{qy zt� }y rq{y{t|{�~p�q tp�t rz}qy zt� pt{ �{q§ rz}q }t qzt�po pq�{q � �z|��z|y �� ��� �� ��� x �pv��pvy�� �� �� ��� x �������y �� �� �� ��� x v�t�v�ty �� �� � ��� x zt� vp��{t| � �� � ��� «¨ qp|{��uzyy}�{q }y �q{z|{� ~pq {z�s p~ |s{ �pq�y «

¡s{ u{zqt}tv zuvpq}|so � qy| �t�y �pqq{uz|}pty zoptv rz}qy p~ qp|{��uzyy}�{qy |sz|sz�{ |s{ yzo{ o{zt}tv §}|y « �t{ {u{o {t| p~ {z�s rz}q p~ �pqq{uz|{� �uzyy}�{qy }yuz§ {u{� �������� zt� |s{ p|s{q � �� ��� �«� ¡s{ �q}|{q}pt ~pq |s}y uz§ {u}tv }y zq§ }|qzqwx§�| �pty}y|{t|uw zrru}{� z�qpyy zuu rz}qy « ¡s{ rz}qy zq{ vqp�r {� }t|p y{|y « �z�s y{| }y�{�t{� §w z vqzoozq |wr{ zt� z ys}~| yr {�}��z|}pt |sz| oz }o zuuw zu}vty |s{ r py}|}�{zt� t{vz|}�{ {u{o {t| p~ z rz}q « ¡s{ u{zqt}tv zuvpq}|so |s{t z||{or|y |p rqp���{ zy�oozqw �{y�q}r|}pt p~ |s{ rz}qy }t {z�s y{| «

¨t { zoru{ p~ sp� |s{ zuvpq}|so �pq y }y v }�{t }t � }v�q{ � « ¡s{ qp|{��uzyy}�{qy��z|� zt� ��z|y� zq{ �pqq{uz|{� § {�z�y{ |s{w yszq{ |s{ yzo{ o{zt}tv § }|y « ¡s{q{ zq{�© y��s �pqq{uz|}pty « ¡s{y{ �© qp|{��uzyy}�{q rz}qy zq{ �}� }�{� }t|p |�p y{|y � |s{ � qy|pt{ }y q{uz|{� |p �sztv{y }t |s{ r u�qzu § }| x zt� |s{ y{�pt� |p �sztv{y }t |s{ rzy|�|{ty{§ }| « ¡s{ zuvpq}|so upp y ~pq z y�oozqw �{y�q}r|}pt p~ |s{ rspt{o{ §}| rz||{qt |sz|�p�{qy zuu |s{ qp|{��uzyy}�{qy � }|s |s{ ��ru�qzu� ~{z|�q{ �|s{ rpy}|}�{ { zoru{ � zt�z�p}�y zuu |s{ pt{y � }|s ��r u�qzu� ~{z|�q{ �|s{ t{vz|}�{ { zoru{y� « ¨ �{y�q}r|}pt }yyz}� |p ����� zt { zoru{ }~ |s{ { zoru{ }y �pty}y|{t| � }|s zuu |s{ �pt�}|}pty }t |s{�{y�q}r|}pt «

¢|zq|}tv � }|s |s{ rspt{o{ § }|y p~ z qp|{��uzyy}�{q zy |s{ }t}|}zu �{y�q}r|}pt x |s{v{t{qzu}�z|}pt zuvpq}|so r{q~pqo y z yr {�}���|p�v{t{qzu y{zq�s }t |s{ yrz�{ p~ rpyy}§ u{�{y�q}r|}pty « �pq { zoru{ x zt }t }|}zu �{y�q}r|}pt x |s{ y{{� x o }vs| § { |s{ rspt{o{§}|y ~pq ��z|y «� ¡s{ y{{� }y z § }| �{�|pq p~ �� § }|y ��  § }|y ~pq {z�s p~ |s{   rspt{o{y� «z{ «| «y�� x �s}�s �zt § { |sp�vs| p~ zy z upv}�zu �pt��t�|}pt p~ §ppu{zt ~{z|�q{y �

�.���� ��� �� � �% ����� �� ��� �%���� ��! ��� ���� ��� � � ������ �� ����* �� ��������� * �� ��� '� ��� ��� ������ � �� ��� �� � � * � �� �� �* ��� �! ������������ '

�,�� ����� ��( ���� �������� ������ "��� ��� ������ �� �� �������� � � & �� ��� ���� ���� ' $���� "��� �������� ���� ��� � ��� �� �� ��� ���� ����� � �� ���� �� ����� ����� ��( ����� ���������� � ������ ������� ��� �" �% ����� ' ������ " ��� �������� � ����� ��������� � ����� ��( ����� �� ����� '

��

Page 13: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

Grouping rote classifiers into correlation types

s or z

dc.dc.dc.--00000-11-101

??????????????

??????????????

+verb +past

+verb -past ???????????????????????? 0101100000100010101011001100

010110000010001010100000110001100000111010

010000001110001010100000110001011001000000

01000000111000101010000011000101100100000001000001110101

01011000001000101010000011000110000011101001000000111101

00111010001100101000000011000110000011101001000001110000

+noun -plural

+noun -plural

+noun +plural

+noun +plural

ε tnw

? og

zn^g

? n^g

sk^d

k^d?

?

+

+

-

-

-

+

-

-

+

+

k ae t?

?

k ae t s

d ) g

d ) g z

010110010000001010010000110001000001110000

01011001000000101001000011000100000111000001000001110101

+noun -plural

+noun +plural

+noun +plural

+noun -plural 010000001110001010110000110001011000001000

01000000111000101011000011000101100000100001000000111101

??????????????

??????????????

Initial Classifier Pool Common phoneme pattern(only the phoneme patterns are shown)(abbreviated form)

� }v�q{ � � �OFIGKGT RS ]MFHHK7OIH ]RGHKHUH RS U^R HUOJH A 9�; � IRDJKGT RS IRUOV]MFHHK7OIH KGUR ]RIVIOMFUKRG UNJOH 9E KLLMO ]RMDEG ; G FGL 9; �OGOIFMKWKGT IRUOV]MFHHK7OIH P OMRGTKGT UR U[O HFE O ]RIVIOMFUKRG UNJO 9IKT[U ]RMDEG ; X �G U[KH O\FEJMO G U[O KGKUKFM ]MFHHK7OI JRRM [FH �� IRUOV]MFHHK7OIH9H[R^G KG FG FPPIOZKFUOL SRIE KG U[O MOSU ]RMDEG ; X _[O IRUOV]MFHHK7OIH FIO LKZKLOL KGUR U^R]RIIOMFUKRG UNJOH X _[O 7 IHU ]RIIOMFUKRG UNJO 9IOMFUKGT F ]REERG GRDG FGL KUH JMDIFM; [FH� IRUOV]MFHHK7OIH X cF][ IRUOV]MFHHK7OI KH MFP OMOL ^ KU[ F JMDH UR KGLK]FUO U[FU KU KH U[O JMDIFMSRIE RI F E KGDH UR KGLK]FUO U[O HKGTDMFI SRIE X _[O MOFIGOI 7GLH F IDMOV]MFHHK7OI ^[RHO HRDGLJFUUOIG 9IKT[U ]RMDEG ; ]RZOIH FMM J RHKUKZO O\FEJMOH FGL FZRKLH U[O GOTFUKZO RGOH X _[O HO]RGL]RIIOMFUKRG UNJO 9IOMFUKGT F ZOIP HUOE FGL KUH JFHU; [FH U^R IRUOV]MFHHK7OIH X _[O MOFIGOI ^ KMMGRU TOGOIFMKWO U[KH TIRDJ RS ]MFHHK7OIH DGUKM E RIO HD][ O\FEJMOH [FZO POOG F]]DEDMFUOL X

1 21 2211 2111111 21 211 21111 22111 211111 22211111 211111 2221 21 2� 5 �� �� �� ( �� � �

¡s{ v{t{qzu}�z|}pt yrz�{ p~ rpyy}§ u{ rspt{o{ §}|y ~pq z �uzyy}�{q }y � ��� � x �s{q{� }y |s{ t�o§{q p~ rspt{o{ §}|y « �¢{{ � }v�q{ � «� �pq { zoru{ |s{ v{t{qzu}�z|}ptyrz�{ ~pq �uzyy}�{qy � }|s ~p�q rspt{o{y �pt|z}ty � ���� � }ty|zt�{y « ¡p { rupq{ |s}ys�v{ yrz�{ x |s{ v{t{qzu}�z|}pt rqp �{yy q{u}{y pt |sq{{ y{zq�s §}zy{y �

�« � s{t{�{q r pyy}§ u{ }| q{� }y{y |s{ ��qq{t| § {y| �uzyy}�{qy }ty|{z� p~ y|zq|}tv ~qpoy�qz|�s x

� « ¥| rq{~{qy �uzyy}�{qy |sz| �pt|z}t |s{ opy| q{�{t|uw s{zq� rspt{o{y x zt�� « ¥| }y tpt�zvvq{yy}�{ � |s{ y{zq�s |{qo }tz|{y pt |s{ � qy| ~{� �uzyy}�{qy ~p�t� |p

��

Page 14: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

�p�{q z v}�{t y{| p~ �pqq{uz|}pty � }|sp�| �{u}§ {qz|{uw upp }tv ~pq |s{ o }t}ozu�uzyy}�{qy �} «{ «x |spy{ � }|s |s{ uzqv{y| t�o§{q p~ �pt �| �zq{y� «

2-cube

1-cube

multiple generalizatons disjunctive rules

Generalization by Cube Growing

011 111

110

100000

001 101010010

101001

000 100

110

111011

number of generalizations = O(3 )n

� }v�q{ � � ¦uzyy}�{q v{t{qzu}�z|}pt zy ��§ { vqp� }tv « ¨ q{uz|}pt � }|s � §ppu{zt �zq}�z§ u{y �{�t{y zt � �� }o{ty}ptzu }ty|zt�{ yrz�{ � }|s �� rpyy}§ u{ }ty|zt�{y « ¡s{ r py}�|}�{ { zoru{y �yp u}� �p|y� zt� t{vz|}�{ { zoru{y ��}q�u{y� p ���rw |s{ �{q|}�{y p~ zt� �� }o {ty}ptzu ��§ { « �{t{qzu}�z|}pt �zt § { |sp�vs| p~ zy �t�}tv z �puu{�|}pt p~ � ���§ {y �© � � � � � �p�{q}tv |s{ r py}|}�{ pt{y � }|sp�| p�{quzrr}tv |s{ t{vz|}�{ pt{y «¨ ©���§{ }y z rp}t| x ����§ { }y z u}t{ x zt� yp pt « ¡s{q{ ozw § { o�u|}r u{ � ���§ {y |sz|�p�{q |s{ yzo{ rpy}|}�{ { zoru{y �zy ysp�t §w |s{ |�p ����§{y }t |s{ u{~| �}zvqzo � «¥| o zw zuyp q{£�}q{ opq{ |szt pt{ � ���§ { |p �p�{q |s{ r py}|}�{ { zoru{y �zy ysp�t§w |s{ ����§{ zt� ����§{ }t |s{ q}vs| �}zvqzo � « ¡s{ v{t{qzu}�z|}pt zuvpq}|so �y{y z§ {zo y{zq�s � }|s }t���|}�{ § }zy{y |p �t� �}y��t�|}�{ v{t{qzu}�z|}pty «

¡s{ v{t{qzu}�z|}pt rqp �{��q{ }y z § {zo y{zq�s � }|s z y}or u{ vpp�t{yy ~�t�|}pt «¡s{ § {y| � �zt�}�z|{ v{t{qzu}�z|}pty zq{ q{|z}t{� ~pq ~�q|s{q v{t{qzu}�z|}pty « ¡s{vpp�t{yy p~ z ��§ { }y {£�zu |p |s{ y�o p~ �� zt� �� x �s{q{ �� }y |s{ t�o§{q p~r py}|}�{ { zoru{y |s{ ��§ { �p�{qy x zt� �� }y |s{ t�o§{q p~ t{vz|}�{ { zoru{y }| �p {ytp| �p�{q « ¡p §q{z |}{y }t |s{ vpp�t{yy y�pq{ x |s{ y{zq�s rq{~{qy uzqv{q ��§ {y � }|ss}vs{q �� « ¢{{ � }v�q{ � ~pq �{|z}uy «

¨| {z�s }|{qz|}pt |s{ zuvpq}|so v{t{qz|{y t{� �zt�}�z|{ v{t{qzu}�z|}pty §w qz}y}tv|s{ rspt{o{ §}|y �} «{ « �sztv}tv © �y zt� � �y |p �pt �| �zq{y� x pt{ pq |�p §}|y z| z |}o{ «¡s{ rspt{o{y zq{ pq�{q{� §w q{�{t�w« ¡s{ §}|y p~ |s{ u{zy| q{�{t|uw s{zq� rspt{o{zq{ qz}y{� � qy| « ¡s{ y{zq�s |{qo }tz|{y �s{t {}|s{q zuu r py}|}�{ { zoru{y zq{ �p�{q{�pq z t{vz|}�{ { zoru{ }y �p�{q{� «��

��.�� ����� ��( ���� �������� � � �� � " ��� �� ��� ��( ���� �������� " ����� ������ � ���! ����� ��� �� �� ������� �� ��� ��� �� � �% ����� '

� 

Page 15: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

� @� B�+)@� �c�c�e� ��c��)? � a c_ KH F HOU RS JRHKUKZO O\FEJMOH X

� c_ KH F HOU RS GOTFUKZO O\FEJMOH X�)?)? � � c_ KH F HOU RS TOGOIFMKWFUKRGH X�@�>��?A? ��� �eMM O\FEJMOH FGL TOGOIFMKWFUKRGH FIO IOJIOHOGUOL FH PKU ZO]URIH X cF][ PKU ZO]URI ]RGHKHUH RSEDMUKJMO HMRUH X cF][ HMRU KH FG DGRILOIOL HOU RS LKHUKG]UKZO SOFUDIOH X< ���@ �?�� �_[O TOGOIFMKWFUKRG HJF]O KH U[O HOU RS � PKU ZO]URIH ^[OIO KH U[O MOGTU[ RS U[O PKU ZO]VURI X �c�c�e� ��c HUFIUH SIRE F HOOL G F IFGLRE MN ][RHOG OMOE OGU RS a c_ G FGL 7GLHTOGOIFMKWFUKRGH PN F POFE HOFI][ ^ KU[ ^ KLU[ X _[O POFE HOFI][ FKE H UR E KGKE KWO F ]RHUSDG]UKRG X�OU � PO F ]FGLKLFUO TOGOIFMKWFUKRG X _[O POFE HOFI][ KH LO7GOL PN U[O SRMMR^ KGT SDG]UKRGH A

� X bRHU �DG]UKRG � a] = � ]^[OIO a] KH U[O GDEPOI RS OMOE OGUH KG a c_ GRU ]RZOIOL PN � G FGL � ] KH U[O GDEPOIRS OMOE OGUH KG � c_ ]RZOIOL PN � X _ KOH FIO PIRQOG PN JIOSOIIKGT TOGOIFMKWFUKRGH ^ KU[ERIO LRG <U ]FIOH X

X D]]OHHRI �DG]UKRG�OU F �� ��C� ��?C PO F HMRU ^ KU[ FU MOFHU RGO P KU U[FU KH GRU F LRG <U ]FIO X � O7GO U[OHD]]OHHRIH RS � UR P O U[O HOU RS FMM P KU ZO]URIH RPUFKGOL PN HOUUKGT RGO RI U^R PKUH RSU[O MOSUE RHU LO7GKUO HMRU RS � UR LRG <U ]FIOH X

X _OIE KGFUKRG �DG]UKRG�OU � c_ PO U[O HOU RS U[O ]DIIOGU TOGOIFMKWFUKRGH P OKGT ]RGHKLOIOL X _[O HOFI][UOIE KGFUOH KS G SRI FMM � � � c_ G � HFUKH7OH RGO RS U[O U[IOO ]RGLKUKRGH A9F; � ]RZOIH U[O OGUKIO a c_ X9P ; � RZOIMFJH � c_ X9]; eMM U[O HD]]OHHRIH RS � RZOIMFJH � c_ X

� }v�q{ � � ¨uvpq}|so }� �{y�q}r|}pt p~ |s{ v{t{qzu}�z|}pt rqp �{��q{ « ¡s{ § {zo � }�|s� }y y{| |p � ~pq zuu |s{ { zoru{y zt� { r {q}o{t|y �{y�q}§ {� }t |s}y rzr {q «

¡s{ y{zq�s �� }|s § {zo � }�|s � � �� {�{t|�zuuw rqp���{y z �{y�q}r|}pt � |sz| �p� �{qy zuu ~p�q r py}|}�{ { zoru{y zt� z�p}�y zuu ~p�q t{vz|}�{ { zoru{y « ¡s{ �{y�q}r|}ptyzwy |sz| zuu r py}|}�{ { zoru{y {t� � }|s {}|s{q |s{ �y� pq ��� rspt{o{ «��� � ��� ��� ��� ��� ����

¡s{ t{ | y|{r }t |s{ y�oozq}�z|}pt rqp �{yy }y |p �{q}~w |s{ �p�{q}tv �{y�q}r|}pt «¡s{ �{y�q}r|}pt � }y p�{quw v{t{qzu § {�z�y{ zrruw }tv }| |p |s{ t{vz|}�{ { zoru{y v}�{ytp| ptuw |s{ �pqq{�| r u�qzu ~pqo y �y��s zy � «z{ «| «y�� §�| zuyp }t�pqq{�| pt{y �y��s zy

��.�� �!�*�� ���� **�� � ��� % ��� �� � �� *��� '

��

Page 16: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

� � «z{ «| «��� « ¡s{ }t�pqq{�| pt{y zq{ |q{z|{� zy t{zq o }yy{y �} «{ «x t{vz|}�{ { zoru{y|sz| zq{ yu}vs|uw � }�{q{t| ~qpo |s{ r py}|}�{ pt{y� « ¡s{ u{zqt}tv zuvpq}|so zyy�o{yz v{t{qzu �t }£�{t{yy s{�q}y|}�y � |s{q{ }y ptuw pt{ �zw |p yz|}y~w |s{ q{£�}q{o{t|y «¢}t�{ � «z{ «| «y� }y |s{ tp�t rpy}|}�{ { zoru{ x |s{ ywy|{o�v{t{qz|{� � «z{ «| «�� o�y| § {}t�pqq{�| « �{zq o }yy{y vq{z|uw yr {{� �r |s{ �}y�p�{qw p~ �pqq{�| v{t{qzu}�z|}pty « ��

¡s{ v{t{qzu}�z|}pt zuvpq}|so }y q{�}t�p{� � }|s |s{ z��}|}pt p~ |s{y{ t{� t{vz|}�{{ zoru{y �

.��& � �5 ��� �( ������$( $!�� � �5 ��� �( ��� �& �� �% �-� �& �� �5 ��� �% �� �� �-���%�( $!�� � � �5 ��� �( �-� � �& �� �% ��� � �& �� �5 �-�

� �% �� �� ��� �5 ��� �(� �& �� �%� �& �� �5� �% �� ���

¡s}y |}o{ |s{ y{zq�s q{y� u|y }t z �}y��t�|}pt p~ |sq{{ v{t{qzu}�z|}pty � �x � � x zt��� �

� 2 � �&, �&, �� !�$,�� ����6 � �&, �&, ���!�$,� � �(� $&��(� �-��� � �&, �&, ���!�$,� � ,��( $����(� �-�

¡s{ v{t{qzu}�z|}pt � � �p�{qy |�p r py}|}�{ { zoru{y � ��z|y� zt� ����y «� � ��{y�q}§ {y z �pqq{uz|}pt § {|�{{t |s{ r {t�u|}o z|{ �p}�{u{yy rspt{o{ zt� z |{qo }tzu �y�rspt{o{ « ¡s{ v{t{qzu}�z|}pty �� zt� �� p�{quzr }t |s{}q �p�{q}tvy « ¡s{w §p|s �p�{q|s{ q{oz}t}tv |�p rpy}|}�{ { zoru{y � ��pvy� zt� �v�ty «� �� yzwy |sz| z |{qo }tzu ���rspt{o{ }y rq{�{�{� §w z rspt{o{ |sz| szy |s{ ���p}�{� zt� ��y|q}�{t|� ~{z|�q{y «��� �pqq{uz|{y z |{qo }tzu ��� rspt{o{ � }|s z rq{�{�}tv �p}�{� tpt��pt|}t�zt| « �� ¡s{|sq{{ v{t{qzu}�z|}pty zq{ �{q}�{� zy § {~pq{ « �p�{�{q x |s}y |}o { |s{ v{t{qzu}�z|}ptyzq{ �pty}y|{t| � |s{q{ zq{ tp| ztw t{� { �{r|}pty pq t{zq o }yy{y « �p|{ |sz| z~|{qy{{}tv ptuw   rpy}|}�{ { zoru{y x |s{ u{zqt{q }y z§ u{ |p z�£�}q{ �pty|qz}t|y pt |s{r u�qzu ~pqoz|}pt |sz| �upy{uw q{y{o§u{ |spy{ ~p�t� }t u}tv� }y|}�y |{ |y ��� « ¡s{y{ q�u{��uzyy}�{qy zq{ tp� z�z}uz§ u{ ~pq �pty|qz}t| rqprzvz|}pt x zt� zq{ y�§� {�| |p ~�q|s{qq{�t{o{t| �s{t t{� { zoru{y zrr {zq «

�� ������ � �& ���� ��(�� ��� ���"������ �" �� � � ����� �� ��� ���� �� �� ��� ����� � ' &� �������� � " ��� �� � � ����� �� ��� �������� *! �� ���� �� �� �� �� ��� ����� ' .��! �� ����� ��������� ��! '

�#.�� �������� "� ���� ��"��� �� ����! "��� �� �� �� ���� ��� ' &� ������� ����� �� � ���� ��������� �� "( "" " "�� "� "�� "(� & '�� ������ � �� ��� ������� �� �� ���� �" ��� � �� �� �" �� ������� ��� ����� �� ����� ���������� �! "�� *���" � ����� ' �* "� "� "� "� "� & �� ��� � � �� �� "� & �� �% ����� �" ����� '

��

Page 17: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

� ��� �������� � ��� ���

¡s{ �pqr�y �y{� |p �{�{upr |s{ u{zqt}tv rqpvqzo �po{y ~qpo |s{ ¦���� u{ }�zu�z|z§zy{y p~ �tvu}ys ��{qy}pt � «�� p§|z}t{� ~qpo |s{ � }tv�}y|}� � z|z ¦ptypq|}�o « �{y{u{�| ��© �pq�y ��© �poopt tp�ty zt� �©© �{q§y� |sz| � qy|�vqz�{qy o }vs| tp� « ¡s{�pqr�y }t�u��{y opy| p~ |s{ q{v� uzq zt� }qq{v� uzq �{q§y �y{� }t |s{ ryw�spu}tv�}y|}�{ r{q}o{t|y p~ ¤ zq��y {| « zu « �ª� pt �tvu}ys |{ty{y «

¡s{ �z|z q{�pq� ~pq {z�s �pq� }t |s{ �pqr�y �pty}y|y p~ ��{ r }{�{y p~ }t~pqoz|}pt ���� �pq� }�{t|}�{q x ��� �pq� yr {uu}tv x ��� z �t}£�{ o{zt}tv }�{t|}�{q �{ «v «x ��z|� zt���z|y� sz�{ |s{ yzo{ o{zt}tv }� x §�| ��z|� zt� ��pv� �p tp|� x �  � }|y rqpt�t�}z|}ptzy z y{£�{t�{ p~ rspt{o{y x ��� }|y vqzooz|}�zu y|z|�y ��� vqzooz|}�zu § }|y }t�}�z|}tv�s{|s{q |s{ �pq� }y z tp�t pq �{q§ x y}tv�uzq pq r u�qzu x rq{y{t| pq rzy| x {|� «� « ¡s{yr {uu}tv }t~pqoz|}pt }y tp| �y{� §w |s{ u{zqt{q � }| }y ptuw ~pq |s{ s�ozt { r {q}o{t|{q|p q{z� «

�pq� yr {uu}tv o {zt}tv rspt{|}� vqzoozq}� }� ywo§puy����ª �z| ��© � «z{ «| « �p�t ¢}tv «««��ª�� �z|y ��© � «z{ «| «y « �p�t � u� «««��� �� �pv �� ��� � «� «v « �p�t ¢}tv «««����ª �pvy �� ��� � «� «v «� « �p�t � u� «««

¡s{ �z|z q{�pq�y zq{ rq{�rqp �{yy{� |p rqp���{ § }| �{�|pq }tr�|y ~pq |s{ r {q~pq�o zt�{ op�{u zt� u{zqt{q « ¡s{ p�|r�| p~ |s{ r {q~pqozt�{ op�{u zt� u{zqt{q }y z y{|p~ § }| �{�|pqy |sz| |wr }�zuuw sz�{ z y|qz}vs|~pq�zq� ywo§pu}� }t|{qrq{|z|}pt «

¡p |{y| |s{ r {q~pqozt�{ p~ |s{ rqpvqzo pt rzy|�|{ty{ }t�{�|}pt x �{ �y{ |s{ yzo{�z|zy{| |sz| ¤ z�� s}tt{w ��� x � }tv ��� x zt� ¤ppt{w zt� ¦zu}� ���� �y{� « ¡s{ �z|zy{|�pt|z}ty zrrqp }o z|{uw � ©© y|{o �rzy|�|{ty{ rz}qy « �{ qzt�po uw �sppy{ �©© �{q§rz}qy zy |s{ |{y| y{| « ¡s{ |{y| y{| }y � }y� p}t| ~qpo |s{ |qz}t }tv y{| « ¡s{ rqpvqzo }y|qz}t{� pt rqpvq{yy}�{uw uzqv{q yzoru{y ~qpo |s{ |qz}t}tv y{| « ¢|zq|}tv ~qpo z |qz}t}tvyzoru{ p~ �© { zoru{y x �{ o{zy�q{ |s{ rq{�}�|}�{ z���qz�w p~ |s{ rqpvqzo pt |s{|{y| y{| z| �©�{ zoru{ }t|{q�zuy « ¡s{ o{zt zt� y|zt�zq� �{� }z|}pt p~ |s{ z���qz�wzq{ �zu��uz|{� p�{q � |q}zuy « ��q}tv {z�s |q}zu x |s{ �sp}�{ zt� pq�{q p~ |s{ |qz}t}tv{ zoru{y rq{y{t|{� |p |s{ rqpvqzo zq{ qzt�po }�{� «

¥t zuu |s{ { r{q}o{t|y § {up� x �{ �y{ |s{ yzo{ rzqzo{|{q y{||}tvy ~pq |s{ § {zoy{zq�s � }�|s �� � �� }t |s{ v{t{qzu}�z|}pt zuvpq}|so zt� |s{ { �}|z|}pt |sq{yspu� ~pq�uzyy}�{qy « ¡s{ q{y�u|y zq{ tp| y{ty}|}�{ |p |s{ rzq|}��uzq rzqzo{|{q y{||}tvy «

��

Page 18: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

������� ��� ������� �� ���� ����������

¡s{ � qy| { r {q}o{t| |{y|y |s{ r {q~pqozt�{ p~ |s{ rqpvqzo pt rzy|�|{ty{ }t�{�|}pt�y}tv q{v�uzq �{q§y ptuw« ¨ u|sp�vs |s{ |zy }y y}oru}y|}� x }| �p {y zuup� £�zt|}|z|}�{�porzq}ypty � }|s rq{� }p�y �pq « � }v�q{ � rq{y{t|y |s{ u{zqt }tv ��q�{y ~qpo ~p�qrqpvqzo y � ��� �p�q rqpvqzo � x �� ¥�� �z rqpvqzo §zy{� pt }t���|}�{ upv}� rqp�vqzoo }tv � ���� x ¢�¨ �z rqpvqzo §zy{� pt �{�}y}pt |q{{y� ��� x zt� ¤�� �z rqpvqzo§zy{� pt zq|}��}zu t{�qzu t{|�pq� ��� «

0

20

40

60

80

100

0 100 200 300 400 500 600 700

Pre

dic

tive A

ccura

cy (

%)

Number of training examples

"K&G""FOIDL"

"SPA""M&L"

� }v�q{ � � ¦porzq}ypt p~ u{zqt}tv ��q�{y ~pq u{zqt}tv q{v� uzq rzy| |{ty{y «¡s{ vqzrs ysp� y |sz| ��� v}�{y |s{ § {y| z���qz�w q{y�u| « �� ¥�� }y |s{ t{ |

§ {y| r {q~pqo{q « ��� szy |s{ y|{{r {y| u{zqt }tv ��q�{ « ¥| q{z�s{y ª©�� r {q~pqozt�{� }|s �© { zoru{y «

� }v�q{ ª ysp� y z �upy{q up p z| |s{ r {q~pqozt�{ p~ ��� zt� �� ¥�� « ¡s{ y|zt�zq��{� }z|}pt p~ ��� �y u{zqt}tv ��q�{ }y zuyp r up||{� « ¥| ysp� y |sz| |s{ z���qz�w q{y�u|y�zqw §w u{yy |szt �� p�{q �}�{q{t| |q}zuy z~|{q �© { zoru{y «

¡s{ u{zqt}tv ��q�{ p~ ��� yz|�qz|{y z| |s{ ªª «�� zywor|p|{ « ��� v}�{y � qptvrq{� }�|}pt pt pt{ |{y| { zoru{ ��{r}�|� �� «¥ «r «¥ « «|� {�{t |sp�vs }| szy z�£�}q{� |s{�pqq{�| �z���¥�� �uzyy}�{q « ¡s{ q{zypt }y |sz| |s{ uzy| |sq{{ rspt{o{y p~ ��{r}�|�oz|�s |s{ rspt{o{y p~ |s{ �pq� �r }�{�� �r «¥ « «|� « ¡s{ qp|{��uzyy}�{q �pqq{yr pt�}tv|p �r}�{�� }y { �}|{� zt� �pt|qpuy |s{ rspt{o{ q{v}y|{q « ¥| rq{�{t|y |s{ opq{ v{t{qzu�z���¥�� q�u{��uzyy}�{q ~qpo � q}tv « ¢}t�{ �r}�{�� }y zuq{z�w z rzy|�|{ty{ }t�{�|}pt x

��

Page 19: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

0

20

40

60

80

100

0 20 40 60 80 100 120

Pre

dic

tive A

ccura

cy (

%)

Number of training examples

"K&G""K&G-errorbar"

"FOIDL"

0

20

40

60

80

100

0 20 40 60 80 100 120

Pre

dic

tive A

ccura

cy (

%)

Number of training examples

"K&G""K&G-errorbar"

"FOIDL"

� }v�q{ ª � ¨ �upy{q up p z| |s{ u{zqt}tv ��q�{y p~ ��� zt� �� ¥�� «

|s{ rqpvqzo q{|�qty ��{r}�|� �t�sztv{� zy }|y rzy| |{ty{ «� s}u{ |s{ r {q~pqozt�{ op�{u p~ ��� �p{y tp| z�s}{�{ �©©� pt |s{ q{v�uzq �{q§y x

}| o z{y �pqq{�| rq{�}�|}pty pt }qq{v� uzq �{q§y �s}�s �p�u� p|s{q� }y{ § { o }yy{� « �pq{ zoru{ x �§{�po {� }y �pqq{�|uw r u�qzu}�{� § {�z�y{ }|y uzy| � rspt{o{y o z|�s |spy{p~ |s{ �pq� ��po{ «�

¥| }y }ty|q��|}�{ |p { zo }t{ |s{ }t|{qtzu q{rq{y{t|z|}pty p~ v{t{qzu}�z|}pty z�|�zuuwz�£�}q{� §w ��� « ¡s{ ~p uup� }tv �uzyy}�{qy zq{ |wr }�zu �2 � �&, �&, ���!�$,� ���������(� �&�6 � �&, �&, ���!�$,� � ,������� �&�� � �&, �&, �� ��� � ����& � (�� �� ��,��( $����(� �&�� � �&, �&, �� !�$,� ���(� $&��(� �(�� � �&, �&, �� !�$,� � ,������ � ,��( $����(� �(�� � �&, ��& �(� �� �&�

��u{��uzyy}�{qy �x � x zt� � |pv{|s{q �p�{q zuu |s{ �{q§ y|{o y |sz| {t� }t z �p}�{�rspt{o{ p|s{q |szt �� � « ¡s{y{ q�u{��uzyy}�{qy p�{quzr }t |s{ { zoru{y |s{w �p�{q «��u{��uzyy}�{q � �p�{qy |s{ oz�pq}|w p~ |s{y{ �zy{y �zuu |s{ �p�{uy x tzyzuy x u}£�}�y x zt�vu}�{y� « ��u{��uzyy}�{q � �p�{qy |s{ �p}�{� tpt��pqptzu y|pry ��§ � zt� �v �� zy �{uu zyypo{ p~ |s{ �zy{y �p�{q{� §w q�u{��uzyy}�{q �x �s}u{ q�u{��uzyy}�{q � �p�{qy |s{ �p}�{�y|q}�{t|y «

�ª

Page 20: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

¢}o }uzquwx q�u{��uzyy}�{qy   zt� � �p�{q �{q§ y|{o y |sz| {t� }t zt �t�p}�{� rspt{o{p|s{q |szt �|� « ��u{��uzyy}�{q   �p�{qy y|{o y {t�}tv }t � � pq �r � x �s}u{ q�u{��uzyy}�{q� �p�{qy |s{ �t�p}�{� y|q}�{t|y «

������� ��� � ������� ���� ������ ���� ��� ���� �

¡s{ y{�pt� { r {q}o {t| �porzq{y |s{ z���qz�w �s{t §p|s q{v�uzq zt� }qq{v�uzq �{q§yzq{ �y{� }t |s{ |qz}t}tv�|{y| y{|y « � }v�q{ �© ysp� y |sz| |s{ r {q~pqozt�{ p~ ��� zt��� ¥�� zq{ �porzqz§u{ �r |p �� { zoru{y « ¡s{q{z~|{q ��� }y opq{ z���qz|{ zt�q{z�s{y z s}vs{q zywor|p|{ � ª�� �{qy�y ª©� « ¢�¨ szy z ��� |{y|}tv z���qz�w zt�¤�� ��� z~|{q |qz}t}tv � }|s �©© { zoru{y «

0

20

40

60

80

100

0 20 40 60 80 100 120 140

Pre

dic

tive A

ccura

cy (

%)

Number of training examples

"K&G2""FOIDL2"

"K&G2-errorbar"

� }v�q{ �© � ¦porzq}ypt p~ u{zqt }tv ��q�{y ~pq u{zqt}tv zuu rzy| |{ty{y «¡s{ § {||{q r {q~pqozt�{ p~ ��� �zt §{ z||q}§�|{� |p }|y z§ }u}|w |p ~pqo u}o }|{�

v{t{qzu}�z|}pty � }|s }qq{v�uzq �{q§y �{ «v «x |s{ ��po{�§ {�po{� { zoru{ o {t|}pt{� }trq{� }p�y y{�|}pt � « � s{t �{ { zo }t{ }|y }t|{qtzu q{rq{y{t|z|}pty x �{ �t� v{t{qzu}�z�|}pty y��s zy �

��� ��� ��� ��� ��� � ������ ��� �� ��� ������ � ��� � ������� �� � ��� ��� � �� � � ��� � ������� ��� ��� �� ��� � � � ��� � ���

�©

Page 21: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

��� ��� �� ��� ������ � ������� � ������ � ��������� ��� �� ��� ����� � ����� � ����

¢}t�{ }qq{v� uzq �{q§ ~pqo y zq{ }t v{t{qzu }� }pywt�qz|}� zt� tp| rqp���|}�{ �y��s zyvp��{t|� x �{ { r {�| |s{w ~zuu }t|p oztw y�§��uzyy{y « ¡s{ q{y�u|y �pt� qo p�q { r {�|z�|}pt « ¡s{ u{zqt{q }y z§ u{ |p �t� |s{ opq{ �poopt rz||{qty �y��s zy § u{� ��q{� �vq{�zt� §p�vs|��z�vs|�|z�vs|� « ¡s{ q{y�u|y y�vv{y| |sz| opy| }qq{v�uzqy zq{ ��y| u{zqt{�§w qp|{ zt� |s{ u{zqt{q oz{y u}o }|{� v{t{qzu}�z|}pty z§p�| |s{y{ ~pqo y «

������� ��� � ������� �� ���� ���������� �� ��� �������� �� �� ���

¡s}y { r {q}o{t| |{y|y |s{ z���qz�w p~ ��� �s{t |s{ |qz}t}tv y{| }y tp}yw« ¡s{ }yy�{p~ tp}y{ }y �q}|}�zu ~pq z v{t{qzu}�{q u}{ ��� |sz| }t���{y y|qptv v{t{qzu}�z|}pty ~qpo�{qw ~{� { zoru{y « �t{ o }vs| |s}t |sz| yo zuu zop�t| p~ tp}y{ �p�u� sz�{ z uzqv{�t{vz|}�{ � {�{�| pt }|y r {q~pqozt�{ «

¡p |{y| ��� �y tp}y{ |pu{qzt�{ x �{ qzt�po uw o�|z|{ |s{ y�� p~ z ~{� rzy|�|{ty{{ zoru{y }t |s{ |qz}t}tv y{| « �pq { zoru{ x z �� � y�� o�y| § { �sztv{� |p z �|� pq�¥ «� � « ¡s{ yzo{ |{y| y{| p~ �©© q{v�uzq �{q§y ~qpo { r{q}o{t| � }y �y{� «

� }v�q{ �� ysp� y |sz| |s{ r {q~pqozt�{ p~ ��� �{vqz�{y §w �� z| |s{  � tp}y{u{�{u « ¡s{ �zq}zt�{ p~ |s{ z���qz�w }y uzqv{ �porzq{� |p |sz| ysp�t }t � }v�q{ ª «��

¨u|sp�vs |s{ z�{qzv{� u{zqt}tv ��q�{ }y �y{~�u }y ysp� }tv tp}y{�|p u{qzt�{ x }| �p {ytp| v}�{ o��s }ty}vs| }t|p sp� |s{ rqpvqzo }y z§ u{ |p }yp uz|{ |s{ { �{r|}pty « ¡p �t��{qy|zt� �sw |s{ rqpvqzo �pqy x �{ sz�{ |p up p z| z u{zqt}tv ��q�{ ~pq zt }t�}� }��zu|q}zu « ¢{{ � }v�q{ �� «

¡wr }�zuuwx |s{ z���qz�w �qpry pq y|zwy �z| zy |s{ rqpvqzo s}|y z tp}y{ { zoru{ « ¨ yopq{ { zoru{y �po{ }t x }| § {�po{y u{yy �py|uw |p }vtpq{ |s{ { �{r|}pt « ¡s{ rqpvqzo�t�y v{t{qzu}�z|}pty |sz| �p�{q opy| p~ |s{ r py}|}�{y zt� }ypuz|{y |s{ { �{r|}pt }t|pz y{rzqz|{ �uzyy « ¢}t�{ tp}y{ { zoru{y �p tp| q{z�}uw q{r {z| �§ {�z�y{ |s{ y�� }y qzt�po uw o�|z|{� � x }| }y �tu}{uw |sz| |s{ { �{r|}pty �u�y|{q « ¡s}y }y sp� y{u~�q{rz}q}tv p ���qy «

������� ��� � ������� � ������

¡s}y { r {q}o {t| |{y|y |s{ r {q~pqozt�{ p~ |s{ u{zqt{q pt |s{ r u�qzu}�z|}pt |zy « ¡s{q{}y tp y|zt�zq� |{y| y{| ~pq r u�qzu}�z|}pt « �{ q�t |{y|y y}o }uzq |p |s{ rzy|�|{ty{ { r {q�}o{t|y pt �©© qzt�po uw y{u{�|{� �poopt tp�ty ~qpo |s{ ¦���� u{ }�zu �z|z§zy{y «

�� &� ����� * � ���� �� � � ���� ����� � � �� ����� ����� ��� �" ����� �!����� '

� �

Page 22: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

0

20

40

60

80

100

0 10 20 30 40 50 60 70

Pre

dic

tive A

ccura

cy (

%)

Number of training examples

"K&G""K&G-noise2""K&G-noise4"

"K&G-noise2-errorbar"

� }v�q{ �� � �{q~pqozt�{ pt q{v�uzq rzy|�|{ty{ }t |s{ rq{y{t�{ p~ �� zt�  � tp}y{ «

0

20

40

60

80

100

0 10 20 30 40 50 60 70

Pre

dic

tive A

ccura

cy (

%)

Number of training examples

"K&G-noise1"

� }v�q{ �� � ¨ u{zqt}tv ��q�{ ~pq zt }t� }� }��zu |q}zu « � s{t |s{ rqpvqzo s}|y z tp}y{{ zoru{ x }|y z���qz�w �qpry « ¡s{ z���qz�w y|zq|y |p q}y{ zvz}t zy |s{ rqpvqzo {t��p�t|{qy opq{ �vpp� � { zoru{y «

��

Page 23: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

�{ p§|z}t z y}o }uzq y|{{r u{zqt }tv ��q�{ � }|s z���qz�w s}||}tv ªª�� z~|{q �© { zo�ru{y «

¡s{ ~pqoz|}pt p~ �tvu}ys r u�qzuy }y �t�y�zuuw q{v�uzq « ¡s{q{ zq{ �{qw ~{� }qq{v�uzqr u�qzu tp�ty « ¡s}y rqpr {q|w p~ �tvu}ys o }vs| u{z� pt{ |p rqpr py{ u{zqt}tv o{�szt}yo y|sz| { rup}| |s{ y|z|}y|}�y p~ q{v� uzq r u�qzuy §w |qz}t}tv pt z uzqv{ t�o§{q p~ { zoru{yyp |sz| ztw t{� |{y| tp�t }y y�� �}{t|uw y}o }uzq |p z tp�t pt{ |p rqp���{ |s{ �upy{y|oz|�s{� ru�qzu {t�}tv «

��| |s{q{ }y {� }�{t�{ |sz| |s{ y|z|}y|}�zu rqpr {q|w ozw tp| § { {yy{t|}zu |p |s{z�£�}y}|}pt p~ q{v�uzq q�u{y « �pq { zoru{ x ¤ zq��y {| « zu « �ª� zt� ¦uzsy{t �  � ysp�{�|sz| |s{ �{qozt �y r u�qzu § {sz�{y u}{ z q{v�uzq q�u{ �{yr }|{ |s{ ~z�| |sz| |s{ q�u{zrru}{y |p ~{�{q |szt �© �poopt tp�ty « ¡s}y p§y{q�z|}pt qz}y{y |s{ £�{y|}pt p~ sp�z �s}u� �zt z�£�}q{ q{v�uzq q�u{y ~qpo �{qw ~{� { zoru{y « ¡s{ { r {q}o {t| � }uu ysp�|sz| p�q u{zqt{q �zt z�£�}q{ v{t{qzu}�z|}pty |sz| �upy{uw q{y{o§u{ |spy{ �{y�q}§ {� }tu}tv�}y|}�y |{ |y z~|{q y{{}tv pt |s{ pq�{q p~ �© { zoru{y «

¥| }y opq{ }ty|q��|}�{ |p up p z| |s{ v{t{qzu}�z|}pty z�|�zuuw z�£�}q{� �

2 � �&, �&, ���!�$,� � �(� $&��(� �-�6 � �&, �&, ��3 �� �� �!� �-�� � �&, �&, �� !�$,� � �(� $&��(� ���� � �&, �&, �� !�$,� � ,������� ���� � �&, ���,������ ���(�$&��(� �� �-�

��u{��uzyy}�{qy u}{ � zt� � zq{ z�£�}q{� z~|{q |s{ rq{y{t|z|}pt p~ zy ~{� zy   pq� { zoru{y « ¡s}y y�qrq}y{y �y �pty}�{q}tv |sz| {�{t z y|qptv v{t{qzu}�{q u}{ �� ¥����y| o{opq}�{y �sz| }| y{{y ~pq y��s ~{� { zoru{y «��

�p|}�{ |sz| �{ �zt zuopy| q{z� p� |s{ y|zt�zq� �tvu}ys r u�qzu}�z|}pt q� u{y ~qpo|s{y{ �uzyy}�{qy « ¡s{q{ zq{ x sp�{�{q x |�p �}�{q{t�{y « � }qy| x |s{ y|zt�zq� �tvu}ysr u�qzu}�z|}pt q� u{y zq{ |wr }�zuuw pq�{q{� �y{{ x ~pq { zoru{ x ���� �z « ¥~ |s{ tp�t {t�y }t z rspt{o{ �pt|z}t}tv |s{ ~{z|�q{y �� y|q}�{t| x ��pqptzu� �} «{ «xpt{ p~ |s{ yp�t�y �y� x ��� x �ys � x ��s � x ��s � x �� �� x |s{ r u�qzu z� }y �¥ �� «� |s{q� }y{ x§ « ¥~ |s{ tp�t {t�y }t z ���p}�{� rspt{o{ x |s{ z� }y ��� «� « ¥~ |s{ tp�t {t�y }t z ���p}�{� rspt{o{ x |s{ z� }y �y� «¥t p�q ywy|{o x |s{ �uzyy}�{qy zq{ z�|}�z|{� }t rzqzuu{u x � }|s |s{ opy| { �}|{� pt{yvz}t}tv �pt|qpu p�{q |s{ �z|z q{v}y|{qy «

¡s{ y{�pt� �}�{q{t�{ }y |sz| |s{ �t�p}�{��r u�qzu q�u{ � }y q{rq{y{t|{� §w z �}y���t�|}pt p~ |�p q�u{��uzyy}�{qy x � zt�   x }t p�q ywy|{o « ��u{��uzyy}�{q � �p�{qy tp�ty

�������� � �������� ���� "��� �!���� ��� .����� '

��

Page 24: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

{t�}tv }t �ptyptzt|y �|� x � � x �r � x pq �|s � « ��u{��uzyy}�{q   �p�{qy tp�ty {t�}tv }t |s{y|q}�{t| �~ � pq |s{ tpt��pqptzu�� y|pry � � zt� �r � « ¢}o }uzquwx |s{ �p}�{��r u�qzu q�u{ §}y yr u}| }t|p q�u{��uzyy}�{qy � zt� � «

¡s{ u{zqt{q zuyp { s}§ }|y }t|{qo{�}z|{ § {sz� }pqy y}o }uzq |p |spy{ p~ wp�tv �s}u�q{t��� « ¨ ~|{q q�u{��uzyy}�{q � zt� q�u{��uzyy}�{q � zq{ z�£�}q{� x |s{ r {q~pqozt�{ rqpvqzorqp���{y r u�qzuy u}{ �~pp| �y� zt� �ozt ��� « �rpt rq{y{t|z|}pt p~ |s{ tpt�{ �pq����v x� }| v }�{y ��v ��� « �pq tpt�{ �pq�y {t�}tv }t z y|q}�{t| u}{ �|zyy� pq �v�|�s x�}| v }�{y |s{ �tzu|{q{� y}tv� uzq ~pqo y zy r u�qzuy «

¡s{q{ }y sp�{�{q z q{oz}t}tv owy|{qw q{vzq� }tv |s{ �z��� �¥ «��� q�u{ « �{qp }ts{q y|��w p~ �s}u�q{t �y u{zqt}tv p~ �tvu}ys opqrspupvw oz�{ |s{ ~p uup� }tv p§y{q�z�|}pt « � s}u{ |s{ � qy|�vqz�{qy �zt zrruw |s{ �z��� ���� zt� �z��� �y�� ru�qzu}�z|}pt q�u{yrqp���|}�{uw |p t{� �pq�y x |s{w ~z}u |p zrruw |s{ �z��� �¥ «��� q�u{ |p tpt�{ �pq�y u}{�|zyy� pq �v�|�s «� � s{t zy{� |p rqp���{ |s{ r u�qzu p~ z tpt�{ �pq� {t�}tv }t �y� pq��s � x |s{w {}|s{q q{r {z| |s{ �pq� }t }|y y}tv� uzq ~pqo pq ~z}u |p q{yr pt� « ¥t tp �zy{y �p|s{w v}�{ � qptv zty�{qy u}{ |zyy ��� x |zyy �y� x pq v�|�s ��� x zt� ptuw }t ~{� �zy{y �p |s{wq{yr pt� � }|s v�|�s �y� « ¡s{ �s }u�q{t ~z}u |p �y{ |s{ �¥ «�� q� u{ rqp���|}�{uw �{yr }|{ |s{~z�| |sz| |s{w �zt q{�pvt}�{ zt� �y{ q{zu �pq�y u}{ �vuzyy� zt� �vuzyy{y� �pqq{�|uw«

¨ u|sp�vs |s{ }t|{qo{�}z|{ q{y�u| p~ { r {q}o{t| � }y �pty}y|{t| � }|s �{qp �y }t�|{qrq{|z|}pt p~ |s{ �{�{upro{t|zu �z|z x |s{ q{y�u| �{r {t�y pt |s{ s}vs{q �{ty}|w p~�tvu}ys r u�qzuy {t�}tv }t tpt�y|q}�{t|y « ¦pt|qzqw |p �{qp �y }t|{qrq{|z|}pt x p�q |s{�pqw rq{�}�|y |sz| |s{ u{zqt{q �p�u� sz�{ tp �}� �� u|w }t z�£�}q}tv |s{ z��� �¥ «�� q�u{§ {~pq{ |s{ z��� �y� pq z��� ��� q�u{y }~ }| �{q{ v}�{t |s{ r u�qzuy {t�}tv }t y|q}�{t|y � qy| «��

�.�� ����� � "� ���� ��"��� �� ������ �� ����� � ��� *! � ����� ��� ������ ��� �� ��� � ��� ������ �� ��� � �� � � �� '

��.���� �� ��� � � ������ �� ������� ���� ���������� ' &� �� � ����* �� �� � ����� �� �*��� ���� ����� �� �& '(& ���� "�� ���� � "��� ���� �� ��� ������ �! ��*��� * �� ��� ��� � � � ����� ��*� ���� � ��"�������� �� �� �� ����� �& '(& �� "��� ��� �� ��� � ����� ������ � ��*� �� �������� �� ' ," ������ " �� � ���� � ���� �� �� �� �� ��� ����� �� ��������� ���� ' &� � ���� * � ��� � �� �� � ��� ���� � "��� ���� �� �� ��� ��� ���� � ���� ������� ��� �� � ��� ������� �" ��� ��& �� �(& �� �& '(& ������ ' $�� ���� ��� " � ����� �� ������ � #& �������� �� � " ����� � �" ��� ����� �� ��� "�� ����� ���� � ������� " ��� � ���� � � ���*�� ���� �" �������� ����������� � �� ���������� � �� ��� �� � ������� ��� � � � �������� ���� '&� ��� �� ������ " ����� �� � ���������� � ���� �� � ��� �(& �� ���� ' .�� �������� ������� �" �������� + �(&� �� ���� ������� *! ��� ���� ����� ���������� � �� ��� ' .�� ���� ���� " �� ������ " �� ������� ���� �� � �(& �� ��& ����� ���� �� �����%�� ' .�� ������ ���� " ��� � ��������� " ������� ��� ��� � �&&* ������ ��� ���� �� � �� ���� ������ ��� �� � ����� ��� ��� �� � ' � �������� �� ���� ������ " ������ �� ��! �� ��������� ���� �� ���� �� ����� � ! * � ������ ��� � ��� ��� ����� �� ������� � ����� �� �������� ��� ��� � ��������� ���� '

� 

Page 25: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

������� ��� � ������� � ������ �� ��� �������� �� �� ���

¥t |s}y { r{q}o{t| x �{ { zo }t{ |s{ §{sz� }pq p~ |s{ u{zqt{q �s{t |s{ }tr�| �pt|z}ty{qqpq « ¡s{ u{zqt{q }y v }�{t |s{ yzo{ |qz}t}tv y{| ~qpo { r{q}o{t| � r u�y zt z��}|}ptzu}t�pqq{�| r u�qzu ~pqo �z| ��� «

¡s{ }t�pqq{�| ~pqo �p{y tp| z�{�| |s{ z�£�}y}|}pt p~ |s{ �pqq{�| rsptpupv}�zu�pty|qz}t|y « ¡s{ u{zqt{q }y z§ u{ |p }yp uz|{ |s{ { �{r|}pt x �z| ��� x §w z y}tvu{��uzyy}�{q �� � ��� ����� �� ����� ����� �� ��� �

¡s{ yzo{ ��{ q�u{��uzyy}�{qy zq{ z�£�}q{� zy }t |s{ rq{� }p�y { r{q}o{t| «

������� ��� � ������� � ����� ��� ���������� ����� �� �����

¥t |s}y { r {q}o {t| x �{ �y{ �� r u�qzu rz}qy zt� �� rzy|�|{ty{ rz}qy « ¡s{ �© { zoru{yzq{ qzt�po }�{� « ¥t z��}|}pt |p |s{ q�u{��uzyy}�{qy y}o }uzq |p |spy{ ysp�t }t rq{� }p�y{ r{q}o{t|y x ��� �t�y v{t{qzu}�z|}pty |sz| �{ �p tp| { r{�| � |�p s}vs{q�pq�{q�pqq{uz|}pty q{uz|}tv |s{ r u�qzu zt� rzy| |{ty{ q�u{��uzyy}�{qy « ¡s{ |�p t{� s}vs{q�pq�{q q�u{��uzyy}�{q {t~pq�{ |s{ �pty|qz}t| |sz| |s{ �p}�}tv § }|y p~ |s{ {t�}tv rspt{o{p~ |s{ y|{o zt� |s{ z� o�y| oz|�s ��&, �&, �� !�$,�� �� !�$,����&, �&, ���!�$,�� ���!�$,���

¡s{y{ q� u{��uzyy}�{qy �zt § { }t|{qrq{|{� zy |s{ ������� ���� ������ � �� �{y�q}§ {�}t u}tv�}y|}�y |{ |y �y��s zy ���� « �p}�}tv zyy}o }uz|}pt �zr|�q{y �qpyy��z|{vpq}�zu v{t{q�zu}�z|}pty vp�{qt}tv |s{ ~pqoz|}pt p~ tp| ptuw r u�qzu tp�ty zt� rzy|�|{ty{ �{q§y x §�|zuyp |s}q��r {qypt y}tv�uzq �{q§y x r pyy{yy}�{ tp�ty x zt� y{�{qzu p|s{q opqrspupv}�zu�z|{vpq}{y «

� }tv�}y|y { ruz}t �poru}�z|{� rsptpupv}�zu rqp �{yy{y }t |{qo y p~ |s{ }t|{qz�|}pty p~t{zquw }t�{r {t�{t| zt� � }�{uw zrr u}�z§ u{ q� u{y « ��q u{zqt }tv |s{pqw v}�{y z r uz�y}§ u{o{�szt}yo |p rqp���{ |s}y }t� p~ �porz�| x {u{vzt| rsptpupv}�zu q�u{y «

� ������� ��

¡s{ ��� rqpvqzo z�s}{�{y z s�ozt�u{�{u r {q~pqozt�{ pt |s{ rzy|�|{ty{ }t�{�|}ptzt� ru�qzu}�z|}pt |zy y « ¥| ysp� y tp| ptuw t}�{ tp}y{ |pu{qzt�{ x §�| zuyp }t|{qo {�}z|{§ {sz� }pq �pty}y|{t| � }|s �sz| }y p§y{q�{� z§ p�| u}||u{ �s}u�q{t «

��.�� ����� "� ���� ��"��� �� ������ �� �������� � ��� �������� *�� ������ � ����� �� ������� ���� '

��

Page 26: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

¡�p ~z�|pqy �pt|q}§�|{ |p |s{ rqpvqzo �y v{t{qzu}�z|}pt r p�{q « � }qy| x |s{ �}y�|}t�|}�{ ~{z|�q{ q{rq{y{t|z|}pt { rup}|y z rqpr{q|w p~ uztv�zv{ � |sz| �{qw ~{� p~ |s{r pyy}§ u{ rspt{o{y zq{ z�|�zuuw �y{� }t zuu s�ozt uztv�zv{y « ¢}t�{ |s{ s }vs �}o{t�y}ptzu �}y|}t�|}�{ ~{z|�q{ yrz�{ }y yrzqy{uw r pr�uz|{� x pt{ �zt }ozv}t{ q{uz|}�{uw y}oru{swr {qr uzt{y � }uu �u{ztuw y{rzqz|{ �uzyy{y p~ { zoru{y «

¢{�pt� x |s{ y{zq�s }t |s{ v{t{qzu}�z|}pt yrz�{ szy |�p }orpq|zt| § }zy{y � yozuu�{y�q}r|}pty zt� up �zu �pqq{uz|}pty « � q{~{qq}tv v{t{qzu}�z|}pty � }|s opq{ �pt �| �zq{y�pq {£�}�zu{t|uw ~{� t�o§{q p~ § }|y� }y z �{z ~pqo p~ o }t}ozu u{tv|s �{y�q}r|}pt «¥| �pq y § {�z�y{ |s{ v{t{qzu}�z|}pt yrz�{ }y yrzqy{ « �{t{qzu}� }tv z qp|{��uzyy}�{qy{£�{t|}zuuw ~qpo u{~| |p q}vs| {o§p�}{y z up �zu}|w zyy�or|}pt � }| q�u{y p�| zq§ }|qzq}uwuptv �}y|zt�{ �pqq{uz|}pty « ¡s{ up �zu}|w § }zy �qzoz|}�zuuw q{���{y |s{ t�o§{q p~�zt�}�z|{ v{t{qzu}�z|}pty |p § { �pty}�{q{� «

�pq u{zqt }tv |p § { {�{�|}�{ x |s{y{ |�p ~z�|pqy sz�{ |p �pq |pv{|s{q « ¨ u{zqt{qup p }tv ~pq yozuu �{y�q}r|}pty �p�u� tp| ~zq{ �{uu }t z �{ty{ yrz�{ § {�z�y{ |s{q{ zq{ tpy}oru{ y{rzqz|}tv swr {qr uzt{y �zy }t |s{ ��� rqp§u{o � « ¢}o }uzquw z u{zqt{q upp }tv~pq up �zu �pqq{uz|}pty �p�u� tp| § { z§ u{ |p u{zqt q{v�uzq}|}{y |sz| �{r {t� pt zq§ }|qzq}uwuptv �}y|zt�{ q{uz|}ptys}r «��

�{ ysp�u� r p}t| p�| |sz| p�q ztzuwy}y p~ �sw p�q rqpvqzo �pq y �{r {t�y ptqz|s{q v{t{qzu �pt�{r|y p~ s}vs��}o{ty}ptzu yrz�{ x yrzqy{t{yy x o }t }ozu �{y�q}r|}pt xzt� up �zu}|w« �{ �p�u� tp| § { y�qrq}y{� |sz| o {�szt}yo y y��s zy ys }~| q{v}y|{qy x § }|�{�|pqy x zt� ��§ {��p�{q}tv § }zy{y � }uu § { v{t{qzuuw {�{�|}�{ }t |s{ { |qz�|}pt p~ up �zuyrz�{�|}o { �pqq{uz|}pty «

� �� ������ ��� � ����� ��

��{q |s{ rzy| ~{� w{zqy |s{q{ szy § {{t z s{z|{� �{§z|{ § {|�{{t z��p �z|{y p~ �¦pt�t{�|}pt }yo � zt� z��p �z|{y p~ opq{ |qz�}|}ptzu �¢wo§pu}� ¨q|}��}zu ¥t|{uu}v{t�{ «� �{§ {u}{�{ |sz| �pt|{oruz|}pt p~ p�q o {�szt}yo ~pq z�£�}q}tv zt� �y}tv rsptpupv}�zutp� u{�v{ �zt ys{� �pty}�{qz§ u{ u}vs| pt |s}y £�{y|}pt «¡s{ {yy{t�{ s{q{ }y }t �t�{q�y|zt�}tv |s{ q{uz|}ptys}r § {|�{{t |s{ y}vtzuy }t |s{ t{�qzu �}q��}|y p~ |s{ §qz}t zt�|s{ ywo§puy |sz| |s{w zq{ yz}� |p q{rq{y{t| «

¦pty}�{q � qy| zt pq� }tzqw �por�|{q « ¨ q{ |s{q{ ywo§puy }t |s{ �por�|{q� �p x|s{q{ zq{ |qzty}y|pqy }t |s{ �por�|{q x zt� �zrz�}|pqy x zt� � }q{y }t|{q�ptt{�|}tv |s{o x{|� « ¥| }y z �ptt{�|}pt}y| ywy|{o « ¡s{q{ zq{ �pu|zv{y pt |s{ tp�{y zt� ��qq{t|y }t |s{� }q{y « �{ zy rqpvqzoo{qy }t|{qrq{| |s{ rz||{qty p~ �pu|zv{y zy q{rq{y{t|z|}pty p~ p�qywo§puy zt� ywo§pu}� { rq{yy}pty « �{ }orpy{ rz||{qty �{ �zuu rqpvqzo y |sz| �z�y{

� &� �� ������ �! � � ���* �� �� � ��� � "��� �" � ��� ��� �� � ���������� � � �� � �� � �� ����� �� ����"�� ���� �� ���� �" ��� �� � � ����� ������ �� * ���� � �� � � �� ���� *��� �� ��������� ���� '

��

Page 27: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

|s{ rz||{qty p~ �z|z �pu|zv{y |p {�pu�{ }t z �zw |sz| �{ }t|{qrq{| zy |s{ ozt}r�uz|}ptp~ ywo§pu}� { rq{yy}pty |sz| �{ }t|{t� « ¡s�y |s{ ywo§puy zt� ywo§pu}� { rq{yy}ptyzq{ z �porz�| zt� �y{~�u �zw p~ �{y�q}§ }tv |s{ §{sz� }pq p~ |s{ �ptt{�|}pt }y| ywy|{o «�{ zy {tv}t{{qy zqqztv{ ~pq p�q �ptt{�|}pt }y| ywy|{o |p { s}§ }| § {sz� }pq |sz| �{ �zt�y{~�uuw �{y�q}§ { zy |s{ ozt}r�uz|}pt p~ p�q ywo§puy «

¥t o��s |s{ yzo{ �zwx z��}|pqw y}vtzuy zq{ ztzupv |qz� {�|pq}{y |sqp�vs z up� �� }o {ty}ptzu yrz�{� z |}o {�y{q}{y p~ z�p�y|}� rq{yy�q{ « �w y}vtzu rqp �{yy}tv |s{y{zq{ |qzty~pqo{� }t|p |qz� {�|pq}{y }t z s }vs��}o {ty}ptzu yrz�{ |sz| u}tv�}y|y z§y|qz�| xzrrqp }o z|{ x zt� �{y�q}§ { }t |{qo y p~ rspt{o{y zt� |s{}q �}y|}t�|}�{ ~{z|�q{y « ¡s}ys}vs��}o{ty}ptzu yrz�{ }y �{qw yrzqy{uw r pr�uz|{� §w u}tv�}y|}� �||{qzt�{y « �{�z�y{p~ |s{ yrzqy}|w p~ |s}y yrz�{ x �{ �zt {zy}uw }t|{qrq{| �pt�v�qz|}pty }t |s}y yrz�{zy � }y�q{|{ ywo§pu}� { rq{yy}pty zt� }t|{qrq{| § {sz� }pqy }t |s}y yrz�{ zy ywo§pu}�ozt}r�uz|}pty «

¥| o zw § { |s{ �zy{ |sz| |s{ u}tv�}y|}� q{rq{y{t|z|}pt }y t{�{yyzq}uw yrzqy{ § {�z�y{|sz| }y |s{ {w |p oz }tv z y}oru{ x {� �}{t| x pt{�ysp| u{zqt }tv zuvpq}|so « ¡s�y yrzqy{�t{yy p~ |s{ q{rq{y{t|z|}pt x zt� |s{ z||{t�zt| rpyy}§ }u}|w p~ ywo§pu}� �{y�q}r|}pt x }y��y| z �pty{£�{t�{ p~ |s{ ~z�| |sz| s�ozt uztv�zv{ }y u{zqtz§u{ zt� �t�{qy|zt�z§u{ §wo{�szt}yo y |sz| zq{ {�pu�z§u{ zt� }oru{o{t|z§u{ }t q{zu}y|}� § }p upv}�zu ywy|{o y « ¥t~z�| x �{ § {u}{�{ |s }y op�{u p~ u{zqt}tv }y zrru}�z§ u{ |p rqp§ u{o zq{zy p�|y}�{ rsptpu�pvw«

¢p }t |s{ �zy{ p~ rsptpupvw z| u{zy| x |s{ ¦ptt{�|}pt}y|�¢wo§pu}� �}y|}t�|}pt }y zoz||{q p~ u{�{u p~ �{|z}u « ��{qw|s}tv }y }oru{o {t|{� }t |{qo y p~ t{�qpty pq |qzty}y|pqy x�{r {t�}tv pt �s{|s{q �{ zq{ §�}u� }tv t{�qzu �}q��}|y pq szq��zq{ « �p�{�{q x § {�z�y{|s{ q{rq{y{t|z|}pt p~ u}tv�}y|}� }t~pqoz|}pt }y yrzqy{ x �{ �zt |s}t p~ |s{ �z|z zy § }|yzt� |s{ o{�szt}yo y zy ys}~| q{v}y|{qy zt� §ppu{zt �pty|qz}t|y « ¥~ �{ �{q{ �{zu}tv � }|s|s{ �{|z}uy p~ o�y�u{ �pt|qpu �{ �p�u� rqp§z§uw sz�{ z o��s �{ty{q q{rq{y{t|z|}ptzt� |s{t �{ �p�u� �zt| |p |s}t }t |{qo y p~ zrrqp }o z|}pty p~ o�u|}�zq}z|{ ~�t�|}pty «��| �s{t }| }y r pyy}§ u{ |p z§y|qz�| ywo§puy �{ p§|z}t z |q{o{t�p�y z��zt|zv{ « �{ v{||s{ r p�{q |p { rq{yy �{y�q}r|}pty p~ o{�szt}yo y }t z �porz�| ~pqo |sz| }y �pt�{t}{t|~pq �poo�t}�z|}pt |p p|s{q y�}{t|}y|y x pq zy rzq| p~ zt {tv}t{{q}tv �{y}vt «

¢p �sz| p~ y}vtzuy zt� ywo§puy� ¡s{q{ zq{ y}vtzuy }t |s{ §qz}t x zt� �s{t rpyy}§ u{ x|s{q{ zq{ ywo§puy }t |s{ o }t� «

�� ���� ��� ��

�{ sz�{ �{opty|qz|{� z r {q~pqozt�{ op��u{ |sz| �zt § { }or u{o{t|{� §w y}oru{rswy}�zu szq��zq{ �pq r {qszry t{�qzu o {�szt}yo y�� � }|s z yo zuu �zq}{|w p~ rzq|y xzt� z u{zqt}tv op��u{ |sz| szy § {{t y���{yy~�u ~pq u{zqt }tv z r pq|}pt p~ �tvu}ys

��

Page 28: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

opqrsprsptpupvw« ��q r {q~pqozt�{ op��u{ �y{y �pty|qz}t| {u{o{t|y |p � uu }t }t�~pqoz|}pt }t o�u|}r u{ �zwy « ¡s{ yzo{ �pty|qz}t| {u{o{t| �zt {t~pq�{ }t�{�|}pty pqq{op�{ |s{ }t�{�|}pty |p q{�p�{q |s{ yp�t� �pqq{yr pt�}tv |p |s{ �pq� y|{o « ¡s{u{zqt }tv op��u{ w }{u�y zuopy| pt{�ysp| u{zqt}tv x y}o }uzq |p |sz| p§y{q�{� }t �s}u�q{t �¥| |z{y ptuw z ~{� �zq{u{yyuw �spy{t { zoru{y |p u{zqt |s{ }orpq|zt| q�u{y � |s{q{}y tp �tq{zyptz§u{ q{r {|}|}pt p~ |s{ �z|z � zt� |s{q{ }y tp q{£�}q{o{t| |p �{zup�yuw�pqq{�| {qqpt{p�y § {sz� }pq « ¡s{ o{�szt}yo |pu{qz|{y tp}y{ zt� { �{r|}pty « ¥| u{zqtys}vs{q�pq�{q �pty|qz}t|y zy }| tp� y opq{ « ��q|s{qopq{ x |s{ }t|{qo{�}z|{ y|z|{y p~u{zqt }tv rqp���{ {qqpqy |sz| zq{ ��y| u}{ |s{ {qqpqy rqp���{� §w �s}u�q{t zy |s{w zq{u{zqt }tv rsptpupvw«

�zy| u{zqt}tv p ���qy § {�z�y{ |s{ u{zqt}tv op��u{ { rup}|y |s{ yrzqy{t{yy p~ |s{v{t{qzu}�z|}pt yrz�{ x zt� szy §�}u|�}t § }zy{y |p �pty|q��| �q��}zu t{vz|}�{ { zoru{yzt� |p y{{ up �zu o }t}o�o �{y�q}r|}pt «

� sz| sz�{ �{ u{zqt{� z§p�| oz }tv {�{�|}�{ uztv�zv{ u{zqt{qy� �{ § {u}{�{|sz| s�ozt uztv�zv{y zt� |s{ u{zqt }tv o{�szt}yo y sz�{ |p �p�{�pu�{ }t y��s z �zw|sz| |s{w § pp|y|qzr {z�s p|s{q « ¡s{ ~{z|�q{y p~ uztv�zv{ |sz| |{t� |p y�q� }�{ zq{|spy{ |sz| zq{ {zy}uw u{zqtz§ u{ zt� v{t{qzu}�z§u{ « �pq { zoru{ x yrzqy{ up �zu yrz�{�|}o { �pqq{uz|}pty |{t� |p § { {zy}uw u{zqtz§u{ §w v{t{qzu}�{qy |sz| sz�{ up �zu}|w zt�yozuu �{y�q}r|}pt §}zy{y « �t |s{ p|s{q szt� x }~ |s{ v{t{qzu}�{q {�pu�{y z t{� ~pqo p~q{rq{y{t|z|}pt �{ «v «x z s}{qzq�s}�zu y|q��|�q{ � x t{� ~{z|�q{y p~ |s{ uztv�zv{y § {�po{{zy}uw u{zqtz§ u{ zt� s{t�{ �zt y�q� }�{ « ¡s{q{ }y zt }t|}o z|{ q{uz|}pt § {|�{{t |s{rqpr {q|}{y p~ |s{ uztv�zv{y zt� |s{ o{�szt}yo y |sz| u{zqt |s{o «� ���ji �gl��g��m

�{ |szt ¤pqq}y � zuu{ ~pq |{z�s }tv �y {u{o{t|zqw rsptpupvw zt� s{ur }tv �y |pv{| y|zq|{� }t |s}y q{y{zq�s « �{ |szt ¡po �t}vs| ~pq ysp� }tv �y |sz| zt {u{�|q}�zu}or u{o{t|z|}pt p~ �pty|qz}t|y }y ~{zy}§ u{ « �{ |szt ��u}{ ¢�yyozt ~pq t�o{qp�y�q}|}�}yo y zt� y�vv{y|}pty |p }orqp�{ |s{ rq{y{t|z|}pt p~ |s{ oz|{q}zu « �{ |szt�z|q}� � }ty|pt ~pq s}y |sp�vs|~� u �q}|}£�{ zt� }�{zy ~pq { |{t�}tv |s}y �pq |p{u��}�z|{ £�{y|}pty pt |s{ v{t{qzu rq}t�}r u{y p~ uztv�zv{ zt� u{zqt}tv « �{ |szt � zu¨§{uypt x �pt ¨ uu{t x �p�t{w � qp py x ¤ }{ ¤ z �{uu x ¢|{�{ � }t{q x � u}ysz ¢z� y x �{|{q¢�pup� }|y x zt� �{tv �szp ~pq �poo{t|y pt |s{ o zt�y�q}r| « �{ |szt �{t ��}r {qy x¦wt|s }z ¨tt ¡spory x zt� �zwopt� ¤ppt{w ~pq |s{}q £�{y|}pty zt� y�vv{y|}pty «

� ���������

��� ¨�q}zt ¨oz� }zt x � }�szq� �{o {qy x zt� �p§ {q| � zqt}ys « � ��������� � �� ������������ �� ���� � �� ��� ������� « ¤ ¥¡ � q{yy x �q� {�}|}pt x �ªª© «

��� � « � {qp « ¡s{ �s}u� �y u{zqt}tv p~ �tvu}ys opqrspupvw« ���x �  x �ª�� «

��

Page 29: courses.csail.mit.educourses.csail.mit.edu/6.803/pdf/yip.pdf · 2011-10-17 · -plural +noun

��� �pzo ¦spo yw zt� ¤pqq}y � zuu{ « ��� � ��� � ����� �� ��� ���� « � zqr {q zt��p� x �ª�� «

�  � � zqpu� ¦uzsy{t x ¤ pt}z �p|s�{}u{q x zt� ¨t�q{zy �p{y| « �{v� uzq zt� }qq{v�uzq}t�{�|}pt p~ �{qozt tp�t ru�qzuy « �������� x  � ��� x �ªª� «

��� ¤ }�sz{u � {ty|p� }�� « � ���� ���� �� ��������� ���� �« � uz��{uu ��§u}ys{qy x�ªª  «

��� ¦szqu{y � }tv zt� ¤ zq}t ¤ zq}tp� « ¨ty�{q}tv |s{ �ptt{�|}pt}y| �szuu{tv{ � ¨ywo§pu}� op�{u p~ u{zqt }tv |s{ rzy| |{ty{y p~ �tvu}ys �{q§y « �������� x  ª ��� x�ªª� «

��� � q}zt ¤ z�� s}tt{w « ¦ptt{�|}pty zt� ywo§puy � �upy}tv |s{ vzr « �������� x  ª x�ªª� «

��� � q}zt ¤z�� s}tt{w zt� �zq{� �{}t§z�s « ¥oru{o{t|z|}pty zq{ tp| �pt�{r|�zu�}�z|}pty � � {� }y}tv |s{ �{q§ u{zqt}tv op�{u « �������� x  © x �ªª �«

�ª� �zqw ¤ zq��y x ¢|{�{t � }t{q x ¤ }�sz{u � uuo zt x ¤ }�s{uu{ �puuzt�{q x ¡ « �pst�py{t x zt� �{} �� « ������� �������� �� ���� � � ��������� x �pu�o{ �� «¤ ptpvqzrsy p~ |s{ ¢p �}{|w ~pq q{y{zq�s }t �s}u� �{�{upro{t| x �ªª� «

��©� ¡po ¤ }|�s{uu « �{t{qzu}�z|}pt zy y{zq�s « � ���� �� � ����� ��� ���� ��� �x �� x �ª�� «���� � zwopt� ¤ppt{w zt� ¤ zqw � uz}t{ ¦zu}� « ¥t���|}pt p~ � qy|�pq�{q �{�}y}pt u}y|y �

q{y�u|y pt u{zqt}tv |s{ rzy| |{ty{ p~ �tvu}ys �{q§y « �� x � x �ªª� «���� ¢|{�{t � }t{q « ��u{y p~ uztv�zv{ « � ������x ��� x �ªª �«���� ¢|{�{t � }t{q zt� ¨ uzt � q}t�{ « �t uztv�zv{ zt� �ptt{�|}pt}yo � ¨tzuwy}y p~

z rzqzuu{u �}y|q}§�|{� rqp �{yy}tv op�{u p~ uztv�zv{ z�£�}y}|}pt « �������� x �� x�ª�� «

��  � ¢zt�{{r � qzyz�z zt� ¢|{�{t � }t{q « �{t{qzu}�z|}pt p~ q{v� uzq zt� }qq{v�uzqopqrspupv}�zu rz||{qty « �������� x  � ��� x �ªª� «

���� �z� q{t�{ �z§}t{q zt� � }}tv���ztv ��ztv « ���� �� � �� �� �� ���� ���������� «� q{t|}�{ �zuu x �ªª� «

���� � ��o{uszq| zt� � «� « ¤ �¦u{uuzt� « �t u{zqt}tv |s{ rzy| |{ty{y p~ �tvu}ys �{q§y «¥t � � � ��� � �� ��� ��� � ��������� � ��� ������� �� �� � � ����������� �� ��������� «¤ ¥¡ � q{yy x �ª�� «

���� �z|q}� � }ty|pt « �{zqt}tv y|q��|�qzu �{y�q}r|}pty ~qpo { zoru{y « ¥t ��� � ������ ���� �� ��� ��� ������ « ¤ �� qz� �� }uu x �ª�� «

�ª