122

nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

  • Upload
    others

  • View
    0

  • Download
    0

Embed Size (px)

Citation preview

Page 1: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

������������ ������������������ ������� �"!$#&%��(')�*%(���+��,-'.%�%���/���

�0� �213���0���/45'.%(�����6!"#&%��(')�*%������

7�8

9;: 8�<>=@? :�A�B)C <

DFE�GIHJHLKNM�OQPROJGISUT"HJV�W�XYGZOJOJKNE"GIT"[(P\M�O]GIP\^`_aV�^Zb(^I^cXYKdTeO

S\_fO]g�KhMJKdi3V�GIMLKNXjKNTeO]Hk_aSUMlOJg�KhE�KNmUMLKNKnS\_

o S�pqO]SUMkS\_.r)g�GI^cSUHJS\[�ges

o Kd[(P\M�O]XjKNTeO&S\_ut+SUXY[�V�O]KdMwvxpNGIKdT�pNK

y Kdz|{ S\MJ}�~�T�Gc�\KNMJHLGcO�s

v�KN[�O]KNXW`KdM��\�\�\�

v�P�O]SUHLg�Gfv�KN}3GcT�K

� P\^c[�g$�hMLGIHLg�X�PRT

Page 2: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

p����GZsUSUHLg�Gfv�V�E�S

D�^I^ � GIm\g3OJH � KdHJKdML�UKdE��*�\�U�\�

Page 3: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp
Page 4: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

��������� � �������������������������

Gc�

Page 5: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

������������ ����� ��� ������

� GIMLHLO+S\_�P\^c^ ���uz+S\V�^IE ^cGI}RK�O]SnO]g(PRT�}�r)MLS\_aKNHLHJSUM � P\^c[�g���MJGcHJg�XYP\T PRT�E�r)MJS\_aKdHJHLSUM

v�PROJSUHJg�G�v�Kd}3GIT�K+_aS\MfOJg�KNGcM�[(P�O]GIKdTeO)P\T�E mUKNT�KNMJS\V�HuHJV�[�[`S\MLO.OJg�MJS\V�mUg�SUV�OuXs P\pNP\E�KNXjGIp

p PRMJKNKdM���� zlPRH ^IV�pQ}es O]S g(P �UK O�z�S HJV�pQg2[�MJSUXjGIT�KNTeO�[�MJS\_aKdHJHJS\MJH�P\HYXs MJKdHJKNP\MJpQg

P\E��xGcHJKNMLH�� � ^cK P\MLT�KNE P ^ISRO_aMJS\X � P\^I[�g"! Hp P\V�OJGISUV�HJT�KdHJHjP\T�E v�PROJSUHJg�G#! H P\X W�GZO]GcSUT"�

$ GcOJg�SUV�O&KdGcOJg�KNMkS\_fO]g�KNX �/P\Tes�S\_fO]g�GcHlz+SUML}�pNSUV�^IE"T�S\O&g(P �\K W KNKdT E�SUT�K%�

& g�GIH MLKNHLK P\MLpQg z+P\H HJV�[�[`SUM�O]KdE GcT [(P\MLO W3s O]g�K o Kq_aKNT�HLK$D�E��RP\T�pdKNE � KdHJKNP\MJpQg

r)MJS('LKdpdOJH)DwmUKdT�pdsP\Hu[(PRMLOuSR_(O]g�K & M]PRT�HJ^cGIT�mUV�P\^���T�_aSUMJXYPROJGISUT o KdO]KdpdOJGISUT��%)+*�OJM]P\pqO]GcSUT

P\T�E v�V�XjX�PRMJG-,NPRO]GcSUT/. & � o ) v10k[�MLSUmUM]PRX �(V�T�E�KNM��hMJP\TeO y3242 �U�6587��U�658795:7<;4=65?>�_aMJSUX

O]g�K�v�[�P\pNK�P\T�E y P �RP\^ $ P\ML_ P\MLK�vxsxHLO]KdXYH+t+KNTeOJKNM ��v�P\T o GIKdmUS �eP\T�E�Wes O]g�K y PRO]GcSUT(P\^

v�pdGIKNT�pNK � SUV�T�E(PRO]GcSUT V�T�E�KdM �hMJP\TeO@�A��v�7��\�4;65B= 2 �$P\T�EC�D��v�7��U�4Ee�%F 2 F4>G� & g�GcH[(PR[`KdM

E�SxKNH&T�S\O&T�KNpNKdHJHJP\MJGc^cs"MJK8H(KNpqO&O]g�Kh[ SUHJGZO]GIS\T�S\_�OJg�Kn~I� vJ� ��S@�\KNMLT�XYKdTeOK�

��OJg(P\T�}�r)MLS\_aKNHLHJSUML�9� o P\T�M-KN^IP\XjKNE�_aSUM&g�GIHkKdT�pNS\V�M]P\m\KNXjKNTeO�P\T�E$SU[`KdT�T�KdHJH�PRH

�N�P\X P\^cHJS;mU^ PRE OJS g�P �\K g(PRE r)MJSR_aKNHJHLSUMj{�PRT�TNO�K t+V�T2P\T�E r)MJS\_aKdHJHLSUM o KdT�T�GcH

v�g(PRHJg(P GIT"Xs OJg�KNHLGIH&pNS\XYXjGcOLO]KNKP�

�nOJg(P\T�} Xs _ PRXYGc^cs XYKdX W KNMJHW`S\OJg GITRQUP\[(PRT PRT�E GIT y Kdz { S\MJ} PRT�E X�P\Tes

_aMJGcKNT�E�H P\MJS\V�T�E O]g�KYz+SUML^IE _aSUM P\^cz+P s�H MLKNXjGIT�E�GIT�m-XYK�OJg(PRO��nP\X T�Kd�\KNM z&GZO]g�SUV�O

O]g�KNGIMk^cS �UKnP\T�E$HJV�[�[`SUM�O]H:�

O�P\HLOJ^cs �S�fz+S\V�^IE T�S\O g�P �\K�W KNKdT�PRW�^IK+OJShX�P\}RK&GcOuOJg�MJSUV�mUgjP\^I^xO]g�KksUKNP\MJH)z&GZO]g�SUV�O

Page 6: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

p PRMJKnP\T�E$HJV�[�[`SUM�O&_aMJSUX M-GIT { SUV�T�m1�

�xG

Page 7: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� � � ��� �����

& g�K OQP\HL} S\_��T�_aS\MJXYPRO]GcSUT )+*xO]MJP\pdOJGISUT . � ) 0�GcH�O]S b�T�E2HJ[ KNpdGcb(p O�sx[`KdH�S\_nGITG7

_aSUMLX�PROJGISUT GcT T�PRO]V�MJP\^)^ PRT�mUV(P\m\K O]K8*xO�����T [(PRMLO]GcpNV�^IP\M � ��������� ��� � � ����� ��� GcE�KNTeOJGcb(KdH

GIT�HLOQPRT�pNKdH SR_>Ph[(P\M�O]GIpdV�^ PRM.O�sx[`K&S\_`Kd�\KNTeOlSUMu_ PRpdO3. P�[(PRMLO]GcpNV�^IP\MUHLpNKdT(P\MJGcS��0 �eGIT�pd^IV�EG7

GIT�m O]g�K KNTeOJGcO]GcKNH�GcT3�\SU^c�\KNE���P\T�E b(^c^IHhP�E(PRO]P\W(P\HLK z&g�GIpQg g(P\H�W KNKdT [�MLK87�E�Kdb(T�KdE _aS\M

O]g�K HJpdKNT(P\MLGIS1�;D�HO]g�K�T3V�XW`KdM S\_�E�SxpNV�XjKNTeO]H P �RP\Gc^ P\W�^IKjSUTG7�^cGIT�Kjg(P\HX V�^cOJGI[�^cGIKdE��

KNTeOJGcO�s-K8*xO]MJP\pdOJGISUT g�P\H�mUMLS@z&T GIT GcXY[ SUMLO]P\T�pdKn_aSUM&�RP\MJGcSUV�HwP\[�[�^cGIp P�O]GIS\T�H �/GIT�pN^IV�E�GIT�m

O]MJP\pQ}3GIT�m O]KdMJMLSUMJGcHLO�P\pqO]Gc�xGZO]GIKdHl_aMJSUX T�Kdz&H�z&GIMLKHJS\V�MJpdKNH�P\T�E$W�V�GI^cE�GIT�m PjE(P�OQP\W(PRHJKhS\_

'LSUW"[ SUHLOJGIT�mUHl_aMLSUX OJg�K $ KdW���O]S T(P\XjKhP _aKdz �

O�GIT�mUV�GIHLOJGIpYpNSUTeO]K *xO]H �+HJV�pQg P\H [�MLKNE�Gcp PROJK87�PRMJmUV�XjKNTeO MLKN^ P�O]GIS\T�HJg�Gc[�H �)g�P �\K"W`KdKNT

z&GIE�KN^cs-V�HLKNE P\H ��� � � ����� ��� � ��� � ��� ��� OJS GIE�KNTeO]GZ_ s-OJg�K GcOJKNXjH�OJS�W`K K *xO]M]PRpdO]KdE _aMJSUX

O]g�KO]K *�O�� & g�K pdSUHLO�SR_ pNMJKNPRO]GcT�m K *�OJM]P\pqO]GcSUT [(PROLO]KdMJT�H�_aSUM�K P\pQg HLpNKdT(P\MJGcS g(P\HwW`KdKNT

P W`SROJO]^cKNT�KdpQ}�^IGcXYGZO]GIT�mnOJg�Kh[`SUM�OQP\W�GI^IGZO�sjS\_.GcT�_aSUMLX�PROJGISUT�K8*xO]MJP\pdOJGISUT"HLsxH�O]KNXjH&O]S E�Gc_ 7

_aKNMLKNTeOYHJpNKdT(P\MLGISUH �lP\^ZO]g�SUV�mUg O]g�KdMJK$g(P\HjW`KdKNT HLSUXjK$MLKNHLK P\MLpQg SUT HJKNXjG 7 HJV�[ KNM��xGIHJKdE

[(PROLO]KdMJT E�GcHJpdS@�\KNM�s [�MLS�pdKNE�V�MJKNH�O]S�MLKNE�V�pNK OJg�GIH�pNSUH�OK� & g�K pQg(P\^I^cKNT�m\K GcH�OJS�E�Kq�UKN^cSU[

P _aV�^c^cs P\V�O]SUXYPRO]Gcp"XYKqO]g�SxE _aSUMYGIE�KdTeO]Gc_ sxGcT�m K *�OJM]P\pqO]GcSUT [(PROLO]KdMJT�H�_aS\M�P HLpNKdT(P\MJGcS

HJ[ KNpdGcb(KdE-Wes�OJg�KhV�HJKdM��

& g�GIH+E�GIHLHJKNM�OQPROJGISUTY[�MJKdHJKdT3OJH�PT�S �UKd^>P\[�[�MJSeP\pQg _aS\M�O]g�KwV�T�HLV�[ KNML�xGcHJKNE"E�GcHJpdS@�\KNM�s

S\_kK *xO]M]PRpdO]GcSUT [(P�OJO]KdMJT�H _aSUM Kq�UKdT3O K *xO]M]PRpdO]GcSUT _aMLSUX6M]P z O]K *xOK� � GIMJH�O �fz+K [�MJKNHLKNTeO

��GcG

Page 8: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

P$_aMJP\XjKdz�SUMJ} OJg(PROP\^I^cS@z&H�OJg�K�V�HLKNMnO]S g�P �\K�P-HLKN^Z_ 7�pNV�HLO]S\XYG ,NGIT�m$GcT�_aSUMLX�PROJGISUT K *�7

O]MJP\pdOJGISUT H�sxHLO]KdX _aSUM�g�GcH��Rg�KdM�i3V�KNM�s���OJg�K���V�KNMLsS7 o MJGc�\KNT���T�_aSUMLX�P�O]GIS\T )+*�OJM]P\pqO]GcSUT

.�� o � )�0n_aMJP\XYKqz+S\MJ} � & g�K GcT�[�V�O OJS O]g�K�� o � ) _aMJP\XYKqz+S\MJ} GIH OJg�K V�HLKNM:! H i3V�KdMLs��

KNGZO]g�KdM PnHLKdO S\_`}\Kqsxz�SUMLE�H+SUM P�T(P\MLM]PROJGc�\KkE�KNHLpNMJGc[�O]GcSUT S\_ O]g�K&Kd�\KNTeOlK *xO]M]PRpdO]GcSUT OQP\HL} �

v�KNpdSUT�E��(z�KnP\HJHLKNHJH�O]g�K�GcXY[�MJS �UKdXYKdT3O�GcT�K8*xO]MJP\pdOJGISUT"[(PROLO]KdMJT$XYSxE�KN^cH�� s�pNSUT 7

HJGcE�KNMLGIT�m�O]g�KkHLg�SUMLOJpNSUXjGIT�mUH.S\_/OJg�Kl[�MLGISUMfz+SUML}W(PRHJKNE SUT [�MJKNE�GIp P�O]K87�P\MJm\V�XYKdTeO)XYSxEG7

KN^cHwPRT�E O]g�KNGIM�K8*xOJKNT�HLGISUT�H �`z�K [�MLSU[`S\HJK PjT�S �UKd^.K8*xOJM]P\pqO]GIS\T [(PROLO]KdMJT XjS�E�KN^�O]g(P�OwGcH

W(P\HLKNE-SUT$P\MJW�GZO]MJP\MLs�HJV�W�OJMJKdKNH�S\_.E�KN[ KNT�E�KdT�pds"OJMJKNKdH��

& g�GIMLE���z�K P\E�E�MLKNHLH"OJg�K GIHLHJV�K;S\_n[ SUMLO]P\W�Gc^IGcO�s PRpNMJS\HJH"^ P\T�mUV(P\mUKdH�� DwH"P p P\HLK

HLOJV�E�s SR_ OJg�K�� o � ) _aMJP\XYKqz+S\MJ} �Uz+KkGcXY[�^IKNXjKNTeOJKNE P�[�MLK87�t � o � ) HLsxHLOJKNX ��Pht+MLSUHJH 7

O�GIT�m\V(P\^���TG7 o KNXYP\T�E���T�_aSUMLX�P�O]GIS\T�)+*�OJM]P\pqO]GcSUTYH�sxHLO]KdX MJKdixV�GIMJGcT�mhXYGcT�GIXYP\^3g3V�XYP\T

GITeOJKNML�\KNTeO]GcSUT��Uz&g�GcpQg GIT�pdSUMJ[ SUM]P�O]KNHuOJg�K�� o � );_aMJP\XjKdz�SUMJ}P\H P�pNSUXj[ SUT�KNTeOu_aS\M)[(PROA7

O]KdMJT"E�GcHJpNS �\KNMLs%� ��T-PRE�E�GcOJGISUT �xz�KnP\HJHLKNHJHkOJg�K�MJSU^cKwS\_fXYP\pQg�GcT�KwO]MJP\T�HL^ PROJGISUT GcT pNMLSUHJH 7

^IGcT�mUV(PR^�GcT�_aSUMLX�PROJGISUT K8*xO]MJP\pdOJGISUT2Wes pNSUXj[(P\MLGIT�m OJM]P\T�HJ^ P�O]GIS\TG7�W(PRHJKNE GIXj[�^IKdXYKdT3O]P(7

O]GcSUT�H:�

�xGIGcG

Page 9: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� �����������

���� �������������� ���

����� ���"!$#��" �%&�"'(�"����) �

�+*,)-�/.��0�1� �2���

�3��)4�5�&6879��%;:�.��") <2�=���

�3��)4�5�&6 �3�>*,#��") < �?�=�

@ A �;�/.��? B:��1�����;� @54� 5 ��T�_aSUMLX�PROJGISUT�) *xOJM]P\pqO]GIS\T P\T�E o S\X�P\GcT o KN[ KNT�E�KNTeO �hT�S@z&^cKNE�m\K +P\HJK �

54� � r.PROLO]KdMJT o GIHJpdS �UKNM�s � ��I��I���I��I�� �I���I��I���I�� �I� �

54� E )+*�OJM]P\pqO]GcSUT$r.PROLO]KNMLT�H���I��I���I��I�� �I���I��I���I�� �I� 2

54� � t+SUTeO]MLGIW�V�OJGISUT�H ��I� ��I��I���I��I�� �I���I��I���I�� �I� =

G *

Page 10: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

54� F ��MJmeP\T�G-, P�O]GIS\T S\_ & g�KNHLGIH ��I���I��I�� �I���I��I���I�� �I� 5 �

� � .����&. �&.�� @���G� 5 v�V�[ KNM���GcHJKdE �I���I� ��I��I���I��I�� �I���I��I���I�� �I� 5@�

�G� 54� 5 � GI^cS���=4E �I� ��I��I���I��I�� �I���I��I���I�� �I� 5BE

�G� 54� � ��GcX P\T�E�M-S\^IE�S �RP\T =SF �I��I�� �I���I��I���I�� �I� 5?F

�G� 54� E vxS�E�KdMJ^IP\T�E"KdO�P\^ � =SF ���I��I�� �I���I��I���I�� �I� 5 2

�G� 54� � ��V��`X�P\T = 2 ��I��I���I��I�� �I���I��I���I�� �I� 5 2

�G� 54� F vxS�E�KdMJ^IP\T�E =4= �I��I���I��I�� �I���I��I���I�� �I� 5?>

�G� 54� 2 o GcHJpdV�HJHLGISUT � ��I��I���I��I�� �I���I��I���I�� �I� 5B;

�G� � & S z+P\MJE�Hw~�T�HJV�[ KNM��xGIHJKdE ��I���I��I�� �I���I��I���I�� �I� 5B=

�G� �G� 5 � GI^cS���= 2 �I� ��I��I���I��I�� �I���I��I���I�� �I� �\�

�G� �G� � � GI^cS�� P\T�E�Q\SUT�KNHL=4= ���I��I�� �I���I��I���I�� �I� �G5

�G� �G� E t+S\^I^IGcT�HkP\T�E vxGIT�mUKdM =4= ��I��I�� �I���I��I���I�� �I� �%E

�G� �G� � {�PRT�meP\MLW`KdM&�U� �I��I���I��I�� �I���I��I���I�� �I� �4F

�G� �G� F D�mUGIpQgeOJKNGIT$P\T�E ��M]P �RP\T�Sj�U� �I�� �I���I��I���I�� �I� �4>

�G� �G� 2 o GcHJpdV�HJHLGISUT � ��I��I���I��I�� �I���I��I���I�� �I� �%;

� � �;� .��?��� ! �&6 � ��� � �".�� ���� :B��) ��������� ��

E6� 5 ��TeO]MJSxE�V�pqO]GcSUT ���I� ��I��I���I��I�� �I���I��I���I�� �I� EU�

*

Page 11: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

E6� � � o � ) � ��V�KNMLsS7 o MJGc�\KNT ��T�_aSUMLX�PROJGISUT�) *xOJM]P\pqO]GIS\T��I��I���I�� �I� Ee�

E6� �G� 5 o SxpNV�XYKdT3O�r)MLKN[�MLS�pdKNHJHLGIT�m ��I�� �I���I��I���I�� �I� E4E

E6� �G� � o SxpNV�XYKdT3O � KdOJMJGcKd�RP\^ ���I��I�� �I���I��I���I�� �I� E\�

E6� �G� E r�PROJOJKNMLT�)+*xO]MJP\pdOJGISUT ���I��I�� �I���I��I���I�� �I� ESF

E6� E t+SUT�pd^IV�HLGISUT/�I���I� ��I��I���I��I�� �I���I��I���I�� �I� ESF

� � ��� � �".�� � �? 2�"#=) ���

�1� 5 ��TeO]MJSxE�V�pqO]GcSUT ���I� ��I��I���I��I�� �I���I��I���I�� �I� E4;

�1� � r)MJGIS\MlXYSxE�Kd^IH ���I� ��I��I���I��I�� �I���I��I���I�� �I� E4=

�1� �G� 5 r)MLKNE�Gcp PROJK87�D�MJmUV�XYKdT3O&XjSxE�KN^��I�� �I���I��I���I�� �I� E4=

�1� �G� � t+g�P\GIT"XjS�E�Kd^"��I��I���I��I�� �I���I��I���I�� �I� �e�

�1� �G� E t+S\XY[(PRMJGIHLSUT S\_jt+g(P\GcT�XjS�E�Kd^nP\T�E�r)MLKNE�Gcp PROJK87�D�MJmUV�XYKdT3O

XjSxE�KN^ ��I� ��I��I���I��I�� �I���I��I���I�� �I� �15

�1� E v�V�W�OJMJKdKnXjSxE�KN^ ��I� ��I��I���I��I�� �I���I��I���I�� �I� ��F

�1� E6� 5 � P\T�}3GcT�mjr.PROLO]KNMLT tlPRT�E�GIE�PRO]KdH �� �I���I��I���I�� �I� �S;

�1� E6� � r�P\M]PRXYKqO]KNM & V�T�GcT�m _aSUM � PRT�}3GIT�m � V�T�pqO]GIS\T �I���I�� �I� F\�

�1� � )+*�[ KNMLGIXjKNTeO ���I� ��I��I���I��I�� �I���I��I���I�� �I� F%E

�1� F o GIHLpNV�HLHJGIS\T �I���I� ��I��I���I��I�� �I���I��I���I�� �I� F%;

�1� 2 t+SUT�pd^IV�HLGISUT/�I���I� ��I��I���I��I�� �I���I��I���I�� �I� 2 �

*�G

Page 12: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� � �0) � ����:� ������ .���) ) #=���2%�:2�0# A �26 �&.�'(�������;� 8< � .��>�1�����;� � �

FG� 5 ��TeO]MJSxE�V�pqO]GcSUT ���I� ��I��I���I��I�� �I���I��I���I�� �I� 2 F

FG� � [�MJK 7�t � o � )2vxsxH�O]KNX ��I��I���I��I�� �I���I��I���I�� �I� 242

FG� �G� 5 �w�\KNML�xGcKdz � ��I��I���I��I�� �I���I��I���I�� �I� 242

FG� �G� � v3s�H�O]KdX DwMJpQg�GcO]KdpdOJV�MJK ��I��I�� �I���I��I���I�� �I� 2 >

FG� �G� E D�T�)+*�P\Xj[�^IK�[�MJSxpNKNE�V�MJK � M-P\T(P\mUKdXYKdTeO�vxV�pNpdKNHJHLGISUT��� �I� 2 =

FG� E )u�\PR^IV(PROJGISUT S\_Yt+MLSUHJH 7�^cGIT�mUV�P\^�� ) vxsxHLO]KdX PRT�E � SU^IK;S\_ M PRpQg�GIT�K

& MJP\T�HL^ PROJGISUT ���I� ��I��I���I��I�� �I���I��I���I�� �I� >R�

FG� E6� 5 t+MLSUHJH 7�^cGIT�mUV�P\^ ��T�_aS\MJXYPRO]GcSUT )+*�OJM]P\pqO]GcSUT �I��I���I�� �I� >4F

FG� E6� � )+*�[ KNMJGcXYKdTeO]H���I��I���I��I�� �I���I��I���I�� �I� >%;

F � E6� �G� 5 )+*�[ KNMJGcXYKdTeOQP\^�vxKdOJOJGIT�m � �I���I��I���I�� �I� >%;

F � E6� �G� � o P�OQP��I��I���I��I�� �I���I��I���I�� �I� >%=

F � E6� �G� E � KNHLV�^cOJH �I���I��I�� �I���I��I���I�� �I� ;65

FG� E6� E r)MLSUW�^IKdXYHkGcT & MJP\T�HJ^IPRO]GcSUT ��I�� �I���I��I���I�� �I� ;4E

FG� E6� � � KN^IPRO]KdE $ SUML} �I��I���I��I�� �I���I��I���I�� �I� ;S>

FG� � t+SUT�pd^IV�HLGISUT$P\T�E � V�OJV�MJK $ SUMJ}���I��I�� �I���I��I���I�� �I� ;4=

� 72:2��:2.��� �;.�� �

*�GcG

Page 13: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� � � ��� � ����� �

54� 5 QUP\[(P\T�KNHJK � S�pQ}RKdO O�P\V�T�pQg�)u�UKNTeO ��I�� �I���I��I���I�� �I� 5

54� � )+*�PRXY[�^cK�S\_+) *xOJM]P\pqO]GIS\T-r�PROJOJKNMLT ��I�� �I���I��I���I�� �I� >

54� E )+*�PRXY[�^cK�S\_ o KN[ KNT�E�KdT�pds & MJKdK�.aGIT-v�7 K8*�[�MJKdHJHLGISUT 0���I���I�� �I� =

�G� 5 v�P\Xj[�^IK�r.PROLO]KNMLT�H�P\T�E"O]g�KdGIM���KNT�KdM]P\^cG-, P�O]GIS\T ���I��I���I�� �I� 5?>

�G� � $ �3��v � � V�^cKnt+MJKNPRO]GcSUT ��I���I��I�� �I���I��I���I�� �I� 5B;

�G� E M-V�OJV(P\^ +SxS\O]H�O]MJP\[�[�GcT�m ��I���I��I�� �I���I��I���I�� �I� �U�

�G� � M-KdO]P(7�W SxS\O]H�O]M]PR[�[�GIT�m���I��I���I��I�� �I���I��I���I�� �I� �R�

E6� 5 � o � ) _aM]PRXYKqz+SUML} E(PRO]P(7 H�S@z ���I��I�� �I���I��I���I�� �I� E4E

E6� � )+*�PRXY[�^cK�S\_uv�KNTeO]KdT�pNKr)MJKN[�MJSxpNKNHLHJGcT�m �� �I���I��I���I�� �I� E\�

E6� E & � �P� o�� 7 W(P\HLKNE"HJpdSUMJGcT�m _aV�T�pdOJGISUT�_aSUMk[�PROJOJKNMJT$p PRT�E�GIE�PRO]KdH �I�� �I� E 2

�1� 5 ��� ���������������������� �"!#�$���&%'%(!�%()*�'�+�'� ���� ,%()�!.- � �I���I��I���I�� �I� �U�

*�GIGcG

Page 14: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

�1� � � �&� �����.��� ����� %'�&�"!�� �.� � �. ������*�"����� ����� � � )*��� )� ��.%'���.-��,-�����.� ��� �')���')���� ��!�� ��� � ��%( �� ����� ,%'�"�� ��.��� )*� �.����%(�&��� - ���I��I���I�� �I� �U�

�1� E � ��! �%(��� )*�& ,�����#" % �� ����� � �� ,�����&%(� � ������$�%�!&' �)*�(� ��!(�.������ ,�����&%(� � � ,�� !#� ��%())�*� ������! �.��� ����%( �� �')�!#� �' ��,+$)*�-� )) ��.%'�.�.-��,- �I��I���I�� �I� ��F

�1� � /(��� ��%'�&� ��!(�.��� �� ,�����&%(��� � ,�"� !#� ��%())�0�.�����.� � ����%( �� �')�!#� �' ��,+ !#� �.�� �. �������� �'��������� � � )*�-� )) ��.%'���.-��,- �I��I�� �I���I��I���I�� �I� � 2

�1� F t+SUXj[(P\MJGcHJSUT�SR_ )+*xO]MJP\pdOJGISUT-r�KdML_aSUMLX�P\T�pNK�z&GcOJg o G �*KdMJKdT3O�1 �� �I� FG5

�1� 2 )+*�OJM]P\pqO]GcSUT rfKNM�_aSUMJXYP\T�pdK � . PS0hv�V�pdpNKdHJHJGcSUT vxpNKNT�P\MJGcSC.2143 ;40 � . W 0

DwMLMJKNH�Owv�pNKdT(P\MJGcS�.#153 ��0L��I���I��I�� �I���I��I���I�� �I� 2 5

�1� > )+*�PRXY[�^cKNH)S\_`K8*xOJM]P\pqO]GIS\TY[(P�OJO]KdMJT�H P\T�EjOJg�KNGcM)pNSUTeO]MLGIW�V�O]GIS\TjGcT M P\TG7

P\mUKdXYKdT3O)v�V�pdpNKNHLHJGcSUT HJpNKdT(P\MLGIS �6�.!�% �� ��7��� ,�����&% �98��.� �' :����� �.!�; � )��'���< #�*)*� ��%( �� �'� ,�')�!#�98��.���=���>� �&% !�� � !�%(%'��� � � ,�'�7 ���>�2& !�%?�@8.�.� �A� �B�� �&%�!�� )*� � !�%'%(��� �"� ,�'�7 ���C�$D � � !�%'%'��� �@� ����E;F �&�.�&% )�� � !#��� !�%(� ��; )��/(��� ��%'�&���2/(GIHJ�K�@8L&J� �)*�M�2&J �)*�%� ����0N !�%O %'��� )*�& ,�����#" % �� � �������� %"����!(�.��� - �I��I���I� ��I��I���I��I�� �I���I��I���I�� �I� 2 �

*�Gc�

Page 15: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

�1� ; )+*�PRXY[�^cKNH�S\_+K8*xO]MJP\pdOJGISUT;[(P�OJO]KdMJT�H P\T�E;O]g�KNGIM�pdSUTeO]MLGIW�V�OJGISUT;GcT D�M 7

MJKdHLO HJpdKNT(P\MLGIS � � !�%��� ��@ �� ,�����&% �98��.� �' :����� �7.! ; ��)��'� ��< #�*)*�7 ��% �� �'�* ��')�!#� 8 �.�"�A� �O� �&% !���� !�%'%'��� � � ,�'�7.���B�2& !�%?�@8��.� �A� �O� �&% !�� ) � � !�%'%'��� �� ,�'�@.�����$D � � !�%'%'��� �@�� ����C;F.�&� �&% )*��� !#�<� !�%(� � ; )��-/(�<����%'�&�B�2/<GKHJ�K�@8&J� �)*�E�2&J �)*�0� ��*�0N !�%F �%(��� )*�& ,�����#" % �� ����� �O�� ".� ��!(�.��� - ��I�� �I� 2 E

FG� 5 [�MJK 7�t � o � )2vxsxH�O]KNX D�MJpQg�GZO]KdpdO]V�MJK���I�� �I���I��I���I�� �I� 2 ;

FG� � vxO]Kd[ 5 � ��V�KdMLs�� ��.��� ���&%"� %'! � )��.��� � � �'� ��� ,%()*! �.���'� %()����')�!#� )*� �.�� ���'� %()*� �')�!#� � ���&��!��F+�� �A;�!�%@� �@� ����0N !�%�� ,%'%( ,�') � �E� �� ,%'%( ,�') � �-�.����'� % )�� �')�!#�C; )��$ �� � ; �'��������� � ���?� - �I��I�� �I���I��I���I�� �I� >\�

FG� E vxO]Kd[ � �uv�^cS\O t+SUT�b(mUV�MJPRO]GcSUT � ��.�'� ���&% ��*� �� ����0N !�% �.�����&������� � �'��!��'�)*� � �����������* ,����� %'�&���)��- �I��I���I��I�� �I���I��I���I�� �I� >G5

FG� � vxO]Kd[ E �Yv�^cS\OD�HJHLGImUT�XjKNTeO �-�F.� � �'�&% ��'�()) #� �" �'��!�� ��! �� ��@ ���* �� ���.!#� �.�&% !�� �.� �� ,�����&%(���=�$�@.! !#�()*�< !#�.�"!�� � �"�'��!��'��� �����.��� )*� �����&��� -�.�.%() �< � )*� ���' : ���8��.� � �. ���������!�� ��%( �� �'� ,����� ����� ����� � ��� �& �� � � �'�&��� - >U�

FG� F vxO]Kd[;� � )+*xO]MJP\pdOJGISUT � ��.�B� ���&%��& �� �!-�� ��7+ �'���&��� !�% ���� %'�&� �� ,�� � �')*� .��N � �� ��&�'� �.�O�.���')�%( :����� %(���� ���&- �� �I���I��I���I�� �I� >%E

*x�

Page 16: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

FG� 2 & MJP\T�HL^ PROJGISUTG7 W(P\HLKNE � o � );v3s�H�O]KdX�.aD�0>��Hut+MJSUHLH 7 ^IGIT�mUV(P\^ � o � );vxsxH 7

O]KdX�. 0 ���F.� � ���&%�� ���A�.�&%� � �� #�*)*�0�@8 �.����!��.%(� � �.! � ���������6���� ,�� ��.������� ���� � � �' ,% ��&� � ����%( �� ����� �' :����� � ��< #�*)*�%� ,%(�� )) � �*)� ������� - �I�� �I� >4>

FG� > r�KdML_aSUMLX�P\T�pNK t+SUXj[(P\MJGcHJSUT�S\T�))TeO]GZO�s )+*�OJM]P\pqO]GcSUT & P\HL}C��I�� �I� ;e�

FG� ; )+*�PRXY[�^cK+S\_`v3O]MJV�pdO]V�M]P\^ o G �`KNMJKdT�pNK+GIT & M]PRT�HJ^IPRO]GcSUT � �� ����%( ����'�* ,�')�!#�!�� ��� ,�� ��.����� � ��� %'���'�()�!#� ) ����! ��� � �&%( �� ��< #�*)*�7 � )�� �&%'��� � � � � %(���'�')�!#� �)*���&����� )*�� "�&%'%'!#� �&!�� � !#�.���&-+��I���I��I�� �I���I��I���I�� �I� ;SF

FG� = )+*�PRXY[�^cK�S\_ & M]PRT�HJ^IPRO]GcSUTC))MJMLSUMJH � " %'%(! ; � )*��� ) �& ,��� �.� � !�%'%'��� � �.���� �����.�����&)���� )*��& !�%'%'��� � � %( �� �'� ,�')�!#�98# ���� �.�'�.�&� ����� ��� ���"�� ,% ���&%�� � !��.� ��*� � !�� �.�"����� ����� � � )*� � !�� ���*�.� 8�%(����� ��� �') � ���)��-'D � � !��.���*� � 8��.�����%@� � ��.%'� �&%'%'!�% �& �� ����� �.� !�% # �� )��� ,�')*!#�� ��I+, ��')*� �� �.�&� ����� ��! �.�

� �&%� 8����������@8 �&%(%'!#�.�&!�� �'��� �� ��)���&��� �� � �)*� � %(��� )*�& ,����- ��I�� �I� ; 2

2 � 5 )+*�PRXY[�^cKS\_ r�PROJOJKNMLT )+*�[(P\T�HJGIS\T W3s-z+S\MJE;MJKd[�^ P\pdKNXjKNTeO �>��.� �.� ;�� ,�����&% � � ,%'� !�� �' �)*� ���B�=� %'�&���* ��&) �< ���!�#"%$&�#'(��)*� �.� � �.)*���') �< �� ,�����&%(� �; )*� �.��!��.�&%F; !�%7� ��8�)*��+,�-��. ����0/1�%2:8�)*� �.� �( �����; !�%7�- �%'!��.� - �I� =4E

2 � � o PROQP?7 H(S z o GIP\mUMJP\X�_aSUM ��TG7 o KdX�P\T�EI��T�_aS\MJXYPRO]GcSUT) *xOJM]P\pqO]GIS\THLsxH 7

O]KdX � ��I��I���I� ��I��I���I��I�� �I���I��I���I�� �I� =S>

*x�xG

Page 17: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� � � ��� � ��� �B�

54� 5 )+*�PRXY[�^cK & PRW�^IK�S\_ � S�pQ}RKdO OfPRV�T�pQg �I�� �I���I��I���I�� �I� �

54� � � SxpQ}\KqO3OfPRV�T�pQg�)u�\KNTeO & KNXj[�^IPRO]K ��I�� �I���I��I���I�� �I� E

54� E & sx[ KNH�S\_ o KN[ KNT�E�KdT�pds � KN^IPRO]GcSUT�H ��I�� �I���I��I���I�� �I� ;

�G� 5 v�P\Xj[�^IKwS\_.D�V�O]Sev�^ISUm ��KNV�MLGIHLOJGIp � V�^IKdH �� �I���I��I���I�� �I� 5 �

�1� 5 & PRHJ} o KdHJpNMLGI[�OJGISUT$P\T�E v3OQPROJGIHLOJGIpdHkS\_ & KNH�O o P�OQP �I��I���I�� �I� FR�

�1� � � ��o KNHLpNMLGI[�OJGISUT"S\_ & KdHLO o PRO]P ��I��I�� �I���I��I���I�� �I� F4F

FG� 5 vxOQP�O]GIH�O]GcpNHlS\_ & KdHLO o PRO]P ��I���I��I�� �I���I��I���I�� �I� ;65

2 � 5 M P(*�GIXV�X MLKNp PR^I^IHkGcT�KNTeO]GZO�s"K8*xO]MJP\pdOJGISUT�O]P\HJ} ��I��I���I�� �I� =\�

*x��GcG

Page 18: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� � ��� ��� �

� ��� ��� � � � � ���

��T�_aSUMLX�P�O]GIS\T )+*xO]M]PRpdO]GcSUT . � )�0 GcH P HJV�W�b(KN^cEFSR_ y PROJV�M]P\^@O�P\T�mUV(PRmUK r)MJSxpNKdHJHJGcT�m

. y O�r 0 OJg(PRO PRGIXjH O]S;K *�OJM]P\pqO HJ[ KNpdGcb(p O�sx[ KNH S\_�GIT�_aS\MJXYPRO]GcSUT _aMLSUX OJK8*xOK� ~�T�^cGI}RK

GIT�_aSUMJXYPRO]GcSUT"MJKqO]MJGcKd�RP\^ � z&g�GcpQg MJKqO]V�MLT�HhP�HJKqO�S\_ E�SxpNV�XjKNTeOJHw_aSUM�PYmUGc�\KNT i3V�KNM�s �"� )

HLsxH�O]KNXjH"GIE�KdTeO]Gc_ s _ P\pqO]H �RKd�\KNTeO]H$E�KNHLpNMLGIW KNE GIT2P OJK8*xO �wP\T�E2pdSUTe�UKNM�O"O]g�KdX GITeOJS P

HLOJMJV�pqO]V�MLKNE _aSUMLX�P�O�_aS\M�KNP\HJK SR_u_aV�MLOJg�KNM�[�MJSxpNKdHJHLGIT�m �`HJV�pQg;PRH�O]K *xO�XjGIT�GcT�m SUMwHLV�X 7

XYP\MJG , PROJGISUT"�

QUP\[(PRT ^IP\V�T�pQg�KdE GZO]H b(MJH�O �w�?7�D MLS�pQ}RKdO SUT $ KNE�T�KNHJE�P s �

[�V�OLO]GcT�mwP�SUT�pdK87�[�MJSUXjGIHLGIT�m&MJSxpQ}\KqO.[�MJSUmUMJP\X�LW(PRpQ}nS\TnOJM]P\pQ} PR_ OJKNMlsUKNP\MJH�S\_�[�MJS\W�^IKdXYH:�

� GImUV�MJK�54� 5 ��QUP\[�P\T�KNHLK � SxpQ}\KdO O�P\V�T�pQg�)u�UKdT3O

5

Page 19: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

o PROJK O�Sxp PROJGISUT & sx[ K y PRXYK vxOQP�O]V�H

$ KNE�T�KdHJE(P s . ; �U�%= �U�R�U�65?0 QUP\[�P\T � SxpQ}\KqO ���B7�D v�V�pdpNKNKdE�KNE

& PRW�^IK 54� 5 � )+*�P\XY[�^IK & P\W�^IK�SR_ � S�pQ}RKdO O�P\V�T�pQg

~�HLGIT�m P\TC� )�HLsxH�O]KNX �.OJg�K�V�HLKNM p P\T m\KdO GIT�_aSUMLX�P�O]GIS\T PRW`SUV�OP$MJSxpQ}\KqO ^ P\V�T�pQg

Kd�\KNTeO�P\H HJg�S z&T GcT & P\W�^IK 54� 5$_aMLSUX OJg�K�O]K *�OjGcT � GImUV�MLK 54� 54� y S\OJK�O]g(PROjP OJK8*xO

XYP sC. PRT�E S\_ OJKNT E�SxKNH 0�pNSUTeO]P\GIT HLV�[�[�^cKNXjKNTeOQP\^�GIT�_aS\MJXYPRO]GcSUT��/HJV�pQg P\HwW(P\pQ}3mUMJS\V�T�E

GIT�_aSUMJXYPRO]GcSUT"� & g�KYX�P\GcT pQg�P\^I^cKNT�mUK S\_ � ) �fOJg�KNMLKd_aSUMLK �.GcHnOJS-GcE�KNTeOJGc_ s O]g�KYMLKN^IKq�RP\TeO

GIT�_aSUMJXYPRO]GcSUT PRXYSUT�m OJg�K�z&g�SU^cK�O]K8*xO��

����� �������� �������� ������������������ ����� � � ����� � !#"

$ !%����!%�&�(')���*,+�!%��-�! ./��01!

� SUM sUK PRMJH � M-KNHLH]P\mUK�~�T�E�KdMJH�OQP\T�E�GIT�m t+S\T�_aKNMLKNT�pdKNH.#M-~�t+H90 g(P �UK�W KNKdT"PHLO]P\T�E(P\MLE

Kd�RP\^cV(PROJGISUT S\_ � )�H�s�H�O]KdXYH:� ��T M ~�t ��OJg�K V�HJKdM�! H T�KdKNE;zlPRH K *�[�^IGIpdGcOJ^cs-E�Kdb(T�KNE PRH

PYO�sx[ K S\_ Kd�\KNTeOnGIT PYO]P\W�V�^IP\M�_aS\MJX . HLpNKNT�P\MJGcS O]KNXj[�^IPRO]KnOQP\HL}60 � & g�K OQPRMJmUKqO�Kd�\KNTeO

HLOJMJV�pqO]V�MLKnz+P\H&HJg�S@z&T-GIT�O]g�Kh_aS\MJX SR_uP � ��� �32 ��� � �(P\H&K *�KdXY[�^IGcb�KNE"GIT & P\W�^IK�5%� �G�

& g�K&MJKdpNKNTeO M ~wt ! H �LSUT�K 7�XjSUTeO]g MLV�^IK �SUT HLsxHLOJKNX E�Kq�UKN^cSU[�XjKNTeO MJK8H(KNpqO]H P�O�s�[ 7

GIpNP\^ � )FH�sxHLO]KdX E�Kq�UKd^ISU[�XjKNTeO���� O H�OQPROJKNHOJg(PROOJg�K [(PRMLO]GcpNGc[(P\TeO]Hhz+KdMJK"P\^c^IS z�KNE OJS

Page 20: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

����������� ��� ����

���� �������� �������

��������������� �������

���������� � ���!�� #"$���%� �&

���������� � '�� �� #"(����!�!����)��&

�*%+��'�'������ ������ ,"-%.����� ����/��102�� �����������+&

�*%+��'�'������ �������������3"$�� �'��405�� �������105/� !��/6�� !�� �&

�*%+��'�'������ '��������'7"8' ��� � ��� ��409�������� ��102����:���/���;�/� �'�'<0

'� �� ����6�� ��6&

& P\W�^cK�54� � � � SxpQ}\KqO�O�P\V�T�pQg�)u�\KNTeO & KNXj[�^ P�O]K

g(P �UKwPnS\T�K&XYSUTeOJgY[ KNMLGISxE OJS E�Kd�UKd^ISU[jO]g�KdGIM � ) HLsxH�O]KNX5mUGZ�UKdTYO]g�K�E�Kdb(T�GZO]GcSUTYSR_*O]g�K

OQPRHJ};P\T�E O]MJP\GIT�GcT�m�E(PRO]P . P$HLKdOS\_+OJK8*xO PRT�T�S\O]PRO]KdE z&GZO]g OJg�K K8*xO]MJP\pdOJKNE KdTeO]GcOJGIKdH908�

��T�pNKnmUGZ�UKNT"O]g�KhO]P\HJ}"PRT�E-GZO]HkO]KdXY[�^ PROJK ��OJg�KhE�Kd�\KN^IS\[`KdMJHwSR_�OJg�KI� ) HLsxHLOJKNX GIE�KdTeO]G 7

b(KdE$OJg�KhHJKNTeOJKNT�pdK[(PROLO]KdMJT�Hkz&g�GcpQg-pdSUTeOQP\GcT"OJg�KhGIT�_aS\MJXYPRO]GcSUT�S\_fO]g�K�OQP\MLmUKdO�Kd�\KNTeO]H>=

HJV�pQg [(PROLO]KNMLT�HYP\MJK$p P\^c^IKdE ��� � � ����� ��� � ��� � ������� � � S\M K8*�P\Xj[�^IK �+GIT O]g�K$OJKNMJMLSUMJGcHJX

E�SUXYP\GcTjV�HJKNE�GIT M ~�t�7 � ��Ph[ SUHJHLGIW�^cK�[�PROJOJKNMJTjz+S\V�^IEYW`K&_aSUMJXjKNEYP\H �>? � ���A@ ���CB z+P\H

W SUX W KNE"� & g�GIH�[(PROJOJKNMLT�pNS\V�^IE W K�P\[�[�^cGIKNEYSUTeO]SnO]g�K�HJKNTeOJKNT�pdK �LD�[�V�W�^IGcp�W�V�GI^cE�GIT�m

E

Page 21: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

z+P\H+W SUX W KNEjGIT ��}3^IP\g�SUXYPnt+GcO�s ^ PRHLO sUKNP\M�� PRT�E �LD [�V�W�^IGIp&W�V�GI^IE�GIT�m��pNP\T W K�K *�7

O]MJP\pdOJKNEjP\H � ��� @ ��� � & gxV�H �3Gc_(z�Kkz+KdMJKkGIT�_aSUMJXjKNE W Kd_aS\MJKNg�P\T�EjP\W SUV�OuOJg�KkKd�\KNTeO �3Kd�\KNTeO

HLOJMJV�pqO]V�MLK �/P\T�E$GZO]HlE�SUX�PRGIT��3z+K�pdSUV�^cE�E�Kd�\KN^IS\[-PRT � ) HLsxHLOJKNX z�KN^c^>pNV�HLO]S\XYG ,NKNE _aS\M

O]g�Kn[�P\MLOJGIpNV�^ P\M+O]P\MJm\KdO&Kd�\KNTeO�HLO]MLV�pdOJV�MJKP�

��S z�Kd�UKdM ��W`Kdp P\V�HJK S\_wO]g�K$z&GIE�K P �RP\Gc^ P\W�GI^IGZO�s SR_�SUTG7 ^IGIT�K$E�S�pdV�XYKdTeO]H PRT�E O]g�K

E�GZ�UKNMLHJGZO�s S\_ T�KdKNE�H�_aSUM�GIT�_aS\MJXYPRO]GcSUT-K *xO]M]PRpdO]GcSUT��>GZO�HLKNKNXjH�GIXj[�MJP\pdOJGIp PR^�OJS E�Kq�UKN^cSU[

P\T�� ) HLsxHLOJKNX _aSUM�KNP\pQg|O]P\HJ} � D6MLKNpNKdTeO _aSxpNV�H"S\_ O]g�K HLOJV�E�GIKdH"S\_ GcT�_aSUMJXYPROJGISUT

K8*xOJM]P\pqO]GIS\T GIH OJS@z+P\MLE GcOJHj[ SUM�OQP\W�Gc^IGZO�s P\pdMJSUHLH � ��� ������ � ��P ��GcT�m OJg�K$[`SUM�OQP\W�GI^IGZO�s

P\pdMJSUHLHYE�S\X�P\GcT�H � P\TR� ) H�s�H�O]KdX pNP\T MLKN^IPRO]GZ�UKN^Zs KNP\HJGc^cs W K"pNV�H�O]SUXjG-,dKNE O]S P;T�Kdz

E�SUXYP\GcT"� & g3V�H �(_ P\H�O]KdM�E�Kd�UKd^ISU[�XYKdT3O�S\_ � ) H�s�H�O]KdXYH�GIHk[ SUHJHLGIW�^cK%�

����� � ��� � ! � � � � 0 �#���!%���

& g�K�pdSUHLO S\_�[(P�OJO]KdMJT E�GcHJpdS@�\KNM�s �RP\MJGcKNH P\H OJg�K�E�KdmUMJKdK O]S z&g�GcpQg g3V�XYP\T ^IP\W`S\M GcH

GITe�\SU^c�\KNE"� ��KNMLK�GcHuO]g�K�pNSUXj[(P\MLGIHLSUT SUTjGIHJHLV�KNH S\_*[(PROJOJKNMLTYE�GcHJpdS@�\KNM�s �3z&g�KNTY[(PROJOJKNMLT�H

P\MLKnpdMJKNPRO]KdE � ���� �2 2 � � � ����� ��� � ��� ��� � �2 2 � � ��� � ��� ��� � �2 2 � �

�� ���� �2

��T KNP\MJ^cGIKdM M-~�t+H ��X�P\Tes � ) HLsxHLOJKNXjH+z�KNMJKwpNV�H�O]SUXjG-,dKNE�XYP\T3V(P\^c^cs OJS Pm\Gc�UKdT

O]P\HJ} ��� F � 5%5 � 5?F�� ��S z�Kd�UKdM ��OJg�K�pNSUH�O]HlPRMJK�[�MJSUg�GIW�GZO]Gc�\KN^Zs g�GcmUgjOJSE�Kq�US\OJKwpdSUX 7

Page 22: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

[�V�OQPROJGISUT(PR^�^IGcT�mUV�GcHLOJH�_aSUM)W�V�GI^IE�GIT�m�V�[YPRT�EYXYP\GcT3O]P\GIT�GIT�m�}xT�S@z&^cKNE�m\K87�W�P\HJKdH _aS\M

KNP\pQg-E�SUX�PRGIT�S\_�MJKdixV�KNHLO��

�� ������� � � ��� ��� �

D HJKdXYG 7�P\V�OJSUXYPRO]GcplE�GIHLpNS �UKdMLsY[�MJSxpNKdE�V�MLK�S\_>K *xO]M]PRpdO]GcSUT�[�PROJOJKNMJT�H+GIH T�S\O _aV�^c^cs

P\V�O]SUXYPRO]KdE���W�V�O)PRGIXjH�OJSwg�Kd^I[nO]g�K V�HJKdMupNMLK PROJK OJg�K+}3T�S z&^cKNE�mUK 7�W(PRHJKNH �eHJV�pQg PRH

^cK8*�GIpdSUT�H�P\T�E-[(PROJOJKNMLT�H � E4= � � & g�K XYKqO]g�SxE�SU^cSUm\s�OJS�PRHJHJGcHLO�O]g�KnV�HLKNMwGcT�pN^cV�E�KdH

HLg�S z&GIT�mP [(PROLO]KdMJT�pNP\T�E�GcE(PROJKwP\T�E�GIT�pNSUML[`SUMJPRO]GcT�mnP\T�K *�GIHLOJGIT�m SUTeO]SU^cSUm\s PRT�E

[(P�OJO]KdMJT$HJKqOK�

� � � ��� ��� �

D�T P\V�OJSUXYPRO]Gcp�[�MJSxpNKdE�V�MJKn_aSUM&[(PROLO]KNMLT E�GcHJpNS �\KNMLs"O]P\}\KdH�PYHLKdOwS\_uE�SxpNV�XYKdT3OJH

P\T�E SUV�O][�V�O]H P HLKdO SR_&K8*xO]MJP\pdOJGISUT [(P�OJO]KdMJT�H � W3s V�HLGIT�m;P XYP\pQg�GcT�K ^cK P\MLT�GIT�m

OJKNpQg�T�Gci3V�K%�)D�XYSUT�mP\V�O]SUXYPRO]Gcpl[(PROLO]KdMJT�E�GIHJpdS �UKNM�sjXYKqO]g�SxE�H �eOJg�KNMLK�GcH�P�z&GIE�K

MJP\T�mUK S\_n[�MLKN[(PRM]PROJGISUT2pdSUHLO�_aSUMYO]M]PRGIT�GcT�m E(PRO]P �&z&g�GIpQg2z&GI^c^�W K pNS �\KNMJKdE�GcT

E�KqOQP\Gc^>GIT-t+g(PR[�O]KdMw��=

� � � ����� � � � � 2 � ��� �����@ ��� ��� ��� � p P\T�T�S\OfGImUT�S\MJK.OJg�K pNSUH�O�SR_�Pk^IP\MJmUK PRXYSUV�T3O

SR_)P\T�T�S\OQPROJKNE"E(PRO]P � �4F � 5 � � E\� � 5@� � E%E �

� � ����� � � ����� � � � � 2 � ��� �����@ ��� ��� ��� � ��XYSUH�O�S\_hz&g�GcpQg�P\MLK W(P\HLKNE SUT P

F

Page 23: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

W SxS\O]H�O]M]PR[�[�GIT�m XjKdOJg�S�E ��MJKdixV�GIMJK SUT�^Zs P g�P\T�E�_aV�^hS\_ GIT�GZO]G PR^wE(PRO]P OJS

PRpNi3V�GIMLK%� � �%; ���e� �(� �

��� ��� � ������� � � � 2 � ��� �����@ ��� ��� ��� � ��_aV�M�O]g�KdMYMLKNE�V�pNK-OJg�K$W�V�MJE�KNT S\T O]g�K

V�HJKNM�OJS MJKNi3V�GcMJK S\T�^cs P HLO]PRO]KdXYKdT3O"SR_nOJg�K V�HLKNM�! H"GIT�_aS\MJXYPRO]GcSUT T�KNKNE �

vxGIT�pdK T�S K *�OJM]P\pqO]GcSUT [(P�OJO]KdMJT�H�P\MJK mUGc�\KNT GcT P\E��RP\T�pdKWes$O]g�K V�HJKNM �*O]g�K

XYP\GcT SUW�HLO]P\pN^cK GIH�O]S$MJKNP\^IG ,NKOJg�K V�HJKdM�! H T�KNKNE GITeO]S$P"HJKqO SR_+K *�OJM]P\pqO]GcSUT

[�PROJOJKNMJT�H �(z&g�GIpQg$GIHlOJg�KhpNKdT3OJM]P\^�OJg�KNXjK�S\_fO]g�GcH�E�GIHJHLKNM�OQPROJGISUT"�

����� ����� ��� � � ���� � � �1� !%����0

+Kq_aSUMJK�E�GcHJpdV�HJHLGIT�m O]g�K�GIHJHLV�KNH S\_�[(P�OJO]KdMJT E�GcHJpNS �\KNMLs GIT E�KqOQP\Gc^ �.z�K�z+SUV�^IE ^IGc}\K�OJS

_aSUMLX�P\^cG-,dK O]g�K;E�Kqb(T�GZO]GIS\T SR_ K8*xOJM]P\pqO]GIS\T|[(P�OJO]KdMJT�H-P\T�E O]g�K [�MLSUW�^cKNX S\_[(PROLO]KNMLT

E�GcHJpNS �\KNMLs%�

& g�GIH�E�GIHLHJKdMLOQP�O]GIS\T$z&Gc^I^*_aSxpNV�H�SUT K *xO]M]PRpdO]GcSUT [�PROJOJKNMJT�H�_aSUM�GIT�_aSUMJXYPRO]GcSUT�K8*xOJM]P\p 7

O]GcSUT"� � SUMXYP\Tes GcT�_aSUMLX�PROJGISUT K8*xOJM]P\pqO]GIS\T HLsxHLOJKNXjH � K8*xO]MJP\pdOJGISUT [(P�OJO]KdMJT�HjP\MLK E�K 7

HJGcmUT�KdEjOJS XYPRO]pQgYPh[`SUM�O]GcSUT S\_*OJK8*xOlPRT�E�PRHJHJGcmUT O]g�K�HJ^cS\O)O]ShO]g�K�XYPRO]pQg�KdEYKdTeO]GcO�s%� ��T

O]g�K+_aSU^I^cS z&GIT�m � z�K+z&GI^c^3K8*�[�^ PRGIT K *�OJM]P\pqO]GcSUT [(PROLO]KdMJT��UE�KN[ KNT�E�KdT�pdsO]MJKdK �ePRT�E [(PROLO]KNMLT

E�GcHJpNS �\KNMLs%�

2

Page 24: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� GIm\V�MJK�5%� � � )+*�P\Xj[�^IK�SR_ )+*xO]MJP\pdOJGISUT-r.PROLO]KdMJT

����� �����/���;� ��� 8< �/.��0�1�����;������� �/� .���� D�T ��� � � ����� ��� � ��� � ����� GIH�P E�KN[ KNT�E�KNT�pqs

O]MLKNK�SUT�K S\_�z&g�SUHLKlT�SxE�KNH�GIH�P �32 ��� � ��� 2 � ��� � & g�KlMJKdHLOuSR_�O]g�K T�SxE�KNH�GITP\TK *�OJM]P\pqO]GcSUT

[(PROLO]KdMJTYP\MJK&p PR^I^IKdE O]g�K � ����� ��� � S\_ O]g�K�[(PROLO]KNMLT"�uD�TYK *�OJM]P\pqO]GcSUT [(PROJOJKNMLTYpNP\T � ��� � �

z&GcOJg Pn[`SUM�O]GcSUT S\_�HJKdTeO]KNT�pNK�Gc_>P\^I^�OJg�K�T�S�E�KNH+GcTYOJg�K�K *xO]M]PRpdO]GcSUT�[�PROJOJKNMJT�p P\TYX�PROJpQg

z&GcOJg�O]g�KhT�SxE�KNH&GcT"OJg�KhHJKdT3OJKNT�pdK[ SUMLOJGISUT �

� ����� ��� � T�S�E�KdH P\MLK"^IK8*�Gcp P\^cG-,NKdE T�S�E�KNH O]g(PROjpNP\T XYPRO]pQg SUT�^Zs z&GcOJg OJg�K$T�S�E�K

z&GcOJg O]g�K�HJP\XjK ^ P\W KN^ � & g�K �32 ��� ����� 2 � ��� T�SxE�K pdSUTeOQP\GcT�H P y P\XjKNE ))TeO]GZO�s pd^ P\HLH

O]g�PROkXYPRO]pQg�KdH�P\Tes GIT�HLOQPRT�pNK�S\_�OJg�K�H]P\XjK�pN^IP\HJH:� �wP �xGIT�m PRT � � �� @���������� � � 2 � _aMJSUX

P\T K *�OJM]P\pqO]GcSUT [(PROLO]KdMJT O]ShP � 2 ��� GIT O]g�K+OJKNXj[�^ P�O]K ��O]g�K+KNTeO]GZO�s XYPRO]pQg�KdE z&GcOJg P �32 ��� �

��� 2 � ��� GcHkK8*xO]MJP\pdOJKNE P\H&P\T$SUV�O][�V�O�HJ^ISROA7 b�^I^IKdM��

����� �����/���;� ��D���� �"�B 2�"�B� � � .�� ��� D � � ������� ��� ��� � � 2 ��� ����� � � GcH P\T P\HLsxX�7

XjKdO]MLGIpnW�GIT�P\MLs"MLKN^ P�O]GIS\T�HJg�Gc[-W KdO�z�KNKdT PYz+S\MJE pNP\^I^cKNE-OJg�Kg�K P\ER.aSUM�m\S@�\KNMLT�SUM �*[(P\M 7

KNTeO90 � P\T�E P\T�S\OJg�KNMkz�SUMJE-p P\^c^IKNE�OJg�K XjSxE�Gcb(KdM. SUMkE�KN[ KNT�E�KdTeO �*E�P\V�mUgeO]KdM90 � o KN[ KNT 7

>

Page 25: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

v Q v�V�W 'LKdpdO

� Q ��W�'LKNpdO

� y [�MJKd[`SUHLGcOJGISUT

M � o S\O]g�KdMJH

& P\W�^cK�54� E � & sx[ KNH�S\_ o Kd[`KdT�E�KdT�pds � KN^IPRO]GcSUT�H

E�KdT�pds mUMJP\XjX�P\MLH.MLKN[�MLKNHJKdTeOlHJKdTeO]KNT�pNK�HLO]MLV�pdOJV�MJKdH+PRH�P�HLKdO S\_`E�KN[ KNT�E�KNT�pqs MJKN^IPRO]GcSUTG7

HJg�GI[�H:� y SUMJXYP\^I^Zs O]g�K�E�KN[ KNT�E�KNT�pqs MJKd^ PROJGISUT�HLg�GI[�H _aSUMLX P OJMJKNKYO]g(PRO pNSUT�T�KNpdOJHjP\^I^

O]g�Kz+S\MJE�H�GcT P�HLKNTeO]KdT�pNKP� DFz+SUMLE GIT OJg�K HLKNTeO]KdT�pNK XYP s$g(P �\K HJKd�\KNMJP\^uXjS�E�GZb(KNMLH �

W�V�O K P\pQg z�SUMJE XYP s XYSxE�Gc_ s P�O XjSUHLOSUT�K�z�SUMJE � & g�K MJSxS\OS\_kO]g�KYE�KN[ KNT�E�KNT�pqs

O]MLKNKhE�SxKNH&T�S\O�XjS�E�Gc_ sYP\Tes�z+S\MJE"� � O&GIH�P\^cHJS pNP\^I^cKNE�O]g�Khg�KNP\E$S\_�OJg�KhHJKdT3OJKNT�pdK%�

& PRW�^IK�54� E-HJg�S z&H O]g�K�O�sx[`KdH S\_kE�Kd[`KdT�E�KNT�pds MLKN^ P�O]GIS\T�H V�HJKNE GcT O]g�GIHMLKNHLK P\MLpQg"�

� GcmUV�MJK 54� E-mUGZ�UKdH P\T K *�P\XY[�^IK�SR_&P\T v�7 K8*�[�MLKNHJHLGISUT SR_lO]g�KYE�KN[ KNT�E�KNT�pqs HLOJMJV�pqO]V�MLK

S\_�P$HJKNTeOJKNT�pdK%����T [�MJP\pdOJGIpNK �)P\^c^ OJg�K E�Kd[`KdT�E�KdT�pNGcKNH mUGZ�UKNT _aSUM P$HJKNTeOJKNT�pdK"z&Gc^I^ W K

P\pdixV�GIMJKdE PRV�O]SUXYPROJGIp PR^I^cs Wes"P E�Kd[`KdT�E�KNT�pds$[(P\MLHJKNM:�

����� �����/���;� � � � ��� � �".�� � �=) �����;� . � � � ��� � ��� � �� � � � ����� � GIH�O]g�KnOQP\HL}-SR_)GIE�KdTeO]G 7

_ sxGIT�mhO]g�KwK8*xOJM]P\pqO]GIS\TY[(P�OJO]KdMJT�H O]g(P�OlP\MLK�MLKN^cKd�RP\TeO _aSUM OJg�K�V�HJKdM�! H+T�KdKNE���HJ[ KNpNGZb(KNE�W3s

O]g�K V�HJKdM�! H�� � ��� � �n�hGZ�UKdT P�HJS\V�MJpdK O]K8*xO�z&g�KNMJK PR^I^�O]g�KHJKNTeOJKNT�pdKNH P\MJK [(P\MJHLKNE;GITeOJS

;

Page 26: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� GImUV�MLK�54� E � )+*�PRXY[�^cK�S\_ o KN[ KNT�E�KdT�pds & MJKdK�.aGIT-v�7 K8*�[�MJKdHJHLGISUT 0

E�Kd[`KdT�E�KNT�pds OJMJKdKNH �uOJg�KYO]P\HJ};S\_l[(PROJOJKNMLT E�GIHLpNS �UKdMLs GIHhO]S-GIE�KdT3OJGc_ s OJg�K�K *�OJM]P\pqO]GcSUT

[(PROLO]KdMJT�H&MJKd^IKq�\PRT3O&OJS OJg�Khi3V�KNM�s4�

����� � ��&��������� ��� ���0

& g�K XYP\GIT pdSUTeO]MJGcW�V�OJGISUT S\_ O]g�GIH�HLOJV�E�s;GcH�O]S"[�MJS �xGIE�KYP�T�S �\KN^)_aM]P\XjKdz�SUML}-_aSUM�V�T 7

HJV�[`KdML�xGIHLKNE E�GIHLpNS �UKdMLs2S\_nK *�OJM]P\pqO]GcSUT2[(PROLO]KNMLT�H _aSUM Kq�UKdT3O$K *�OJM]P\pqO]GcSUT OQP\HL}3H _aMJSUX

M]P z�OJK8*xO�=/O]g�K ��V�KdMLsS7 o MLGc�UKdT���T�_aSUMJXYPRO]GcSUT )+*�OJM]P\pqO]GcSUTC. � o � ) 0+_aMJP\XYKqz+S\MJ} � & g�GcH

_aM]PRXYKqz+SUML} P\^I^cS@z&H�OJg�K�V�HLKNMnO]S g�P �\K�P HLKN^c_ 7 pNV�H�O]SUXjG-,dGIT�m"GcT�_aSUMJXYPROJGISUT K *�OJM]P\pqO]GcSUT

HLsxH�O]KNX _aSUMkg�GIH���g�KNMki3V�KdMLs���GcO&[�MLS ��GcE�KNHkOJg�Kh[`SUM�OQP\W�GI^IGZO�s O]SjE�G �`KNMLKNTeO&E�SUXYP\GIT�H��

$ Kg(P �UKjP\HJHLKNHLHJKNE;O]g�K GIXj[�MJS �\KNXjKNTeO�S\_ K *�OJM]P\pqO]GcSUT [(PROLO]KdMJT XjS�E�Kd^IH:� �s E�GIH 7

pNV�HJHJGcT�m OJg�K�HJg�SUM�O]pdSUXYGcT�mUH S\_>OJg�K�[�MJGcSUMuz+S\MJ} W(P\HLKNE SUTj[�MLKNE�Gcp PROJK87�PRMJmUV�XjKNTeO�XYSxEG7

KN^cH P\T�E GZO]H K *xO]KNT�HJGIS\T��)z+K�[�MLSU[ SUHJKdE P T�S@�\KN^kK *�OJM]P\pqO]GcSUT [(PROLO]KNMLT XYSxE�Kd^ OJg(PRO GcH

W(P\HLKNE SUT P\MJW�GZO]MJP\MLs HJV�W�OJMJKdKNH�SR_wE�Kd[`KdT�E�KdT�pds O]MLKNKdH�� $ K$HJg�S z�KNE O]g(PRO OJg�K"T�Kdz

=

Page 27: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

HJV�W�O]MLKNKjXYSxE�KN^)[ KNM�_aSUMJXjKNE;W KNH�O P\XjSUT�m�E�G �`KNMJKdTeO[(P�OJO]KdMJT XYSxE�Kd^IH�� $ KYP\^IHLS$E�GIH 7

pNV�HJHJKdE HJSUXjK-OJKNpQg�T�Gci3V�KNH�T�KdKNE�KdE _aSUMj[(PROJOJKNMLT2E�GIHLpNS �UKdMLs S\_�O]g�K-HJV�W�O]MJKdK XjS�E�Kd^ �

z&g�KdMJKhO]g�KhT3V�X W KNM&S\_�p P\T�E�GIE(P�O]K�[(PROLO]KdMJT�H�GIHk^IP\MJmUKdM+O]g�P\T$OJg�Kh[�MJGcSUM+z�SUMJ} �

DwH�P pNP\HJK-HLO]V�E�s S\_ � o � ) _aM]PRXYKqz+SUML} ��z�K g(P �UK-GIXj[�^IKdXYKdTeO]KNE [�MLK87�t � o � )

. t+MLSUHJH 7 O�GIT�mUV(P\^ ��T 7 o KNXYP\T�E � ) 0H�sxHLO]KdX � P pdMJSUHLH 7�^cGIT�m\V(P\^ SUTG7�E�KNXYP\T�E GIT�_aSUMJXYP(7

O]GcSUT K *xO]M]PRpdO]GcSUT H�sxHLO]KdX z&GZO]g XjGIT�GIXYP\^*g3V�XYP\T GcT3OJKNM��UKNTeOJGISUT��/z&g�GcpQg GIT�pdSUMJ[ SUMJPRO]KdH

� o � ) _aMJP\XYKqz+S\MJ}-P\HhP�pNSUXj[`S\T�KNTeOhS\_ [(PROLO]KdMJT;E�GIHLpNS �UKdMLs%����T PRE�E�GcOJGISUT �`z�Kjg�P �\K

P\HLHJKNHLHJKdEYO]g�KkMJSU^cKlS\_ X�PRpQg�GIT�KlOJM]P\T�HJ^ P�O]GIS\TGIT pdMJSUHLH 7 ^IGIT�mUV(P\^�GIT�_aSUMLX�P�O]GIS\T K *�OJM]P\pqO]GcSUT

Wes�pNS\XY[(PRMJGIT�m O]M]PRT�HJ^IPRO]GcSUTG7�W�P\HJKdE$GcXY[�^IKNXjKNTeO]PRO]GcSUT�H��

����� � ��-��������#� � ���� �������!%0 � 0

& g�K _aSU^c^IS z&GIT�mYpQg(PR[�O]KdMJH�S\_)OJg�K O]g�KdHJGcH�P\MJKSUMJmePRT�G-,dKNE P\H�_aSU^I^cS@z&H:�ht+g(P\[�O]KNM���HJV�M 7

�UKqsxH�O]g�K [�MLKd�xGIS\V�H�[�PROJOJKNMJT-E�GIHLpNS �UKdMLs"z�SUMJ} � X�P\GcT�^csj_aSxpNV�HLKNE S\T HJKdXYG 7�P\T�E$V�T�HLVG7

[ KNML�xGcHJKNE ^IKNP\MJT�GIT�m XjKdOJg�SxE�H�� t+g(P\[�OJKNM E�S �UKNM��xGIKdz&HhSUV�M�T�S �UKN^)[�PROJOJKNMJT;E�GcHJpdS@�\KNM�s

[�MLS�pdKNE�V�MLK � ��V�KNMLsS7 o MJGc�\KNT ��T�_aSUMJXYPRO]GcSUT )+*xO]MJP\pdOJGISUT � t+g(P\[�OJKNM�� E�GIHJpdV�HJHLKNH�O]g�K

GIXj[�MLS@�\KNE XYSxE�KN^cH�_aSUM K *xO]M]PRpdO]GcSUT [�PROJOJKNMJT�H�� t+g(P\[�OJKNM�F"GI^c^IV�H�O]M]P�O]KNHnP$p P\HLK87�H�O]V�E�s

S\_ � o � )2_aM]P\XjKdz�SUMJ}"z&GcOJg O]g�KE�GIHLpNV�HLHJGIS\T SR_)O]g�K MLSU^IK S\_ X�PRpQg�GIT�K O]M]PRT�HJ^IPRO]GcSUT GcT

pNMLSUHJH 7�^cGIT�mUV�P\^.GcT�_aSUMJXYPROJGISUT K *xO]M]PRpdO]GcSUT;HLsxHLOJKNX � � GIT(P\^c^cs �`z�KYpdSUT�pN^cV�E�K O]g�KjE�GIHJHLKNM 7

5 �

Page 28: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

OQP�O]GIS\T z&GcO]g"[�MLSUHJ[ KNpqO]H�S\_fO]g�KhpNV�MJMJKdTeO�z�SUMJ}�GcT$t+g(P\[�OJKNM 2 �

545

Page 29: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� � ��� ��� �

� � � � ��

& g�GcHjpQg�P\[�O]KdM GITeO]MLS�E�V�pNKNH OJg�K"[�MJGcSUMz�SUMJ} S\T P\V�O]SUXYPRO]Gcp�^cK P\MLT�GIT�m SR_wK *�OJM]P\pqO]GcSUT

[(PROLO]KdMJT�H�_aSUM�GcT�_aSUMLX�PROJGISUT�K *xO]M]PRpdO]GcSUT"� $ KE�GcHJpNV�HJH�^cK P\MLT�GIT�mjXjKdO]g�S�E�H � OJg�KXjSxE�KN^

_aSUM K8*xOJM]P\pqO]GIS\T�[(PROLO]KdMJT�H ��P\T�EjO]g�K�P\XjSUV�TeO�S\_>KdT�mUGIT�KNKNMLGIT�mnK �`SUM�O�_aSUM K PRpQg�XjKdO]g�S�E"�

� GcMJHLO � O]g�K HJV�[`KdML�xGIHLKNE ^cK P\MLT�GIT�mkXjKdOJg�SxE�H�O]g(PROfT�KdKNEP\T�T�S\O]PRO]KdE E�PROQP�P\MJK [�MLKNHLKNTeO]KdE"�

& g�KdT��(O]g�KhHJKdXYG 7�HLV�[`KdML�xGIHLKNE$^IKNP\MJT�GcT�m XjKdOJg�S�E�H�PRMJKhMJKq��GcKdz�KNE"�

� ��� � � $ !%��� � 0 !%�

��T O]g�K�P\[�[�MLSeP\pQg�KdH z&GZO]g HJV�[`KdML�xGIHLKNE ^cK P\MLT�GIT�m�_aS\M)[(PROJOJKNMLTYE�GcHJpdS@�\KNM�s ��OJg�KkO]KdXY[�^IPRO]K

_aSUM P\T K *xO]M]PRpdO]GcSUT OQP\HL} GIH)m\Gc�UKdT W`Kq_aSUMJKdg(P\T�E"� M-SUHLO SR_`OJg�KkXYKqO]g�SxE�HuO]P\}\KkO]g�K�[�P\MLOJH

5@�

Page 30: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

S\_�O]g�K�HLKNTeO]KdT�pNKdHYz&g�GcpQg PRMJK"P\T�T�S\OQPROJKNE P\H pNS\T3O]P\GIT�GIT�m;P HJ^cS\OA7 b(^I^cKNM P\H O]g�K"XjSUHLO

HJ[ KNpdG P\^cG-,dKNE GIT�HLOQPRT�pNKdH SR_*K *�OJM]P\pqO]GcSUT [(PROJOJKNMLT�H�� & g�KdTjOJg�K&[(PROLO]KNMLT�H P\MJK&mUKdT�KNMJP\^IG ,NKdE

O]S g(P �\KP z&GIE�KnpdS �UKNMJP\mUKnGIT"HJS\XYK�z+P s4�

��������� � ������ ��

& g�K D�V�O]Sev�^ISUm-HLsxHLOJKNX � �4F �lK8*xOJM]P\pqO]H P E�GIpdOJGISUT�P\MLs;S\_kz&g�PRO O]g�Kds p P\^c^IKNE � ��� � � �

� � �2 � � � � � _aMJSUX PRT�T�S\O]PRO]KdE E�SxpNV�XYKdT3OJH�� D pdSUT�pNKd[�O]V�P\^�T�S�E�K"GcHYPRT K *�OJM]P\pqO]GcSUT

MJV�^IKhz&g�GIpQg GcT�pN^cV�E�KdH�PjOJMJGcmUmUKNM&z�SUMJE OJS�W K P\pqO]GZ�\P�O]KNE � $ g�KNT O]g�K O]MLGImUm\KNMkz+S\MJE GcH

XYPRO]pQg�KdE GIT O]g�K&OJK8*xO P\T�E O]g�KkpNSUT�E�GcO]GcSUT�H.OJg(PRO)OJg�KkpNSUT�pNKN[�O�T�S�E�KkHL[`KdpNGZb(KNH P\MLKkH]PRO 7

GIH�b(KNE �UO]g�KkpdSUT�pNKd[�O T�SxE�KkGIH)PRpdO]GZ�RPRO]KdE P\T�E O]g�KkHL^IS\OuGIT O]g�KkpNSUT�pdKN[�O T�SxE�KkE�Kqb(T�GZO]GIS\T

GIHkK *xO]M]PRpdO]KdE-_aMLSUX OJg�KhpNSUTeO]K *xOK�

��T O]g�K�O]M]PRGIT�GcT�m [�g(P\HJK ��DwV�O]S3v�^cSUmGcE�KNTeOJGcb(KdHlP HJKdTeO]KNT�pNKhP\T�T�S\OQPROJKNE z&GZO]g�PHL^IS\O

b(^c^IKNMlP\T�E$HJKNXYP\TeO]Gcp�OQP\m1� & g�KNT��/DwV�O]S3v�^cSUm ^ISxSU}3HkV�[$GcO]Hkg�KNV�MLGIHLOJGIp�MLV�^IK�^cGIHLO �(P [(P\M�O

S\_>z&g�GIpQg�GIH HJg�S@z&T"GcT & P\W�^IK��G� 5 ��PRT�E HJKdKNHlGZ_�P\TesYS\_>O]g�K�MJV�^cKNH�p P\T XYPROJpQg�O]g�K�[(P\M�O

S\_fO]g�KhHLKNTeO]KdT�pNKnO]g(PRO&pdSUTeOQP\GcT�HkO]g�KhHL^IS\Okb(^c^IKdM��

� SUM)K8*�P\Xj[�^IK �eGIT O]g�K&OJKNMLMJSUMLGIHLO E�SUX�PRGIT V�HLKNEjGIT M ~�t�7 � �3mUGc�\KNTjPhHJKNTeOJKNT�pdK � �8� � � �[�V�W�^IGIpW�V�GI^cE�GIT�mUH�z�KNMLKYW SUX W KNE P\T�E P�p PRM 7�W SUX W z+P\HhE�KqO]SUT(P�O]KNE�"OJg(PROhGcHhP\T�T�SP7

OQP�O]KNE z&GZO]g O]g�KkHJ^ISRO.b(^c^IKNM�_aSUM ?kOQP\MLmUKdO B HJ^ISRO � �L[�V�W�^IGcplW�V�Gc^IE�GcT�mUH� �\D�V�O]S3vx^ISUmwz�SUV�^cEmUKdT�KNMJPRO]K _aMLSUX O]g�K g�KdV�MJGcHLOJGIp � ?&HJV�W 'LKdpdO B [(P\HLHJGc�\K87 �UKNMLW��1?kOQP\MLmUKdO B z+P\H�W SUX W KNE��

5BE

Page 31: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

?�HLV�W 'LKdpdO B [�P\HJHLGc�UK 7 �\KNMJW

?�HLV�W 'LKdpdO B PRpdO]GZ�UK 7 �UKdMJW

[(P\HJHLGc�\K87 �\KNMLW ?&E�SUW ' B

P\pdOJGc�UK 7 �\KNMJW ?&E�SUW ' B

T�SUV�T"[�MLKN[ ?&T�[ B

& P\W�^cK� � 5 � v�P\XY[�^IK�S\_�DwV�O]S3v�^cSUm ��KdV�MJGcHLO]Gcp � V�^IKNH

z&GcOJg�O]g�K�z�SUMJE �LW SUX W KNE jP\HkO]g�KhOJMJGcmUmUKNM�z+SUMLE-SR_.O]g�GIHkMJV�^IK%�) P\pQg MLV�^IK g(P\T�E�^IKdHnS\T�^cs;P"HJGcT�mU^cK87�HL^IS\O�K8*xO]MJP\pdOJGISUT P\T�E;O]g�K ^IPRO]KdM�HLOQPRmUKYSR_+O]g�K

z&g�SU^cK � ) HLsxHLOJKNX � 5K= ��MJK87�P\HJHLKNX W�^IKNE O]g�K-HL^IS\OJH OJS W�V�GI^cE V�[ P\T Kd�\KNTeO�HLOJMJV�pqO]V�MLK

[ SUHJHLGIW�^Zs z&GcOJg XjSUMJK O]g�P\T SUT�KYHL^IS\O�� DwV�OJS3v�^cSUm PR^IHJS$V�HLKNE P"HJKdX�P\TeOJGIp OQP\mUm\KNMhGITG7

pNS\MJ[ SUM]PROJKNE z&GZO]g OJg�KNGcM�z&g�S\^IK@� ) HLsxH�O]KNX ��P\T�E V�HJKdE HJKdX�P\TeOJGIppdSUT�H�O]M]PRGITeO]H�GcT O]g�K

K8*xOJM]P\pqO]GIS\T MJV�^cK%� ~�T�^IGc}\K ^IPRO]KdMYz�SUMJ} ��DwV�OJS3v�^cSUm E�SxKNH�T�S\O�MLKN^ P?* pdSUT�H�O]M]PRGITeO]H S\M

XjKNMJm\K�HJGIXjGI^IP\M pNSUT�pNKN[�OwT�SxE�KdHlO]S mUKNT�KNM]PR^IG-,dK%� & g3V�H �(GcOkE�Kd[`KdT�E�H�SUT"mUSxS�E OJM]P\GcT�GIT�m

E(PRO]Pnz&GZO]g PRT�T�S\O]PRO]GcSUTYSR_>O]g�K�HJKdT3OJKNT�pdK�z&g�GIpQg�p P\MLMJGIKdH OJg�K�O]P\MJm\KdOlGcT�_aSUMLX�PROJGISUT PRT�E

O]g�KnHL^IS\Okb�^I^IKdMl[�g�MJP\HJKP�

5 �

Page 32: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

������� � � �L4 ' ����� �������� )' � ��

& g�K$r`D O �hD � 5 ���kH�sxHLO]KdX [�MJSxE�V�pdKNH O]g�K"K *�OJM]P\pqO]GcSUT MJV�^cK"P\H P [�P\GIM SR_�P XjK P\TG7

GIT�m _aM]P\XjKhP\T�E$P [�g�MJP\H]P\^�[�PROJOJKNMJT �(p P\^c^IKNE�� � ����� � � � � � �2 � ��� � ��� � ��� � � ��� � � �� � �

��� � � ��� � � �� � ) P\pQg;O]M]PRGIT�GcT�m [�g(PRHJK O]MLGIKNH�O]S$P\[�[�^Zs OJg�K K8*xO]MJP\pdOJGISUT;MLV�^IKdH�O]g(PROhg�P �\K

W KNKNT�^cK P\MLT�KNEYGITjO]g�K�[�MJKd�xGcSUV�H+GZO]KdM]PROJGISUT�H �xP\T�E GZ_�GcO _ P\Gc^IH GcO�pNMLK PROJKNHkPT�Kdz MJV�^IK�PRT�E

O]MLGIKdH�OJS mUKNT�KNM]PR^IG-,dK GZO&z&GcO]g-K8*�GIH�O]GcT�m�SUT�KNH �`SUMwGZ_uGZOwmUKdT�KNMJPRO]KdH�OJg�K z&MLSUT�m GcT3OJKNML[�MJK 7

OQP�O]GIS\T�GcO&HJ[ KNpdG P\^cG-,dKNHlO]g�KnK *�GIHLOJGIT�m MLV�^IKdH��

r`D O ��D V�HJKNH P pNSUT�pNKN[�O�g�GIKdM]P\MLpQges OJS mUKNT�KNM]PR^IG-,dK-S\M�HJ[ KNpdG P\^cG-,dK$OJg�K K8*xOJM]P\p 7

O]GcSUT$MJV�^cKNH�� & g�KnzlP s r`D�O ��D m\KNT�KdM]P\^cG-,NKdH�OJg�KHLKNXYP\TeO]GcppNS\T�HLOJM]P\GcT3OJH�GcHwW(PRHJKNE SUT

GIT�E�V�pdOJGc�\Kj^cK P\MLT�GIT�m$XjKNpQg�P\T�GIHLX � �PE ���U� � OJS$XjS �UKjV�[ OJg�KjHJKNXYP\TeO]Gcp g�GIKdM]P\MLpQg3s;HLS

O]g�PRO�OJg�K�K8*xO]MJP\pdOJGISUTjMJV�^cKNH p P\TYpNS �UKdMlP\H XYP\Tes [`SUHLGcOJGc�UK&K *�PRXY[�^cKNH�P\H [`SUHLHJGcW�^IK ��PRT�E

GcOHJ[ KNpdG P\^cG-,NKdHO]g�K�pNSUT�H�O]MJP\GITeO]HHJS O]g(P�O O]g�K�MLV�^IKdHz&GI^c^�T�S\O GIT�pN^IV�E�K�P\Tes T�KNmePROJGc�\K

K8*�P\Xj[�^cKNH��

& g3V�H �hr D�O ��D GcH�pN^IP\GIXjKNE OJS W K;HJKdT�HJGZO]Gc�\K O]S T�SUGIHLK S\_nO]M]PRGIT�GcT�m E(PRO]P PRT�E

P HLGIT�m\^IK"T�KNmUPRO]GZ�UK GcT�HLO]P\T�pdK ^IKNP\E�H O]S HLO]S\[�[�GIT�m P [ SUHLHJGIW�^IK$mUS�SxE mUKNT�KdM]P\^cG-,NPRO]GcSUT"�

� O�PR^IHJS T�KNKdE�H�P K *�GIHLOJGIT�m HJKdX�P\TeOJGIp g�GIKNMJP\MJpQges O]S mUKNT�KdM]P\^cG-,dK P\T�E HJ[ KNpdG P\^cG-,NK"O]g�K

pNS\T�HLOJM]P\GcT3OJH��

5?F

Page 33: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

������� � ���&��f� ��' ����>% '� � ��

& g�K+t � {nv & D O�HLsxHLOJKNX � E\� �eO]P\}\KdHfOJK8*xO]H�O]g(P�OfP\MJK [�MLS�pdKNHJHLKNE WeshP&HLsxTeOQPRpdO]Gcp [(P\MJHLKNM:�

� SUMhGcOJHhOJM]P\GcT�GIT�m$[�g(P\HJK �)t � {hv & D�O2T�KNKdE�H OJM]P\GcT�GIT�m$E�S�pdV�XYKdTeO]H PRT�T�S\O]PRO]KdE Wes P

E�SUXYP\GcT�K8*�[`KdMLO �`PRH&z�KN^c^�P\HkO]g�KhHLKNXYP\TeO]GIp�g�GIKNMJP\MJpQges�_aSUMkXjKNE�GIp PR^>E�SUXYP\GIT � t � {nvS7

& D�O H�OQP\M�O]H�^IKNP\MJT�GIT�m�Wes pdMJK P�O]GIT�m"OJg�K K8*xOJM]P\pqO]GIS\T MLV�^IKdH�_aSUM�K PRpQg GcT�HLO]P\T�pNK S\_ O]g�K

OQPRMJmUKqO Kd�UKdTeO�GcT O]g�KlOJM]P\GcT�GIT�mwE(PROQPG� & g�KdTYGZOub(T�E�H)OJg�KkXYS\HLO HJGcXYGc^ P\M�[(PRGIMuS\_`K8*xOJM]P\p 7

O]GcSUT MLV�^IKdH)P\T�E XjKNMLmUKNHuOJg�KNX O]SUm\KdO]g�KNM)Wesb(T�E�GIT�m�O]g�KkXjSUHLO.MJKdHLO]MLGIpqO]Gc�\KkpNSUT�HLO]MJP\GITeOJH

O]g�PRO&pNS �UKdM�W S\OJg-MLV�^IKdH�� & g�GcH�GcH&P _aSUMJX SR_.GcT�E�V�pqO]Gc�\K�^IKNP\MJT�GcT�m � �%E � �

t � {nv & D O-E�SxKNHuT�S\O)K8*xOJM]P\pqOuO]g�K+K8*�P\pdO [�g�M]P\HLK+_aSUM.P�HJ^ISRO.b(^c^IKNMfW�V�OuSUT�^csn[ SUGITeOJH

SUV�OkOJg�KhHLsxTeOQP\pqO]Gcpnb(Kd^IE�O]g�PRO�pNSUTeOQPRGIT�HlOJg�KhHJ^ISROkb(^I^cKNM ��P\H&DwV�OJS3v�^cSUm � �%F���E�SxKNH��

��������� � � � 45' � ��

& g�KIO � ) r H�sxHLO]KdX � 5@� �fP\^I^cS@z�KNE"V�HLKNM�GITeO]KdM]P\pqO]GIS\T"_aS\MkGIE�KdT3OJGc_ sxGIT�mjKq�UKdT3OJHwGcT$OJK8*xO]H �

W(P\HLKNE SUT OJg�K-P\HJHLV�XY[�O]GIS\T OJg(PROYP;^ P\MLmUK"P\T�T�SROQPROJKNE O]M]PRGIT�GcT�m pNSUML[�V�HjGIH g(P\MLE OJS

SUW�O]P\GIT �

�hGZ�UKdT P�O]MJP\GIT�GcT�m HLKdO S\_�OJK8*xO]Hhz&GcOJg O]g�KjGIT�_aS\MJXYPRO]GcSUT S\_�Kd�\KNTeOO�sx[ K�PRT�E HL^IS\O

b(^c^IKNMLH �(b(MLHLO � O � ) r b(T�E�H�PYH�sxT3O]P\pdOJGIp MJKN^IPRO]GcSUT�HLg�GI[$W`KqO�z+KdKNT OJg�KHL^IS\O�b(^I^cKNMLH�GcT-O]g�K

Kd�\KNTeO GIT�HLOQPRT�pNKP� ��T�pNK GZO b�T�E�H SUV�OO]g�K [�^ PRV�HJGcW�^IKjMJKd^ PROJGISUT�HLg�GI[ �+O � ) rFpdMJKNPRO]KdH P

5 2

Page 34: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

T�Kqz�[(P�OJO]KdMJT _aSUM�O]g�GcH+[(P\M�O]GcpNV�^IP\M+GcT�HLO]P\T�pNKP� � SUM+mUKdT�KNMJP\^IG , PROJGISUT �xGZ_ O � ) r b(T�E�HlO�z�S

[(PROLO]KdMJT�H�z&GcOJg OJg�K H]P\XjK HLsxTeOQPRpdO]Gcp HLO]MLV�pdOJV�MJKjW�V�OnE�G �*KdMJKdT3On^cK8*�GIpNP\^upNS\T�HLOJGcO]V�KNTeO]H �

GcO�pdMJK P�O]KNH�PY[(PROLO]KdMJT z&GZO]g-OJg�KHJP\XjKHLsxTeOQPRpdO]GcpH�O]MJV�pdO]V�MJK W�V�O�PYm\KNT�KdM]P\^cG-,NKdE pd^ P\HLH

_aSUMkGZO]H&pNSUT�HLO]GZO]V�KdTeO]H � P\H&HLg�S z&T GIT � GcmUV�MJKn� � 54� & g�KnmUKdT�KNMJP\^IG ,NKNE"[(P�OJO]KdMJT$GIHkO]KdHLOJKNE

SUT OJg�KO]MJP\GIT�GIT�mYpNSUML[�V�HhP\T�E �>Gc_)GZO�[ KNM�_aSUMJXjH�W KdOJOJKNMwOJg(P\T O�z�S�HJKd[(P\M]P�O]K [(PROLO]KdMJT�H �

O � ) r [�V�OJH�OJg�KhmUKNT�KdM]P\^cG-,dKNE"[(PROLO]KNMLT-GcTeO]S GcOJHk[(PROLO]KNMLT-E�GIpdOJGISUT�P\MLs%�

����������� ���)%� ����� ���� � ���� �����������

����������� ������������� ����� ���� � �!��� �����������

������������ " ����%� ��10 �����6�������� ��6&��� ���� � "8���10 �!�& � �����������

� GcmUV�MJKn� � 5 � v�P\XY[�^IK�r�PROJOJKNMJT�HwP\T�E$OJg�KNGcM��hKdT�KNMJP\^IG , PROJGISUT

������� � ���&��f� ��' ��� �

& g�K $ �3��v � � E4E��`HLsxHLOJKNX ^IKNP\MJT�H K8*xOJM]P\pqO]GIS\T�[(PROLO]KdMJT�H:� & g�K�OJM]P\GcT�GIT�mhE(P�OQP GcH P HJKqO

S\_`HJKdT3OJKNT�pdKNH�X�P\ML}\KdEYPRH)pNSUTeOQPRGIT�GcT�mhP\T Kd�\KNTeO+GcT�HLO]P\T�pdK&P\T�EjP�^IGIH�O)S\_/O]g�K�HL^IS\O.b(^I^cKNMJH

S\_/O]g�K+O]KdXY[�^IPRO]K O]g(P�O P\MJK+pNSUTeOQPRGIT�KdE GIT O]g�KlHJKdT3OJKNT�pdK%� $ �3��v �|pNMLK PROJKNH P�MLV�^IK _aMJSUX

O]g�K Kd�\KNTeOhGIT�H�OQP\T�pNKz&g�GcpQg z&GI^c^fGcE�KNTeOJGc_ s"O]g�KW`SUV�T�E(P\MLGIKNH�S\_ O]g�K HJ^cS\Owb(^c^IKdMJHwGcT O]g�K

5?>

Page 35: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

HJKdTeO]KNT�pNK%�

� �!���� �/����

���������� ��������������������! " ��#�$���!�" �������������������%&�'��)(����

* �)+!���&+�,!�"-�/.

�������� � �0����21$3" ���4�576"8�9:1$3" �� *�;&< 6�=&9�1 * ��>?6!@A9

����&+)�����B.

C �ED)�EFHG��I ��������� J�ED)��FHK��MLN��O"')0���%�'��P��QR�TS�U&VW4����XFY�MZ

* �)+!���&+E.

�������� � �0����21$3" ���4�5[D)��F\GA9:1$3" �� *�;&< D��EF]K"9�1 * �)>PS!U&V?4����^F_9

� GcmUV�MLKn�G� � � $ �3��v � � V�^cKnt+MJK P�O]GIS\T

$ �3��v ��K *�OJKNT�E�H"P MJV�^IK$W3s P\E�E�GIT�m O]KdMJXjHjOJKNHLOJGIT�m O]g�K$[`KdML_aSUMLX�PRT�pNK-S\_�O]g�K

K8*xOJKNT�E�KdE [(PROLO]KdMJT"SUT"O]g�K�O]MJP\GIT�GIT�m HLKdO��

������� � �����������������+�

& g�KlXYP\GcTW S\OJOJ^IKNT�KNpQ}nS\_(O]g�K+HJV�[ KNM���GcHJKdEj[�PROJOJKNMJT E�GIHJpdS �UKNM�s XjKdOJg�S�E�HuGIHfO]g�K�pNSUH�O)S\_

[�MLKN[(P\MJPRO]GcSUTjS\_`OJg�K&O]M]PRGIT�GcT�mhE(PROQPG� M P\TesjS\_`O]g�K�HJV�M��UKqsUKNE�H�sxHLO]KdXYH�GIT O]g�GcH HJKNpqO]GcSUT

T�KdKNE;P�^IP\MJmUK P\XjSUV�TeO�SR_ P\T�T�S\O]PRO]KdE E�SxpNV�XjKNTeO�_aSUM�P�[�P\MLOJGIpNV�^ P\M&K8*xOJM]P\pqO]GIS\T OQP\HL} �

& g�K pNS\HLO�_aSUM�XYP\T3V(P\^.P\T�T�S\O]PRO]GcSUT SUT OJg�K E�S�pdV�XjKNTeO]H�pNP\T;T�S\OhW K GImUT�S\MJKNE � & g�GcH

5B;

Page 36: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

P\^cHJS ^IK PRE�HYOJS O]g�K-^IP\pQ} S\_�[ SUMLO]P\W�GI^cGcO�s S\_hP\TN� ) HLsxHLOJKNX =�SUT�K$T�KNKdE�H�OJS mUKqO�O]g�K

P\T�T�S\OQPROJKNE$E(PRO]P _aS\MkK P\pQg"OQP\HL} �

M-SUMLKNS �UKdM � X�P\Tes S\_&O]g�K HLV�ML�\Kds\KNE H�s�H�O]KdXYH P\HLHJV�XjKNE OJg�K�V�HJK�SR_wP HLKNXYP\TeO]Gcp

OQPRmUmUKNM O]S XYP\ML} OJg�K�K *�[�MJKNHLHJGcSUT�HkS\_�HLSUXYK�HJKdX�P\TeOJGIpwpd^ P\HLHJKdH ��HLV�pQg$P\H+[ KNMLHJSUT���^ISxp P(7

O]GcSUT$P\T�E$SUMJmUP\T�G-,NPRO]GcSUT�T(P\XjKNH:�+D�^cO]g�SUV�mUg�O]g�K y P\XYKdE�))TeO]GZO]GcKNH&E�KdOJKNpqO]GIS\T$O]P\HJ}�GcT

O]g�KM-KNHLH]P\mUKn~�T�E�KNMLHLO]P\T�E�GcT�mjt+SUT�_aKdMJKNT�pNKNH � 5 �(���*g(P\HkW KNKdT"z�KN^c^*K *�[�^ISUMLKNE$P\T�E�O]g�K

[ KNML_aS\MJXYP\T�pNKlOJg(PRO)OJg�K y ) H�sxHLO]KdXYH P\pQg�GIKd�\KNEYGIH)g�GcmUg��\OJg�KNMLK�PRMJKkXYP\Tes S\OJg�KNM)O�sx[`KdH

S\_)HLKNXYP\TeO]Gcp pd^ P\HLHJKNH�KNHL[`KdpNG PR^I^cs�z&g�KNT OJg�K O]P\MJmUKqOwE�SUX�PRGIT"GIH�HJ[ KNpdGcb(p �`HLV�pQg;P\HwE�GIH 7

K PRHJK�T(PRXYKdH�_aSUM�XYKdE�GIpNP\^/E�SUXYP\GIT�P\T�E�z�K P\[ SUT�T(PRXYKdH�_aSUM O]KNMLMJSUMLGIHLX E�SUX�PRGIT"� & g�K

HJKdX�PRT3OJGIp�pN^IP\HJHLKNH+T�KNpNKdHJHJP\MLsY_aSUM+Pn[(P\M�O]GIpdV�^ PRMuOQP\HL}YPRMJKwMLKNH�O]MJGcpdOJKNE PRT�E���OJg�KNMLKd_aSUMLK ��P

mUKdT�KNMJP\^�}xT�S@z&^cKNE�m\K W(PRHJK � HJV�pQg P\H�P\T$K8*�GIH�O]GIT�mjOJg�KNHJP\V�MJV�HwSUM&E�GcpdO]GcSUT(P\M�s ��E�S�KdH�T�SRO

g(P �UKhz&GIE�KnKdT�SUV�m\g-pdS@�\KNMJP\mUK%�

� ��� � �* ������0�� ��0 � $ ! � � ��0 !%�

� O�g(P\H+W KNKdT [ SUGITeO]KdEYS\V�O�OJg(PRO�GcO O]SxSU} Pn^IS\O S\_�^IP\W SUMuO]S [�MJKd[(P\MJK�O]g�K&O]MJP\GIT�GIT�mhE(PRO]P

_aSUM�P\T$GIT�_aS\MJXYPRO]GcSUT K8*xOJM]P\pqO]GIS\T-H�s�H�O]KdX�� & g�KGIE�K P S\_updSUHLO�MJKdE�V�pqO]GIS\T-^cK P\E�H&O]S O]g�K

P\[�[�MJSeP\pQg�KNHjS\_wV�T�HJV�[ KNM��xGIHJKdE ^IKNP\MJT�GIT�m1� & g�K$z�SUMJ} E�KNHLpNMJGcW`KdE GcT OJg�GIH HLKNpqO]GIS\T GcH

W(P\HLKNE-SUT-W SxS\O]H�O]M]PR[�[�GIT�mjXjKdOJg�SxE�H �/K8*�[(PRT�E�GIT�m�P\T-GIT�GZO]GIP\^`HLX�PR^I^>HLKdO�S\_uK *�OJM]P\pqO]GcSUT

5B=

Page 37: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

[(PROLO]KdMJT�H:����T"O]g�PRO�HJKNT�HJK �(z�K pNP\^I^ O]g�KdHJKhz+S\MJ}3H�HLKNXjG 7 HJV�[ KNM���GcHJKdE-XjKdOJg�S�E�H��

��� ����� � ������ ��

t+SUH�O MJKNE�V�pdOJGISUT _aSUM }3T�S z&^IKdE�mUK"K8*xOJM]P\pqO]GIS\T g(P\HjP\E��RP\T�pdKNE _aV�M�O]g�KdM HJGIT�pNK � Gc^IS�� ! H

SUMLGImUGcT(P\^�P\V�OJSUX�P�O]GIp�[(PROLO]KNMLThE�GIHLpNS �UKdMLshHLsxH�O]KNX�DwV�OJS3v�^IS\m � �4F �\z+P\H�W�V�GI^ZOK��D�V�O]S3vx^ISUmP7

& v � � 2 ��T�KdKNE�H&SUT�^Zs�P pdSUMJ[�V�H�[�MJK87 pN^IP\HJHLGcb(KdE"z&GZO]g�MLKNmeP\MLE�O]S K P\pQg"E�SxpNV�XYKdT3O�! H&MLKN^ 7

Kd�RP\T�pNK O]S-O]g�K OJSU[�GIpYS\_kO]g�K�OQP\HL} � D�V�O]Sev�^ISUm(7 & v GcT3OJMJSxE�V�pdKNE P XjK P\HLV�MJKdXYKdTeO S\_

E�SxpNV�XjKNTeO�MJKd^IKq�\PRT�pNK�O]S OJg�K�OQP\HL} �

& g�KhGIT�[�V�OlO]S D�V�O]S3vx^ISUmP7 & v�GIHkP E�S�pdV�XYKdTeO�HLKdO&[�MLK87 pN^ PRHJHJGZb(KNE�z&GZO]g�MJKdHJ[ KNpqO�OJS

MJKd^IKq�\PRT�pNK OJS;OJg�K OQPRHJ} S\_�GcT3OJKNMLKNHLO�� � GcMJHLO � DwV�OJS3v�^IS\mP7 & v PR[�[�^IGcKNH g�KNV�MLGIHLOJGIp�MLV�^IKdH

K8*�g(PRV�HLOJGc�UKd^cs$O]SjO]g�KnO]M]PRGIT�GcT�mYpdSUMJ[�V�H�P\T�E-[�MJSxE�V�pdKNH�PY^IGIH�O�S\_)[ SUHJHLGIW�^cK K *�OJM]P\pqO]GcSUT

[(PROLO]KdMJT�H:�

& g�KNT z�KwpNP\T pNP\^IpdV�^ PROJKkO]g�K�HJpNS\MJKwSR_�K P\pQg�[(PROJOJKNMLT���GcTjOJg�KwHLKdOlSR_>O]g�K�[`S\HJHJGcW�^IK

K8*xOJM]P\pqO]GIS\T$[�PROJOJKNMJT�H�� �

o Kdb(T�K����+.�� 0kP\HkO]g�K�_aMJKdi3V�KNT�pqs$S\_�OJg�Kn[(PROJOJKNMLT�$W KNGIT�mYPRpdO]GZ�RPRO]KdE-GcT"OJg�KhMJKd^IK87

�RP\TeOhE�SxpNV�XjKNTeO]HhPRT�E� .�� 0wP\H�O]g�K _aMJKNi3V�KdT�pds S\_�� W KNGcT�m"P\pqO]Gc�RPROJKNE GcT;P\Tes E�SxpNV 7

XjKNTeOK�

�������� .�� 0'3��� .�� 0� .�� 0��

^IS\m .�� .�� 0D0

�\�

Page 38: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

��KdMJK ������� ����� ���

GIH � � . MJKd^IKq�\PRT3O+O]K8*xO� O]K *�O�pdSUTeOQP\GcT�H � 0 �)z&g�GcpQg XYKNP\HJV�MLKNH OJg�K�pNSUT 7

E�GZO]GIS\T(P\^ [�MJS\W(P\W�Gc^IGcO�s OJg(PRO P O]K8*xO GcH MJKd^IKq�\PRT3OmUGc�\KNT OJg�K O]K *�O pNSUTeOQPRGIT�H P-pNKNM�OQP\GcT

K8*xOJM]P\pqO]GIS\T-[(P�OJO]KdMJT"� � O�P\GcXYHkOJSjb(T�E E�SUXYP\GcTG7�HL[`KdpNGcb�p�[(PROJOJKNMLT�H�OJg(PRO�P\MJKn^IGc}\Kd^cs�OJS

P\[�[ K PRM GIT O]g�K"MLKN^IKq�RP\TeO E�S�pdV�XjKNTeOjHJKdO�� Dw^cHJS � O]g�KdMJK"GIH P pdSUXY[�MJSUXjGIHLK W`KqO�z+KdKNT

O]g�K�_aMJKNi3V�KdT�pds S\_�O]g�K�[(P�OJO]KdMJT�GcT�mUKNT�KdM]P\^*P\T�E�O]g�K�_aMJKNi3V�KdT�pds SUT�^csYGITYO]g�K�MLKN^IKq�RP\TeO

E�SxpNV�XjKNTeO�HJKqO�W3s"V�HJGIT�mj^cKNHLH&z�KNGcmUgeO]KdEC.a^ISUmePRMJGcOJg�X S\_90�_aMLKNi3V�KdT�pds%�

��� ��� � � ������ ' ��� �k����f� �

M-V�OJV(P\^�W S�S\OJHLOJM]P\[�[�GIT�m GcH�S\T�K�_aSUMJX SR_.pdSP7 OJM]P\GcT�GIT�m V�HJKNE-GIT � Gc^IS�� P\T�E�Q\SUT�KdH � �%; �

_aSUMf^IK *�Gcp P\^3E�GcHJpdS@�\KNM�s4� O�K8*�GcpNSUT�H.P\T�E K *xO]M]PRpdO]GcSUT[�PROJOJKNMJT�HuP\MLK+V�HLKNE P\HfO�z+SwHJKN[�P\M]PROJK

_aK P�O]V�MLKNH�� �hGZ�UKNT P g(P\T�E�_aV�^+S\_&^cK8*�GIpNP\^ KNTeO]MLGIKdH P\H GcT�GcOJG P\^uE�PROQP ��O]g�K H�sxHLO]KdX b(T�E�H

[(PROLO]KdMJT�HOJg(PRO K8*xO]MJP\pdOO]g�KYGIT�GZO]G PR^u^IK *�GcpNSUT � & g�K�K8*xO]MJP\pdOJKNE [(PROLO]KdMJT�H PRMJK�MJP\T�}RKNE

P\T�E"O]g�KnXjSUH�O&MJKN^cG P\W�^IKw[�PROJOJKNMJT�H�PRMJKhV�HJKdE-OJSjK *xO]M]PRpdO�XYS\MJK�^IK *�GIp PR^>GcOJKNXjH��

& g�K PRHJHJV�XY[�OJGISUT$S\_.V�HJGcT�m�X V�O]V(P\^�W SxS\O]H�O]M]PR[�[�GIT�mYGcH&OJg�KnE�V(P\^cGcO�s OJg(PROwPjmUSxSxE

[(PROLO]KdMJT;p P\T b(T�E P�mUSxSxE ^IK8*�GcpNSUT;P\T�E P m\S�SxE ^IK *�GcpNSUT pNP\T b(T�E P�mUSxS�E [(P�OJO]KdMJT"�

& g3V�H �xO]g�K�PhHJKqO+S\_*^IK *�GcpNSUT�H z�SUV�^cEjb�T�EjOJg�K�K8*xO]MJP\pdOJGISUTj[(PROLO]KNMLT�H O]g(PRO pNP\TYMLKN^cG P\W�^Zs

K8*xOJM]P\pqO O]g�KdX P\T�E��&GIT OJV�MJT��kOJg�K K8*xOJM]P\pqO]GIS\T2[(PROJOJKNMLT�H p PRT b(T�E P\T�SRO]g�KdM HJKqO�S\_

^IK *�GIpNS\T�H ��z&g�GI^IK�}RKNKd[�GIT�m O]g�KnMLKN^cKd�RP\T�pqs"S\_�OJg�Kh^IK *�GcpNSUT�H��

& g�K P\^ImUS\MJGcOJg�X5S\_�X V�O]V�P\^�W`SxS\OJHLO]MJP\[�[�GcT�m GIHkHLg�S z&T GcT � GImUV�MLKh�G� E6�

�G5

Page 39: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� � �� ����

� '! !� ��� �� ��6�������'����� ��� '� � �������/���'

� '! !� ���*�������� �/���' � ��/�/� ������!� )%������

� '! !� ����!�!���6�������� �����/��������)� ���!���� �/��'

��������'������ ���� �����/������ �� ���� ����� ���

�����)���

� ��!/� ����� !�����6�)���!�� �����/������ �� ���!���� �/��'��

������ *���� ���);��� �'�� �����/���)������ ���!���� �/�� ��'�� �� ��

� ����� �� ��� � �

� ��� �� ��������' ����� �� ��8'� �����/���)��������������

� GImUV�MJKn�G� E ��M-V�OJV(P\^ +SxS\OJHLO]MJP\[�[�GcT�m

& g�K"HLsxHLOJKNX HLpNSUMLKNHjP\^c^ OJg�K�[(PROLO]KNMLT�H K8*xOJM]P\pqO]KNE Wes D�V�O]S3vx^ISUm � �4F���. v�KdK-v�KNp 7

O]GcSUT �G� 54� 5?0�O]g�PROhK8*�g(P\V�HLO]GZ�UKd^cs O]P\}\KdH PR^I^.[ SUHLHJGIW�^IK K *�OJM]P\pqO]GcSUT;[(PROJOJKNMLT"� & g�KjP\^cmUSP7

MJGZO]g�X O]P\}\KdH+O]g�K�W`KdHLO 7�M]PRT�}\KdE�[(PROJOJKNMLT ��GITeOJS O]g�KwHJKqO � S\_>OJg�KwK *�OJM]P\pqO]KdE�[(PROJOJKNMLT�H

P\T�E O]g�KNTYP\E�E O]g�K&^cK8*�GIpdSUT O]g(PRO GcH)K8*xO]MJP\pdOJKNEYW3s���GcT3OJS � � & g�K�X V�O]V�P\^�W S�S\OJHLOJM]P\[G7

[�GcT�m MJKN[ K P�O]H&HLO]P\MLOJGIT�m z&GcOJg"HJpNS\MJGIT�mYPR^I^`OJg�Kh[(PROLO]KNMLT�H&z&GcO]g�OJg�KhV�[`E�PRO]KdE � �

D p P �\K PRO S\_�X V�O]V(P\^ W S�S\OJHLOJM]P\[�[�GIT�m PR[�[�MJSUP\pQg GIHnO]g(PRO P XYGcT�SUMnKNMLMJSUMz�SUV�^cE

�U�

Page 40: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

p PRV�HJKYP�^ P\MLmUK P\XjSUV�TeOhS\_�KNMLMJSUM�E�V�MJGIT�m"OJg�K T�K8*xOnGcOJKNMJPRO]GcSUT"� � SUM�K *�P\XY[�^IK � � GI^cS��

P\T�E Q\SUT�KdH-MLKN[ SUMLOJKNE O]g(PRO �w_aSUM�O]g�K K *xO]M]PRpdO]GcSUT OQP\HL}2S\_ ^cS�pNPRO]GcSUT2T(P\XjKNH"GIT O]g�K

O]KdMJMLSUMJGcHLOYE�SUXYP\GIT�� X V�OJV(P\^&W S�S\OJHLOJM]P\[�[�GIT�m;z&MJSUT�mU^cs K *�OJM]P\pqO]KdE O]g�K-T�SUTG7 ^ISxp PROJGISUT

[�g�MJP\HJKdH ��HJV�pQg�PRH ��� � ��� � 2 � � ��� ���� �e_aMLSUX O]g�K�MJKNP\HJS\T(P\W�^cK�K *�OJM]P\pqO]GcSUT�[(P�OJO]KdMJT �LHJg�SROGIT9?�� B

DwT�SRO]g�KdM�^cKd�UKd^�SR_uW S�S\OJHLOJM]P\[�[�GIT�m ��p P\^c^IKNE ����� ������ ��� ��� � ��� �����@ ��zlPRHwGITeOJMJSxE�V�pNKdE

P\HfPkMJKdXYKdE�shS\_xO]g�K [�MLSUW�^IKdX P\W S �UK �RHJg�S z&T GIT � GIm\V�MJK � � �1� ��TnXYKqOQP(7 W`SxS\O]H�O]MJP\[�[�GcT�m �

K PRpQg GcOJKNMJPRO]GcSUT OQP\}RKNH�SUT�^Zs�O]g�K�F W KNHLO y r)H&_aSUM&P\E�E�GIT�m O]S O]g�KnK *xO]M]PRpdO]KdE ^cK8*�GIpdSUT�H �

O]g3V�HnO]M�s�GcT�m"O]S W KjpNSUT�HLKNM��\P�O]Gc�\K�MJPRO]g�KdMnOJg(P\T OQP\}3GIT�m P\^c^uO]g�Kj^IK *�GIp PR^ KdTeO]MJGcKNHhO]g(P�O

P\MLKnK *xO]M]PRpdO]KdE-Wes�OJg�Kh[(PROJOJKNMLT�H��

��� ��� � � ��� �L����� ' ��� ��������� �

��T�K S\_ O]g�K GITeOJKNMJKdHLOJGIT�m-P\[�[�^cGIpNPRO]GcSUT�HwSR_+pdSP7 OJM]P\GcT�GIT�m OJS$P\T � ) OQP\HL} zlPRH E�S\T�K W3s

t+SU^c^IGIT�H�P\T�E v�GcT�mUKNM � = � � & g�Kqs OQP\}RK OJg�K y )|O]P\HJ} P\HhP�pN^ PRHJHJGZb(p P�O]GIS\T [�MJSUW�^IKNX S\_

T�SUV�T [�g�MJP\HJKdH �Uz&g�KdMJK+OJg�K+mUSUP\^3GIH�O]S�^cK P\MLT O]g�K+gesx[`S\OJg�KNHLGIH.OJSwpd^ P\HLHJGc_ snT�S\V�T [�g�MJP\HJKdH

mUGZ�UKNT-P HJKqO�SR_�OJg�KNGcMl_aK PROJV�MJKdH��

& g�K y ) O]P\HJ} zlPRHjE�Kdb(T�KdE OJS b(T�E P pN^ PRHJHJGZb(KNM� m\Gc�UKdT P _aKNPRO]V�MJK �UKdpdOJSUM� �

Dw^c^uO]g�KjGIT�HLOQPRT�pNKdHS\_+T(P\XjKNE KNTeO]GZO]GIKdHPRMJKjE�KNHLpNMJGcW`KdE z&GZO]g;O�z+S HLKdO S\_l_aKNPRO]V�MLKNH>=)P

� ��� 2 2 ���@ _aK PROJV�MJK HJKqO �\HLV�pQg P\H�O]g�K _aV�^c^eHLOJMJGIT�m�S\_�O]g�K [�g�MJP\HJK�P\T�EnO]g�K _aK P�O]V�MLK z&g�KqO]g�KdM

�%E

Page 41: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� � �� ����

� '! !� ��� ���+� ������ �� ��6����)�'

� '! !� ��� �� ��6�������'�� ��'����-�� �/!%����� !��� '! )%��!�����

�� �������� � � " �6���������!�'��� �/&

�����)���

���������������� � �� �%��6��/���/�� �� ��6������ '! !����� � �

����/�%���������� ���)�'���/�����������;

� ��� %���������� ���)�'���/�����������; ��� ������ � ���

� ���� �'�� ��� ' ��/�� % ���� �/� �'��6�)���� � �#��/�� %

%���������� ���)�'���/�����������; �

� GcmUV�MLKn�G� � ��M-KdO]P(7�W S�SRO]HLOJM]P\[�[�GIT�m

GcOfpdSUTeOQP\GcT�HuP�[(P\MLOJGIpdV�^ P\M�H�O]MJGcT�m �RP\T�E � ����� ��� � _aK PROJV�MJK�HJKqO �UHLV�pQg P\H�OJg�K pNSUTeO]K *xO)GcOJHJKN^Z_

P\T�E-O]g�KO�sx[ K S\_)OJg�K pNS\T3OJK8*xOK� & g3V�H ��P\^c^fOJg�KGcT�HLO]P\T�pNKdH�g(P �UK O�z�S � ��� � GcT O]KdMJXjH

S\_ � > �#�

��T�K)_aSUMJX|S\_�OJg�K P\[�[�^IGIpNPRO]GcSUTwOJS&OJg�K y )"OQP\HL}ht+SU^I^cGIT�H>P\T�E v�GIT�mUKNM�E�KdHJpdMJGIW KNEhz+P\H

PhE�KNpdGIHJGcSUTG7 ^IGIH�O)W(P\HLKNE pdSP7 OJM]P\GcT�GIT�mhP\^ImUS\MJGcOJg�X � & g�KwP\^cmUSUMLGcO]g�X �Rp P\^c^IKNE o O 7�t+S\OJM]P\GcT��

b(MLHLO pNMLK PROJKNHjP E�KNpdGIHLGISUT ^cGIHLO S\_&O]g�K � ��� 2 2 ���@ _aK P�O]V�MLKNH _aMJSUX6O]g�K$HLKNKdE z�SUMJE�HYPRT�E

�R�

Page 42: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

^ PRW`Kd^IKNE-O]g�K OJM]P\GcT�GIT�mYE(PRO]P6� & g�KNT�� o O 7�t+S & MJP\GIT PR^ImUSUMLGcOJg�X HJKqOnP E�KNpdGIHJGcSUT ^IGcHLO�S\_

O]g�K � ����� ��� � _aK PROJV�MJKdH�_aMJS\X O]g�K T�Kdz&^Zs"^ P\W KN^cKNE$GIT�H�OQP\T�pdKNH�GIT"O]g�KnO]M]PRGIT�GcT�m E(PROQP � HLS

_ P\M:� & g�K�O]M]PRGIT�GcT�m�E�PROQP�GIH.^IP\W KN^IKdEPRmeP\GITnz&GcOJg O]g�K+E�KdpNGIHLGISUT^IGIH�OfS\_ � ����� ��� � _aKNPRO]V�MLKNH:�

& g3V�H ��O]g�K�[(P\M�O+S\_*O]g�K�O]M]PRGIT�GcT�mhE(PROQPhz&g�GIpQgYzlP\H�T�S\O�^ P\W KN^cKNEjW`Kq_aSUMJK�GIH T�S z P\E�E�KNE

O]SYO]g�K ^IP\W`Kd^IKdE E(PRO]P �*HLS O]g�K E�KNpNGcHJGcSUT ^IGcHLOJH�P\MLK^IKNP\MJT�KNE _aMJS\X OJg�K ^ PRMJmUKdM�HLKdO�O]g�P\T

O]g�Kn[�MJKd�xGcSUV�H&GcOJKNM]P�O]GIS\T"�

DwT�SRO]g�KdM _aSUMJX6S\_�pNS(7 O]MJP\GIT�GIT�m$W(P\HLKNE P\^Im\SUMJGZO]g�X�GcH t+S +SxSUH�O P\^Im\SUMJGZO]g�X � t+S(7

+SxSUHLO-P\^cmUSUMLGcO]g�X GcH"W(P\HJKdE|S\T|W S�S\HLO]GcT�m P\^Im\SUMJGZO]g�X � � O"O]MLGIKdH O]S XYGcT�GIXjG-,dK-O]g�K

E�GcH]P\mUMLKNKdXYKdT3OSUT OJg�K�O]MJP\GIT�GIT�m$E(PRO]P S\_kO�z�S pN^ PRHJHJGZb(KNMLH z&g�GcpQg P\MJKYW(P\HLKNE SUT O�z�S

E�G �*KdMJKNTeO � ��� � �

��� ����� � ' ���')���������

)�� o ��v�t � � �e� �lGcH P\T�S\O]g�KdM GITeOJKNMJKdHLOJGIT�m K *xO]M]PRpdO]GcSUT HLOJM]PROJKNm\s z&GcOJg X V�OJV(P\^ W`SxS\OA7

HLOJM]P\[�[�GIT�m6� & g�KXYS\OJGc�RPROJGISUT�W KNg�GcT�E OJg�KX V�O]V(P\^fW S�S\OJHLOJM]P\[�[�GIT�mYS\_ )�� o ��v�t � GcH

O]g�K pNGcMJpNV�^ P\MLGcO�s z&g�KdMJK OJg�K�[�MLKNHLKNT�pdK$SR_kO]g�KYMJKN^cKd�RP\TeO E�S�pdV�XYKdTeO]H GcT�E�GIpNPRO]KdHmUSxSxE

[(PROLO]KdMJT�H�P\T�E$mUSxS�E�[�PROJOJKNMJT�H�pNP\T$b�T�E-MLKN^cKd�RP\TeO&E�SxpNV�XjKNTeO]H�

)�� o ��v�t � MJKdi3V�GIMLKNH$SUT�^cs2P\T�V�T�P\T�T�S\O]PRO]KdE�pdSUMJ[�V�H P\T�E�P g(P\T�E�_aV�^nSR_ HJKdKNE

[(PROLO]KdMJT�H:� � GIMLHLO&O]g�K E�SxpNV�XYKdT3O�HJKqOwGcH&E�Gc�xGIE�KNE$GITeO]SYP � � 2 ��������� � � � � ������� � ��� O]g(P�O

pNS\T3O]P\GIT�H&PRO&^IKNP\HLO&SUT�KnGcT�HLO]P\T�pdK�S\_.[�PROJOJKNMJT�H�PRT�E � ��� � � 2 ��������� � � � � �������� ��� O]g(P�O

�4F

Page 43: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

E�SjT�S\O&pdSUTeOQP\GcT-PRT3s"HLKNKdE-[(P�OJO]KdMJT�H:� & g�KNT-OJg�Khp P\T�E�GIE(P�O]K�[(PROLO]KdMJT�H�P\MLKnm\KNT�KdM]PROJKNE

_aMJS\X5OJg�Kwpd^ P\V�HJKNH+GITYOJg�KwE�S�pdV�XYKdTeO]HkP\T�E M]P\T�}\KNE�GcT�pdSUMJMLKN^ P�O]GIS\Tjz&GZO]g�OJg�KwMLKN^IKq�RP\TeO

E�SxpNV�XjKNTeOJH��

& g�KnHJpNS\MJKhS\_�[(PROJOJKNMLT� GIHkpNP\^IpdV�^ PROJKNE"Wes

�� ��� � .�� 0'3�� ��� � .�� 0� ��� .�� 0 �^cSUm . � ��� � .�� 0D0

z&g�KNMLK � ��� � .�� 0kGcHlO]g�KhT3V�X W KNM&S\_�MJKd^IKq�\PRT3O�E�SxpNV�XYKdT3OJHkO]g(PRO&pdSUTeOQP\GcT � �)�� o ��v�t � P\E�E�H�O]g�K g�GcmUg�KNH�Oh[(PROLO]KNMLT OJS�O]g�K [(PROLO]KdMJT HJKdOhOJg(PROnGIT�GZO]GIP\^I^Zs�pNSUT 7

OQPRGIT�KdEjS\T�^csHJKNKdEY[�PROJOJKNMJT�H�� & g�KdT�� ) � o ��v�t �|MLK87�MJP\T�}3H K P\pQgjE�SxpNV�XjKNTeO V�HLGIT�m�O]g�K

T�Kqz&^cs�SUW�OQP\GcT�KNE"[(PROLO]KdMJT$HJKdO��

DlO&O]g�K . �� 5?0 7 OJg$GZO]KdM]PROJGISUT��3O]g�KnHLpNSUMLK SR_.KNP\pQg-E�S�pdV�XYKdTeO � GIHkp PR^IpNV�^ PROJKNE�Wes � �� ���������� . � 0'3 XYP(*

� ������ ��� . � 0 � 5

������ . � �� 0 � ���������� ���! #" � �� ������� . � 0%$&z&g�KNMLK � �'� GIH PhHJKdO�S\_*[(PROJOJKNMLT�H OJg(PRO XYPRO]pQgjE�SxpNV�XjKNTeO � P\T�E(���)� . � �� 0uGIH P

HJKqO)S\_/E�SxpNV�XYKdT3OJH�OJg(PRO)PR^I^3[(PROLO]KNMLT�HuGcT � �� XYPRO]pQg"� & g�GIH�HJpdSUMJKlpNP\^IpdV�^ P�O]KNH�O]g�KlHJV�XS\_xO]g�K T�SUMLX�PR^IG-,dKNE�HLpNSUMLKNHfS\_�OJg�K E�SxpNV�XjKNTeO]H�z&g�GcpQg pdSUTeOQP\GcT�KNE P\^I^RO]g�K [(PROLO]KNMLT�H�O]g(P�O

T�S z P\MJK _aSUV�T�E GcT O]g�K E�SxpNV�XjKNTeO�GcT i3V�KNH�O]GcSUT"� & g3V�H ��g�P �xGcT�m�P\^c^�OJg�K E�SxpNV�XYKdT3OJH

V�[ E(PROJKNE HJpdSUMJK ��)�� o ��v�t � P\meP\GcTHL[�^IGZO]H�OJg�KlKdT3OJGIMLKlHJKqO)S\_/E�SxpNV�XjKNTeOJH)GITeO]S � � 2 ���������

P\T�E � ��� � � 2 ��������� P\T�E-}RKNKN[�H�GZO]KNMJPRO]GcT�m1�

� 2

Page 44: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

��� ��� � � �������+%�f�L��' �����|�('� )' ��� � �

O�S�pNP\^/MJKd^ PROJGISUT�H W KdO�z�KNKNT"KdT3OJGcOJGIKNH�P\MLKw^IKNP\MJT�KNE GcTYO]g�K�z�SUMJ}jS\_�D�mUGIpQgeO]KdGIT�P\T�E"��M]P(7

�RP\T�S � ��� � Dwm\GIpQgeO]KdGIT P\T�E ��M]P �RP\T�S1! Hjv�T�S z&W(PR^I^+H�sxHLO]KdX _aSUM K *�OJM]P\pqO]GcT�m MJKd^ PROJGISUT�H

W KdO�z�KNKNT ^ISxp PROJGISUT"P\T�E-SUMLmeP\T�G , PROJGISUT�GcH&W(P\HJKdE SUT o V(P\^ � O]KNMJPRO]GZ�UK r.PROLO]KdMJT�) *�[(PRTG7

HJGcSUT�. o ��r � )�0YPR^ImUSUMLGcOJg�X � ; � � o ��r � ) � HLGIXjGI^ PRM O]S pdSP7 OJM]P\GcT�GIT�m � z�SUML}xHYz+Kd^I^�SUT

E(PRO]PjOJg(PRO�g(P �UKO�z�S E�GcHLO]GcT�pdO&_aKNPRO]V�MLKNH �*K PRpQg S\_uz&g�GcpQg p PRT GIT�E�KN[ KNT�E�KNTeO]^Zs-E�GIHLOJGITG7

mUV�GcHJg O]g�K OQP\MLmUKdO pd^ P\HLHjSR_�GcT�HLO]P\T�pdKNH _aMJSUX O]g�K"S\OJg�KNMLH�� & g�K"XYP\GIT P\^ImUS\MJGcOJg�X6S\_

v�T�S z&W(PR^I^ � b(MJH�O ��GcT�E�V�pdKNHhP\T�E;MJP\T�}3H�O]g�K K *xO]M]PRpdO]GcSUT [(PROLO]KdMJT�H�mUGZ�UKdT P g�P\T�E�_aV�^�S\_

GIT�GcO]GIP\^�MLKN^IPRO]GcSUT GIT�H�OQP\T�pdKNH>=�PnHJKdO�S\_*[(P\GIMLH S\_�^ISxp P�O]GIS\T P\T�E�S\MJmeP\T�G-, P�O]GIS\T"� & g�K�P\^cmUSP7

MJGZO]g�X P\[�[�^IGIKdH.O]g�Kl[(PROLO]KNMLT�H SUTeO]S�OJg�KkHJSUV�MJpNKkOJK8*xO P\T�E OJMJGIKdHuO]S�b(T�EjSRO]g�KdMuMJKd^ PROJGISUT�H

O]g�PROlO]g�K�[(PROLO]KNMLT�Hkp PRT�pNS �UKdM�� � MLSUX O]g�K�T�Kdz&^csj_aSUV�T�E$MLKN^IPRO]GcSUT�H �3O]g�K�[(PROLO]KNMLT�H&P\MLK

MJK 7�MJP\T�}\KdE"�

& g�KhXYKqO]MLGIpNH+S\_�OJg�K�[(PROLO]KdMJT�H�P\T�E"MLKN^ P�O]GIS\T�H+V�HLKNE"_aSUMlKNP\pQg-GZO]KdM]PROJGISUT GcHlGIXj[ SUM 7

OQPRT3OlHJGIT�pNKhPO]GcTes�KdMJMJS\M+z+S\V�^IE�K *�OJM]P\pqOkXjSUMJK�KdMJMLSUT�KNS\V�Hk[(PROLO]KNMLT�H���MJKN^IPRO]GcSUT�H�GIT O]g�K

^ P�O]KNM�H�OQP\m\KNH�� & g�KjpNSUT�b�E�KNT�pdK S\_+P$[�PROJOJKNMJT GIH�pNP\^IpdV�^ PROJKNE Wes;HJGIXjGI^IP\MwXjKdOJg�SxE;OJS

� GI^IS � � � 2 � � z&g�KNMLKO]g�K HJpdSUMJK GcHwPYX V�^cOJGI[�^cGIpNPRO]GcSUT S\_)OJg�KMLKN^IKq�RP\T�pNKS\_uO]g�K [(PROLO]KNMLT

. [�MJKNpdGIHLGISUT 0lPRT�E$OJg�Kh^ISUmUP\MJGZO]g�X5S\_�O]g�K�_aMJKdi3V�KNT�pqs$S\_�OJg�Kh[(PROLO]KNMLT"� & g�KNT �/OJg�KhpNSUT 7

b(E�KdT�pNKjS\_�K P\pQg MJKd^ PROJGISUT GcH�p P\^cpNV�^IPRO]KdE Wes O]g�K [�MLSUW(P\W�GI^IGZO�s-OJg(PROnP\^c^�OJg�K [(PROJOJKNMLT�H

O]g�PRO&K8*xO]MJP\pdO�O]g�KnMLKN^IPRO]GcSUT�z�KNMJKhO]MLGImUm\KNMJKdE"GIT�pdSUMJMLKNpdOJ^cs%�

�4>

Page 45: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

��� ��� � �����������������+�

& g�K�E�MJP z&W(P\pQ}�SR_�O]g�GcH�O�sx[`K�SR_�W`SxS\O]H�O]MJP\[�[�GcT�mXjKdOJg�S�E�GIH+OJg(PROlGZOlGcH+[�MLSUT�KwOJSOQP\}RK

O]GcTes KNMLMJSUMLH�P\T�E$P\Xj[�^IGZ_ sjOJg�KNX E�V�MJGcT�m GcOJKNM]P�O]GIS\T"� ��T�_ P\pdO ��O]g�GcHk[�MJS\W�^IKdX GIHkpNP\V�HLKNE

T�S\O+SUT�^ZsYWesYT�SUGcHJK�W�V�O&P\^cHJS�. XjSUMJK�HJKdMJGIS\V�HJ^Zs10 Wes�[ SU^csxHLKNXjSUV�H�z�SUMLE�HkP\T�E�[�g�M]PRHJKNH:�

� SUMkK8*�P\Xj[�^cK �(P\^ZO]g�S\V�mUg�O]g�Kh[(P�OJO]KdMJT �L}3GIE�T(PR[�[`KdE"GIT ? � B GIT"O]KdMJMJS\MJGIH�O&E�SUXYP\GIT

GcOJHJKd^c_/GIH.P�mUSxS�E [�PROJOJKNMJT �eGcO.z&Gc^I^xK8*xO]MJP\pdO T�S\O)SUT�^Zsn^ISxp PROJGISUT�H �L}3GIE�T�P\[�[ KNE GIT � ����� �

W�V�O�P\^cHJS XYP\Tes�E(PROJKNH �L}3GIE�T(P\[�[ KNE$GIT�� ���� ��� � � $ K�p P\TGIXj[`SUHLK P\T y );pNPRO]KdmUSUM�s pdSUT�H�O]M]PRGITeO�_aS\M.PwXYPROJpQg�GIT�m&�RP\MJGIP\W�^cK OJSwMLKNE�V�pdK

O]g�K E�KNm\MJKNK S\_h[`S\^csxHJKdXYSUV�H�[(PROLO]KdMJT�H:� & gxV�H �&O]g�K K *�P\XY[�^IK [�PROJOJKNMJT�H�P\W S@�\K P\MLK

K8*�[�MLKNHLHJKNE�P\HuO�z�S E�G �*KdMJKdT3Ou[(PROJOJKNMLT�H � �L}3GIE�T(P\[�[ KNE GIT��Rt�7<O �nt�� hPRT�E �L}3GIE�T(PR[�[`KdEGIT��Rt�7 o D & )�� 1�

��T HJV�[ KNM���GcHJKdEY[(P�OJO]KdMJT E�GcHJpNS �\KNMLs XYKqO]g�SxE�H �RO]g�KkpdSUHLO S\_ [�MLKN[(PRMJGIT�m�O]g�KlOJM]P\GcT�GIT�m

E(PRO]P�z+P\H)g�GIm\g��UP\T�T�S\OQP�O]GIT�m�P\^c^xOJg�KlT�KdpNKNHLH]P\M�s GIT�_aSUMJXYPRO]GcSUT"� & g�Klz�SUML} HLV�ML�\KdsUKdE�GcT

O]g�GIH&HJKdpdO]GcSUT"O]MJGcKNHkO]SjMJKdE�V�pdKnOJg�K W�V�MJE�KdT S\_.P\T�T�S\OQPROJGIT�m OJg�KnOJM]P\GcT�GIT�m E(PROQPG� � GI^cS��

MJKd[`S\MLO]KdE;GIT � �4>��uOJg(PROhGcO�O]SxSU} P�V�HLKNM ;�g�SUV�MJH�O]S$P\T�T�S\OQP�O]K 5 2 ��OJK8*xO]H ��MJSUV�m\g�^cs P

z�KNKN}-O]S"P\T�T�S\OQPROJK 5 �U�U�jO]K8*xOJHh_aS\M�g�KNMw[�MJKq��GcSUV�H�z�SUMJ} DwV�OJS3v�^IS\m � �%F��#�nDwV�O]S3v�^cSUmP7

& v � � 2 �eOQP\}RKNH�P�pdSUMJ[�V�H�[�MLK87 pN^ PRHJHJGZb(KNEh_aSUM�MLKN^IKq�RP\T�pdsnPRHfGcT�GcOJG P\^�GIT�[�V�OK�.t+^ PRHJHJGZb(p P�O]GIS\T

S\_*E�S�pdV�XjKNTeO]H�GIH Ph_ PRM KNP\HJGcKNM OQP\HL} O]g(PRT�XYP\}3GIT�mnP\T�T�S\OQPROJGISUT�H�PR^cO]g�SUV�mUg O]g�K�P\pqO]V(P\^

O]GcXYKGcOwOJS�S\}-z+P\HhT�S\OhMJKd[`S\MLO]KdE"� � V�M�O]g�KdMJXjSUMJK �>Wes V�HJGcT�m"X V�OJV(P\^.W SxS\O]H�O]M]PR[�[�GIT�m

�%;

Page 46: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

P\[�[�MJSeP\pQg �UO]g�KkpdSUHLO MLKNE�V�pqO]GcSUT SUT O]g�KlOJM]P\GcT�GIT�m�E(PRO]Pwz+KdMJKk_aV�MLOJg�KNM)[�V�MJHLV�KNE"� vxT�S z 7

W(P\^c^/P\T�E ) � o ��v�t ��MJKdixV�GIMJKdE�SUT�^cs P\TYV�T(P\T�T�S\OQP�O]KNEYpNSUML[�V�H+P\T�E Png(P\T�E�_aV�^/S\_>O]g�K

GIT�GcO]GIP\^ MJKN^IPRO]GcSUT�HkPRT�E-[�PROJOJKNMJT�H �(MJKdHJ[ KNpqO]Gc�\KN^Zs4�

��S z�Kd�UKdM �/O]g�K�T3V�XW`KdMlS\_�E�S�pdV�XjKNTeO]HkMLKN^IKq�RP\TeOlO]S O]g�K�OQP\HL}�GIH+^IGIXjGcOJKNEYW`Kdp P\V�HLK

S\_(OJg�KlE�KdmUMJKdKlS\_/HJ[ KNpdGcb(pdGcO�s S\_(O]g�KlK8*xO]MJP\pdOJGISUT OQP\HL} � & g�KlE(PRO]P(7�HL[(P\MLHJKNT�KNHJH)[�MJSUW�^cKNX

X V�H�OfW`K pNSUT�HJGIE�KNMJKdEKdHJ[ KNpNGIP\^I^Zswz&g�KdTO]g�K O]P\HJ}�GcH��UKNM�snHJ[ KNpNGZb(p�P\T�EhO]g�K HJSUV�MJpNK E(PRO]P

GIHkm\KNT�KdM]P\^ �

� MJSUX O]g�K V�HJKNM:! H"[ SUGITeO�S\_h��GcKdz ��[�MJS �xGIE�GcT�m P HLX�P\^c^�HLKdO"S\_nK *�OJM]P\pqO]GcSUT [(PROA7

O]KdMJT�H�XYP s�HLOJGI^I^*W`KnP W`S\OLO]^cKNT�KdpQ} ����T t+g(P\[�OJKNM3E ��z�Knz&Gc^I^>E�GcHJpdV�HJH�XYS\MJKhP\W SUV�O&O]g�K

W S\OJOJ^IKNT�KNpQ}�P\T�E-T�KdKNE"_aSUM�P _aV�^I^Zs�V�T�HJV�[ KNM���GcHJKdE XjKdO]g�S�E�_aSUMk[(P�OJO]KdMJT$E�GIHLpNS �UKdMLs%�

�%=

Page 47: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� � ��� ��� �

� ��� � � ��� ��� � ��� ��� � � ��� � � � � � ���

����� ���&� ������������ ��

t+g(P\[�O]KNM �wHLV�ML�\Kds\KNE��RP\MLGISUV�H.P\[�[�MLSeP\pQg�KdH)O]S�MJKdE�V�pdK&OJg�KlpdSUHLO S\_ [ SUMLOJGIT�m�P\T�� ) H�s�H 7

O]KdX GcTeO]S P\T�S\O]g�KdMlE�SUXYP\GcT"� ))HJ[ KNpdG P\^c^cs �xz�K�E�GcHJpNV�HJHJKdE$OJg�K�E�GcHJpdS@�\KNM�s S\_�K *�OJM]P\pqO]GcSUT

[(PROLO]KdMJT�H � HLGIT�pdKnOJS�E�P s ! H3� ) H�sxHLO]KdXYHwP\MJKhpdSUXYXjSUT�^Zs W(PRHJKNE-SUT$[(PROJOJKNMLT XYPRO]pQg�GcT�m1�

M P\Tes S\_�OJg�K [�MLKd�xGIS\V�H�P\[�[�MJSeP\pQg�KNH�PROLO]KdXY[�OJKNE O]S HLSU^c�\K-O]g�K [(PROLO]KdMJT E�GcHJpdS@�\KNM�s

[�MLSUW�^IKdX P\H�Pjpd^ P\HLHJGZb(p PROJGISUT"[�MLSUW�^cKNX z&g�KdMJKhz+K HJKd[(P\M]P�O]KnMJKN^cKd�RP\TeO�[(PROLO]KNMLT�H&_aMJSUX

GIMLMJKd^IKd�RP\TeOYSUT�KdH � GcOYMJKdE�V�pdKNE O]g�K pNSUH�O S\_hpdMJKNPRO]GcT�m K *�OJM]P\pqO]GcSUT [(PROLO]KdMJT�H�OJS O]g�K

[�MLKN[(P\MJPRO]GcSUT S\_�OJM]P\GcT�GIT�mE(PRO]P6� v�S\XYKwz�SUML}YMLKNi3V�GIMLKNHlOJg�K�V�HLKNMlO]S[�MJS �xGIE�KwSUT�^csjO]g�K

MJKd^IKq�\PRT�pNK 'LV�E�mUXjKNTeOlSR_�E�SxpNV�XjKNTeO]H _aSUM+[�PROJOJKNMJT�E�GIHLpNS �UKdMLs4��v�GcmUT�GZb(p P\TeO MJKdE�V�pqO]GIS\T�H

EU�

Page 48: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

GITjg3V�XYP\T�[�MLKN[(PRM]PROJGISUTjpNSUH�O+XYP s W`K�P\pQg�GcKd�\KNE WesjKNXj[�^IS sxGIT�m W S�SRO]HLOJM]P\[�[�GIT�mnP\^cmUSP7

MJGZO]g�XjH�_aSUM�[(P�OJO]KdMJT E�GIHLpNS �UKdMLs%� $ GZO]g;HJV�pQg P�XYKqO]g�SxE�SU^cSUm\s �>OJg�K V�HJKdMhSUT�^cs T�KNKdE�H

O]S [�MLS ��GcE�KnP HJXYP\^I^>HLKdO�S\_�GIT�GZO]GIP\^`K *xO]M]PRpdO]GcSUT"[(PROLO]KNMLT�H��

��S z�Kd�UKdM ��pNMJKNPRO]GcT�m"K8*xO]MJP\pdOJGISUT;[(P�OJO]KdMJT�HhpNP\T;W`K E�G��YpdV�^cO�GIT;HJSUXjK HJGZO]V(P�O]GIS\T�H��

& g�KdMJK$P\MJK�T�S;HLOQPRT�E(P\MLE pdMJGZO]KNMLG P-_aS\M pQg�SxSUHJGcT�m;P �LmUSxS�E HJKNKdE HLKdO S\_�K *�OJM]P\pqO]GcSUT[(PROLO]KdMJT�H:�3))HL[`KdpNG PR^I^cs �/GcO&z&GI^c^�W`K E�G��jpNV�^cO�GIT"O]g�K pNMLSUHJH 7�^IGcT�mUV(PR^ � ) pNP\HJKnz&g�KNMLKO]g�K

V�HLKNM g(PRH T�S }3T�S z&^IKdE�mUK SR_kO]g�K HLSUV�MLpNK ^IP\T�mUV(PRmUK%� t+g(P\[�OJKNM F"z&GI^I^ E�GcHJpdV�HJH XjSUMJK

E�KqOQP\Gc^IHlS\_.pNMLSUHJH 7�^IGcT�mUV(PR^ � ) �

��T-OJg�GIHkpQg(PR[�O]KdM�z�Knz&Gc^I^>[�MJSU[ SUHJKnP T�S �UKd^fXjKdOJg�SxE�SU^IS\m\s�SR_)P\V�OJSUXYPRO]Gcp�[(PROLO]KNMLT

E�GcHJpNS �\KNMLsjz&g�KdMJKwOJg�K�V�HLKNM+S\T�^cs T�KdKNE�HlOJS[�MLS ��GcE�K�Pni3V�KNM�s GITjO]g�K�_aSUMJX SR_�PT(P\MLM]P(7

O]GZ�UK�SUMlP HJKdO�S\_f}RKds3z+S\MJE�H �YO]g�K�HJP\XYK�P\HkV�HJKdE-GcT�GIT�_aS\MJXYPRO]GcSUTYMLKdOJMJGIKq�RP\^ . � � 0�H�s�H 7

O]KdXYH:� & S�E�GIHLpNS �UKdMfOJg�K K8*xO]MJP\pdOJGISUTn[(PROLO]KNMLT�H�W(P\HLKNES\TnOJg�K V�HJKdM�! H�i3V�KdMLs ��z+K MJKNP\^IG ,NKdE

P\T V�T�HJV�[ KNM���GcHJKdEj[�PROJOJKNMJT E�GcHJpdS@�\KNM�s_aM]PRXYKqz+SUML} GcT�pNS\MJ[ SUM]PROJGIT�mwP\T GcT�_aSUMJXYPROJGISUTnMJK 7

O]MLGIKq�\PR^`H�s�H�O]KdX � ��V�KdMLsS7 o MLGc�UKdT ��T�_aSUMLX�PROJGISUT )+*xO]M]PRpdO]GcSUT�. � o � )�0 _aMJP\XjKdz�SUMJ} � $ K

KNXj[�^cS@s\KNEjP\T GIT�_aSUMJXYPRO]GcSUTMLKdOJMJGIKq�RP\^�H�s�H�O]KdX O]ShmUKdO)OJg�KkE�SxpNV�XjKNTeOJH MLKN^cKd�RP\TeO)O]S�O]g�K

V�HLKNM�! Hli3V�KdMLs4��v�V�W�HJKdixV�KNTeO&[�MJSxpNKdHJHLKNH+OJM]P\T�H�_aKNM O]g�K�MJKN^cKd�RP\T�pdK 'LV�E�mUXYKdTeO]H GITeO]SP HJKqO

S\_�K8*xO]MJP\pdOJGISUT"[(P�OJO]KdMJT�H �(z&g�GIpQg"z&GI^c^*W KnE�GIHJpdV�HJHLKNE-GIT�O]g�KhT�K *xOwHLKNpdOJGISUT �

E65

Page 49: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

����� �,� �1����� ��!%���&" � � � ��! � ����� ��� � � ���� ����������� "

� ����

� �B) : � � ./�2��) �" '��? ��"# ��� � A �� A � A � SUMXYGcT�GIXjG-,dGIT�m�O]g�K-PRXYSUV�T3O

S\_+gxV�X�P\T GITeOJKNML�\KNTeO]GcSUT���P$HLKdO S\_l}RKds3z�SUMJE�H _aMJSUX�OJg�KjV�HJKdM V�HLKNE Wes;GcT�_aSUMJXYPROJGISUT

MJKqO]MLGIKd�RP\^�GIH P\T GcE�K P\^�p P\T�E�GIE(P�O]K%� $ KkGcT�pNSUML[`S\M]PROJKNE GIT�_aSUMJXYPRO]GcSUTMLKdOJMJGIKq�RP\^�GcT3OJSh[(PROA7

O]KdMJT E�GIHJpdS �UKNM�sjW(P\HJKdE SUTjO]g�K�_aSU^I^cS@z&GcT�mhGITeO]V�GcO]GcSUT.=eGZ_�PhHJKdO+S\_�E�SxpNV�XYKdT3OJH+E�GcHJpdV�HJHLKNH

O]g�K O�sx[`KS\_)Kd�\KNTeO]H�OJg(PROwGIH�MJKN^cKd�RP\TeOwOJSYOJg�K V�HLKNM�! H�T�KdKNE�� O]g�KK8*xO]MJP\pdOJGISUT-[(PROJOJKNMLT�H

V�HLKNE O]S E�KNHLpNMJGcW`KYO]g�KYKd�UKdTeO]H GIT O]g�KYE�S�pdV�XjKNTeO]H PRMJK�^cGI}RKN^cs OJS P\[�[ K PRMXjSUMJK _aMJK 7

i3V�KNTeOJ^cs GcT OJg�GIHHJKdOjS\_�E�SxpNV�XjKNTeOJH � M]PROJg�KNM O]g�P\T O]S;W`K�HL[�MJKNP\E P\pNMLSUHJH E�SUXYP\GcT�H��

& g3V�H ��z�K�V�HLKNE & � �P� o�� 7�W(P\HLKNE HLpNSUMLGIT�m _aV�T�pdOJGISUTY_aSUM+MLK P\^cG-,NGcT�mhO]g(PROlGITeO]V�GZO]GcSUT�PRT�E

GIT�pNSUML[`SUMJPRO]KdE GcT�_aSUMJXYPROJGISUT"MJKqO]MLGIKd�RP\^fP\T�E [(PROLO]KNMLT E�GcHJpNS �\KNMLs-GIT P�p PRHJp PRE�GIT�mj_ P\HJg 7

GIS\T��(P\Hlz�Knz&Gc^I^`E�GIHLpNV�HLH�GcT"OJg�KhT�K8*xO�HJKdpdOJGISUT"�

��T-O]g�K_aS\^I^IS z&GcT�mYHLKNpqO]GIS\T�H �*z�K E�KdHJpNMLGIW K K PRpQg pNSUXj[`S\T�KNTeO�S\_)OJg�K � o � ) _aM]P\XjK87

z�SUMJ}�Gc^I^IV�HLO]MJPRO]KdE GIT � GcmUV�MLK E6� 5%� � GIMJH�O ��OJg�KhSUMJGcmUGIT�P\^`E�S�pdV�XYKdTeO]H�P\MJKh[�MLS�pdKNHJHLKNE-W3s

P E�Kd[`KdT�E�KNT�pds [(P\MLHJKdM P\T�E y )+7 O]P\mUmUKdM GIT PRE��RP\T�pNKP� & g�KdT O]g�K�H�s�H�O]KdX MJKdOJMJGcKd�UKdH

O]g�K MJKN^cKd�RP\TeO�E�SxpNV�XYKdT3OJHw_aSUMwOJg�K HJpdKNT(PRMJGIS"PRH�P � � 2 ��������� � � � � ������� � ��� �>HL[`KdpNGcb�KNE

Wes O]g�K V�HJKdM�! Hni3V�KdMLs%� � GIT(PR^I^cs � _aMLSUX P\^I^fO]g�K HLKNTeO]KdT�pNKdHGIT OJg�K � � 2 ��������� � � � � �������

Ee�

Page 50: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� ��� � OJg�K�pNS\T�T�KNpqO]KdE HJV�W�O]MLKNKNH S\_�E�Kd[`KdT�E�KNT�pds O]MLKNKdH OJg(PRO pdSUT�_aSUMLX OJS O]g�K�E�Kqb(T�G 7

O]GcSUT�S\_�K8*xO]MJP\pdOJGISUT"[(P�OJO]KdMJT�H�P\MLK�pNSUT�HJGIE�KNMJKdE P\Hk[�PROJOJKNMJT$p PRT�E�GIE�PRO]KdH�� & g�Kn[(PROLO]KNMLT

p PRT�E�GIE�PRO]KdH�PRMJK�SUMLE�KNMLKNE Wes OJg�K & � �P� o�� 7 W(P\HLKNE"HJpdSUMJGcT�mj_aV�T�pdOJGISUT"�

� GcmUV�MJK EG� 5 � � o � ) _aM]P\XjKdz�SUMJ}�E(PROQP?7 H(S z

� � ����� ���&����45��+% , �(f���(�&��������L��

o KN[ KNT�E�KNT�pqs [(P\MJHLGIT�m P\T�E y P\XYKdE�) TeOJGcO�s . y )�0�OQP\mUm\GIT�m GcH$[ KNM�_aSUMJXjKNE SUT O]g�K

O]MJP\GIT�GIT�m E(PRO]PYP�O�OJg�GIH�HLO]P\mUK%�kD�^I^ y ) HwP\MJKnMJKd[�MJKdHJKdT3OJKNE;P\H&O]g�KNGIM�pN^IP\HJH�^ PRW`Kd^IH �/PRT�E

K PRpQg HJKdTeO]KNT�pNKGcH&MJKN[�MJKNHLKNTeO]KdE P\H�P E�KN[ KNT�E�KNT�pqs$OJMJKdKnz&g�S\HJKnT�S�E�KNH�pNSUMLMJKNHL[`S\T�E$OJS

P pQg3V�T�} ��. � GImUV�MJK�E6� �40

E4E

Page 51: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� GIm\V�MJK E6� � � )+*�P\Xj[�^IK�S\_uv�KdT3OJKNT�pdK r)MJKd[�MJSxpNKdHJHLGIT�m

� � ��� � ���&����45��+% � >%��/��� )'�

DwH&O]g�Khb�MJHLO�[�g(PRHJKnS\_.S\V�M&p P\HLp P\E�GcT�mj[�MJSxpNKdE�V�MJK � PjHLKdO�S\_uE�SxpNV�XYKdT3OJH&GIH&MJKqO]MJGcKd�\KNE

GIT MJKdHJ[ SUT�HJKYO]S OJg�K�V�HLKNM:! H i3V�KdMLs%� DwTes XYSxE�KdHLO GcT�_aSUMLX�PROJGISUT MLKdOJMJGIKq�RP\^+PR[�[�MJSUP\pQg

XYP s HLV �jpNK�PRO O]g�GcH [�g(P\HJKP� Dw^c^)O]g�KYHJKNTeOJKNT�pdKNH V�HJKdE O]S-pNMJKNPRO]KYO]g�KY[(PROJOJKNMLT�H P\MLK

MJKqO]MLGIKd�\KNE"_aMJSUX O]g�GcH � � 2 ��������� � � � � ������� � ��� �

& g�K&_aSUMJX SR_`OJg�K&ixV�KNMLs �RP\MLGIKdH _aMLSUX P�HLKdO�S\_*}RKds3z�SUMJE�H�. K%� m1� �LP\GIML[�^ P\T�KlpNMJP\HJg S0O]S;P T(PRMJM]P�O]Gc�\K�i3V�KNM�s�. HLV�pQg PRH O]g�K &&� ) t i3V�KNM�s�� ��D MJKd^IKd�RP\TeO E�SxpNV�XYKdT3O z&Gc^I^

GIT�pN^IV�E�K;P [�MJKdE�GIpqO]GcSUT P\W`S\V�O O]g�K [�MJGIXjK ^cKNT�E�GcT�m M]P�O]KR. T�PRO]GcSUT(P\^ 7�^IKq�UKd^�SUM�XYP?'LSUM

W(P\T�}xH:! 0 �.SUM�z&Gc^I^uMLKN[ SUMLO P�[�MLGIXjK M]PROJKjXjS �UKjWes;X�P?'LS\M�W(P\T�}3H �.GIT;MLKNHJ[ SUT�HLKYOJS$S\M

GIT P\TeO]GIpdGI[(P�O]GIS\TYS\_�P _aKNE�KdM]P\^ �RT(PROJGISUT�P\^ 7 ^IKd�\KN^/P\pqO]GcSUT��xHJV�pQg$P\H+PpNV�OlGIT�OJg�KwE�GcHJpdSUV�TeO

M]P�O]K%� �0 �

E\�

Page 52: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� � ��� � , '.%x%���/��!$#&%��(')�*%(�����

& g�K�E�KN[ KNT�E�KNT�pqsO]MLKNKdH.S\_�OJg�K HJKNTeOJKNT�pdKNHu_aMJS\X MJKdOJMJGcKd�UKdE E�SxpNV�XjKNTeOJHuP\MLK OJg�K+HLSUV�MJpdK

S\_�K8*xO]MJP\pdOJGISUT [(PROLO]KdMJT p P\T�E�GIE(PROJKNH:� � MLSUX KNP\pQg HLKNTeO]KdT�pNK �kP HLKdOjS\_�E�KN[ KNT�E�KNT�pqs

HJV�W�O]MLKNKNH&z&g�GcpQg-pdSUT�_aSUMLX O]S OJg�Kh[(PROJOJKNMLT$XjSxE�KN^ .aHJKdKt+g�P\[�O]KdM&��0+W`KdpNSUXjK � ��� � ��� �

� ������ � ��� � � � & g�K � o � )"HLsxHLOJKNX pdSU^I^cKNpdOJH�P\^I^�O]g�K)[�PROJOJKNMJThpNP\T�E�GcE(PRO]KdH>_aMJSUX|MJKqO]MJGcKd�\KNE

HJKdTeO]KNT�pNKNH�P\T�E"p P\^cpNV�^IPRO]KdHlO]g�KhMLKN^IKq�RP\T�pNKhHLpNSUMLKn_aSUMkKNP\pQg$p P\T�E�GIE(PROJK%�

DwHuGc^I^cV�HLOJM]PROJKNEnGIT � GImUV�MLK�E6� E �R_aSUM�K P\pQg [�PROJOJKNMJT�� �\OJg�K+HLpNSUMLKlS\_(MLKN^IKq�RP\T�pNK � �������� �GIHkpNP\^IpdV�^ P�O]KNE"W(PRHJKNE$SUT"O]g�K & � �(� o�� pNP\^IpdV�^ P�O]GIS\T"�

�� ����� � 3 � � � ^cSUm��� � � . E6� 5B0

��KdMJK � � � E�KNT�S\OJKNH&O]g�KhT3V�X W KNM&S\_fO]GcXYKdHl[(PROLO]KdMJT$p P\T�E�GIE(PROJK��)S�pdpNV�MLMJKNE-GIT�O]g�K� � 2 ��������� � � � � ������� � GcT�� � � � � E�KNT�S\OJKNHnO]g�K T3V�X W KNMnS\_�E�S�pdV�XjKNTeO]HnGIT O]g�KYKdT3OJGIMLKHJS\V�MJpdKnE�S�pdV�XYKdTeO&HJKdO&z&g�GcpQg"pNSUTeOQPRGIT"[(PROLO]KNMLT"p P\T�E�GIE(PROJK�� �(PRT�E � GcH+O]g�KnT3V�XW`KdM

S\_�E�SxpNV�XjKNTeO]H&GcT"OJg�KhHJSUV�MJpNKnE�SxpNV�XjKNTeO�HJKqOK�

����� � ���� + ��0 ����

��V�KNM�sS7 o MJGZ�UKdT��T�_aSUMJXYPRO]GcSUT�)+*xO]MJP\pdOJGISUT . � o � )�0`O]P\}\KdH�OJg�K)V�HLKNM�! H�i3V�KNM�shP\T�EhHJS\V�MJpdK

O]K *xO P\HnGIT�[�V�O P\T�E MJKdOJV�MJT�HP$HJKdO S\_+K8*xO]MJP\pdOJGISUT [(PROLO]KNMLT�HMLKN^cKd�RP\TeOhO]S-OJg�KjKd�UKdTeO]H

ESF

Page 53: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� GcmUV�MLK�E6� E � & � �P� o�� 7 W(P\HLKNE$HJpNS\MJGIT�m _aV�T�pdOJGISUT�_aSUMk[(P�OJO]KdMJT$p P\T�E�GIE(P�O]KNH

HJ[ KNpdGcb(KdE Wes$OJg�KV�HJKNM:! HwixV�KNMLs%� � o � )2KNXj[�^IS sxH&O]g�K p P\HLp P\E�GcT�m XYP\T�T�KdM�SR_)GIE�KdTeO]G 7

_ sxGIT�m OJg�K K8*xOJM]P\pqO]GIS\T [(PROJOJKNMLT�H�� � GIMJH�O �*OJg�K HLsxH�O]KNX�MJKdOJMJGcKd�UKdHnP"HLKdOhS\_ E�SxpNV�XYKdT3OJH

MJKd^IKq�\PRT3O)OJS�O]g�KkV�HJKNM:! H i3V�KdMLs4�)D�^I^3O]g�KkHLV�W�OJMJKNKdH�SR_`E�KN[ KNT�E�KdT�pds OJMJKdKNH)O]g(P�O)pNSUT�_aSUMJX

O]S OJg�K E�Kqb(T�GZO]GIS\T S\_ K8*xO]MJP\pdOJGISUT [�PROJOJKNMJT�HhP\MJK pdSUT�HLGIE�KdMJKNE P\Hw[(PROJOJKNMLT pNP\T�E�GcE(PROJKNH��

& g�K & � �P� o�� 7 W(P\HLKNE"HJpdSUMJKnSUMJE�KNMJHkOJg�K HLKdO�S\_.[(PROJOJKNMLT-pNP\T�E�GcE(PRO]KdH&GIT�O]KdMJXjH�SR_.MLKN^ 7

Kd�RP\T�pNKhO]S O]g�KhV�HLKNM:! H�i3V�KNM�s4�

E 2

Page 54: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� � ��� ��� �

� ��� ��� � ��� � �

D2XjS�E�Kd^�S\_ K *�OJM]P\pqO]GcSUT [(PROJOJKNMLT�Hu_aSUMuGcT�_aSUMJXYPROJGISUT K8*xO]MJP\pdOJGISUT E�Kqb(T�KdH OJg�KlO]KdXY[�^IPRO]K

S\_)K *xO]M]PRpdO]GcSUT [�PROJOJKNMJT�H�� & g�K OJKNXj[�^ PROJKhMJKNH�O]MLGIpdOJHwg�S z X V�pQg pNSUTeOJK8*xO]V(PR^.GIT�_aSUMJXYP(7

O]GcSUT;P\T K8*xO]MJP\pdOJGISUT;[(P�OJO]KdMJT;p PRMJMJGcKNH>=f_aSUM�OJg�K K8*xO]MJP\pdOJGISUT;[(P�OJO]KdMJT�H�OJS$XYPROJpQg S\T�^cs

O]g�K$MLKN^cKd�RP\TeO [`S\MLO]GcSUT�H SR_�OJK8*xOK� o G �*KdMJKNTeO XjS�E�KN^IHp P\T pNS\T3O]P\GIT �RP\MLGISUV�H PRXYSUV�T3O

S\_�pdSUTeO]K *�OJHl_aSUM K8*xO]MJP\pdOJGISUTY[(PROJOJKNMLT�H�� Dw^ZO]g�S\V�mUg�[�MJKNE�GIp P�O]K87�P\MJm\V�XYKdTeO+MLKN^ P�O]GIS\TYg(PRH

W KNKNT z&GIE�KN^cs V�HLKNE _aSUM O]g�K�XjSxE�KN^�S\_wK *xO]M]PRpdO]GcSUT [(PROLO]KNMLT�H � XjS�E�Kd^IGcT�m K *�OJM]P\pqO]GcSUT

[(PROLO]KdMJT�H&GIHkXjSUMLK�E�G��jpNV�^cOkO]g�P\T-XYP s�PROkb�MJHLO�P\[�[`KNP\M��

ES>

Page 55: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

����� ���&� ������������ ��

DwH z�Kwg(P �UK�HJKdKNT GcTjOJg�K�[�MJKd�xGcSUV�H pQg(P\[�OJKNMJH ��OJg�K�pdKNTeO]MJP\^/O]KNpQg�T�GIi3V�K�S\_>GcT�_aSUMJXYPROJGISUT

K8*xOJM]P\pqO]GIS\T GIH�O]g�K V�HJK S\_uK8*xO]MJP\pdOJGISUT [�PROJOJKNMJT�H ��P\T�E P\V�OJSUX�P�O]GIpn[(PROLO]KdMJT E�GcHJpdS@�\KNM�s

g(P\H�W KNKNT"O]g�Kn_aSxpNV�H&S\_.HLOJV�E�s � � 2 �(�e� � E 2 � � ��T$[(P\MLOJGIpdV�^ P\M ��XjKdO]g�S�E�H&g(P �\K MLKNpNKdTeO]^cs

KNXjKNMLmUKNE _aSUM�OJg�K E�GIHLpNS �UKdMLs;S\_�Kd�\KNTeO K8*xO]MJP\pdOJGISUT;[(PROLO]KdMJT�H�z&GcOJg�SUV�O�pNSUML[�V�H P\T�T�SP7

OQP�O]GIS\T�GIT �xGIKqz�S\_fO]g�K�pdSUHLO�S\_�XYP\T3V(P\^>^IP\W`S\M�_aSUM&P\T�T�S\OQP�O]GIS\T"� ��S z�Kd�\KNM �/O]g�KNMJKhg(PRH

W KNKNT ^cGcOJOJ^IK HLOJV�E�s S\_�P\^cOJKNMJT�PRO]GZ�UK�MLKN[�MLKNHLKNTeOQPROJGISUT XjS�E�KN^IH S\_&K8*xOJM]P\pqO]GIS\T [(PROJOJKNMLT�H

_aSUMkV�T�HJV�[ KNM���GcHJKdE E�GcHJpNS �\KNMLs$XjKdOJg�S�E �

��T O]g�Kl[�MJGIS\M�z�SUMJ} SUT K8*xO]MJP\pdOJGISUT [�PROJOJKNMJT E�GIHJpdS �UKNM�s �eO]g�KkMJKN[�MJKNHLKNTeOQP�O]GIS\TjXjSxE�KN^

S\_/O]g�Kk[(PROJOJKNMLT�HuzlPRH)W(P\HJKdEYS\T Pwb6*�KNEjHJKdO SR_`[�PROJOJKNMJT OJKNXj[�^ PROJKNH � �4> � �eSUM.[�MJKdE�GIpNPRO]K 7

P\MLmUV�XjKNTeOwMLKN^IPRO]GcSUT�H �/HLV�pQg;P\HwHLV�W 'LKdpdOA7 �UKdMJW���PRT�E SUW 'LKdpdO 7 �UKdMJW � �e� � � & g�K XjS�E�Kd^�S\_

SUV�M+[�MJKq��GcSUV�Hlz�SUMJ} � ESF �>z+P\HkW(P\HLKNE$SUT O]g�K�[�PRO]g�Hl_aMLSUX5�UKNMLW(P\^�[�MLKNE�Gcp PROJK�T�SxE�KNHkGcT

E�Kd[`KdT�E�KNT�pds"O]MLKNKNH:�

��T OJg�GIH pQg(P\[�O]KNM �+z�K-pdSUXY[�P\MJK�O]g�K-E�G �*KdMJKdT3OjK *�OJM]P\pqO]GcSUT [�PROJOJKNMJT MJKd[�MJKdHJKNTeO]P(7

O]GcSUT"XYSxE�Kd^IHkGIT"MLKN^ P�O]GIS\T O]S O]g�KdGIM�P\W�Gc^IGZO�sjOJSYpNP\[�OJV�MJKhO]g�Kh[(PRMLO]GcpNGc[(PRO]GcT�m KdT3OJGcOJGIKNH&GcT

HJpdKNT(PRMJGIS\H&z&g�KNT V�HLKNE$z&GcO]g � o � ) [(P�OJO]KdMJT$E�GIHLpNS �UKdMLs"_aM]PRXYKqz+SUML} � $ Kh[�MJKdHJKNTeO�P\T

P\^ZO]KNMLT(PROJGc�UKYXYSxE�Kd^�W(PRHJKNE SUT P\MJW�GZO]MJP\MLs HJV�W�O]MLKNKNH SR_�E�KN[ KNT�E�KdT�pds O]MJKdKNH � HLS P\HOJS

K8*xOJM]P\pqO&KNTeO]GZO]GIKdH+W Kds\SUT�E"E�GIMLKNpqOk[�MJKdE�GIpNPRO]K 7�P\MLmUV�XjKNTeOlMLKN^IPRO]GcSUT�H��.DwT�Kd�RP\^cV(PROJGISUTYSUT

E4;

Page 56: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

HJpdKNT(PRMJGIS(7 O]KdXY[�^ PROJK OQPRHJ}3HhHJg�S z&H�O]g(P�O�O]g�K [�MLSU[ SUHJKdE v�V�W�O]MLKNK XjS�E�Kd^uSUV�OJ[`KdML_aSUMLXYH

O]g�Kn[�MJKd�xGcSUV�H&XYSxE�Kd^IH��

����� � ������ ���!%+�0

��V�M�MJKdHJKNP\MJpQg|SUT GIXj[�MJS �UKdE MJKN[�MJKNHLKNTeOQP�O]GIS\T|XjS�E�KN^IH _aS\M K8*xO]MJP\pdOJGISUT [(P�OJO]KdMJT�H"GcH

XjS\O]GZ�\P�O]KNE;Wes O]g�KY^cGIXjGcOQP�O]GIS\T�H�SR_+O]g�KY[�MLGISUM�K *xO]M]PRpdO]GcSUT [(PROJOJKNMLT MJKd[�MJKdHJKdT3O]PRO]GcSUT�H:�

��T O]g�GcH HJKdpdOJGISUT��)z�K�MJKq��GcKdz O�z+S;S\_&OJg�K�[�MJKq�xGISUV�H XjSxE�KN^cHGIT E�KdOQPRGI^ �.T(P\XjKN^cs O]g�K

r)MJKdE�GIpNPRO]K 7�DwMLmUV�XjKNTeO�XYSxE�Kd^ � �e� �fP\T�E�OJg�K t+g(P\GIT$XjS�E�Kd^ � E 2 � �

� � ����� , �(��h����'.%��� � � �+��45f�+% 45���� �

& g�K&r)MJKdE�GIpNPRO]K 7�D�MJmUV�XjKNTeO)XjSxE�KN^�GIHuW(PRHJKNE SUT P�E�GIMJKdpdO)H�sxT3O]P\pdOJGIpkMLKN^ P�O]GIS\T W`KqO�z+KdKNT

P [�MLKNE�Gcp PROJKhP\T�E"GcOJHkP\MJm\V�XYKdTeO]H � �e� � � & g�K�p P\HLKhX�P\ML}3GIT�m_aS\MkP T�SUXjGIT(P\^cG-,dKNE�[�MJKNE 7

GIpNPRO]K�GcH HJGIm\T�Gcb(pNP\TeO]^Zs E�G �*KdMJKNTeO _aMJS\X O]g�K$�\KNMJW�P\^&[�MJKdE�GIpNPRO]K � � & g3V�H �lT�S HLGIXj[�^IKMJV�^IK pNP\T;MJKNHLSU^c�\K b(T�E�GcT�m"P\MLmUV�XjKNTeO]H�PRT�E O]g�KdGIM�O�sx[ KNH�_aSUM�T�SUTG7 �\KNMLW(P\^u[�MLKNE�Gcp PROJKNH �

z&g�GcpQg X�PR}\KNHGcO g(P\MJE O]S MLKNmUV�^ P\MLG-,NK O]g�K T�SUXjGIT(PR^IG-,dKNE;[�MLKNE�Gcp PROJKNH PRV�O]SUXYPROJGIp PR^I^cs%�

& g�KdMJKd_aS\MJK �>OJg�K pNV�MJMJKdTeOhpNSUT�H�O]MJP\GITeO�_aSUM�O]g�K r)MJKdE�GIpNPRO]K 7�D�MJmUV�XjKNTeO�XjSxE�KN^fMJKdixV�GIMJKdH

O]g�KnMLS�SRO&T�S�E�K�O]SjW`KhP ����� � �2 [�MLKNE�Gcp PROJK%���������� ������������������������������� ���� �!�"��#�����$%#&�'���()�����*�+����,�-������.�&� ���&()����#�/���0�� �21&���3��4� #��235�6����� �

���87 9�:!;�9�<-=

E4=

Page 57: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� SU^I^cS@z&GcT�m"O]g�K E�Kdb(T�GZO]GcSUT S\_�K8*xOJM]P\pqO]GIS\T [(PROLO]KNMLT�H GIT v�KNpqO]GIS\T 54� E � P\T K8*xOJM]P\p 7

O]GcSUT [(P�OJO]KdMJT GcT�P ��� � �� � ��� � ��� @�� ���������� � � 2 GcH+E�Kqb(T�KdE-PRHkP\T K *�OJM]P\pqO]GcSUT�[(PROLO]KNMLT

z&g�SUHLKlHLOJMJV�pqO]V�MLKkpNSUTeO]P\GIT�H�SUT�^ZsP�MJSxS\O.T�S�E�K+P\T�E GZO]H�E�GIMLKNpdO.pQg�GI^cE�MJKdT"� & g3V�H �eGcO�pNSUT 7

_aSUMLXYHlOJS �� �� 6����� ��"����B���� ����"��� ����� � -�-�- ��"���� � � � �,�������S7��8*����������������! "�#��$!%

& ��'#(����*)�%,+ -/.�01��2��435�7682��9�;:<.�$=�<>����7��?<6@.�������A= "���#$B.CA����D����A<����EGFH68���I��%�J72��K������6

���LA��K���5.CM#�I��? .N>��<����A<��E.O68�K.���AP�#��>QFR�Q68�7A�������EG6S.���'�(�$=�I��6T ��(<E@2U.��5.V��(�?XW���EI6�TD.��

�#?LW��IEI6�T�.N��AY��6��ZA�������EG6�$=�LA��Q[ ������.��������EI>�(�A��IAY���C6�2��5\�����A<��E.O68�G]_^���'#(�$`����6�$`��A��I>a%

b �c'������I�8.�>/Td.H������A���E.N6��V�����4ML��A��I�e.P����$`��>��C?<(<6e��68���#��'PE��#��6��G:L6f "���9��68�K.N��'#(�]

$`����68�IT#352���E@2V>���.�A��Z6��9'#���LAY.�EIE�(���.�EIFg "�#�Z�G:L6��8.�EG68�����C6@.���hL�I%�J72X(���T�682<�7�����IA���E�.N68�;]

.���'#(�$`����65$=�LA��I>i����35��A���>QFR(�����A����H682��KE�(<�����I��6 bkj �;:L68�8.NEI68���#�l� .N6�68��������%

� � ��� � � �nm�oqpsrutSv9w �

xHy �Zz�{"|4{~}Dz

J72��l�2�.�����$`�LA���>����g.����I�����I���I�X68.N68���#���� 5� .O6�68�I�����IT�.�� .O682�����682��=A����D���<A�����EGF

68�����5� .���������'9682����#(�'#2V���I���e�#��$`�#��������68����$=�IA���.O68�����LA��I��35�Q682����C682��76������N%ZJ72X(���TL��6

E����< "�#��$`�6��H���d�1������� ������9���� ������5���i� �a�����Q����������� ��������������l�X]��;:������I�������#�

"�#��$!% & ��'#(<���l)�%,+ -~?�0C��2��435��682��P�G:<.�$`��>����`�#?<[email protected]�����IA� "���#$�.cA<���D����A��I��EIF�68�����N%

j .�E@2����LA��REI�#��6@.������C.N6g$=����6C�����RE@2���>�A��<��A��N%��*�I���RA<���D����A��I��EIF�����>�.N68���#����2������

)��

Page 58: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

.����e�<��6S>���$`��6���A�6��9W�(<��65682������e? �G6�3�I����.VE.����G]_$�.���h��IA���>���$`����6*.���A!.`�<����A<��E.O68��T

?�(<6�.�>����V����EI>�(�A<�K6�2��#���f?D�I6�3����I� .`$`��A<��[ �I�5.���A��Q68�52���.�A!�I>��I$=�I�X6�T 352���E@2!E��4M#�I���

$`�#��65����>�.O68��������2������35�Q682����P������68�I��E��I��%

� � ��� � ��t�r � m���o���tp t�� � �nm�oqp r t5v9w ��m�pnv�� w vKo���m �<w�� ��� ���9ruwdp��

r t5v9w �

J72��S$�.N���VE.�(<�����N iA����=EI(�>�6�FC���Y[ ��A�����'e����68�Q68���I��?�FV�;:�6��8.�EG68���#�=��.N6�6������<�����1A<(��S6��

682<�KMN.������#(<�53.FL�����H352���E@2P6�2��e� .���6���EI��� .N6�����'g����68�Q68���I�S.����D�.��I%�J72��GFP.����D�.��5���N6

�#��>QFU.N�K.�� .���'�(�$=�I��69�� �682��Y�<����A<��E.O68�C682�.N69A��I��E�����?D���n6�2��Y�IM�����6f6�FL�D��T�?�(�6e.�>����

���`��6�2�������>�.�E��I�135�Q682����V6�2��S������6�����EI��% & �#���G:<.�$`��>��NT����V682������n�1]�+K6��������#������$ ��E��;]

� .�������T�� j ^n\���� �I��68��6����I���LE�EI(�����=$=.���F`A���� ��������6����>�.N68���#����68�f�IM#�I��67�����IA���E�.N68�I�

���K682<�A��LE�(�$`����6���% j M����Y�� �� j ^n\���� ����6���68�����d.����D�.������K682<��8.N$=�1���I�X6�����EI�35��6�2

682<�n�IM�����6S�����IA���E�.N68�NT<682��GFR��.����I>�F`���I��M#�e.���.CA�������EI67.���'#(<$=�I�X6�� ���(�E@2l������A���E.N6����I%

-~�N%,'<%�T����n���K�D�������#�l3�.N� �! 2 2#"%$ .��7682<�e������(�>�65�� . �'&!( � �;:���>��#�����#� %*)X0

& ��'�(����9)�%,+#T )�%.-�T )�%,+0/S��2��435�*.��P�G:<.�$`��>��K�� .��P�G:L68��.�EI6����#�l6@.���hH���H682<�e6��������#�q]

1 ������&��'����&�!�)������� ���32 ���"��;4265 �� #&�������&� ��# ���72������#&72 �82�9��32 � #&�)���32 �&�()�&:2�; ���� ��/"#&���<2 �; ����� ���32 �� �������7265 ����� ���!2 �82 �=2 ���82 ���6>���72?2&;8; �32 72���32 #��-���,#�/@; ����2()#���� �32 �A; ����� ���32 ��/�#���� ���#&����� ����#��72 � ��� �&�!2 �&�*���!2)��/������ ��� ���32 �72 ( ��/�#��72'B ���32)����� # ������� ���*���32)��#�� �72 ��,� ��� �����"� ��#&�=2 �"�3�#��<2 � �&� #2�82��02��,�82�����> ��:2�2�; �32�:2DCFE G3HICFE � G3J ��K B.B.C,EMLNG8JOL K<K �82����&�72 �PH ���6���!2 �32 #&� #&����E

)Q+

Page 59: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

����$ A���$�.�����352������P6�2��l�IM�����6�6���$`��>�.N6��RE�����������68�V�� �� "�� � "�������� &� T $��� " T 2#&�� ���< :&�

.���A�� ����7 ( % � �Q682 682��=�G:L68��.�EI6����#�c� .N6�68�������e? .����IA��#� 682���\�����A���E.N6��G]_^���'�(�$=�I��6

$`��A��I>aT�����>�F�� "�� � "�������� &� .N��A�� ����< ( E.�� ?D�U�G:L6��8.�EG68��A % J72<� 2#&�� ���7 :&� - $ &���

� &��� � "�������2#"'( 0V���=�I$C?D��A�A��IA .���.c$`��A��Q[ ���Y�N n682��!���#(�� -�� " ����� 0Y35�Q682���� 682<�

�������D�#���Q68����� .�>���2<�8.�����T�352<��E@2 ���V.�� .�AOW�(���EG6��N *6�2��!$=.����������IA���E�.N68�NT ���' ���� "���"%$�� %

& (���6�2�����$=������T ��69���n����6KEI>��.N��352��I6�2����96�2��Y�G:L68��.�EI6���Ac����68�Q68���I�9.����Y����>�.N68�IAU68�H682<�

�8.N$=�9�GM#����6�T ?D��E�.�(����e�� �682��KEI>�.�(���.�>i?D�#(���A�.���������% �

!Cy z y ��|#"V}%$'&)(+* {/z-,c}/. y10

J72����2 .����9$=�LA��I>�2 .������#$`��.�A<MN.���6@.�'����i "�#�i��.N6�6������K$=.N68E@2<����'7�4M#�I��682���\����IA���E�.N68�;]

^���'#(�$`����6S$=�LA��I>i���l.�A<A����I��������'V682��KA����=EI(�>�6�FR$=�I�X6����#�<��AP.�?D� M���2

3 b ��A<�����IEI6S���I>�.N6����#�<��2������

�"������6/�#&3=2 / ; #&��� ;5� �& 2 #&� �54���� <7686 9 ;=J7:*�"������ #��'&��(�2 ���6#���� ���32 72 /�#������&� 302��M;42�2 � H #&����J�:*���

/"#�302�/.2 � ; � ��� E : B ���32 /�#&3=2 /����������� �����62 � ��� �����"����#��02� #�:2�;�<>=�C � ��3�?M2 ��� K ;A@B<C= C �&3�?M2 �-� K ;#DFE/G

C #��!1'2 �3���#&/ #&�H?+�����-� K ;1IFJ%K C 72 /�#�����1'2 K ;DFLMLC@N; C #����5����� ������� K #&��� ��72 �,��� �������&����CPORQ ;1@BS ;@2���� B K BD./"����;8;42 #�������( 2����# �����32 �& �82����� ���32 #��'&��( 2 ��� ���!� 2 ��������(�# ���72�%B%; > ( 35�&/"��3=2 '&����������' ; � ���T $4:2���:2 �72����+QFJ C�Q6#�( 2 �'J*����� �M> K �M> �=2 ��B

UWV*#���'�#��3=2 �72��F2� �������"�.#&� #YXAZH[�X]\^`_�aHbWc+\aHdedfcg_�X)��� 7 h�: = Bi �����"� ��� ���32)�����3�/.2�( �&� ( 2��'&����'2���32�:2 ����/ � ���42��������M> 2�5����#��-������� Bkj ���+�NORJ �<>!� �72 ()� ��# 1O2

��#&�� $ ���!�82 � ���!�F2 72 ���62 ���/.2 � ;������ � #&�ml�dn_�oqp p7cg_�orX�p'a�Xsc�tW\�u8ZHbvo�Z�X �"� :2�/"# �72 � ���Yw�oruru orX�p �&xorXgy�[�_�orX�p

#��,�2���32�:2�� ��72 ������� �������!�:2 � ���32 �72����&�����( #&�������&� B z

) -

Page 60: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

J72��*�2 .N���Y$`��A��I><E�.��Y[ ��AV����A<�����IEI6�����>�.N68���#����2<�����IT#��(�E@2=.��Z6�2��7���I>�.N6����#����2����

?D�I6�3����I�c.`�����IA���E�.N68�g.���A�6�2��g$`�LA���[ �I�5�� �682��g.���'�(�$=�I��6��� �6�2��g�<����A<��E.O68��%

& �#�7�;:�.N$=��>���T<6�2��K� .N6�68�����

�-~\�� j�� 2�.����D�#���X6f-"JD�s2 �N�1]k\��K��J �P-:� & 2 �N�1]6����� �N0�0�06)YE.��!E.��<6�(����K682<�

����>�.O68��������2����Y? �G6�3�I��� � �N�1]6����� �3)e.��<A �q6��f?D�S.����D�#����6���AQ)e���V682��5������68�I��E��

� �N�1]�\ j � �e3�.��*.����D�#���X6���AH68� �N�1]�\��K��J �g�� �N�1]������ �X%*)

3 �5��>�.N68���#����2<������?D�IF��#��A!E�>�.N(��8.�> ? �#(<��A .��������

�2 .N����$`�LA���>�E�.��UE.N�<68(����g����>�.O68��������2������7?D�IF#����A�E�>�.�(��8.N>�?D�#(��<A .��������I%7J72��

� .O6�68�I��� �-/\�� j�� 2 .������#(<��E���-a� � ��\m2�.����D�#����6=-"JD� 2 �N�1]�\��K��J �N0�0�06)!E�.��

[ �<A 682��P���I>�.N6����#�<��2���� ?D�I6�3����I� � �N�1]k\��K��J �3)�.N��A �q6���.��<���#(���EI� )�% J72����

����>�.O68��������2����iT4>�.O68�������iT E.��e? ��EI�#$C?�������AK35��6�2K6�2��1����>�.N68���#����2���� � �N�1]������ �3)

.��<A �q6��`.������#(<��E��O)�.��<A!$`����'#��Al����6��`�����K�IM#�I��6%

J72�� �2 .���� $`��A��I>�.O6�68�I$=��68�=6������I$=�IA<F 6�2��U>���$`��[email protected]�������C�� 96�2���\����IA���E�.N68�;]

^���'#(�$`����6f$=�LA���>/%=J72X(��g��6e��(�EIE��I���� "(<>�>�Fc.M#����A��K682��`E�>�.�(���.�>�? �#(<��A .��qF .���A��I$V]

?D��A�A��IA�����68�Q6�F >���$`��68.N68���#�i% �c�����I� ����68�IA�.��� '#.���� ���c����E�.�>�>1.N6f682��=�8.�$`�`�����;]

E��������#��>��GM#��>����682<� ���n�1]� � +��$�.���.�'#��$`����6Y��(�E�EI������������68.���h�EI�#$`� .����IA�68��682<�

\����IA���E�.N68�;]�^���'#(�$`����6S$=�LA��I>a%

)�+

Page 61: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

�#j � �n�L^�� j �cT ��.N��E@2-�+��l^ ��$=��>�����'V\ .�>����q68���<��.��P��(���E���A��g?D�#$C?D���568����'N]

'#�I����A .c$�.������QM#�U�;:<�<>��#�����#� ��� 6�2��U2���.4ML��>�F�� ��>���EI��A 2<�.��q6R�� KA��435��68�435�

� ����(��8.N>���$ 6���A�.4F�ThX��>�>�����'U2���$=����>� *.��<A�6�2����I�!��6�2����`�D���#��>��l.���A ���OW�(�������'

��EI�#���I��%

& ��'�(����9)�%,+A2�������� �������;�����;������� �������������� ��!�����;���"�#�����

& ��'#(����K)�%.- 21�$���%�;��&��;����')(*�������+,��-��.������� ���.���;�/���;������� �)01��243����65�� ��*�7(8-��6�;�/���9�����:�

���<;%�����=����������:&>�"���6��-��&��:&)�Q�?��-��6�������I���

�*�43��IM#�I��T�682��e�2�.����l$`��A��I>i.�>����V2 .��7�Q68���435�l3��.�hX�����������R68����$=�7�N Z.�EIE�(���.�EIF

A�(��=68��6�2��R>�.NE@h �N 5E��#��68�;:L6% & �#�g�;:<.�$=�<>���T ��� & ��'#(����=)�%,+ -~.�0GT7�����1�d���*�����922�����:&

����A@*�CBEDGF~�1��(��AH����e���f���I��A��IA�68�U�;:�6��8.�EG6C682<� $��� " ����68�Q6�F#%U�S�43�GM#���IT16�2�����.�$`�

� .N6�68�I���l����>���hN��>�F`68�Y?D�K.����<>����IAR68�C6��G:L68�5���H�N682��I�7A��#$=.�������.���3�I>�>/T<��(<E@2�.�� �qJ72��

�!�;:<��E.���� �I���g3.��A<�IMN.�>�(<��AH.��<A ���' ���� "���"%$ .e� .N6����#� .N>�[ � .���EI��.�>�EI���������.I ����N��" "�J % )

b � 6�2����<�G:L6�����EG68�����iT3��������#� �����!6�2��P���4M#��>S$`��A��I>7 "�#�V�G:L68��.�EI6����#� � .N6�6��������`6��

���I$=�IA<FR6�2��KA����`E�(<>�6�F#%

)#)

Page 62: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

-/.�0�\����IA���E�.N68�;]�^*��'#(�$`����6

���d�1�d�*� ������22�����:&P�������X� BEDGF~�d�������6H��8�������X�����=� ���4����� �<�8� BEDGF~����(��8H�F~���A@5���

���d�1�d�*��� �9� �9� ��2C���� ��� BEDGF~�d������.H����

���d�1�d�*� � ����3���� ��2C���� ��� BEDCF~��������.H����

-~?�07�2 .N���P$=�LA���>

���d�1�d�*� ������22�����:&P�������X� BEDGF~�d�������6H����

���d�1�d�*� ������22�����:&P����*� -��:�"���*����0d� BEDGF����6D���( ����6H������

���d�1�d�*� ������22�����:&P����A@����=�9�9�9�Q��2C�������X�%BEDGF~���d������6H������

���d�1�d�*� ������22�����:&P����A@�� � ����3��#� ��2g�������X� BEDGF~�d�������6H������

���d�1�d�*� ������22�����:&P����A@�� BEDGF~�1��(��AH����

���d�1�d�*� � ����3���� ��2C���� ��� BEDCF~��������.H����

���d�1�d�*��� �9� �9� ��2C���� ��� BEDGF~�d������.H����

& ��'#(����V)�%,+ 2H�7�O�5� ���:&��9���"����F~� ��243���;���.� �"�������q��� �4��&c� ;<��D -��� ��F �� &��:�1� �"�������q���.��-��"�

��� ��������; 3�������� ��-��6���=������������ �)������?�Q��0,�9243�����5�� ��

����� �! #"%$�& '(' ) *!+�'-,

J72��f��(�?�68���I�f$`�LA���>i���5.Y'#�����I�8.�>�����.N68���#�H�� d�����GM����#(��5$`��A��I>��IT<��(<E@2!682�.N6S.���Fl��(�?L]

68�����H�� *.UA��I� �I��A��I��EIF�6�����������682<�H���#(���E��H������68�I��E��PE.�� ?D�R���I'�.���A���A�.��Y.N���;:X]

) �

Page 63: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

��(�?<6������e$`��A��I>

������������������22�����:&P��� � ��� BEDCF~��������.H��8���� �������=� ���4����� �����

�������������=�9�9�9� ��2g���� ��� BEDGF~���d�����.H����

����������� � ����3����Q��2g���� �X� BEDGF~���d������6H����

������������������22�����:&P��� *� -��:�"���*��� 0 � BEDGF�� �6DZ��( ���.H������

������������������22�����:&P�����8@*� � � �9�9� ��2C���� ��� BEDCF~��������.H������

������������������22�����:&P���� �������=� ���4����� ���8����A@*� BEDGF~����(��8H����

������������������22�����:&P�����8@*�*BEDGF~����(��8H��8�����8@*� �=�9�9�9� ��2N���

������������������22�����:&P�����8@*�*BEDGF~����(��8H��8�����8@*� �=�9�9�9� ��2g���� ��� BEDGF~���d�����.H������

������������������22�����:&P�����8@*�*BEDGF~����(��8H��8�����8@*� � ����3����Q��2N���

������������������22�����:&P���� �������=� ���4����� ���8����A@*��� �9� �9� ��2Y���� ���%BEDGF~�d������.H������

������������������22�����:&P�����8@*�*BEDGF~����(��8H����

�����

& ��'#(�����)�%,) 2 �=3�;�������� �� &��:� � �"�����������?��-��"�)��� ��������; 3���� ��-�� ���=������������ � ������ � � ��-��

������� ���6���;�����;����� � ��01��243�����5�� ��

68��.�EI6����#��� .N6�6�������E.���A<��A .N6���%�^*�C��2��435� ��� & ��'#(<����)<%,)�TZ6�2��l��(<?<68�����H$`��A��I>aTd?XF

��6��lA��I[ �<��68���#�iTnEI�#��6@.������P.�>�>n6�2�� � .N6�6��������!�D����$=�Q6�6���A ?XF �I��682<���H682��c\����IA���E�.N68�;]

^���'#(�$`����6`$=�LA��I>�#�Y682<���2�.���� $`��A��I>a% b 6V���V.�>���� E.�� .N?�>��H�� *����� ML��A�����' $`�#���

)

Page 64: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

���I>��GM�.N�X6�E����X6��G:L6T���(�[email protected]�����������������#��22�����:&R���� ���/���=� ���4����� ���8����A@*� BEDGF~����(1�AH�����%

J72��U�#?�ML����(��R.�A�M�.N�X68.�'#�!�� n682<����(�?�68���I�U$`��A��I>5���V682�� � �G:���?<��>��Q6�F���6�.=� �#��A<�

���PE����.N6�����'`��(<��[email protected]?�>��K� .N6�68�I�����IT ��� .���������'`$C(�>�6�����>��n>��GM#�I>��*.���A�$g(�>�6�����>��n?��8.N��E@2����I%

\ .O6�68�I���!E��4M#�I�8.�'#�f���7 "(��q682��I�*��$=�����4M#��AP?�FP����>�.O:�����'Y6�2��fEI�#���q68�8.N����6*6�2 .N65682<�f������6

�� �6�2��n� .N6�68�I����6�������? �9.f�����IA���E�.N68�n�<��A��N%��*�43��IM#�I��T�6�2���� � �G:���?<��>��Q6�FYE.N�l.�>����C? ��.

A����8.�A<MN.���68.�'#��T������<E����Q6Z$`�.����d682 .N6Z.*M#�I��FY>�.���'����X(�$C?D��� �� �� .N6�68�����YE.��<A���A .O68�����

.�>�>i� ��������?�>��9��(�?<6������I���� �682<�fA��I� �I��A��I��EIFl68�����e�� d�.�E@2!������6�����EI�g���H6�2��fEI�#���<(����

$C(��q6 ?D�1E��#������A��I���IAi%Z^��f���`E�������6Z�<���LE���A<(�������� �����L(<�����IAf6������I>��IEI6�682��.��������#������.N68�

� .N6�68�I�����7 "����$ .�$`�#��'C682<�eE�.���A���A .N6�����%

^�>�����T�.N��682��Y�X(�$g? �I�9�� 1� .N6�6�������E.���A<��A .N6����9����E����.�������Ti6�2��V.�$`�#(���6n�N ��<�#�����

.���AHEI�#$`��>��;:<�Q6�F�����E����.������I% b �H��.���6���E�(<>�.��IT�$=.���F��N �6�2��n� .O6�68�I���lE.N��A���A�.N68�I���4M#���k]

>�.N���#����.�����6�2����I% & �#�.f'#��M����R���I67�� i�G:L68��.�EI6����#�R��.N6�6������<��T<�Q �� .N6�68�I���R^ ��(�?���(�$`���

� .N6�68�I�����u-~��.F#T�^ ���Y���d�1����� ��-�� ��K���� ���,BEDGF~�d�������6H��8�7(���� &��:�"��-����5.���A�� ���

�������������-�� ��Z�������X� BEDGF~���d�����.H�����0GTN682��I������d�<�9.�A�A��IAYE��#��6�����?<(<68���#�e "��� �G:L6��8.�E;]

68���#�P?XFP� .O6�68�I���U$=.N6�E@2�����'V35��6�2�^B-~������EI�C.�>�>i682��f$�.N6�E@2����S35��6�2�� .N6�68�I����^ $C(��q6

?D�*EI� M�������A�35�Q682`� .N6�6�������70;%�J72������I "�#����TX3�*�����IA=68�e� .FV���D��EI��.�>D.N6�68�I�X6����#�Y6��f682<�

�8.N��hX����'R "(��<EI68���#�U "�#�*� .N6�6������ E�.���A���A .N6�����T����R682 .O69� .N6�68�������n35��6�2�$=�����C����>��GMN.���6

E����X6��G:L68�S'#�G6*2<��'#2��I�7��EI�#���N%

& �#�H���`E�������EGF .���A 68� ��>���$`��� .O68��>��43�]_ "�����X(�����EGF ���#������T*3��[ >Q68������A �#(<6l682<�

)�

Page 65: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� .N6�68�I���YE.N��A���A�.N68�I� 682 .O6�.����D�.�� ���C>������d682 .��V+nA<��EI(�$=�I��68�Z682<���#(�'�2��#(<6d682��7�I�X6������

E���>�>��IEI6����#�i% ^�>�����T7������EI�U682��U��.N6�6������<��35��6�2 68�L��$C(�E@2 EI�#��68�G:L6P.�����(��<>���hN��>QF�6��

$=.N68E@2g35�Q682C�<�I3 68�;:�6�T�3��7.�A�A��IAV.�����6�2�����[ >�6���������'*E����Q68�I�������g? .�����AY�#�f682����X(�$g? �I�

�� d���LA����5���P.Y� .N6�68�I���PE.���A<��A .N6�����6�2��K$�.O:���$C(�$ �L(<$C? �I�5�� �<��A��I�5�����<%

�����<E��1.�>�>N682�����>���6�]a[ >�>������i���9682<�1�;:L68�8.NEI68���#�K6@.���hn�� ���(����G:��D������$=�I��6 .N���1.�����(�$`��A

68�9?D�7���<��[email protected]��E��I�1�N D6�2�� + ���nEI>�.������������C682��7�;:�6�����A<��A �*.�$`��A j ��68��6�Fg2����I�8.���E@2�F � +�+��aT

"(��q682��I��[ >�6���������'g3.��7A��#�<�9?XFR��� �X(���������'Y.Y� .N6�68�����HE.��<A���A .O68�n68�YEI�#��6@.����l.N67>��.��q6

�#���N�*.�$=�IA j ��6���6�FHEI>�.�����%

b �U682��f "�#>�>�� 35����'`��(�?�]_���IEI68���#���ITi3�YA�����EI(����9.N� .�(<68��$�.N6���Ee�����LE��IA�(����g68�H>��.����

�G:L6��8.�EG68�����Y� .N6�6���������(�������'n682���� �nbkj "�8.�$`�I3��#��hD% J72��7'#���<���8.N>�A�����E������<6����#�Y�� D682<�

682<�����9�q6@.�'�����T � ��" � ��&�� "H�H�' �1� T $ &�����(I"�� ����"����' :" � � I�T<.���A � �����6"���� "�A�����1���7 :&� T�E.��l?D�

���I���=���`���IEI68���#�`+<%.-�%Z�S�����73��S "�LE�(<���#�Y682��5A��G6@.���><�� D682��]� �����6"�����"�A�����1���7 :&� ��68.�'#���

���l� .N��68��E�(�>�.���TL682��K��.���hX����'Y "(��<EI68���#�P.���Al� .���.�$`�I68�I�768(�������'�%

��� ��� � m�p��So�p�� ��m � ��w ��p���m�pnvKoqv9m �<w �

�9��M#�I�P6�2��eA����D����A<����EGFP6����I���S�� Z� .N�����IA�������68�I��E��I�n���l682�� ��" I " � ��� ��$ &�����(I"�� ���8"�� T

.�>�>N682<�1�D�#������?<>�����(<?<68�������dE.��K?D��E.���A<��A .N6����� "�#���;:�6��8.�EG68���#�K� .N6�6���������%dJ72�����.���hX���<'

�� D� .N6�68�I���VE.��<A���A .O68����������������������AY?�FYJ &��Ob �9& ��E��������<'9��� b � >���68�I�8.N6�(�������.9� .N6�68�����

���9$`�#���C���I>��IMN.���69352��I�c�Q6K.����D�.N���K$=�����C��� 6�2�� ��" I " � ��� � $ &�����(I"�� � �8"�� .N��Ac>������

)��

Page 66: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

.�EI���#���56�2��K����68�����KE���>�>��IEI6����#�H�� d����(���EI�eA<��EI(�$=�I��68��%

J72��g����'#2�6q]�$`�#��65�;:<��.��������#��?�.����e��(�?�68���I�gA�����EI� M����qFU.�>�'#�#����682<$ � + � 3�.N�*��$=��>��G]

$`����68�IAV6��9E.�>�E�(�>�.N68� �6"�� (�����"�� � "��C��� -~��.3 "��� �X(����<EIFY�� .n� .O6�68�I����0Z.N��A $ &�����(I"�� �

����"�� � "��C��� -"6�2����X(�$C?D��� �� A��LE�(�$`����6��Z352������7.�� .N6�68�I���V.����D�.N���@0 "�#�d��.�E@2V� .N6�68�����E.N��A���A�.N68�N%ZJ72��*.�>�'#������6�2�$ [ ��A���682��5��(�?<68�����I��.����D�.N�����<'e$`�#���� "��� �X(��I��68>�FY6�2 .��=.

'#�QM#���V682<������2��#>�A`?�FVEI�#����6���(�EG68����'e6�2��5��(�?�68���I���1>��GM#��> ?�FV>��IM#�I>a% b 6�� �`E����I��68>�FY.4M��#��A<�

682<��E�������6���(�EG68����� �� 9A�(<��>���E.N6��!� .O6�68�I�����=?�F hN�����<����'�6��8.�E@h �� �682��I���`��EIE�(��������<E��

����6�2��VE��#����(���T�.��<Ac��(����e.�>�$`�#�q69>������.���>�F!���U6�2��Y68��68.�>Z�������V�� 1682��V$=.O:���$=.�> 68���I�

� .N6�68�I�����5E����X68.����<��AP���H682��KEI�#����(<��%

J72��Y "�#>�>��435����'R��.���hX���<'R "(���EI6����#��3.��K(����IA 6��H�8.��<hU�.�E@2 � .N6�68�I��� E.��<A���A .O68��%

J72��e��EI�#���K�� d��(�?�68���I����T�� �������aT�������������������������#>���' �! ����"$# -")�%�+40

352������%�����1���n682<�`�X(�$g? �I�9�� �6���$`���n6�2 .N6K��(<?<68�����%�5.����D�.����f.NE��������9682��VA��LE�(L]$`����68�7���l6�2�� ��" I " � ��� ��$ &�����(I"�� �N�8"�� T'&C% ! ��� ���682��K�X(�$C?D���7�N A��LE�(<$=�I�X6��7���H682<�E���>�>��IEI6����#�YEI�#��6@.���������'K��(�?<68�����(��TL.���A � ����682��768�N6@.�> �X(�$C?D������ A��LE�(�$`����68�1���V682<�

E���>�>��IEI6����#�i%5J72��f[ ���q6�68�I��$ ���#(<'#2�>�FlEI�#��������� �#�<A���68�=682�� � "�� ()����"�� � "��C��� .���AU682<����IE��#�<A�68�I��$ 68�V682<� � � "�� �8" $ &���� (I"�� �����"�� � "��C��� ���PJ &��Nb �9& ��EI�#������'�%+*����5(�����A68�VEI�#��68����>i682��93�����'�2X6S�#�H6�2�� b �9& �D�#�q68�����P�N d6�2����7��E��#������'Y "(���EG68���#�i%

)-,

Page 67: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

��� ���� ��m�� m�ruw ��w ���I�9p9oqp�� �;t�� � m�p��So�p������9p �4��oqt�p

J72�� *���� j �X( .O68�����P)<%�+K���(����IA!68�V� .N�8.�$`�I6�����������6�2��93�I��'#2�6S�#�H682<� b �9& �D�#�q68������� 5682<�P��.���hX���<'U "(���EI6����#� %�^��C3��l� ������68�IA���(<6Y�����L��EI6����#� )�%,+<T�3��P�<����A 68����.4F

���D��EI��.�> .N6�6�����68���#��6��Y� M�����>�.����<����'Y� .O6�68�I����� �<682<�n$=�����n����>��GMN.���67E��#��6��G:L6S.C� .N6�68�����

E����X68.����<��T6�2��!2<��'#2��I�V��6`��2���(�>�A�? �P�8.N��h��IAi% J72��!3�����'#2�6 * �����qM#�I��68� "��EI(��`�#�

2��43 ��� �IE��Q[ ES.K��.N6�6������`���Z6��e.K'���M#�I�=��E��I� .�������% & �#�Z�;:<.�$=�<>���T�2<��'#2 *!MN.�>�(��7�����I "���������������E������22�����:&C���� �� ��� � �9�4����� ���8����A@�/BEDGF~�1��(��AH���� 68�f�����1�d���E������22�����:&g����A@�

BEDGF~����(1�AH���������6�2��Y68�������#������$ ��EI��� .N�����<% & ��'#(����Y)�% �H��2��435�e6�2��V��$`�����4M���$`����6K��

682<�e�;:L68�8.NEI68���#�l� �I�� "�#��$�.N��E��K?�FR68(<������' *c�#�P6�2��K����68�Q6�FH�G:L6��8.�EG68�����l68.���h�%& �#��(<����(��D���qML�����IAR68(��<����'e�� *�T�3��(����IAH.f������(�A<�N]��;:�6��8.�EG68���#��[email protected]��h�T�������6��.�A=��

(�������'R2<��>�AL]��#(<6�A .N68.����!E.����Y�� ���(<� �I��ML������A >���.���������'�%D���f(����IAc.N�U(�����(�� �I��ML������A

M#�I�������#� �� 96�2��U68�;:�6lEI>�.������Q[ E.N6����#��6@.���h 6����#�<68��$=����� *�T*.N����(<$=����'�682 .O6H.�>�>*682<�A��LE�(�$`����6��`���I6������GM#�IA ?�F�682<� b � �qFL��68�I$ .����H����>��GMN.���6`6���682��l��EI��� .N�����c.���A 682<�

� .N6�68�I��� ���I6K6�2 .N6e� �I�� "�#��$=�n3���>�>��#��682��Y6��G:L6gEI>�.������Q[ E.N6����#�U68.���hU.�>����l3��#��hL�K3���>�>

�#�H682<�e�I��68��6�Fl�;:L68�8.NEI68���#�H6@.���h�%

J72���(<����(��D���qML�����IA�68�;:L6EI>�.�������[�E.N6����#�[email protected]��hY����6��f$`�.���(����S2��43 EI>��#����.K� .N6�68�����

$=.N68E@2�����'R�qF��q68�I$!T�'#�QM#�I� .R���I6K�N ��G:L68��.�EI6����#��� .O6�68�I�����IT�����$C(�>�.O68���S682��YA<��EI(�$=�I��6

���G68�����IMN.�>��N 682<�`��.�$`� b � �qF��q68�I$ .N�e��� 6�2��`�����GM����#(��K��(<?�]�����EI6����#� %�J72�� * MN.�>�(�����*�#�<6���$`�����IA!����682�.N6�6�2��CE�(<$C(�>�.O68��M��f�D���q "�#��$=.���EI�g�� 682��C�<����EI�������#��]_���IE.�>�>�E�(��qM#�

���

Page 68: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

50

55

60

65

70

75

80

85

90

95

100

0 10 20 30 40 50 60 70 80

Pre

cisi

on (

%)

Recall (%)

Precision-Recall

SUBT beta=1SUBT beta=3SUBT beta=8

& ��'#(<���9)�% � 21��#$`� .����������H�� j :L68��.�EI6����#�P\d�I�� "�#��$�.N��E��935��6�2 � ��� �����I��6 *

��+

Page 69: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

�4M#�I�S6�2��K����68�����9�8.N��'#�K�� d����E�.�>�> "�#��682��96��G:L6SE�>�.N�����Q[ E.O68�����l68.���h����7$=.O:���$`�����IA��4%

J72��A<��EI(�$=�I��6 ���I6� "�#��68�G:L6dE�>�.�������[ E�.N68���#�K��� E��#$`�D�#���IAg�� <A���EI(�$`����68�����G68�����IM���A

?�FV682��*�8.�$`� b � ��FL�q68��$ .���(����IA� "�#�1� .N6�6������RA�����E��4M#�I��F�T<��>�(���6�2��*��.�$`���X(�$C?D���1��

A��LE�(�$`����6��n����E@hN��A (�����.���A��#$`>�F�% �S��68�g6�2 .N6n.�>�> 682��gA���EI(�$`����68�9.N���g68.�h��I�U "���#$

.VA���� ��������6SA���EI(�$`����6����I6S "���#$ 682��K�#���e(�����A! "���S��.N6�6������!>���.���������'�%�J72��f� .N6�68�����

$=.N68E@2�����'R�qF��q68�I$!T�'#�QM#�I� .����G6K�� ��G:L68��.�EI6����#����.N6�6������<��T�E�>�.�������[ �I�9.RA��LE�(�$`����6K.N�

��"���� :" � "%$ �Q S.���F��� 76�2��R� .N6�68�I�����Y$=.N68E@2�.���F��D�#��6����#�c�� 7682��HA<��EI(�$=�I��6T�.���A .N�

����� $ &!( ��6�2����q35�����N%*J72X(��IT 3��CE.N�U'#�I6*682��f� �I�� "�#��$�.N��E��e�� Z6��G:L6nEI>�.�������[�E.N6����#�P��

682<�Y� .N6�6������ $=.N6�E@2�����'H�qFL��68�I$ ���U6�2��Y "�#��$ �� �.H�����IE�����������]�����E.N>�>�E�(��qM#��T�35�Q682��#(�6

.���FH��(�� �I��ML�������#� %

�*�;:�6�T�682<� ����" � �� �682��������IE��������#�L]����IE.�>�>�E�(��qM#������E��#$`��(<6���AC?�FeE��#�<����EG68���<'��IM����qF

�D�#����6n����682<�C�����IE�����������]�����E.N>�>�E�(��qM#�C "����$ ��6���682��g$�.O:���$C(�$ ���IE.�>�>�6�2��Y� .N6�68�����

$=.N68E@2�����'Y��FL�q68��$ ���.�E@2<��AiTD.���AH3��KE��#$`� .����n682�� ����" � "�#���.NE@2!�D�#������?�>�� * MN.�>�(���%& ��� .�>�>QF#T�682�� * MN.�>�(<�P352���E@2 '#�G68�V682��!'#����.N68�I��6 ����" � (<��A����`682��P������E��������#��]�����E�.�>�>

E�(<��M#�e���7(<����AP "�#�7�G:L6��8.�EG68�����i%

J72��9E���$=� .N�������#��6��C682��n��.�$`�n�����LE��IA�(����9? .����IAl�#��682<�9�����IE��������#�L]����IE.�>�>�E�(��qM#�

�����32����� �������������02��������32��72��� �� ��"!�#%:2��$�"%&%'�$���(O2*)" �('2$!+�,�72��-�"� 2�5.��/��0�/ &�!1��2���:2�/!3�4�$�"!

5 2�� 5 �6�� �!32�7 5 > 6��!�89 �!�),��%�%'���!2 72�%*2�(:�"!.�-3�2���72�/!3���� �)"�!2�4�/�3��!1���!2� ��72�%*2�(2��!.�43�2���72�/!3��;3;4�� �6�

�,��8O2��<���!2��=� 5� &�>��� aH_�c�a?�"�@�/�32��:2��$ ��� &�!�#%72��$��%�%A����/('2OB

�@-

Page 70: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

�� e682�� .�EG68( .N>��G:L6���.�EI6������ ���q ����$=.��E�����2��43��l682 .N6H6�2����R6�(�����' 2 .��l2���'�2 E���k]

���I>�.N6���� 3���6�2 682����G:L6���.�EI6����������� ����$�.�<E�� -���� �.���$�.� E��������>�.N6���� E������`E������6

� � � ��! ��+�0G%

��� � "$#&% '(&('�) '*) $

J72��+�G:�� ������,-���6.��/e682����0��68(<A<F1���2/��LE�(�����A$� E���,3� .4����<'�682��+� ���5/����,=.��E��6��/

682��7�.4��>������8�G:L6��8.�EG6�����9� .N6�6�����9,-�LA���>���6��f6�2��7������ ����IA.��(�?<6��������&�LA���> -:��� �JS0<;

J72��7E��,3��.����IA-,-�LA���>��Z.�����682��7A������IEI6=������A���E.N6��G]�.���'#(�,3��X6>,3�LA���>i-/\D^905?�T�.��AY682��

�2 .���.,3�LA���>�-a���n0@�� � + ��;

J72��=68.���h6/����e6�2����A�G:�� ������,-���6B���A���6��Q6�FC�;:L6��8.NEI6����iT 352���E@2C���96��&��A����6���/ F�.�>�>

682��3��X6���6������A� .4��6���E���� .N6����'0��D���I>��GM�.4X6E�GM���6��F��c.G���I6H��/�'���M�� � .���.�������=6��G:L6���;

�I�N6��!6�2 .N6l.N>�>D� j �2�� 682��P6�����6HA��LE�(�,3��X6���3J��������A����6���[K�IAL,�.4L(�.�>�>QF#T@����682 .O6

682���6@.���h�E�.�M,3��.���(����2�<>�Fc2��43 3J��>�>N�;:�6��8.�EG6����M� .N6�6�������YE.4�A����q6���<'#(�����2�682��

� .��q6���E�����.N6����'M���6��Q6������0/����, 6�2��D���6��Q6������H682 .N6�.����D���6O����>�.N6��IA 6�� .��F$�IM����6���;

J72����[email protected]��h A������B���6B���M�#>QM��'����#(������'&���6��Q6������g.4�����LE���.N6��IAc3��Q682�6�2��9��.�,3�-�IM����6

P����� �> �=� :2�����/ �0�72�7 ('2 /�� ��"! ���NQ h�R�S-���"!�� ��/�" &!32�7 ��� �3�:(O2 � �� �!�)"%.2 �% �"��2�# ���"% 782 �� ���2��"�6�

3�����72 �! ; ;4�� �%*2HQ h�R�S ��%�%�� ; 2�7 �=�&:2 ���3�"! �"!32,3%���62�# ���%�782 ?B�T � ; 2�('2 �;A�/�32 7� VU02 72�!3�62 7�� 2���!��"�

�,�2���72� � ����/�32 2$!.�� &�M> 2659��6�"���� ��"! �6�"��8 ;4�� �6� 7�� 2��>!��"� :2�W.�� �72 � 2�/)" �!�)N2�!�/ �/ *2��= &! � �� �!�)"%.2�72��=�%����72OB

��+

Page 71: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

�=3������:�����9� � � �����:���

� � &��:�������������9� �

� ���#�4�����9�"����� �

�+ �/�"� �4���:���I�

� ���.(,�"; ����5�� ���7�O��� �=���6(*�"; �9��5�� ��� ;<���

��>��N6�� ����������� ������������������������������� ��� �!���"���#�$�%�&�$���('�)

*�+ �-,.�!'���&/102����$�

3 �+,(*�:���1�$�=��3���;����� +4�� -N� �

� ���:����5"�4���76 �������:����5E�4����� 8 � :9 +<; 8�+4� �=9 +4�#�.;

�(>��$?�� \ �������>2 +@ � ^7��������?���BA`^CA��BDFE%2 +3-��

����AHG������G$?����>2 + @- �(I���� ��DF?�2 +3-�,\ �� ?�2 - + � �7J�G4��A� 2 +4 �

K G2LB>��%4�;,+A2 K G4��h � ����D������B?����MG�BNO��?�G$?���� ?��OD�� ��/ K ����? � G�?�G

��.?��PGF����BAH>��Q?���,-�R>�G�?��Q?��PG�S���ON.� ������OLR>����O����D�?���/ ,3����A��RAF/-G��#>OI����7�0�UT(?��"G2D�?����

� ����/�����,VG�RD��3/���B���?��#?�������; � �WG2D�DFI�,XIR>OG$?��FNY?"J��W?���� ?F���F? �4/ZN��(DFI�,-��.?�� ��/=?\[J�

��D����G4������� �(?�J����]G��G2A���,-��.? ��IRD�D����������0� D����G������B��/ �F+ �_^�[��#?�JWGH����,-�R>�����?���,3�R>OG$?��

� ?���IRD�?"I����2^B[ZJ������QD���������G$?��I,`G4�G2A������G4����I�,3�FNaG�RN � ���7>�� /�?b?�J������N� �� ?���^BG�RNW?"J��

�cI�� N��������`^7��������?9� D����G������R^b[ZJ������]Gd>OG[ ���/����D���,-��.?3���A.G4�����G$?����eG���������?���NfG

,XI�� N������ I���� ��D�? ;

�$4

Page 72: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� *���� *�zF*�� y , y z |���� � y "`"�{~}Dz�� �]G��G2A���,-��.? �(IRDFD���������� G�? ?"J�� >���S�F>��/

��T��FD�IB?��#S��� ��/ G D��,-��G�.E; K J��Q?������OD���/ ��.?���������?@��J��HIR>ON3��2?bL��C>���,3� ?���NX?��

?"J��E�����,-�2?����0������ON�� ?�J�� D��,-��G�.E.,-��.?������FN ^RLRIB?QG2>���� ��RDF>OIRN����ZJ�������RA

��T��FD�IB?��#S���I/����, �HI(?����#N��%?"J�� D��,3�RG�.E0���?"J������ �������OA�G�?����� ;

��� ������� y "I|���� ���F>���S2G4�?ZN��(DFI�,3��.?�,XI�� ?ZN�����D����#L��%?"J�� G�������� ? ��/ ?�J��*��I����

� ��DF?9��/A,XI�� N�����; K J�� N���D�I�,-��.?2� J��HIR>#N L �O���FA.G�� N���N G��3��.?�������� ?���RA � /

�#? N�����DFI��������X?"J��3� I���� ��D�? I�RN����B� I������#D����C/���E,XIR> ?����R>�� D�����,-���E��BD�>OIBN���RA

,XI�� N����F^K��IRD�J]G���,XI�� N������ ���2LRL���� E�;

K G$LR>��%4�;.- 2�� � � ����D������B?����0�4/ K ����? � G$?"G

K J��-���HI�� D�� N���D�I�,-��.?H���F?A/����, [ZJ��#D�J ?"J��-�UT�?��"G$DF?����D��G$?�?������� G4���P>���G�����FN

D��������� ?��7��/A+@+ (^,+4� , � G���G������� �cG�����#D�J�� �I�F[�����G�� ��� G���?��#D�>����I/����, +�, , ��; � >O> ?"J��

����.?���BD����WG����.,-����RJ��H>��HA��ODG$>O>#E G��G2> E�����N L.E � � � � � � + �:G4RN D��.S��� ?��FNL��.?��

N�������RN���BDFEe?��������PL.E�� � � �F+ �:; ����A.G4��NR>������ ��/:?"J��G,-��N���>J��/7�UT�?��"G$DF?���� ��G$?��

?�������F^7?"J��&��G�?�?����� N���� D���S��� E /��H>O>���[��X?"J��G������D��FNRI����cN�����D����OL ��N �� ����D�?����f@�; -�;

�C�E���F?�������S�FN]@#���PN��(DFI�,3��.?��CG��ZG ��" I " � ��� ��$ &���� (I"�� ���8"�� ;

K J�� G������(D���G$?����1��/ � ! D�>�G4�������]G4RN � >��2?��0�� ?"J�� ?���,-�R>�G�?��6���G,VG2N�� G$IB?��"�

,VG$?��#DG2>#>#E �$# "�� �8&�&%(']������ *)����< :&�&% # &���� 8 ��>��2?��"; D����������� �RN ?�� �$�+�$!��I�Q��� ^Z�$�

����� ^��$�����A� K 87�,!-� D�>OG���������;U^ ������� ��DF?��#S���>#E2^ ��X?"J����(IRDFD����������3� D����G������R^�G�RN�. ��0/

��

Page 73: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� "H��� % � ����"H���< �1� � � "��C��� %�� � ����� " 8���>��$?���; D��������������RN ?����$����!��I�Q��� ^7�$�6�����P^

�$������� !���� ! 87�,! �\D�>OG��������";�^ ������� ��DF?��#S���>#E2^K�� ?"J�� � ������� ? � D���RG�������;��

�K��3��G2D�J1,-�(N��F>_^�[N�cA�F?WG >���� ?3��/ ?�J��O��G�?�?����� D�G�RN��#N�G$?����9����N�������NfL�E ?"J��

�"G4 ��RAO/ I�RDF?���� N���� D�I�������N �������D�?����Y4�; @�;,+ G4/�?�������> ?�������BA�; K J��2������IR> ? ��/=?"J��

� ����/�����,VG�RD��H��� ��J���[� 8 � �OAHI���� 4�; .;ZG��%G-�����FD��������� � ����DG$>O> A�"G4�RJO/��� �G2D�J�� IRL����F?

��/ ?��� �����"G4��FN&��G�?�?�������=[ZJ����������"G�BA��� /�����, +%?�� ?"J��*�I�,XL�������/&?�J��A��G$? ?�����

DG4RN��ONRG$?�����;

K J��b?�����?>����? [7G��&G2D�DFI�,XIR>OG$?��FNH/�����, �]G�����OD�J�� � �F[����RG������>�� +�, , :L.E G ����,-�R>��

���E�[N�� N2����G���D�J ^([��#?�J ���,-�:G2NRN�� ?������G2> ����" I " � ��� � $ &���� (I"�� � � ;=8:����� K G2LB>��Z4�;,+�/����

N���?�G��#>:; ;

� �OA2I����M4�; �8 GB^ L ; ��J���[��`?�J��O� ���5/����,VG�RD��&�� ?"J��O��.?��#?\E ��T�?���G2DF?���� ?�G��� �

L �2?"JcN��,VG�����:L.EG�R>��2? ?���RA ?��� ���C����>���S$G�.?���T�?��"G2D�?�����O��G$? ?����������O������D�������� G4RN

���FDG2>#>:; � VL �2?�J A��"G��RJ���^�� � � K ^���� ^.G�BN � � D��������������RN�� ?��H�(IRLB?������2^��7J�G���VG4RN

�=���FN��OD�G$?�� � � � AHI�,-��.? ,3��N��F>_^����������FDF?�� S�F>#E;

� �OA2I����M4�; �8 G.; ��J���[��`?�J��6������D�������� � ����D�G2>O>ZDFI�� S��6��/A��T�?��"G2D�?�����L��G$? ?�������3/����

�G$D�J ,-��N���>J�Y?"J��G��IRD�D���������� �(D����G�������; � ?P>��<[J���B����D�G2>O>b>���S��>��M8-I��Y?�� @ ��P;�^

� ;9 �!3�62>���32 72> �� !��1��� 5 �$���72�)"�&:> �"� T # L%J%I ;@BQ ���17� � �/ &!�)�� ������[`be\#c��gd@��!�7+(9 ����� �� CF;4�� �6�

��!���� 2�5.��/��0�:2�7 &! ���� � 2�5902�/ ���2�!.� K � �&��/�32��.�72�� �-�/�62�!3��/ &��;.���32�%.2��&�!32�7 3�����:2�/! ����!37� �7����72��

�,��>A2659��/��0�4(9 ����� ��=� �"��� [`be\c��gd�2$!.�/ �/ *2�� 5 > �= ����/�"8'2'B

Page 74: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

G2>#> ?�J��B,-��N���>��I� ���5/����,-��N&����,-�O>OG���> E;�I��[N��S����^ ?"J��B������D��������O��/��7JRG���&��G$?�?�������

N������� ��N6� IRNRN���R>#EcL.E -N� � G$?7����D�G2>O> >���S�F> @ �� ^ [ZJ��#>�� ?"J��F� � � K �RG$?�?������� ������

?"J��*�����FD��������.���OA�� ��DG4�?�>#E J��#AHJ�����?�J�G�!�7J�G���0��G$? ?�������ZI�.?��#> �#?@���G$D�J���� ��� � ��� �

DG$>O>:; !�S�� G4/�?����=� � � K J��#? ?"J��7N�����XG$? � �W^ � � � K ���&D�������� ?���.?"> EXG /��F[ ������D���.?

J��#AHJ����A��C������D�������� ?"J�G���7J�G���C�RG$?�?�������H/���A,-�� ?E���FDG2>#> >���S��>���; � �OAHI����P4�; �8 G.;

G2>����0��J��<[��%?�J�G$? G2> ?"J��HIBAHJ � � 4������� J��#AHJ�������D�������� G$? >���[ ���FDG2>#>�>���S�F>>�#?%JRG�� G

���#A�� ��DG�.?�>#EV>���[N���ZD����#>���RA ��/ ����D�G2>O> 8 �@-�P;7D��,3�RG����FNM?��-�$?"J���� ,3��N���>���;

� �OA2I���� 4�; �8 L ; ��J���[��&?�J��(��T�?���G2DF?����E������/����,`G4RD��8� ?"J�� � ������� ? ��D����G������Z?�G��� ;

� AHG��� ^�?�J�� �=���FN��OD�G$?�� � � ��AHI�,-��.?I,3��N��F> JRG�� G-,XIRD�J >��<[J���I���FDG2>#> D����#>���BA]87-��P; ;

K J�� N�����������RD��B��M?"J��E� ����/�����,VG�RD�� L �F?\[J���� ?�J��F��IRLB?������F,-��N���> G�BN]?"J��g�7J�G���

,-�(N��F> N������ ��2?�������, G����HL.S����2I��:G����� ?"J��H�(IBD�D����������]?"G�� ;��I��[J�FS����^ �#?���� � ?��#>O>

�HL�������S2G$LR>���?"J�G$? ?"J����(IRLB?������N,-�(N��F>�A.G����� GI/���[ ������D���.?=������D��������B��S��� ?"J��7�7J�G���

,-�(N��F> G$?N����D�G2>O> >���S�F>���G4���HI�BNW4�� �2; � ��������#LR>�� ��T��R>OG��G$?����-��/ ?�J��7� IRLB?">��������� ��

� ����/�����,VG�RD�� N�����������RD�� ��]?�J������ D����G������0���:?"J�� ��,`G2>#>����I�I�,XL ���7��/�D��.?����OLRI(?���BA

��G$? ?�������ZD���,3��G4����Na?�� ?�J��H�(IRD�D�����������O��D����G4������;

Page 75: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

����� � '���� ����>'�*-)

����(��/R?"J���G2NBS$G�.?"G2A��� ��/R?�J��(������ �����NF,-�(N���> ��� ?"J���G2L��#>�� ?\EQ?��CDG��(?"I����J,-���� S$G�� �

���FN`D��.?���T�?�; K J����=���FN��OD�G$?�� � � ��AHI�,-��.?N,3��N���>K����>������8/���8�#?��bD��.?��UT(?N�V?�J��7������N �

�OD�G$?��XG�RN��#?�� N�������D�? G���A2I�,3��.?���;f�I��[J�FS�����^ ����,3� �=����N��#DG$?��0� � ��AHI�,3���?���G$?�?�������

,VG�E L � ?����CA�������G2>_^ ���C?"J�G$? ?�J��FE D��2IR>ON L��bG����R>����FN ?��C?��UT�?���G$L��HI(? G:N�����������.? ��D�� �

�G������%G4RN ,3��� ?"G ���R>#E N���?���D�?8��.?�� ?������ /����, ?"J���,&; � ��� ��TBG�,-�R>��2^ ��� BEDGF � ���H�F � � ���

02� ,�,()<��-� + � + � �� BEDCF � ���H.�����%������� E,VGEWL �Q?"J��*��G$?�?�����MI�����Na?�� �UT�?��"G$DF?:G� ']���� /

� *)����< :&� ��X?"J��I�(IBD�D����������-��D����G������ LRIB?8� ?=����?����%A�������"G2> � � ? D��2IR>ON ,VG$?"D�J �������F>*�

�FS$G�.? ����.?���BD����QL�E2,3��� ?�G ���; K J��H������ ����FN6�(IBLB?������ �&�(N���> DG4]G2D���I������ G-,-����

��D����G4����� � ��� ��D�� ��D �RG$?�?�����P��� BEDGF � ���H�F � � ���8��� ��0 + ���O�� � + � + F ��� � �����#��� � F �� �N� 02��,<,()<��

� + � + ��� BEDGF � ��� H<�����%������ � �%������� �X���:� ���%��9�$�+G�"���%�4� �/���Q��2� ; � .E&��D�������BA3/ I�RD�?����

?"JRG$? �����G2>�������� ?"J��aA�������G2>�� ?\E���/QG���G$?�?����� ,VG$?"D�J ^N��IBD�J G�� ��.S��������cN��(DFI�,3��.?

/�������I���RD�EH^ DG�.� IRD�D������5/ IR>O> Ea>���������c?�J��A���OA��� ��D�G�RD��*��/&?����PA�������G2> ��G$? ?��������;

K J��aN��F?"G��O>���NeG�RG2>#E������F��/Z?"J��0��T���������,3���? ���FS��G2>���Ne?"J�G$? ?"J��0��S����> E � A������"G$>

��G$? ?������� G4���9,-����3���FS�����F>#E�� ��RG2>�������NC�� ?�J��0��IRLB?������2,-��N���>�D��,-��G�����N ?��]?"J��

� J�G���M,3��N��F>:; � > ?"J��2IRAHJYL �2?"JM,-��N���>��B� ���G2>������`A�������G2>@��G$? ?������� �� ?"J��0��G�,-�

[7G�E2^=?"J��6�(IRLB?������&,3��N��F>CG$>����C������,3�2?����-,3�����G��D����G������"� ��� ��D�� ��DO�RG$?�?�������V?"JRG�

?"J�� � JRG��� ,-�(N��F>:; � � �#AHI���� 4�; 8 GH;�^ ?"J��a>�G4��A� N����� G$?P?"J��.����DG$>O>�>��FS�F> ���

���

Page 76: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

/���3�(IRL(?������&,-��N���>=G4RNfG�?V4 � � /��� � J�G��� ,3��N���>�[7G�� DG2I�����N L.E ?"J��G��G$? ?�����

��� BEDGF~����(1�AH�F �7��BEDCF~� � �=(�H���^ [ZJ��#D�Jd[7G��A,VG���R> E]I�����N ?��MN�����D����OL � ?"J��PN�G$?�� ��/

G���� ����?�,3��.? ?�� ?�J�� � �����A� K ��Y?�J��W>���� ?B��/ ����� � ������/������������G2>7J���� ?��� E 8 [ZJ��OD�J

���3��2?9����AHG���N��FN G��`GM�(IRDFD������������FS��.?U;�^:LRIB?WG2>���� I�����N��� �2?"J����9� D����G�������2��

?"J�� LRI�����������CN��,VG��� 86+ � � ������D��������cL.EG�#?����F>�/"; ; � >#?�J��HIRA2JM?�J��H� D������RA / I�RD�?����

N�����D����OL ��N0��.����D�?����W4�; @�;,+�����?"J�����G�,-�I/���bL��2?�J0,3��N��F>���^.?�J��A�(IRL(?������*,3��N��F>1D�G�

G2>����*�����(NRIBD��=?"J�����G�?�?������� ?�J�G$?�G����=>�� 4��> EB�UT(?��"G2D�?(����>��FS$G�.?8��.?��#?������:8 D��.?����OLRI(?���BA

��G$? ?�������";�^ ��IRD�J G�� ��� BEDCF~��������.HBEDGF~� � �=( H�F � � �N� � BEDCF~� � �=(�H�F ( �5�7� 0 + ���O��-� + � + �

� BEDGF~�d�������6HBEDCF~� � �=(�H��C��G�"���%�4� �/���:&�����BEDCF~� � �=(�H� Z[ZJ�������"G� � [J�����ZJ��#AHJ����

?"JRG�M?�J��A�����2LR>���,`G$?��ODI��G$?�?����� ;

���#?�J��HIB?=?"G ��RAPDG4���A,`G4� ��RAF/���� ��,-���G2>�������N9������N��ODG�?���� ��.?��PG2D�D��HI�.?^�?"J��

�=���FN��OD�G$?�� � � � AHI�,-��.? ,-�(N���>(��T(D�>#IRN���� ���,-�`J��#AHJR>#E D��.?����OLRIB?���RAO��G$?�?������� [��#?�J

��,-��RG2>�������N1������N��ODG�?����F^ G��.���,-�+��TBG�,-�R>��+��G�?�?�������G��J��<[ �� � �OAHI���� 4�; G4RN

� �#AHI���� 4�; ��; � >����R^ D�J�G�����*��/(,-�(N�� �K����� D��2IR>ON L � ��T�?���G2DF?���N+�R> E]L.E ?�J��-�(IRL(?������

G�RN � J�G4�� ,3��N��F>���; � ?\E����OD�G2> G�RNPJ��#AHJR>#EH���F>���S2G4�?8�UT��������������3/�����?"J��I�(IRDFD����������

��D����G4�����B��� ������� ��#0�)<����<�"�F ���������� + F ��� �i�ABEDCF~� � �=(�H�� � BEDGF~��� �=( H� ����- <� � �9���������9��

�3���-���#��� ' ;

� > ?"J��HIBAHJ ^7�� ?"J�� � ������� ?G��D����G������R^C?"J��+��I��������������#?\E ��/ ?"J��C�(IRL(?������C,-��N���>

?�� ?"J��&�2?"J����2,-�(N��F>��-���-��2?`D�>���G���^�?�J�� A�������G2>:N���� D�I��������� G2L��2IB?V?�J�� D�G���G2L��#>*�

��,

Page 77: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

�#?\ED��/ZD�G��B?�I�����RA G2NBN��#?�����G$> D��.?��UT�? � ?��#>O> J��2>ON���; � � �#AHI���� 4�; (^ ?�J��9� J��� ?F��G$?��

?����� ��� BEDGF~���������.HBEDGF~��� �=( H�F~������ �X�CBEDCF����� H���^B[ZJ��OD�J0���bI�����N3/���7G A������"G2>

N�����D������B?���� ��/QG6� �������e[��#?"JeJ���� � J���� ��D�D�I���G$?���� G�RN G2A�$^bJRG�� ���F>�G$?��#S�F>#E >���[

������D�������� 8 �+ �P; ; �I��[J�FS����^=[��#?�J ,-����0����>��FS$G�.?`D��.?��UT(?�^ ��IRD�J G�� � G�������� ?%)C���

� I����,-�R>���E�FNQ)R^R?�J��A��G$?�?�������ZL��FD��,-�A,3����*���F>��FS$G�.?=?�� � ������� ?I��D����G4������;

����� � *-)�� ,� ��>'�*-)

� ?"J����XD�J�G��(?����F^ [N�.��T��R>�����FNeG2>#?������G$?�� S�2,-��N���>��H/��� ?�J��aG2IB?��,VG$?��#DVN�����D��<S�����E

��/J��T�?���G2DF?����D��G$? ?��������; �C� ������ �����N GG,-�(N���>�L�G4����ND� G���L��#?���G�� EO��IRL(?��������E��/

N�������RN���BDFE ?���������; K J��2������IB>#?H��/�?"J��2��T�� ������,3��.? D�� �K��,3�FN ?"J�G�? ?"J��0�(IRL(?������

,-�(N��F>�G2>O>��<[��&GCAHG���H��B����D�G2>O>.[ZJ��#>��(������������S���RA%J��#AHJB������D�������� ; �C��G2>����QN�����DFI�������N

?"J�� �O����DF?8�4/1?�J���[N���OAHJ.? ?�I����BA*�� K � � � � �6��D�������BA G�RN ��J���[J��N`G� I��� I������ S�������N

[7G�E.�4/�G2N�� I�� ?���RA �#?�;

OC� T #fL>@N;�� �? �4�3�72�71�"�4�>�/ �/%*2��"�� T #fLMJ%IF;@BQ��*��� &!��C_�cWb�o���cgXd < ����� B K#�

Page 78: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

8 G.; 50

55

60

65

70

75

80

85

90

95

100

0 10 20 30 40 50 60 70 80

Pre

cisi

on (

%)

Recall (%)

Precision-Recall

SUBTCHPA

8 L ; 50

55

60

65

70

75

80

85

90

95

100

0 10 20 30 40 50 60 70 80

Pre

cisi

on (

%)

Recall (%)

Precision-Recall

SUBTCHPA

� �#AHI����M4�; 2 ! T(?��"G2D�?���� � ����/����,`G�BD���2f8 GH;9�(IRDFD���������� �(D����G������ 8 * � �.;�^ 8-L�;

� ������� ?7�(D����G������c8 * � 4�;

+

Page 79: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

L �����72 �! T �& O !�� ;�� <<� T ���� �! L �

������������ ��������������� ����������� ��� � '�:� '�:� ��

�������� !�����#"�$�%�&�'�(�'�&)�

*,+.- %�/0%�1324%�56%�7��98;:=<?>@BAC���98;:=<DEF@G>HF�JILK

���M��N�(�2O$QP)%):3'�RS5��M �T�U��?( - &S���V�W;�X�������� ������ 5 Y '�:� '�:� ��

* �98;:=<?>@BAC�[ZG241\$]/^245_2\"`1�R - 2=(�a�(�&�1\$!% - 2\13P.I

���M�M�LN)(�2,$QP)%�:3')R�5��`��5.%S�M �T�U��b( - &c���V�W;� � Y '�:� '�:� ��

�������� Q�������F����"�$Q&�5_2\5_:�"`& - &��

*�d Rb( +)+ %�2\5_1�R`Ne1�%0�98;:=<?>@BAC�[ZB2\14$e/b2\5_24"L1�R - 24(�a�(�&�14$�% - 241=P.I

��������M���Vf?���M �T�U��F$�( +)+ P)%�:�"`& - &�� + @ E��� E��� E����

* �98;:g>Eih� - R + % - 13"�I

��������M���Vf?���M �T�U���� jk2\5�jg2 �M��T�U��X$!( +)+ P)%�:M"L& - &)� 4 l E��� �� E����

* �98;:g>Eih� - R + % - 1 + R - "`%)5_5.R�a;(�mF(�2 - I

� �#AHI����b4�; 2 ! TBG�,-�R>���� ��/ �UT(?��"G2D�?����F��G$? ?������� G�BNX?"J������ D��.?����OLRIB?����B��on]G4�G2A� �

,-��.? �(IRDFD����������H� D����G������ 2�0���*�:���-�� �"�������� � ��-�� ���"; ��� ��-�� � � �����?p[ �24�9�9��-$������ ����9�"�����; �

��-��q �3 .;%���$�+G��������:����<�"���#-��:� � DC���r ��-��s 3��; ���$�+ �� ��������:��� <�"����-��:� � �c ���������:���Qr

�� �& � -�����-��������.���; �+ ���<� � ����-��=3�;�������� � � ���C(6r 1D -���M � D -���M Fr �� �&Ft ��su ���:& �9���"����F

v ��243���. �� � u v rA�� &��:�kw

�x

Page 80: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

L �2����� �! T �& O !3� ;�� <<� T ���� �! L �

�M�������B� �F !����������� �� Q��������B��� !�X���������� ��� �$4 xx E��� E��� ��

�M������������ !�������������� Q�������F �� !� � � E��� E��� ��

���������� ���M��T�U��F1�(�2,$�%�:�"`& - &��

* ( -k- R�"`1B�98;:=<D EX@G>H����98;:=<?>@BAC�B�98G:3H��� ]�JI

�M���M/b&Q"�$�%�'�&c���F �� !� ��� l E��� E��� ��

�������� ��������������� ��������� �� !�V���������� ���

* �98G:=<BD EX@G>H����98;:=<?>@BAC�B�98;:3H��� ]�&�5.RS/ + a %�P)R`N.I

� �#AHI���� 4�; � 2 !�TBG�,-�R>����7�4/8��T�?���G2DF?�������G�?�?������� G�RN ?"J������CD��.?����OLBIB?����O�� � ��������?

��D����G4����� 2�0���$�:��#- � �"�������� � ��-�� ���"; ��� ��-�� � � �����6p[ �24�9�9��-����#�� ����9�"�����; ��-��q �3 .;%��� �+

��������:���$<�"����-��:� � DC��!r ��-�� 3��;%���8�+��� ���������:��� <�"����-��:� � �� ���������:���Qr8�� �& � -�����-���� ���

���; �+ ���<� � ����-��=3�;�������� � � ��� ( r D -���� � D -���� Fr6�� �&Ft ��qu ���:& �9���"����F v ��243���. �� � u v r

��=&��:�kw

H@

Page 81: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� � ��� ����

� ����� ���� ��� � � ������������� ��� ���

� � !�"�$# �%���&��� ' ()�*����+,���&���

K J��0,-�� ?B� ?��"G��#AHJ.?�/����[�G�� NY[�GE ?�����T��R>���#? ?"J�� �.-���! /��"G4,3��[N���C����������.?��FN ��

� J�G��(?����W@ ��� ?��YLRI��O>ONfG� ��! � E�� ?���, ?"J�G$?WD�I���?��,-�������9� ?�����>�/Q?�� ?�J��6���[ ?"G��

��� ��D�� �K�FNYL.E ?"J��VI������ � � ��I�����E; � � GcDG4���9��?"IRN(E ��/b?"J�� �/-���!�/��"G�,-�F[J�� ^ ?"J����

D�J�G��(?���� ����������.?��&G�*��T�� ������,-��.?�G2>�����> / �\DFI�� ?��,3������RA ��!&��E�� ?���, [��#?�J G� G2NRN�� ?������G2>

N���,3��������O��/>�����?�G2L��O>�� ?\E>� ��!L/�����, G3���HI�� D�� ?���T�?*�� G`N��10 �������?Q>�G�BAHI�G2A� ?"JRG�

?"J�� ?"G���A��F?Z>�G4RAHI�G2A���;

24

Page 82: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� ��� � ) $�& *!+# ���$=' *3)

� � [J�ZN���� D�I�������N3�� �����FS����HI���D�JRG��B?������F^�?�J����/-���! � E�� ?���, ������S��#N����8� �� ?"G2L��#>��#?\EE��

N��,VG��� � ?�G4� L.EPG$>O>���[���RA ?"J��ZI������ ?��E��� ��D���/�EX?�J��=?�G��� ; K J��I,-��N���>��4/ �UT(?��"G2D�?����

��G$? ?������� ?"J�� �/-���!G� E�� ?���, I������ ��� N������OA����N ?��ZL � A������"G2> ����HIRA2JE/��� ?�J��=� E���?���,-�

��eN��10 �������? >OG�RAHI�G$A��� � �R>#E��QG�,-��N�!=.?�� ?������ G�RN N���� ��RN���RD�E �RG��������VG���� ?"J��

��FD������"G���E.���HI���D�� �\>OG�RAHI�G$A�0� ��� ��D�� ��D >���RAHI���� ?��OD:G��G$>#E������7?����H>���;-� ?"J����7D�G����A� ?�IRNBE2^

[J�WG2NRN����������FNe?\[J� D���.?���G2>7G4��� ��DF?B��/ � �� ?"G2L��#>��#?\E&/���E���/����,`G�?��������T�?���G2DF?���� �

G2D�������:N��,`G4����ZG�BNM>OG�RAHIRG2A����;

K J�� �K��� ? JRG2>�/K�4/�?"J���� D�J�G��(?���� N���� D�I���������?�J��N�UT���������,-��.?"G2>����/����,VG$?����A��T�?��"G2D �

?����2��E���?���, [ZJ��OD�J ?"G ���� � G���G�������A���2I���D��%N�G$?�G G4RN A������"G�?���� !=RA2>���� J`?�G$LR>����@��/

��T�?��"G2D�?���N-���/����,VG$?���� ^�G�RN ?�J�G$? D�G� L�� ��G����#>#E G2N�G��(?���NX?��*��F[ ��T�?���G2DF?����X?"G�� ��;

� � [7G�.?:?�� ,3�����,-�����C?�J�� J�I�,`G�.���?�����S��.?����G������I������FN&/���=DFI�� ?��,-���G�?�����W?�� G

���[L��D����G4�����V8�?\E�� � ��/ /-G2DF?��=��>��S��.?��J��/���.?�������� ?�;�^�G�RN G2>#>���[e?"J��=I������ ?��*��.?����"G2D�?

[��#?�J%?"J��8� E���?���, ��.?�������> E��� !=RAH>���� J ; � � G �����2?��2?\E����$^$[J� J�GS��N��FS���>������FN ?�J��8����� �

��� -���!C��E���?���,c^�G� �UT�� ������,-��.?�G$> 8 �����0�!; � ������ � >���BAHI�G2> ' �����,VG�RN� �/����,VG$?����

� T�?��"G$DF?����A� E�� ?���, ?"JRG$? ��T�?���G2DF?�� /-G$DF?�� �� ��S���?�� ��/���.?�������� ? /�����, � G���G4������J���HI���D��

?��UT�?:[�� ?"J��2IB?�������I�������RAPI������ ���<[Z>���NRA��H��/ � G���G4�������;

K J��-����D��RN J�G2>�/bN�����D�I�������� ?�J�� ���H>�� ��/N,VG2D�J�����X?���G��� >�G$?�������dD������� � >���BAHI�G2>

Page 83: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

���/����,VG$?����G��T�?���G2DF?���� ; � �XD��,3�RG����FN ?\[N�MG��������.G2D�J�����/���CD�������� � >���RAHI�G2> ���/��� �

,VG$?���� �UT(?��"G2D�?���� �*��� ?�J�G$?W?��"G����>�G�?����V?"J������?������6���HI���D�� ?���T�?MG�RN�� I���W?"J��

�/-���!L� E�� ?���, �c?�J�� ?��"G��� >�G$?���N]?���T�?Q?�� �KBN6��T�?���G2DF?����O��G$?�?������� G�BN N������7�UT �

?���G2DF?���� ^BG�BNa?�J������ ?"J�G$?b?���G����>OG$?����7?"J��%I������ � � ��I���� E9��.?�� ?�J��%>�G4RAHI�G2A��7��/ ?"J��

���2I���D��]?��UT(?�^=J���BD���/���� ?"J���� ������ I� ��� � �� � ^7G�RNL� I��� ?"J�� �.-���! ��E�� ?���, �� ?"J��

���2I���D�� >OG�RAHI�G$A��;

� ��� %#& '�� ��� � � " ��� � $�'-)

� ��� �� ������� ��!"�$#

� RD����� ��"G�?���BAd?�J�� �/-���! � E���?���, G��VGC,-�(NRIB>��0/���-��G$?�?����� N���� D���S��� E2^Z?�J��O�UT �

?���G2DF?�����/ I�BDF?�����G2>��#?\EO��/@�����0� ��� -���! ��E�� ?���, ��� N���� S�� L.E ?"J�� ��I�����ED/����, ?"J��

I�������; K J��PI������*� ?"G�� ?�� ?"J��B������D��FNRI����PL.E6�����FD�� /�E���RA`?�J��X?\E���� ��/8/-G2D�?��*��7�FS��.?��

��/ ��.?���������?F��d?"J��3/����, ��/=GO�G����"G$?��#S� N�����D������B?���� ^�G�RN ?"J��������� � ��� -���! D�I����

?���,3�������8� ?����F>�/1?�� ?"J��:?�����#DZL�EVG2D���I�������RAA��T�?��"G2D�?�����9��G$? ?�������bL�G����FN9� ?"J��:I������ � �

N�����D������B?���� ; �=��� � ��� -���!=^ G��PG� �G4��>#E G$? ?���,-�B? G$? G�/ IB>O>#E �\G2IB?���,`G$?���NC� E�� ?���,M^

� ?��O>#>>����FN��XI������H��.?����"G2D�?�����+/���� ?���,-�R>�G$?�� N�� ����#?����f8 G2NBN���RA � N���>��F?���RA ?"J��3� >��2?��

��c?"J��X?���,-�R>�G$?���;ZG�RN+��>��2?%G4�����#A�,-��.? 8-G������OA���RAWG2�RG$?�?����� ?��0���F�4/�?�J��F� >��2?��

�� ?�J��M?���,-�R>�G�?���; �=G2IB?��,VG$?���RA ?"J������G� ?������3��� >�� /�?VG�� / IB?"I���� [N��� ; 8 �K�� ,-����

%&%

Page 84: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

N�����D�I��������G��/ / IB>O>#E �\G2IB?���,`G$?���N � -���! � E�� ?���,M^ ����� � J�G��B?���� % ; ;

�=���0� ��� -���! ��.?�����G2DF?��b[�� ?"J2� ?���I������N��.?������F>#E-�� !=RAH>�����J � ��S��0/���(��>��2?7G������OA �

,-��.?8��/ ?"J�����T�?��"G2D�?�����-�RG$?�?��������^.?"J�����E���?���, ?��"G����>�G�?�����?�J����HG���G���������UT(?��"G2D�?����

��G$? ?�������F^�[ZJ��#D�JfG4���WL�G4����N � ��IBLB?��������-��/CG N���� ��BN���RD�E ?������MG�� N�����D�I������FN ��

� J�G��(?���� 4R^ L.E [N�� N � ?��"� [J�� N ?���G��� >�G$?�������/N�G2D�J >���T��#DG2>>� ?���, �� ?"J��-��G$? ?��������;

�K�� �G4���E��/�I����2^�?"J����HG4��G�������E��T�?���G2DF?����G��G$? ?�������CG����A��2? �B>#E`?��"G����>�G�?���NG��.?��

!=RAH>�����J ^ LRIB? G2>����.��J���[� [�� ?"J ?���G��� >�G$?���N+��TBG�,-�R>�� ����.?���RD���� [ZJ��#D�JC,VG$?"D�J ?"J��

��G$? ?����� ;

� ��� ��� ������ �� � �� �� !�� �� ���� � �

�=��� � ��� -���! ��� ��,3�B>���,-��.?���NaG��:G�G��.?��FA�"G�?�����0��/ ���FS����"G$> ,-��NRIR>�����^�G4� � J���[�O��

� �#AHI�������; ��� ?��"G����>�G�?����� ^ ���/����,`G�?���������F?������FS$G2>_^ ��G�?�?�����YN�����D���S����EH^ G4RN���T�?��"G2D �

?���� ;

� ����� ?�^(?"J���� E�� ?���, ?"G �����?"J��7�G�����G$?�� S�CN���� D������B?����0��/ ?�J�����D����G4����� �4/ ��.?���������?

G�� G� !=RAH>�����J ��I���� E2^ G�BN ?�J�� K ��G��� >�G$?����6,-��NRIR>�� 8 � 0 � ?�J��0� ��J��F>�/ � � n ��� � � � � �

��� ��� � ��� � � �! �"� � � �$# � � ��� � " �% � @'&)(N� E�� ?���,`;=A�������"G$?����CG��HG4��G������� ��I���� E�;

K J�� �/-���! /���G�,-�F[J�� L���aI����FN G��cG� �+* ,3��NRIR>�� G�RN � G$? ?����� -�����D���S���� E

,-�(NRIB>���; K J�� �+* ,-�(NBIR>��E����?������FS���� G9����?A��/ ��� �!, ����-�� ���/. � ��� ��/�����,0�HG��RG�������

1 �<�4��� �*�/ &� ���"� ��=�% ��� �$!.�/���� ��"! ;32 �*�3����754 ��6�� ��"!�6,���@��� ���87�� � �$�:9

%

Page 85: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� �OAHI�������; ��� �����0� ��� -���!1��E���?���, � ��D�J��#?��FDF?�I����

n]G�����OD�J�� � �F[�����G�� ��� /����, � , , ��; K J��� ^2?�J�� �&G$?�?����� -�����D���S����EE,3��NRIR>��(������NRIRD����

G >���� ?F�4/7�UT(?��"G2D�?���� ��G$?�?������� /����, ?"J�� ��� �!, ����-�� ���. � ��� � � �N�����?���NeL.EY?�J������

���F>���S2G4RD��%?�� ?�J��A��D����G�������;C8:����� � J�G��B?����:@ /����?"J�� N���?�G��#>��FN N���� D������B?���� ; ;

�=���0� ��� -���! � E�� ?���, G��� �Z?�J��%I������=?��PG������#A.�G2D�J �QG4,3�FN !=.?�� ?\EWDF>�G���� �G�,-�

��c?"J�� ��G�?�?�������C?��0���B��/ ?"J��F� >��2?�����c?"J�� ?���,-�R>�G�?��2^ [ZJ��OD�J ?�J�� I������%DG46/������F>#E

D�I�� ?���,3�����O��f?"J��+�(>��$? � � ��AHI���G$?����L� ?"G2A�4; � ��RG2>O> EH^b?�J�� ! T�?���G2DF?����L,-��NRIR>��

� ����/�����,-�W?"J��+��G$? ?�����$,`G$?�D�J���BAe[�� ?"J���>��2?��\G������OA���N���G$? ?������� ?�� �G2D�J ?��UT�?O��

?"J�� �� �!, ����-�� ���. � ��� � � ��G�BNdA�������"G$?���� G ��>O>���N �HG��RG������� ?���,-�R>OG$?��$^ [ZJ��OD�J+���

% �

Page 86: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

?���G��� >�G$?���N.��>��2?�� L�E � ��>��$? ��.?�� !=RAH>���� J./�����?"J�� I�������;

� ��� �� � ������� �� ��� � �� $��� � � ����� ����� � �� � � � ���: $� � � !�� �

�K���, ?�J��WI������ � �F� ���.?B��/=S����F[ ^=�����0� ��� -���! [J�����PG4�H/��H>#>���[�� [�� ?"J ?�J��9� D�������

��J��2?����� � �#AHI�������;3x�� ��; ��;

� ;�� �� ����� K J��VI������ ?\E������F��d?"J��3�G�����G$?�� S� N���� D������B?����C��/�?"J��9��D����G4�����&��/

���?�������� ?�^ ��� �RJ��"G4��� ���� N�����D������B?���� � ?���T�?�� L��TVG�BN3,-����=N��F?�G4�O>K��B?����RG2>O> E

A� S��C��!�5�G�����G$?�� S�"�a?���T�?�� L��T�; � ��� ?"J�� ��TBG�,-�R>�� ��J���[���� � �OAHI���� ��;=x(^ G

�G4���"G�?��#S�� N�����D������(?���������QA��#S�� G��7/��H>#>���[���^$#&% � �� �!. � ���$.(' ��� �� � � �*),+ �

- �.' -� �0/ � � � / � � -21 � � ��� � � � �� � � �43 � � � �53�6 � � - �53�- � ���� � � � � �53 � � . 1 � 7

� � �48 � 1 ��� � � - � ��� �53 � � . 1 � 7 % � � � 9'�- � ��� % 3 � � �;: . 1 � % �<8 ��� � =' �=' � "� � � �

�53 �<8 � � � ' � � �� � � � � "� � � � �53 �?> 'A@;BDC

x C �FEHG IKJLG*M�N�� �PO IPQ4G*M$� K JSR ISTUR"VaG2NRNSTMG=WBN(XZY[V]\ R_^0Ra`bR"T]`bcSR,T;^0Y=`UTed0Wf`bc R

`UR_g$hS^&iZ`UR C �jWk`bc RRal i=g$hS^0RT;cSY�mAW2dnW �?d0o[pSV;R � Crq s `UcSRtpSTUR"Vui=\S\SR"\v# # � � ��� � /

�� BDs # # � � ��� � / ' '� BDs # # ���!� / �� BDs # # ���!� / ' '� BDs i=WS\w# ' � � � �*) "� � � � BDC

x cSRtT�yzT�`bR"g{`UcSR_W�h*R_V;|4Y=VUg$T}h iZ`U`UR_V;W2\SdnTU~"YP�=R_V�y�i=WS\�hSVUR"TUR_W�`UT�h iZ`;`bR"VUWST C

q C�� EHG I]� "`"�Q4��M�����M�I�� x cSR�pST;R_ViZTUTUdno[WST�i�TU^nY=`�`UY�R�iZ~�c,hS^&i=~"R_cSY=^0\SR"V�Y=|�R_i=~�c

h i.`U`bR"VUW���y$~�cSY�Y[T;d0WSoLY[WSRuY=|F`bc R�T;^0Y=`UT�\SRa� WSR"\ed0W$T;`bR"h x C -�p VUd0W o�`UcSd0T�T;`bi=o[R s

%[�

Page 87: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� dno[pSVUR � C x ��� `UR_h ����� pSR"V;y �������� ����������������� ����� � !�"�#$�%�&�'�� � !�%�������&�("���"����

) � � !�%�&�*���&�(",+-#. ���/�10�21�3�45�1�%�� r #1"*� t �1��67#$�%�%#$���&�18+-#9"�#$���:#$���&�1;�� � !�%�������&�("<4��&���=#

0>�4? ��"@���"� !� rQw

A�B

Page 88: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� dno[pSVUR�� Crq � � `bR_h x � � ^nY=` � Y[W � o[p VbiZ`Ud0Y[W � � ��7�� ��� #1���� 5#1"�� t �1� ���&���� ��� ��&�1�� 5��"

��� ���������#$�� 0>�����&3 w

`UcSR pSTUR"Vtd0Tti=^n^0Y�m R"\ `bYkTUR"R `bcSR RDlSiZg�hS^nR Y=|�`bVUi=WSTU^0iZ`bR"\�TUR_W�`UR_WS~"R_TLmAd `bc,`bc R

g�iZ`b~�c�Y=|�`bc R$hSiZ`U`UR_VUW cSdno[cS^0dno[c�`bR"\ C x cSdnTmAd0^0^?g�i��=R dn`tR_i=TUdnR_V�|4Y[V�`UcSR pSTUR"V

`UY�pSW \SR_V;T;`�iZWS\fmAc iZ`�R�i=~�c h iZ`;`bR_V;Wfi=dng�T `UY�RDlz`UVbi=~a` C W � d0o[p VUR � C��Ss `bc R

pST;R_Vu`bVUdnR_TA`bY�i=TUT;d0o[Wf�� ������������������! "$#&%'�( *),+��.-��/+1032�)42�+�5 )42�)467�,8:9'9U��`UY

#�; ���!�=< � B mAcSd0^nRY[�ST;R_V;��dnWSo$`UcSRtRal i=g$hS^0R"T mAcSR_V;R�`UcSRth iZ`;`bR_V;W iZhSh�R_i=VUT C

�SC?>A@ I�BPO4C=IPQ4G�M�� x cSR�pSTUR"V o[Ra`bTk`bcSR Ral�`bVUi=~"`UR_\!`UR_g$hS^&i.`bR i=WS\ VUR_h*R�i.`bTk`bcSdnT

hSV;Yz~"R_\Sp VURtpSW�`bdn^�`bc RpSTUR"Vuo=R"`bT `UcSRtVUdno[c�` `bR"g�hS^0iZ`bR���yeo[Y[dnWSo�� i=~:��`bY T;`UR_h q

`UY]~�c i=WSo=R i=WS\(XZY=V�i=\S\,T;^0Y=`�i=T;TUd0o=WSg�R"W�`bT s i=WS\,��y o=Y[d0WSo�� i=~:�k`bY]T�`bR_hED$`UY

\SR"^0Ra`bR�i=WS\(X.Y[VAi=\S\�TU^nY=`bT}dnWk`UcSR`bR"g�hS^0iZ`bR C

AGF

Page 89: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� dno[pSVUR � C � ��� `bR"h q ��� ^0Y=`���TUT;d0o[W g�R"W�` � ��� �� ��� #1 � ����("� #/ ��&�1� ���/�#1 :�;����#1 !���� �����

�10 ��� �*#$������%"��@3 %����( ���"��/�("� �10 ���� ��&�1�� �� "�� ��" ������ � ) ��:��"�� ������ ���#��1�� ���

��#��/���& �10 ���%#1"� ��#$����; ��"@���"� !� � �#1"�� ���"��

A D

Page 90: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� dno[pSVUR�� C � � � `bR_h � ��� l�`bVUi=~"`Ud0Y[W �5���7�� ��� �#1" �1� � #1 �2 ����� �1��� #1"������� �#$�5��"@��� �

��� ��� �1��� ���� ��� ��&�%#����� �%� �� �&��

A q

Page 91: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

x c�pST s hSV;R�� ��� - � T�y�T;`bR"g iZ^0^0Y�mAT`bc R�pST;R_V�`bY�TUh*R_~_d |<y�`bcSR$R"�=R_W�` Y=| d0W�`bR"VUR_T�`

i=WS\�`UcSR `UR_g$hS^&iZ`UR�`UY�� ^n^zdnW C � R Y[�ST;R_V��[R_\ `Uc iZ` h VUR�� ��� - � T�yzT�`bR"g m Y=V*��T d0W �Zi=V;d��

Y[pST TU~_R"W i=V;d0Y[T s d0WS~"^0pS\ d0WSouhSVUdng�R��jVUiZ`bR�� pS~a`bp iZ`Ud0Y[W�� -iZ`UR s *uiZ`UR� s hSVUR"TUd0\ R_W�` R_^nR_~a`bd0Y=W� � iZWS\Sd0\SiZ`bR s� Y[T;` s� Y[^0d `bd0~_i=^ iZV;`jy s -iZ`UR� s i=W \ � i=W �]|HiZd0^0p VUR � � VUo[i=WSd��_iZ`bdnY[W s�� Y��

~�i.`bd0Y=W s -iZ`UR s -�Ra� ~_d `�� C Wf`bcSR WSRal�`eT;R_~"`Ud0Y[W s m�R mAd0^n^A\Sd0T;~_pST;TecSY�m m�R_^n^�h VUR�� ��� - � T�yzT�`bR"g m Y=V*��T

��y ~"Y[g�hSi=VUdnWSo�d `�`UY]`bcSR iZ^n`bR"VUW i.`bdn�=R�i=h hSVUY�iZ~�c |4Y[V�~"VUY[T;T��j^nd0WSo=p i=^�d0W |4Y=VUg�iZ`bdnY[W2RDl��

`bVUi=~"`Ud0Y[W s VUR"h�Y=V;`bR"\ dnW � p \SY R"`�i=^ C % q A & C � R2i=^0T;Y�\SdnTU~"pSTUT�`UcSR�VUY[^nR�YZ|�g�i=~�cSd0W R

`bVUi=WST;^&iZ`Ud0Y[WednW�~"VUY[T;T�� ^0d0W o[p i=^�d0W |4Y[V;g�i.`bd0Y=W�Ral�`UVbi=~a`bd0Y=W C

����� �������! "�$#&%(' ) '+*-,/.&' 010 �2�3%3)"45 "�6� �7� 8��90:#<;>= ��)@?

A '5�!; '+*CB �6DFE@%3)"; GH.&��)@01�!�$#<%!'5)

We`bcSdnT T;R_~"`Ud0Y[W s m RRa�Zi=^0p i.`bR�`UcSR � - � T�yzT�`bR"g mAdn`Uc]`bcSRiZ^n`bR"VUW i.`bdn�=R�g$R"`bc Yz\�|4Y=V

R(I$~"d0R_W�`AiZp `bY[g�iZ`Ud0~Ah iZ`;`bR_V;We\Sd0T;~_Y��[R"V;y$|4Y[V�`UcSR � �. � � � VUY=TUT�� � d0WSo[pSi=^ � ��T;y�T;`UR_g C

x cSR$i=^ `bR_V;W iZ`Udn�[R g�Ra`bcSY�\,`bVbiZWSTU^0iZ`bR"T�`bcSR�mAcSY=^0R TUY=pSVU~"R `URal�`�d0W�`bY]`UcSR `�i=V;o[R"`�^&i=WJ�

o[p iZo[Ru�SVUT;` s iZWS\�V;pSWST�`UcSR�hSiZ`U`UR_VUW�\Sd0T;~_Y��[R"V;y�hSVUY�~_R"\SpSV;R�Y[W$`bcSRu`bRDlz` d0W `bcSRA`�iZVUo[Ra`

^&iZWSo[p i=o=R C

A �

Page 92: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

��������� � � � � ��= ! �� � � � ��� � � � � !�� � ��� � � � �� !5� �

*Ad0^0Y 0�R"`iZ^ C D B B D % D � & h VUR_T;R_W�`T;R"�[R"Vbi=^ i=hShSV;Y�i=~�cSR"T�`bY�~_VUY=TUT�� ^0dnWSo[p i=^�dnW |4Y[VUg�iZ`Ud0Y[W

Ral�`UVbi=~a`bd0Y=W � � �. � � C?x cSR"y�\SR_T;~_V;d0�*R�`bcSR�pSTUR]YZ|}�[~_V;Y[TUT �j^0i=WSo[p iZo[R�hSV;Y��;R_~a`bdnY[WS�2|4Y=V

� �. � s RDl h ^0Y[d `bd0W ok`UcSR m Y[V;\ i=^nd0o[WSg$R_W�`YZ|}\SY�~_pSg$R_W�`bT�d0W�Y[WSR$^&i=W o[p i=o[R$i=W \�`bc R

TbiZg�R�\SYz~"pSg$R_W�`bT `UVbi=W TU^&i.`bR_\�d0W�`bY i \Sd 0�R_V;R_W�` ^0i=WSo[pSi=o[Ru��y�i g�i=~�cSdnWSR�`UVbi=WST;^&iZ`Ud0Y[W

��� x �uT;y�T�`bR_g C�x cSRay ~"Y[WS\Sp ~"`bR"\,Ralzh*R_VUdng�R"W�`bT��*R"`jm�R_R"W `jm YeV;R_^&i.`bdn�=R_^ yk~_^0Y=TUR�^&i=WJ�

o[p iZo[R_T s � W o[^0dnTUc�i=WS\ � VUR_W ~�c C� W�`UcSRtRalzh�R"VUdng�R"W�`uV;R_h*Y[V;`UR_\�cSR_V;R s m RmAdn^0^FRDl h ^0Y[V;R

� �. � |4Y[V}`jm�Y�g$Y[VUR\ d0TUhSi=VbiZ`UR^&i=W o[p i=o[R"T s � WSo=^0d0T;c�i=WS\ �[i=h i=W R_TUR C

x cSR � - � T;y�T;`UR_g ~_i=Wk��RtpST;R_\�d0W�i ~_VUY=TUT�� ^0dnWSo[p i=^�TURa`U`bdnWSo s iZWS\e`bc�pST s `UcSRVUR��

TUp ^n`bdnWSo�~"VUY[T;T�� ^0d0W o[p i=^��[R"VUT;d0Y[W Y=| `UcSR � - � T;y�T;`UR_g ~_i=W g$d0WSdng�d �_R `bc R VUR���p d0VUR"g�R"W�`

Y=| ��W YPmAdnWSok`bcSR$^&i=W o[p i=o[R YZ| `bc R�T;Y[pSVU~"R$`URal�` �HTUY=pSVU~"R�^0i=WSo[p iZo[R��|4V;Y[g `bc R�pST;R_V C

� dno[pSVUR�� C % TUc YPmATA`jm�Y�h*Y[TUT;d0�S^nR�m i�y�TA`bY�i=~�cSd0Ra�[R`bc d0T}o[Y�iZ^ C

F C�� BPO M���E4O IPQ4G*M����?O��_��� �! #" >v� �$�aI���� � x cSdnT d0T V;R�i=^nd��"R_\e��y�`UVbi=WST;^&iZ`Ud0WSo�i=^0^

`UcSR�\SYz~"pSg$R_W�`bT�Y=|�`bcSR�T;Y[pSVU~"R�^&i=WSo=p i=o[R �8�[i=h i=WSR"TUR3� dnW�`bY}`bcSR `bi=VUo[Ra`�^&i=W o[p i=o[R

� � W o[^0dnTUc � s `UcSR_W�VUpSW WSd0WSot`bc R�g$Y[WSY[^nd0WSo[pSi=^z�=R_VUT;d0Y[W�Y=|F`UcSR � - � T�yzT�`bR"gw|4Y=V

`UcSR�`�iZVUo[Ra` ^&iZWSo[p i=o=R�� � W o[^0dnTUc � C � � dno[pSV;R:� C % � �>� � x cSd0T�m i�y]YZ|�d0g$hS^0R"g�R"W�`bi �

`Ud0Y[W Y=WS^ny�VUR���pSd0V;R_Tti]g�i=~�cSd0W RL`bVUi=WST;^&iZ`Ud0Y[W2T;y�T;`UR_g `UY]`bVbiZWSTU^0iZ`bR�`bcSR T;Y[pSVU~"R

`URal�`}i=W \�\SY�R_T�WSY=`�VUR%��pSdnVURu`bcSRu^0dnWSo[pSdnT;`bdn~Ai=W i=^ y�TUd0T�`bY�Y[^nT�|4Y=V�hSiZ`U`UR_VUW�\Sd0T;~_Y�� �

A �

Page 93: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

R"V;y s TUp ~�cki=T i � � `bi=o[o[R"V�iZWS\�\SR"h�R"WS\SR"WS~"y�h i=VUT;R_V s dnW�`bc R�T;Y[pSVU~"R�^0i=WSo[p iZo[R C

� YPm�R"�=R_V s `UcSRth iZ`U`UR_V;W2\SdnTU~"YP�=R_V�ykWSR_R"\STu`UY��*R\SY[W RLY[We`UcSR`bVbiZWSTU^0iZ`bR"\�\ Yz~��

pSg$R_W�`UTAmAc d0~�c�g�i�ye~"Y[W�`�i=dnWk`UVbi=W TU^&i.`bd0Y=W]R_V;VUY[V;T C

D C J BPG � � �bE QHM�����O E �! #" > � �$�"I���� � � W�`bc R�Y=`UcSR_V�c i=WS\ s i=T�TUcSY�mAW dnW � d0o��

pSV;R�� C % ��� � s Y[WSR ~_i=W�� V;T;` `UVbi=W TU^&i.`bR�`UcSR T;~_R_WSi=VUdnY�\SR_T;~_V;d0h `Ud0Y[W�dnW�`bY�`UcSR T;Y[pSVU~"R

^0i=WSo[p iZo[R � �[iZh i=WSR"TUR� i=W \�pST;RAdn` |4Y[V `UcSRAg�Y=WSY[^0dnWSo[p iZ^ � - � T;y�T;`UR_g |4Y[V `bc R

T;Y[pSVU~"R ^&i=WSo=p i=o[R9�8�[i=h i=WSR"TUR3� s i=TUT;pSg�dnWSoe`bc i.`m R$c i��[R�i=~_~"R_T;T�`UYk`UcSR `bY�Y[^0T

|4Y[VhSiZ`U`UR_VUW \SdnTU~_Y��=R_V;y�� WSi=g�R"^ny s i ��i=g$R_\ � W�`Udn`jy,`bi=o[o[R"Vti=WS\�\SR_h*R_W \SR_WS~ay

h iZVUTUR"V C � i=~�c dn`UR_g d0W `bcSReRDl�`bVbiZ~"`bR"\ `bi=�S^0R�d0T�`bVUi=WST;^&iZ`UR_\ d0W�`UY�`UcSR]`�iZVUo[Ra`

^0i=WSo[p iZo[R@� � W o[^0dnTUc � C hSV;R�� ��� - � T;y�T;`UR_g s \ d0TU~"pSTUT;R_\ d0W � R"~"`Ud0Y[W � C D s m i=T

dng�hS^nR_g$R_W�`bR"\ed0We`bc d0T m i�y C

��Tum RLTUc i=^n^�\SR_g$Y[WST�`bVbi.`bR s d | � i=T;d0~�^0dnWSo[pSdnT;`bdn~ti=W i=^ y�TUd0T}`UYzY[^nTui=VURLi��=iZd0^&iZ�S^0R�|4Y=V

`bc R�TUY=pSVU~"R�^&iZWSo[p i=o=R s dn`�d0T�h�Y=TUTUdn�S^0R `UY i=~�cSdnR"�=Rei��*R"`;`bR"V � �. � h�R"V;|4Y[V;g�i=W ~_R$��y

^0R_i=VUW d0WSo�h iZ`;`bR_V;WST dnW `UcSR�T;Y[pSV;~_R�^0i=WSo[pSi=o[R C W�`bcSR$WSRal�` T;R_~a`bd0Y=W s m�R]i=T;TUR"TUT�`bc R

\Sd�I�~"pS^n`jy2Y=|�^nR�i=V;WSd0WSo�Ral�`bVUi=~"`Ud0Y[W h iZ`U`UR_V;WST�|4VUY[g `UcSR `bVUi=WST;^&iZ`UR_\ T;Y[pSVU~"R ^&i=W o[p i=o[R

\SY�~_pSg$R_W�` TUR"` ~�i=p TUR_\e��y `bc R�R_V;VUY[V;T�Y=| `UcSR � x T;y�T;`UR_g�i=WS\(XZY=V�`bc R�\Sd10 R"VUR_W ~_R_T�Y=|o[VUi=g�g�iZ`Ud0~�iZ^�T�`bVUp ~"`bp VURtY=| `UcSR`bVUi=WSTU^0iZ`bR"\kTUR_W�`UR_WS~"R_T C � R�i=\ \SVUR"TUTuTUh*R_~_d � ~�iZ^0^ny �

F CAx cSR�i=~_~"pSVbi=~ay]Y=| � � `�i=o[o=d0WSoLY[W � x � R_\eTUY=pSVU~"R�\SY�~_pSg$R_W�`bT i=WS\�`UcSR�pST;R�Y=|

A %

Page 94: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� dno[pSVUR � C % � x Vbi=W TU^&i.`bd0Y=WJ�j� iZTUR_\ � - � � yzT�`bR"g"� �>�t��T � V;Y[TUT �j^nd0WSo[pSi=^ � - � � yzT �

`bR"g"� � � �@� �� �* ��� � �������3 +�� "�� ���� %��� �$��� ��(��% ! ���� �� ���" � +�(#$� #1"� �� #1"�� ����5��#$� �1��

�� ���%#1 !�������#��G�& +�� "�� � �� ���� #$�� �*� �(� ��� �(�@������

A A

Page 95: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

~"VUY[T;T��j^0i=WSo[pSi=o[RhSV;Y��;R_~a`bd0Y=W C

D C � YPm�`bcSR T�`bV;pS~"`UpSVbi=^ \ d 0�R_VUR"WS~_R dnW T;Y[pSV;~_R$i=WS\,`�iZVUo[Ra`t^&i=WSo=p i=o[R i 0�R_~a`bT`bc RRDlz`UVbi=~a`bR"\ h iZ`;`bR"VUWST C

q CAx cSR}V;R_\Sp ~_R_\ |4V;R%��pSR_W ~"y Y=| `UcSR RDlz`UVbi=~a`bR"\$hSiZ`U`UR_VUW T s mAcSdn~�c$g�i3�ZR_T d ` \Sd�I�~"pS^n`

|4Y[V]i=W�yfg$R�i=T;pSVUR"g�R"W�`kYZ|LhSiZ`U`UR_VUW V;R_^0Ra�Zi=WS~_R `UY \Sd0T�`bdnWSo[pSdnTUc `UcSR,R 0�R_~a`bdn�=Rh i.`U`bR"VUWSTAY=|?^0Y�m |4VUR���p R_WS~ay�|4V;Y[g�`UcSRtWSY[dnTURth iZ`;`bR_V;WST C

��������� ��� � ��� ! � � ���

x YfR"�Zi=^np iZ`bR�`bc R�VUR"^0Ra�=iZWS~_R�Y=| Ral�`UVbi=~a`bd0Y=W!h iZ`;`bR"VUWST,iZp `bY[g�iZ`Ud0~�iZ^0^ny ^0R_i=VUW R_\ |4Y=V

� �. � s m�R~_Y[WS\ pS~"`UR_\kRalzh*R_VUdng�R"W�`bT |4Y[V�`bcSR x VUi=WSTU^0iZ`bdnY[WJ� � i=TUR"\ � - � T;y�T;`UR_g iZWS\

`bc R � VUY=TUT�� ^0dnWSo[p i=^ � - � T;y�T;`UR_g�Y[W�`UcSR � ��� � � 7 �;: � � � � � � �$� � /.s mAcSdn~�ced0T�`bY�dn\SR_WJ�

`bd |<y�i=^0^F`UcSR R"W�`bdn`Ud0R"T�h i=V�`bdn~_d0hSiZ`bdnWSo d0W2VUR_^nR"�Zi=W�`�Ra�[R"W�`UTd0W2i�o[d �[R_W2TURa`Y=| �[i=hSi=WSR_T;R

`bRDl�`bT C

����������� >A@�� � B.QH����M�I�O E � ��I�I�Q M��

� dnWS~_R�o[R_W R_VbiZ^ � � `�iZo[o[R_V;T�R"dn`UcSR_Vui=V;Rt`UVbi=dnWSR_\�Y[W � W o[^0dnTUckTUR"W�`UR_WS~"R_TY[VApST;RLg�i=WJ�

p i=^n^ny�~_V;R�iZ`UR_\ V;pS^0R"T}|4Y[V � WSo[^0dnTUckTUR"W�`bR_W ~_R_T s `UcSRt\SR"`UR_VUdnY[Vbi.`bd0Y=WeY=|?`UcSR � � `bi=o[o[R"V � T

h*R_V;|4Y=VUg�i=WS~_R ~�i=WSW Y=`���RAi��=Y[d0\SR"\ dn|(dn` d0T i=h hS^0dnR_\ `UYt`UcSR�� x � R_\ � WSo[^0dnTUc T;R_W�`bR"WS~_R"T C

A��

Page 96: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

x cSdnT�~_i=pSTUR"T�`UcSR x VUi=WSTU^0iZ`bdnY[WJ� � i=TUR"\ � - � T�y�T;`bR"g `bY�d0\SR"W�`Udn|<y�|4Ram R"V h i.`U`bR"VUW$~�i=W �

\Sdn\ iZ`bR"T|4VUY[g `UcSR �� �!, ���5-�� � ' . � ��� ��TUdnWS~_R�i�hSiZ`U`UR_VUW�~�i=W \Sd0\ i.`bR g�pST�`L~"Y[W�`�i=dnW

iZ`A^nR�i=T�`AY[WSRtY=|�`bcSR � � `jyzh*R_T C

x YAV;R_g$R_\ y�`bcSdnT hSVUY[� ^0R_g s m�R d0WS~"Y[VUh*Y[Vbi.`bR_\���~_VUY=TUT�� ^&i=W o[p i=o[R hSVUY��;R"~"`Ud0Y[WS��� *udn^0Y 0R"`�i=^ C D B B D %�D � & �uY[WS^ yk|4Y[V ��i=g$R_\ � W�`bd `bd0R"T C � RLpSTUR"\�m�Y[V;\,i=^0dno[WSg$R_W�`uY[� `bi=d0WSR"\

��y p TUd0W o��d���i���� %�D � &?`UY]o[R"`�W i=g$R_T�d0W2`UcSR � WSo=^0d0T;c2`UVbi=WST;^&iZ`Ud0Y[Wk|4VUY=g WSi=g�R"T�dnW

`bc R�Y[VUdno[d0WSi=^ �[i=h i=W R_TUR�TUR_W�`UR_WS~"R_T C ��Y=`UR�`Uc iZ` d ` dnT Ral�`UVUR_g$R_^ y$\Sd I$~_p ^n` `UY�g�i3�=R�i=W

i=^nd0o[WSg$R_W�`tY=|�`bcSR�VUdno[c�`L\ R_h*R_WS\SR"WS~_dnR_T mAc R_VUR�Y[WSR$^&i=W o[p i=o[R RDl h ^0d0~"dn`U^ny V;R_WS\ R_VUT i

g�i=V*�ZR_Vui=Tui m�Y[V;\ i=W \�`UcSRLYZ`bcSR"Vu\ YzR"TuW Y=` C � Y s \ d0VUR"~"`�i=hSh ^0d0~_iZ`bdnY[WeY=| % D � &�d0T}WSYZ`

TUp dn`�iZ�S^0R�|4Y[V `UcSd0T}RDlzh�R"VUd0g$R_W�` C

� Rt~"Y[g�hSi=VUR�`UcSR|4Y[^0^nYPmAdnWSo `UcSVUR"RLT�yzT�`bR"g�Tud0W]`UcSd0TARalzh*R_V;d0g$R_W�` C

F C � V;Y[TUT �j^0dnWSo[p iZ^ � - � T;y�T�`bR_g

D CAx Vbi=W TU^&i.`bd0Y=WJ�j� iZTUR_\ � - � T�y�T;`bR"g mAdn`Uc�m�Y[VU\2i=^nd0o[WSg$R_W�`

q CAx Vbi=W TU^&i.`bd0Y=WJ�j� iZTUR_\ � - � T�y�T;`bR"g mAdn`UcSY[p `Am�Y[VU\2i=^0dno[WSg$R_W�`

������������� O I�O

x cSR�TU~"R_W i=V;d0Y,|4Y[V `bc d0T Ralzh*R_V;d0g$R_W�`$d0T�`bc R �2i=W i=o[R"g�R"W�` � p ~_~_R"TUT;d0Y[W TU~_R"W i=V;d0Y�Y=|

��� � � % % F & s mAcSR_V;R ~"Y[VUh*Y[Vbi.`bRkg�iZW i=o[R"VUT$i=TUT;pSg$R_\fiZWS\(XZY[V$^0Ra|<` `bcSR"d0V h*Y[T;`UT C � R

A �

Page 97: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

pST;R_\ i g�pS~�c�TUd0g$hS^nR_Vt`bR_g$hS^0iZ`bR$T;`UVUpS~a`bpSV;R]`bc i=W�`bcSR]Y=WSR]pST;R_\ d0W ��� � � % s mAdn`Uc

R"VUT;Y[W s � VUo�iZWSd��_iZ`bdnY[W s i=WS\ Y=T;`ATU^nY=`bT C x Y iZTUTUR"TUTAT;y�T�`bR_g h�R"V;|4Y[V;g�i=W ~_R s m Rg$R�i �

TUp VUR `bcSR$i=~"~_pSVUi=~"y Y=|�`bcSR T�yzT�`bR"g i.`Ldn\SR_W�`Udn|<y�d0WSoe`UcSR h i=V;`Ud0~"d0h iZ`Ud0WSo�R_W�`bd `bd0R"Ttd0W i

g�i=W i=o[R"g�R"W�`�TUpS~"~_R_T;TUdnY[W�Ra�[R_W�` C x cSd0T `�iZT*��\SY�R_T�WSYZ`�d0W��[Y[^ �[RAo[V;Y[pShSdnWSoR_W�`bd `bdnR_T�i=T �

TUY�~_d0iZ`bR"\�mAdn`Uc�`UcSR�TbiZg�R�R"�[R"W�`}d0W�`bY�iLTUdnWSo[^nRu`UR_g$hS^&iZ`UR s d0W�Y[VU\SR"V�`UY i��[Y[dn\]h�Y=TUTUdn�S^0R

R 0�R_~a`bTuY=|?g�R"VUo[dnWSo�|Hi=d0^npSVUR�Y[WkRal�`bVUi=~"`Ud0Y[W�h�R"V;|4Y[V;g�iZWS~_R�|4Y[V}R"W�`bdn`Ud0R"T C

x cSR$TUY[pSV;~_R$\SY�~_pSg$R_W�`LTUR"`t|4V;Y[g mAcSdn~�c�`bc R$RDl�`bVbiZ~"`bdnY[W h iZ`U`UR_V;WST iZVUR ^0R_i=VUWSR"\

~_Y=WSTUdnT;`bT�Y=| F q D s �[�&%�� Y[g�dnpSVUd �uR"mATUhSi=h�R"Vki=V;`Ud0~"^0R_T$|4VUY[g F �=� � C � Y[V�Y[pSV � V;Y[TUT �

^0dnWSo[p iZ^ � - � T;y�T;`UR_g s i=^0^�`bcSR \SY�~_p g�R"W�`UT�i=VUR g$Y[V;hScSY[^nY[o[d0~_i=^0^ yKi=WSi=^ny �_R"\ ��y

����� � � % F % &Li=W \!~_Y=W��=R_V�`bR_\ dnW�`bY \SR_h*R_WS\ R_WS~ay!`bV;R_R"T ��y�� � % F1A & C � Y[Vk`bc R

x Vbi=WST;^&iZ`Ud0Y[W �j� i=T;R_\ � - � T;y�T;`UR_g s i=^0^�`bcSR}\SY�~_p g�R"W�`UT�i=VUR�`bVbiZWSTU^0iZ`bR"\ d0W�`bY � WSo[^nd0T;c

��yLi�~_Y=g�g$R_V;~_d&iZ^[g�iZ~�cSd0WSR�`bVUi=WST;^&iZ`Ud0Y[WtT;y�T�`bR_g � ��� ���d0WSouY=| x VbiZWSTU^0iZ`bdnY[WS��� s iZWS\

~_Y=W��=R_V�`bR_\�d0W�`bYt\SR"h�R"WS\SR_W ~"y `bV;R_R_T���y$i~_Y[V;hSpST �j� i=T;R_\�\SR_h*R_WS\ R_WS~ay�h iZVUTUR"V C � RAVUR��

`bV;d0Ra�[R_\ F � B�B \ Yz~"pSg�R"W�`bTui=T ��� �!, ��� -�� � ' . � ��� � C

� R i=~_~"pSg�pS^0iZ`bR"\�`UcSR�`UR_T�` T;R"` YZ|S\SY�~_pSg$R_W�`UT ��yLi�TUdng�h ^0R �=Ray�m Y[V;\ TUR_i=VU~�c C x cSR

`bR"T;`�TURa`�~_Y[WST;d0T�`bT�Y=| F1B B � Y[g$d0pSV;d �uR"mATUhSi=h�R"V iZV;`bdn~_^nR_T |4V;Y[g F �=�[� s Y[p `�Y=|�mAcSdn~�c�Y=WS^ny

% F i=V;`Ud0~"^0R_Tt~"Y[W�`�i=dnW iZ`L^0R_i=T;`�Y[WSR�g�iZW i=o[R"g�R"W�`�T;pS~_~"R_TUT;d0Y[W�R"�[R"W�` C ��Y=`UR$`Uc iZ` i=^0^

� � d0W]`UcSR�`bR"T;`u\SY�~_pSg$R_W�`bT}�*Y=`Uc�dnW]`bcSRY=VUd0o=d0W i=^��[i=hSi=WSR_T;R�i=WS\kd0W]`UcSR�`bVUi=WSTU^0iZ`bR"\

� WSo[^nd0TUc$TUR"W�`bR_W ~_R_T�m R"VUR�dn\SR_W�`Udn� R"\�g�i=W�p i=^0^ y C � RA`bV;d0R"\$`UY i��[Y=d0\ `bcSRu\Sd 0�R_V;R_WS~"R�dnW

� B

Page 98: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

-�Y�~_pSg$R_W�`UT F$B B

� ������������� ������������������� � % F � q � �

��i=g�R"T R_V;TUY[W � F(A q � % � F

� ������������� ������������������� � V;o � F F F � A@B �

Y=T;` � D F1B � % D %

x i=�S^nR�� C F ��� `�iZ`Ud0T�`bd0~"T}Y=| x R"T;`��iZ`�i

� � `bi=o[o[R"V � T h*R_V;|4Y=VUg�i=WS~_R�Y[W]R_i=~�ce^&i=W o[p i=o[R s TUY `Uc iZ` `UcSR�`bi=T*�$~�iZW]g�R_i=TUp VUR�Y=WS^ny

cSY�m m�R_^n^ARal�`bVUi=~"`Ud0Y[W h iZ`;`bR"VUWST$~�i=W \SdnT;`bdnWSo[pSdnTUc `UcSR2hSi=V;`Ud0~_dnh iZ`Ud0WSo R"W�`bdn`Ud0R"T�|4VUY[g

`bc R R_W�`bd `bd0R"T�`bcSiZ`ti=V;R�WSY=`V;R_^0iZ`bR"\ `bYki=W�y Ra�[R"W�`UT C�x i=�S^nR � C F TUcSY�mAT`bc R \SR"`bi=d0^�Y=|

`bc Rt`UR_T�`�\SiZ`�i C

������������� � ��� ��E4I �

� i=~�c�hSiZ`U`UR_VUW�i=~%��pSdnTUd `bd0Y=W T�y�T;`bR"g Y=p `bhSpz`bTLi�^nd0T;`tYZ| `bc R�h i.`U`bR"VUW�~�i=WS\ d0\ iZ`UR_T�Y[V��

\SR"VUR_\ ��y `bcSR VUi=W ��d0W o |4pSWS~a`bd0Y=W C x cSR V;R_T;pS^n`Ud0WSofh*R_V�|4Y[VUg�i=WS~"R�dnT TUc YPmAW i=T i

hSV;R_~_dnTUdnY[WJ�jV;R_~_i=^0^ o[VUi=hSc$|4Y[V�R_i=~�c]T;pS�STURa`}Y=|F`UY[hJ���2VUi=W �=R"\]h iZ`;`bR"VUWST�mAcSR_V;R��2VUi=WSo[R"T

|4VUY=g F `bY `bcSR�W�pSg��*R_VAY=|?h iZ`;`bR_V;W2~_i=WS\Sdn\ iZ`UR_T C�x cSRth i=VUi=g$R"`bR"VUT}|4Y[V}R_i=~�c T�yzT�`bR"g

i=V;Rt`UpSWSR"\�`UY$g�i.lzd0g$d��"R�`UcSRth�R"V;|4Y[V;g�i=W ~_RtY[W�i TUR_hSi=VbiZ`UR��Zi=^nd0\ i.`bd0Y=W�\ iZ`bi C

x cSRAi=T;TUY�~_d&i.`bd0Y=W Y=|�� � ~_^0i=TUT;R_T dnW `bcSR g�iZ`U~�cSR_\ hSiZ`U`UR_VUW T�i=WS\ TU^nY=`bT d0W `UcSR `bR"g+�

� F

Page 99: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

0

20

40

60

80

100

0 10 20 30 40 50 60 70 80

Pre

cisi

on (

%)

Recall (%)

Precision-Recall

CrosslingualTranslation with WA

Translation without WA

� d0o[p VUR�� C A � R"V;|4Y[V;g�iZWS~_R � Y[g$h i=V;d0TUY=W�Y=W � W�`bd `jy � l�`bVbiZ~"`bdnY[W x iZT*�

hS^0iZ`bRud0T�g�i=\ R�i=p `UY[g�iZ`bdn~�i=^n^ny��G;���������� � ����� ��� �"� � �� ;����!�&�4TU^nY=`bT ��~"Y[VUV;R_TUh*Y[WS\]`UY

� � � * ��� � s � � � * � s � � � � x ��� � � ~_^&iZTUTUR"T�� s VUR"TUh*R_~a`bdn�=R_^ y s dnW$`UcSR �2i=W i=o[R"g�R"W�`

� pS~"~_R"TUTUdnY[W T;~_R"W i=VUdnY C

� d0o=pSVUR � C A TUcSY�mAT�`bc R�hSV;R_~_dnTUdnY[WJ�jV;R_~_i=^0^�~_p V;�[R]|4Y=VL`bc R�`bY[h F1B B B h iZ`U`UR_V;WST i=~��

��pSd0V;R_\ ��y R_i=~�c!T�y�T;`bR"g Y[W `UcSR�R_W�`bd `jy Ral�`bVUi=~"`Ud0Y[W `�i=T'� C � VUY[T;T�� ^0d0W o[p i=^ � � �

T;y�T�`bR_g VUR_i=~�cSR_T i2g�i.lzdng�pSg VUR"~�i=^n^�YZ| % B�� s mAcSdn~�c d0TLTUd0o=WSdn� ~_i=W�`b^ y���Ra`U`bR"V `bcSi=W

x Vbi=WST;^&iZ`Ud0Y[W �j� i=T;R_\ � � � mAdn`Uc m�Y[VU\ i=^0dno[WSg$R_W�`9�8� D � � i=WS\ x VbiZWSTU^0iZ`bdnY[WJ�j�Si=TUR"\

� D

Page 100: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� � � mAd `bcSY=p ` m�Y[VU\�i=^nd0o[WSg$R_W�` � � F�� � C�� dn`UcSd0W�`UcSR�cSdno[ceVUR"~�i=^n^�VUi=WSo[R s � VUY=TUTU^nd0WJ�

o[p iZ^ � � � T;y�T;`UR_g o[R_WSR"Vbi=^n^ny c iZ\ ��Ra`U`UR_V hSV;R_~"d0TUdnY[W i.` `bc R�TbiZg�R�VUR_~_i=^0^t`bcSi=W

x Vbi=WST;^&iZ`Ud0Y[W �j� i=T;R_\ � � � T;y�T;`UR_g$T C � ``bc R ^0Y�m V;R_~_i=^0^?Vbi=WSo=R9��� D B�� � s `bcSR h*R_V �

|4Y[V;g�i=W ~_Rd0T}VUiZ`bc R_VAWSY[dnT;y C

x VUi=WST;^&iZ`Ud0Y[WJ� � i=T;R_\ � � � mAd `bcSY=p ` m�Y[VU\ i=^nd0o[W g�R"W�`2h*R_V;|4Y=VUg$T TUdng�dn^&i=V;^ny `UY

x Vbi=WST;^&iZ`Ud0Y[W �j� i=T;R_\ � � � mAdn`bc�m Y=VU\ i=^nd0o[W g�R"W�`�p h `bY�dn`bT�g�i.lzd0g�p g VUR"~�i=^n^ � � F � � C

x Vbi=WST;^&iZ`Ud0Y[W �j� i=T;R_\ � � � mAdn`Uc m�Y[VU\�i=^nd0o[W g�R"W�`uV;R�i=~�cSR"\ F1B�� cSd0o=cSR_V�g�i.lzdng�pSg

VUR"~�i=^n^�� �3D � � C

��������� � � ��� �� � ! ��� ��� � � � !5� �

x cSR�\SRa`�i=dn^0R_\�i=WSi=^ny�TUdnTFY=|�`bcSR�V;R_TUp ^n`�VURa�[R_i=^0R"\�`UcSR�R ��R_~"`�Y=|zTURa�[R"Vbi=^�hSV;Y[�S^0R"g�T ~_i=pST;R_\

��yk`bcSR � x T;y�T;`UR_g CAx cSR ~"pSVUV;R_W�`�Y�� � `UcSR�� TUcSR"^n| � x T;y�T;`UR_g �rT�Y[p `bh p `�V;R_T;pS^n`UR_\ dnW

\Sd�I�~"pS^n`jy�d0WkpST;d0WSo dn`}i=TAi TUY[pSV;~_R�Y=|?Ral�`bVUi=~"`Ud0Y[Wkh iZ`;`bR"VUWST C Wk`bc d0T T;R_~"`Ud0Y[Wkm�RtmAdn^0^

\SdnTU~_p TUT�`UcSRt`jyzh*R_T�Y=| \ d���R_VUR"WS~_R"T��*R"`jm�R_R"W `bcSR�TUY[p VU~_RLi=WS\�`�i=V;o[R"`u^0i=WSo[p iZo[R_T s iZWS\

`bc R_d0V}R�� R"~"`uY[W�h iZ`;`bR_V;W2\ d0TU~"Y��[R_V�y C

� � @ Q C[O E#��Q�����BP��M�C[� � ���S�SVURa��d&iZ`Ud0Y[WST�d0Wf`bc R,TUY[pSV;~_R�^&iZWSo[p i=o=R g�i�y WSY=`kcSi��=R

`bc R_d0V�~_Y=VUVUR"TUh*Y[WS\SdnWSo�T;cSY[V�` |4Y[V;g d0WL`UcSR�`�i=V;o[R"` ^&i=WSo=p i=o[R C � Y[V�Ral i=g$hS^nR s ���R_d�� �i=WJ�

*AR_WS�dnT i=W i=� �SVURa�zd0iZ`bdnY[W�Y=|�� � � � ��i=d�� ��� `�iZd������ o[Y��$�.i=d0�umAcSd0~�c dnT i=W�Y[V;o�i=WSd ��iZ`Ud0Y[W

� q

Page 101: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

mAcSY[T;R � WSo[^0dnTUc `UVbi=W TU^&i.`bd0Y=W d0Te� �[i=h i=W � R"\SR_VUiZ`bdnY[W Y=| � ~_Y=WSY[g$d0~ � V;o�i=WSd ��iZ`Ud0Y[WST;� C

� pS~�c iZ�S�SVURa��d&iZ`Ud0Y[WST$g�i�y WSYZ`��*R ^nd0T;`UR_\ d0W `UcSR \ d0~"`Ud0Y[WSi=V;y Y=|�`bcSR � x T;y�T;`UR_g C

W TUpS~�c ~�iZTUR_T s `UcSRe^0d `bR"Vbi=^ `bVUi=WST;^&iZ`Ud0Y[W YZ|u`UcSRki=�S� VUR"��d0iZ`bdnY[W g�i�y��*Re\Sd I$~_p ^n` `UY

VUR"~_Y[o=WSd��"RLiZTAi$W iZg�Rti=W \2dnT}^0d �ZR_^ y�`UY$�*R`bV;R�iZ`UR_\2i=Tui ~"Y[g$g�Y[WeW Y[pSW�hScSVbiZTUR C

� I�B ��C=I ��BPO E �?Q���� B.��M�C[��� � Y[g�R h cSVbi=T;R_T�d0W`bc R�T;Y[pSV;~_R�^&i=W o[p i=o[R g�i�y�c i��=R�g$Y[VUR

`bcSi=W Y[WSReV;R_^0Ra�Zi=W�`�`bVUi=WSTU^0iZ`bdnY[W C ��R"h�R"WS\SdnWSo,pSh*Y[W `bcSR�~_Y[W�`bRDl�`$mAc R_VURki h cSVbi=T;R

i=hSh*R�iZVUT s `bcSR � x T�yzT�`bR"g c iZT�`UY2~�cSY�Y[T;R�Y[WSR�i=g$Y[WSok`bcSR$h*Y[TUT;d0�S^nR `UVbi=W TU^&i.`bd0Y=WST C

�2Y[V;R_Y��[R"V s `bcSR � x T�y�T;`bR"g�g�i�y g�i3�=Ruitg�dnT;`�i��=R s Y=|�~_Y=pSVUT;R s iZWS\�Y=p `bhSpz` iZW�R"VUVUY �

WSR"Y[pST `bVUi=WST;^&iZ`Ud0Y[W C?x cSd0T VUR_T;pS^n`UT d0W]i�\Sdn�=R_VUT;R\Sd0T�`bV;d0�Sp `Ud0Y[W�Y=|�Ral�`bVUi=~"`Ud0Y[W�h iZ`U`UR_V;WST

d0Wk`bc R�`bi=VUo[Ra`u^&i=WSo=p i=o[R C � dno[pSVUR�� C � TUcSY�mAT�i=W RDlSiZg�hS^nRtY=| T;pS~�c,i ~�i=T;R C � pSh h�Y[T;R

i=W Ral�`UVbi=~a`bd0Y=W h iZ`U`UR_V;W � ��� � � ��� x�� ��� � � ��8�' � � � �a' �D' �Li=hSh*R�i=V;T D B `bd0g$R_TLd0W `bc R

Y[V;d0o[dnW i=^ �[i=hSi=WSR_T;R�\SY�~_pSg$R_W�` TUR"` s Y=p ` Y=| mAcSd0~�c]d `�g�i�y �*R�`bVUi=WST;^&iZ`UR_\ F$B `bdng�R"T iZT

�H�*R}i=h h�Y[dnW�`bR_\��4`bY ��� � � ��� x�� � � � s �A`bd0g$R_T i=T �Hi=TUT;pSg�R>��� � � ��� x�� � � s�q `Ud0g$R_T iZT

�H�*R�dnW i=pSo[p VbiZ`UR_\ �Hi=T+��� � � � � x�� � � � s i=WS\&D�`Ud0g$R_T�i=Ti=W,R"VUVUY=WSR_Y[p T�`bVbiZWSTU^0iZ`bdnY[W C

� Y[g$R Y=|�`bc R$^nY�m R"V�|4VUR%��pSR"WS~"y�`UVbi=WST;^&iZ`UR_\�h iZ`;`bR"VUWST�mAdn^0^ �*R Vbi=W �=R_\ ^0Y�m�R_V��y,`bc R

TU~"Y[VUdnWSo |4pSWS~a`bd0Y=W2iZWS\2T;Y$mAdn^0^���Rtc i=V;\e`bY$\Sd0T�`bd0W o[pSd0T;c]|4VUY[g�WSY[dnTUR C

� d0o=pSVUR � C � TUc YPmAT]i=W RDlSiZg�hS^nR2YZ|�`bcSR2~�i=T;R mAcSR"VUR2`UcSR ~"Y[W�`bRDlz`ei=VUY[p WS\ `bc R

W i=g$R \ d0\ WSYZ`�TUR"R_g `bY]�*R `bVUi=WST;^&iZ`UR_\ hSV;Y[h*R_VU^ y s TUY]`bc R�\SR_h*R_W \SR_WS~ay `bV;R_R |4Y=V�`bc R

� �

Page 102: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� dno[pSVUR�� C � � � l i=g$hS^nR�Y=| � `bV;pS~"`UpSVbiZ^ ��d � R"VUR_W ~_Rud0W x VUi=WSTU^0iZ`bdnY[W � � ������%#1"� ��#$���&�("��10

# �(#$�*#1"�� � ������%� � ��&�(" ��"@���/ ���1��%#�� � " � ���� �������� ����" �5�� ����� � ����("� ��"� :�����*��"�� ������("���(��

�("� �

TUR"W�`bR_W ~_R m i=TtWSYZ`~_Y[V;VUR"~"` C x cSR VUdno[c�`�`bVUi=WSTU^0iZ`bdnY[W dnTk� � �.i �;d0g�i�i=W WSY[pSWS~"R_\�`bc i.`

VUR"TUd0\ R_W�` � dnVUY�y�p ��d � �.i �;d0g�i s � B y=R�i=V;T Y[^n\ s V;R_T;d0o[WSR"\]|4Y[VUg�i=^n^ny C C C ��mAcSd0~�ceV;R_T;pS^n`UT

d0WL`bcSR}\SR"h�R"WS\SR"WS~"y �*R"`jm�R_R"W$`UcSR g�i=d0W �=R_V;���;i=WSWSY[p WS~_R"�LiZWS\�`bcSR}~"Y[g$h i=W�y,� � �.i �

�;d0g�i=� C x cSR]`bVUi=WSTU^0iZ`bdnY[W�T;cSY�mAW d0W � dno[pSV;R�� C � WSY=` Y=WS^ny TUc YPmAT dnWS~_Y[V;VUR"~"`�m�Y[VU\ �

`bVUi=WST;^&iZ`Ud0Y[WST s �Sp ` i=^0T;YLT;cSY�mAT pSWSo=Vbi=g$g�i.`bd0~_i=^ST�`bVUp ~"`bp VUR s d0WS~"^0pS\ d0WSo`bY�Y�g�i=W�y V;R_^��

iZ`Udn�[RL~_^0i=pSTUR"T Cux cSR�T�`bVUp ~"`bp Vbi=^?R_VUV;Y[Vu~�i=pST;R_T�`UcSR R"VUVUY=VUT�dnW2`UcSR \SR"h�R"WS\SR"WS~"y h i=VUT;R

`bV;R_Rtd0W ~_^0p \Sd0WSo c i��zdnWSo��;R_W \S�$i=TAi VUY�Y=`}Y=|�`bcSRtR"W�`Ud0V;R�`bVUR"R�i=WS\e`bcSR�mAV;Y[WSo \SR"h�R"WJ�

\SR"WS~"y�|4VUY[g��UiZWSWSY[pSW ~_R_\ ��`bYe�5`bcSR g�i �;Y[V�\SR"h i=V�`bg$R_W�`b��dnW � dno[pSVUR � C ��� C?x c�pST s `bc R

i=~"~_pSg�p ^&iZ`Ud0Y[W Y=|}`bc R]R_V;VUY[V;T VUR"TUpS^ `bR"\ d0W�g$d0T;TUdnWSo2`UcSR�Y[V;o�i=WSd ��iZ`Ud0Y[W W i=g$R � � �.i �

�;d0g�i=� C

����� �� � ���� ��� ��� ��� ������� ��� ������ ������ ������� ���� ����� � ���!�"�# �%$ 7 �� & ��� �� � �� 9

� �

Page 103: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� dno[pSVUR � C � � � l i=g$hS^0R Y=| x VUi=WSTU^0iZ`bdnY[W � VUV;Y[VUT �����%��� 4� ��"*���� �#$�� ���/ !�1����� !� ��� �"��

��"� ���� ��"��5�1����� !� � �%#1"� �� #$���&�("��#1"�� ��� ��� �"���"* !3��*#$�% ��� � �(����*�� �10 ��� ��"@���"� !

��"�� � �(����*���� ��� �� � !�����1��&3��� "��� �(�����*���5���� ����%�* !����� ������1� �#1�* �� ������1� �(#��

"�� ��#$�����("���� 2$#���� ��#�� ��� �"������'���� �1�� � ��� ������� � ������("��(�* ��&3�#1"�#���3����� #1 # ��#1��"

������*�� �#$����

���

Page 104: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� � I%�UG�� ����G.C[O�� ��EHO B���� G B���� x c R � x T;y�T�`bR_g g�i�y W Y=`tc i��[R$i]m Y=VU\�d0W,`bc R

TUY=pSVU~"R$^0i=WSo[pSi=o[R \ d0~"`Ud0Y[WSi=V;y s d0W mAc d0~�c�~�i=T;R TUY[g$R!� x T;y�T;`UR_g$TtY[p `bh p `dn`�d0W `bc R

Y[V;d0o[dnW i=^�TU~_V;d0h `tdnW `bcSR T;Y[pSVU~"R ^&i=WSo=p i=o[R C�x cSd0TcSi=hSh*R_WSTtWSY=`tY=WS^ny2|4Y[V�W i=g$R_Tt�Spz`

i=^nTUY |4Y[V T;R_W�`bR"WS~_R"T�mAcSdn~�c i=V;ReR_V;VUY[WSR"Y[pST;^ny T;R_o[g$R_W�`bR"\ dnW�`bY,m Y=VU\ST C � pS~�c hSVUY[� �

^0R"g�T s Y=|�~"Y[pSVUT;R s g�i�y]g�i3�=Rd `}c i=V;\]`bY \SR"`UR_~a` ��i=g$R_\ � W�`bdn`Ud0R"T}i=WS\ko[Ra`ui�~_Y[V;VUR_~a`

\SR"h�R"WS\SR_W ~"yk`bV;R_RtY=|�`bcSRtTUR"W�`bR_W ~_R C

� Y�m�R"�[R"V s `bVUi=WSTU^0iZ`bdnY[W Y=|}W i=g$R_TLd0TLR�i=T;d0R_V�`bc iZW�`bVUi=WSTU^0iZ`bdnY[W Y=|A~_Y[W�`URal�`bT ��`bc R

� x T�yzT�`bR"g ~�iZW�Y[p `UhSp `�`bcSRu`bVbiZWSTU^ndn`bR"VbiZ`Ud0Y[W Y=| i=W�pSW ��W YPmAWem�Y[VU\ C W�|Hi=~a` s W i=g$R

`bVUi=WST;^&iZ`Ud0Y[W2Y=|�`bcSR!� x T;y�T�`bR_g�m R pST;R_\�|4Y[V�`UcSd0T�Ralzh�R"VUdng�R"W�`tdnT��*R"`U`UR_V�`Uc i=W,`bc R

TUR"W�`bR_W ~_Rk`bVbiZWSTU^0iZ`bdnY[W Y=|A`bc R�TUi=g$R � x T�y�T;`bR"g C�x cSReW i=g$R_T i=h hSVUY[h VUd&i.`bR_^ y�RDl��

`bVUi=~"`UR_\e|4VUY=g��[i=hSi=WSR_T;R\SY�~_pSg$R_W�`bT}��y�`bcSR � V;Y[TUT �j^0dnWSo[p iZ^ � � � T;y�T;`UR_g s d0Weg$Y[T;`

~�iZTUR_T s i=V;R ~_Y=VUVUR"~"`U^ny `bVbiZWSTU^0iZ`bR"\KY[V�`UVbi=WST;^0d `bR_VUiZ`bR"\fdn|tW Y R%��pSdn�Zi=^nR_W�`]`UVbi=WST;^&iZ`Ud0Y[W

RalzdnT;`bT C

������� � ������������� � ��

x cSR m Y=V*�,~_^nY[TUR"T;`�`bYkY[pSV;TLdnT�� D ��� C$x cSRay�T;cSY�m R"\ cSY�m � ^nR�i=V;WSd0W ok`UYzY=^0T s � dn`bRDl�`

i=^nd0o[WSg$R_W�` s i=WS\�i=W � x T;y�T�`bR_g ~_i=W��*R ~_Y[g �Sd0WSR"\,`bY�~_VUR_iZ`bR � �. � T;y�T�`bR_g$T���R��

`jm�R_R_W � WSo[^0dnTUc i=W \ � V;R_WS~�c C�x cSR"y Ra�=iZ^0p iZ`UR_\ i �Zi=VUdnR"`jy�Y=|�g$R"`UcSY�\ST s d0W ~_^0p \Sd0WSo

Y[WSRuTUdng�dn^&i=V�`bYLY[pSV x VUi=WST;^&iZ`Ud0Y[WJ� � i=T;R_\ � � � C�x cSR"d0V�i=hShSV;Y�i=~�cSR"T�m�R_V;R�^0R"TUT�VUR"^0d&iZW�`

�A

Page 105: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

Y[W�^&iZWSo[p i=o=R�`bY�Y[^0T�|4Y=V�`bcSR �;T;Y[pSV;~_R_��^&iZWSo[p i=o=R9�Hd0W `UcSR_dnV~�i=T;R s � VUR_W ~�c ��`bc i=W�Y[p V

� VUY=TUT�� ^0dnWSo[p i=^ � � � � T;y�T;`UR_g C � W�`bc R�Y=`UcSR_V�c i=W \ s `UcSR_dnVt`UR_T�`bTtm R"VUR�g�i=\SR$Y[W�i

~_^nY[TUR"VA^&i=WSo=p i=o[Rh iZd0V$� � WSo[^nd0T;c�� � VUR"WS~�c � C�� RLRDl h*R_~a`�`Uc iZ`A`bcSRth*R_V�|4Y[VUg�i=WS~"R�o[i=h

�*R"`jm�R_R_W x Vbi=WST;^&iZ`Ud0Y[W �j� i=T;R_\ � i=WS\ � V;Y[TUT �j^0dnWSo[p iZ^ � d0T�g$Y[VURLhSVUY=WSY[pSWS~"R_\,mAdn`Uc

i g�Y=VUR\Sd �[R_V;o[R_W�`�^&i=W o[p i=o[R�h i=d0V}^nd �ZR �[i=h i=W R_TURLi=WS\ � WSo[^nd0TUc C

x cSR_V;Rti=VUR�d0W�`bR"VUR"T;`bdnWSo�h iZVbi=^n^0R_^nT���Ra`jm R"R_W�Y[pSV�m�Y[V'��i=W \�`bc i.`}Y=| � F1B � s mAcSY \ d0T��

~_p TUTUR"\�`UcSR}VUY[^nR Y=|�g�iZ~�cSd0WSR�`bVbiZWSTU^0iZ`bdnY[W�d0W$i�~"VUY[T;T��j^nd0WSo=p i=^ T;pSg$g�i=V;d��_iZ`bdnY[W T�yzT�`bR"g

mAcSdn~�c]hSVUY�\SpS~"R_T i=W � WSo[^nd0T;c�TUp g�g�i=V;y |4VUY[g ��Vbi=�Sdn~u`URal�` C x c R_d0V�T;y�T�`bR_gv`bY�Y ��`bc R

TbiZg�R h iZ`Uc i=TtY[pSV � VUY[T;T�� ^0d0W o[p i=^ � � � �T;pSg�g�i=V;d��_dnWSo�`UcSR ��VbiZ�Sd0~�`URal�` \ d0VUR"~"`U^ny

i=WS\ Y[WS^ y2`UVbi=W TU^&i.`bd0W o]`bcSR TUp g�g�i=V;y s VbiZ`UcSR_V�`Uc i=W�`bVUi=WSTU^0iZ`bdnWSo�`UcSR R_W�`bdnVUR ��VUi=�Sd0~

`bRDl�` iZWS\�TUpSg$g�iZVUd��"d0WSo$`bcSR�`UVbi=W TU^&i.`bd0Y=W CLx c R"y,c iZ\ T;d0g$d0^0i=V�g$Y=`Udn�ZiZ`bdnY[WST�\ d���R_V��

R_W�`�`UVbi=W TU^&i.`bd0Y=WSTthSVUY�\SpS~"R_\ ��y�`UcSR#� x T�y�T;`bR"g |4Y[V�`bcSR�Tbi=g$R�m�Y[V;\ d0W�\ d���R_VUR"W�`

~_Y=W�`URal�`bT s i=T�m�R_^0^*i=T�`bVUi=WST;^&iZ`Ud0Y[W R_V;VUY[V;T s m Y=pS^0\�d0W�`bR"V;|4R_V;RumAd `bc$`bcSRuTUpSg$g�i=VUd ��iZ`Ud0Y[W

hSV;Yz~"R_TUT C

x cSRe`bVUi=\SR�� Y���T s cSY�m Ra�[R"V s iZVUR]WSYZ` `bcSReTUi=g�R�|4Y[V `bc R]`jm Y i=hSh ^0d0~_iZ`bdnY[WST C�� Y[V

TUp g�g�i=VUd ��iZ`Ud0Y[WeR"dn`UcSR_VAh iZ`Uc V;R%��pSd0V;R_T�i=W � x T;y�T;`UR_g{mAcSd0~�c2~�i=W�`bVUi=WSTU^0iZ`bRtR"W�`Ud0V;R

TUR"W�`bR_W ~_R_T �HR_d `bcSR"V}`bcSRtY[V;d0o[dnW i=^�`URal�`�Y[V `bcSR�TUp g�g�i=V;y � C�x VbiZWSTU^0iZ`bdnY[WJ�j�Si=TUR"\ � � �

c i=T�i TUdng�dn^&i=VV;R%��pSd0V;R_g$R_W�` s � p ` � VUY=TUT�� ^0dnWSo[p i=^ � � � VUR"\SpS~_R"T�`bcSR�\SR_g�i=WS\ST Y[W

� x�Y[W ^ny#��pSR"V;y]`UVbi=WST;^&iZ`Ud0Y[WkiZWS\2WSi=g�R�`UVbi=W TU^&i.`bd0Y=Wki=VURV;R%��pSd0V;R_\ C

� �

Page 106: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

����� , '5)@D �! @0<%!'5) �6)@? �9 #< @.&; � ' .��

� R c i��[RA\SR"TU~_V;d0�*R_\�`UcSR}Ralzh*R_VUdng�R"W�`�i=^zhSVUR�� � � � � T�y�T;`bR"g C � dn`bc T;Y[g$R WSR_~"R_T;Tbi=V�y

c�pSg�i=W d0W�`bR"V;�[R"W�`bd0Y=W$|4Y[V T;^0Y=`��5i=T;TUdno[WSg$R_W�` s h VUR�� � � � � T;y�T�`bR_gw~_i=W$i=p `bY=g�iZ`Ud0~_i=^0^ y

d0\ R_W�`bd |<y i�TURa`]Y=|RDl�`bVbiZ~"`bdnY[Wfh i.`U`bR"VUWST�i=WS\f~"VUR_iZ`bR�� ^0^nR_\J� Y[p ` `bR"g�hS^0iZ`bR"T$|4Y=V�`bc R

R"�=R_W�`bT�TUh*R_~"dn� R"\2��ye`bc R�p TUR_V �rT���pSR_V�y C

� R \SdnTU~"pSTUT;R_\�`UcSR \Sd I$~_p ^n`jy dnW�~_VUY=TUT�� ^0dnWSo[p i=^?d0W |4Y=VUg�iZ`bdnY[W RDlz`UVbi=~a`bdnY[W�~_i=pST;R_\

��yk`bcSR�`bVbiZWSTU^0iZ`bdnY[W2YZ| `bcSRLTUY[p VU~_RL\SY�~_pSg$R_W�`bT�pSTUdnWSo]iZW � x T;y�T�`bR_g Cux cSR RDl h*R_V �

d0g$R_W�`bi=^ VUR"TUpS^ `|4Y[VR_W�`Udn`jy,RDlz`UVbi=~a`bdnY[W�T;pSo[o[R"T;`UT�`Uc iZ`tRalzhS^nY[dn`Ud0WSo�TUY[g$R � i=TUdn~�`bY�Y[^0T

i��Zi=d0^0i=�S^0R |4Y[V�`bc R TUY[p VU~_R ^&i=WSo=p i=o[R�mAd0^n^��*Y�Y[T;`?`bcSR h*R_V�|4Y[VUg�i=WS~"R Y=| `bcSR mAc Y[^0R � �� �T;y�T�`bR_g C

� R�dnW�`UR_WS\`UYudnW��[R_T�`bdno�iZ`bR mAc R"`bc R_V�|4pSV;`UcSR_V h*R_V�|4Y[VUg�i=WS~"R o�i=d0Wg�i�y��*R Y[� `bi=d0WSR"\

��yed0W�`UVUY�\SpS~_dnWSo$i=\S\Sd `bdnY[W i=^(`bR"~�cSWSd ��pSR"T�|4Y[V���pSR"V;ye`UVbi=WST;^&iZ`Ud0Y[W C x cSR_T;R�`UR_~�cSW d ��pSR_T s

d0W ~_^0p \Sd0WSo ��pSR"V;y `bVUi=WSTU^0iZ`bdnY[W Y[W RDlzh i=WS\SR"\ ��pSR_V;d0R"T]i=WS\ �SpSdn^0\SdnWSo�i `UVbi=WST;^&iZ`Ud0Y[W

\Sdn~"`bdnY[W i=V�y�|4V;Y[g h i=VbiZ^0^0R"^Z~"Y[VUh*Y[VUi s i=VUR ~"pSVUV;R_W�`b^ y�pST;R_\�d0Wt~_V;Y[TUT �j^0dnWSo[p iZ^ZdnW |4Y[VUg�iZ`Ud0Y[W

VURa`bV;d0R"�Zi=^ � F � � C

� �

Page 107: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� � ��� ����

� � � � � � �����

W�`UcSR�hSV;R"��d0Y=pST ~�c iZh `bR"VUT s m�R�dnW�`bVUY�\SpS~"R_\�`UcSR�p WSTUpSh*R_V���d0TUR"\ h iZ`;`bR_V;W \SdnTU~_Y��=R_V;y s

� � � s |4Vbi=g$R"m�Y[V*��|4VUY[g �Zi=V;d0Y[p T i=TUh*R_~a`bT C � Rkc i��[R2TUcSY�mAW `bc iZ`$d ` d0T h�Y=TUTUdn�S^0R

`bY,g�i3�ZRei=W i=pz`bY[g�iZ`bdn~�hSiZ`U`UR_VUW \SdnTU~"YP�=R_V�y hSV;Yz~"R_\SpSV;Re~_Y[g �Sd0WSdnWSo \ Yz~"pSg�R"W�` VUR��

`bV;d0Ra�=iZ^�iZWS\]h iZ`;`bR"VUWeTU~"Y[VUdnWSo p TUd0W o i x � X � � �j� i=T;R_\�|4p WS~"`Ud0Y[W C � R�c i��[Rti=^nTUY \ d0T��

~_p TUTUR"\�cSY�m |4pSV;`UcSR_Vtdng�hSV;Y��[R_g$R_W�`dnW�Ral�`bVUi=~"`Ud0Y[W,h*R_V�|4Y[VUg�i=WS~"R g�i�y2��R$i=~�cSdnR"�=R_\

��y ~�cSY�Y[T;d0WSoei]�*R"`;`bR"V�Ral�`bVUi=~"`Ud0Y[W,hSiZ`U`UR_VUW,g$Y�\SR_^ C�x cSR h*Y[V;`bi=�Sdn^0dn`jy]Y=|�`bcSR � � �

|4VbiZg�Ram Y[V'�ki=~_V;Y[TUTu^&iZWSo[p i=o=R_TAc i=Tu��R"R_W2TUcSY�mAW ��y�o[dn��dnWSo$i=W2RDl i=g�h ^0RtY=| i ~_V;Y[TUT �

^0dnWSo[p iZ^ � T;y�T;`UR_g s hSV;R�� � � � � T;y�T;`UR_g C � Y�m Ra�[R"V s `bcSR"VUR�dnT WSY V;R�i=T;Y[W]m RT;cSY[pS^n\

T;`UY[h�TUR_R ��d0WSo |4pSV;`UcSR_V}dng�h VUY��[R"g�R"W�`uiZWS\kh�Y=`UR_W�`bd0i=^ i=h hS^0dn~�iZ`Ud0Y[WST C, Wk`bcSdnT}~�c i=h `UR_V s

m�RkmAdn^0^�\Sd0T;~_pST;T `UcSVUR"RkY=|�`UcSRehSV;Y[TUh*R_~a`bT$Y=|A`bcSR � � � |4VUi=g�Ram Y=V*� � W i=g$R_^ y s `bc R

� B

Page 108: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

d0g$hSV;YP�=R_g$R_W�`Ad0WkV;R_~�iZ^0^ ��yeh iZ`;`bR"VUW�Ralzh i=WST;d0Y[W s `bcSR�d0g$hSVUY��=R_g$R_W�`Ad0WkhSV;R_~_dnTUdnY[Wk��y

VUR"^0Ra�=iZWS~_RA|4R_R"\S� i=~:� pST;d0WSo�\SdnTU~_Y��=R_VUR"\]Ral�`UVbi=~a`bd0Y=W�h i.`U`bR"VUWST�i=WS\ `bc R�i=h hS^0dn~�iZ`Ud0Y[W `UY

Y[WJ� \SR_g�i=WS\kdnW |4Y[VUg�iZ`Ud0Y[W�Ral�`bVUi=~"`Ud0Y[W C

� ��� ��� �������� � ��� � �

��Wkdng�hS^nd0~"dn`�i=TUT;pSg$h `bdnY[WeY[Wkh iZ`;`bR_V;Wk\Sd0T;~_Y��[R"V;y s dnWS~_^npS\SdnWSo `bc R � � � |4Vbi=g$R"m�Y[V'� s

d0T�`bc iZ`�i ^0i=VUo=R W�pSg��*R_VeY=|L\SY�~_pSg$R_W�`UTe~_Y��[R"V�g$Y[T�`eY=|t`bcSR,RDl�`bVbiZ~"`bdnY[W h iZ`;`bR_V;W

�Zi=VUd0iZ`bdnY[WSTLd0W i,o[dn�=R_W \SY[g�i=dnW C W hSVUi=~"`Ud0~_R s cSY�m Ra�[R_V s `bc R_VUR�i=V;R]�Zi=VUdnY[pST ��d0WS\ T

Y=| \Sd I$~_p ^n`bdnR_TmAcSdn~�c�hSV;R"�[R"W�` `bc R�\SdnTU~"YP�=R_V;R_\ T;R"`LY=| RDlz`UVbi=~a`bdnY[W�h i.`U`bR"VUWSTt|4VUY=g i

h i=V�`bdn~_pS^0i=V TUY=pSVU~"R�`URal�`�|4V;Y[g ~"Y��[R_V;d0WSo�g�Y=T;`AY=|?`bcSRtR"�=R_W�`bT�d0W�i WSR"m `URal�` C Wk`bcSdnT

TUR"~"`Ud0Y[W s m�R VUR"h�Y[V�`tY[pSVhSV;R_^nd0g$d0W i=V�ykT;`UpS\ y�Y[W i=W�pShSh*R_V �j�*Y[pSWS\�dnW `bcSR ~_Y��=R_VbiZo[R

Y=|}\ d0TU~"Y��[R_V;R_\ RDlz`UVbi=~a`bdnY[W�h i.`U`bR"VUWST�|4VUY[g i�WSR"mAT;h i=h*R_V�~"Y[VUh pSTL|4Y[VtY[W R�y[R_i=V�iZWS\

hSV;Y[h�Y=TUR i�g$R"`UcSYz\ `UY]� WS\�WSRam RDlz`UVbi=~a`bdnY[W,h iZ`;`bR_V;WST�`bcSiZ`\SYeWSYZ`ti=hSh*R�i=V�d0W `bc R

TUY=pSVU~"R�`URal�` C

��� B � G B.��O M�C � G �� >���� �(� � B�� � dnWS~_R�Y[pSV$\SR"�SWSdn`Ud0Y[W Y=|RDl�`bVbiZ~"`bdnY[W h iZ`U`UR_V;WST

pST;R_T ��i=g�R"\ � W�`bdn`Ud0R"T�i=T i2g�iZ`b~�cSdnWSo2�Zi=V;d&i=� ^0R s `bc R]i=~"~_pSVUi=~"y�Y=|}`bc R � � `bi=o[o[R"V

^0dng�d `bTu`bcSR pShSh*R_Vt�*Y[pSWS\ Y=| i=W�y � `�iZT*��T�� W�Y=pSVthSVUR"^0d0g$d0WSi=V;y�T;`UpS\ y�Y[W ��� � �

� `bVUi=d0WSdnWSo \ iZ`bi s Y=WS^ny � q � Y=| R"VUT;Y[W s � VUo�iZWSd��_iZ`bdnY[WKi=WS\ Y=T;`�d0WST�`�i=W ~_R_T2i=V;R

� F

Page 109: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

~_Y=VUVUR"~"`U^ny ~_Y��[R"VUR_\ ��yfY[p V � � `�iZo[o[R_V�� � � d0W ~�� `Uc��,d0W���`�i=W ~�����`bc iZ`]~�i=WSW Y=`e���

� �"~_Y[o�Sd���_\ ��yL`Uc�� � � `�iZo[o�� � mAd0^n^�� �"��� � ��� g�iZ`U~�c��_\ ��y i��y��Dlz` � i=~a`bdnY���h iZ`;`�� � ��� s

`bc d����Uc YPm��A`bc ��^nd0g$dn`�Y=|��Dl�` � iZ~"`bdnY��k� i���_\�Y�� � � d�� �;`�i��S~�����

�������� B�� >A@�� � ��������� ��� ��� B�� � � � � � C � � � � � x c��!�"�a`�Y=|#�al�` � i=~"`Ud0Y���h iZ` �

`�� � ����d$�%�Dlzh i�S\��"\���y � �_hS^0i=~_d$�So�im�Y � \�d$� `Uc��A~_Y���`"�al�` YZ|Fith iZ`;`�� � �$mAd `bc$i�SYZ`bc�� �

m�Y � \ `Uc iZ`Ld��&���_g�i��`bdn~�i=^n^ny'����p dn�Zi=^����` `bY�`bc���Y � dno[d�� iZ^ m Y � \ � � d0o[p � � � � F �UcSY�m��

cSY�mwi����"mwh i.`U`�� � � s +)(+* � )-, �%�� �1�%��+�.�/ � , - � � �0*21 8 � � s ~_i�����$Y[� `�iZd����"\���y � ���

hS^0i=~_d$�So�i���� � � s ��� � �43 ��5 � s mAd `bc$`bc��A��� � � s � � 1 ��76 s d���i�8�Dl d$�;`Ud��So�h iZ`;`�� � � +)(+* � )-,

#1"�"�(�*"� ! +�.�/ � , - � � �0*21 8 � � � �uY=`��}`Uc iZ`�`bc��A��� � �:9 ��� 1 ��76<;Lg�i�y Y��S^ny i=hSh���i � mAdn`Uc

i�\Sd ��� � ���`8�UpS� ���_~"`�i��S\ `bcSiZ`�`Uc�� � � d��=�SY�Y�~_~"p �"� ���S~�,Y=|�`Uc�� h iZ`;`�� � � s +)(+* � )-,

���� �1��� +�.�/ � , - � � �0*21 8 � � s d��e`bc��>�;Y[p � ~�t\SYz~"pSg!����` �

� `bc��]|4Y[^n^0Y�mAd�� o dn`"�_g!� s m?�k\Sd��;~_p���� `Uc��@�alzh i����UdnY�� Y=| F1B B B h i.`U`�� � ����mAc d0~�c

i � � \Sd$�U~_Y��� � �"\,p��Ud$�So�`Uc�� � � � | � i=g!�"m�Y � � � � c i=h `"� � q i�S\ `Uc��&�;pS� ` � ��� g$Y�\��_^

\Sd$�U~_p �"�"�"\�d$� � �_~a`bdnY�� � � q ��i=hSh ^0d��"\ `bY FBA�B B � �"` � d��a���_\�h i � i=o � i=hSc���| � Y[g{`bc�� �C�"m

� Y � � x d0g!��� F �=� A �

� ��~_Y�S\SpS~a`��_\ i}h � �"^0d0g$d��Si � yD�;`UpS\ ytY=|zh iZ`;`�� � �E�Dlzh i���;d0Y��L��y � �_h ^&i=~"d��Soui m Y � \

d���i�F�Dlz` � i=~a`bdnY��]h iZ`;`�� � �]��y�dn`��%�"�"g�i���`Ud0~D�%��pSdn�Zi=^$����`�� � x c��-� �"m h iZ`;`�� � �F�"�a` m i�

GIH ��� � $ ���� �KJ �� & �������� � �� �&ML � ����BLNOJ�� � � � QP �SR �� � �� UT��WV �����4X �?T+Y ��� & &��DZ [\�] ��

������ � �^L � �� ���_N ���&��� �a`������ �_N�� � ������� ��N � � � ����� � ��� �����N� �����WN ��� � �N �� � �� � �� � ����� ��������b

� D

Page 110: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� dno[p � � � � F � � l i=g$hS^��2Y=| i.`U`�� � � � lzh i���;d0Y�� ��y m�Y � \ � �_hS^0i=~��"g=���` � � � "�4

�*#$������%"* 5#$�%�������#1��"��� ��3������� #1 ���"�� � � �G"����G%'� ��"���� ���� �����"�� �*#$������%"� 54��&��� ��� �1�����

45�1�%�� ��� ��� � ��� #1"�� !��� � ��" ��� �#��/ 4 �1�%� �1���(�� �

Y[� `bi=d�� �_\,��y,i=\ \Sd��So@� �"m�h iZ`U`"� � ���`bc iZ`i � ��~ � �_iZ`��"\���y � �_hS^0i=~_d$�Soei�m�Y � \�d$��i�

�alzd$�;`bd$�So$h iZ`U`"� � ��mAd `bck`bc�� �"�"g�i��`Ud0~�iZ^0^ny8�%��pSd �=iZ^�����`Am�Y � \ � x c��Lm�Y � \ ~�i��S\Sd0\SiZ`���

|4Y ��� �_hS^0i=~��"g=���`�i � ��|4Y[p��S\���yep��;d��So � Y � \ �C�"`�i�S\em�Y � \�~_^np��;`"� � d$�So �

� � � B � � � � � Y � �_i=~�c m�Y � \ d$�2`Uc�� h i.`U`�� � � s ~ � ��iZ`"� i�~"^0p���`�� � mAcSY���� g=�"g+�

��� � �Ai � ��`Uc��c�yzh�� � ��yzg �4Y������j^��a���"^ pSh � i�S\ec�y�h*Y���yzg!�6� i=^n^�\���U~���S\ i���`"��d$�

`Uc��` � ��� Y=|�`bc��`bi � o��a`}m Y � \�p��Ud$�So � Y � \ �D�a` �

�� � � � � � B4� ����� � �"�"`�YZ| m Y � \�� d�� ~ � �_iZ`��"\�| � Y[g�i=^n^�`Uc�� m�Y � \�� d$� `bc � � �a` � d$�"��_\

\SY�~_p g=���`"��� � Y � \ ~_^np��;`"� � d��So d�� p����_\ `UY�g!��i�;p � ��~_Y��`"�al�`bpSi=^�h � Y�lzd0g$dn`jy

Y=|Am�Y � \ ��� � �ep��"�"\ `Uc�� � � � x � h i=~:�.i=o�� � � F s1� D � i� \ p��"�"\ `Uc��eh i � ����`

i� \�~�cSdn^0\ � ���8� Yz\��� d$�$`Uc���\ �_h����S\���S~"y�` � ��� s i�S\�� i=o�� Y=| � m�Y � \ ��mAd `bcSd$�$`jm�Y

� q

Page 111: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� i.l����_~_i=^0^

� i���_^nd����5� F1B B B h i.`U`�� � ��� � A �

� Y � \ �C�"` � �

� Y � \ �C�"` � � ^np��;`"� � d$�So � �

��^n^ � � � � q

x iZ�S^�� � � F�� iPl dng�pSg � �_~_i=^0^$� d�� ����`Udn`jy@�Dlz` � i=~a`bdnY��e`�i�'�

m�Y � \ ��i� |��_iZ`bp � ���A|4Y � m�Y � \�~_^np��;`"� � d��So �

x iZ�S^�� � � F �;cSY�m���`bc �2g�i.lzd0g�p g � �"~�i=^n^}Y�� `bc�������`bd `jy:�al�` � i=~"`Ud0Y�� `�i��*� mAdn`Uc

`bc �F�alzh i� \��_\ h iZ`;`�� � � �"�a` � � d � �;` s dn`�m i�U�UcSY�m�� `bcSiZ` `Uc��]g�i.lzd0g�pSg � �_~�iZ^0^�Y��

`bc �!���`bdn`jy �Dl�` � iZ~"`bdnY���`�i�'� ��y,`�i3��d�� o2iZ^0^ � � d�����`�i�S~���td�� � q � s `Uc�� � ����` YZ| `bc �

d�� �;`�i��S~���u~_i���SYZ`����t~�i=hz`bp � �_\����"~�i=p����LYZ| � � � �"~_Y[o�� dn`bdnY��]h � Y[�S^$�_g!��� � cSdn^���`bc �

~_p �"� ���`D�;pS� ` � �����jg$Yz\ �_^ i=~�c d��"���� A � � s h*Y=`"����`bd0i=^0^ y s p��Ud$�So Y��S^ y � Y � \ �D�"` s `bc�� �Dl��

h i� \��_\$h iZ`;`�� � �Q�"�"`�i=~�c d��"��_\ � ��� � �_~_i=^0^ � x c �u~"Y[g��Sd$� iZ`Ud0Y���YZ|��*Y=`Uc � �_hS^0i=~��"g=���`

g!�"`bc Yz\��AiZ~�cSd��a���_\ � � � �

� Y�m?�"��� � s d�� h � iZ~"`bdn~�� s `bc�� �Ud ��� Y=| `Uc�� �Dlzh i�S\��"\ h iZ`;`�� � � ���"` d�� F1B `bd0g!���

�Sdno[o�� � `bc i��]`bc���Y � d0o=d�� i=^ hSiZ`U`"� � �@���"` s mAcSd0~�ced$� ^0d ��"^ny `bY \ �_~ � ��i���h � �"~_d$�Ud0Y� � ` d$�

���"~������bi � y `bY��O�S\�i�'��I�~"d����`�m i�y `UY]d0\ ����`bd |<y�`Uc�� � �_^��a�Zi��` �alzh i� \��_\�h iZ`;`�� � ��� s

i�S\km?��^$��i����`UcSd��ui� |4p `Up � �m�Y � ���

� �

Page 112: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� � ��� ��� � � � � ��� � � ��� � ����� � ��� � � �

��� ��� ��� ���"����� � � � � �� � ���� � ��� ���? ��� �'����� ��� ������� � ��� ��� � � � � ���? � � � � � � �

� � � � ����� � ���� � ���! � ��" �#� ��� � ��"� � � � � � �J� � � � � � � �$� � � � � � � �&%'� �� � � � � �

� � � � �(��� � � � ��� � � �� � � �� � ��� � ��� ��� � � ����� � ��� � � � � � � � � ��� � � � � � �� � ���

) � � �*� ��� �?� ��� � � � � ��� ��� � �+��� � � � � ��� ��� �,���"� �- � � � %.� �� � � � ��� � � � ! ��/ � � ��/��� � �

��� � � ��� � � � �0" !1 � � � � !1! � � � ��� � �#� �!#! � �

� � ��� � �+� � � � �� � ���#��� � � � � �����������"� � ��� � � ����� � � � ��� �32 � � �54 � ��� � 9 � " ��� �

� �76 ��8 � � �$� � � � � � � �&%'� �� � � � � ��; ����� � � � ����� � � � ��� � � � ! ��/ � � � � ��� � ��� � �"� �

� ����� � � � �$� " � � � ) � � ! �9�$� ��� � � � � � �� � � ) � � � ��� � ����� � � � � �"��� �:��� �$� � � �

� � � � � � � � �$��/ �! �;� � � ! � � �0��< � ��� !� � ! ��/ � � � � ��� � �� � ��� � �=4 � ����� �$� � ��� � � � �

� �� � � ) � � �*� ��� � � � ��� � ��� � ��� � ��� ����� � � � � �>< � � � ������� � � � � � ��� � � � �$� � ��� �;� � �

� ��< ��� � � %'� �� � � � � � � ��� � � � �+���?�������� � � � �

4 � � � � � � � � � � �A@ � �B�$� ��� � � � � � �� � � ) � � � � " ��� � � � � �$��� � /� � ��� ��� �

"C� ����� � �B4 � � � � � � ���0"C� ���� � " � � /.� � �� ��� �>�"� � ��� � %.� �� � � � � � " ��� � � ��� �$� � ��� �

����� � � ���+��� � � �D4 � �E� ! � � �"���#��� � ��� � ) � �1� � �$� ! � � �D� � ��� ����"� � �$� ��� � " � ��� � � � �

����� � � � � �"�� � � " � � � A ��� � < � � � ��� � � � < �E� � �� � � � �.���F�-�"� � � ��� � %.� �� � � � � � " � �

� � � ��� ��� � � �=��� � � � �#� �!#! � ���+� �#/ �! ��� � � �� " � �� ��� � �$��� � /� � �G�$� � � � � � �����F�

@ � !1� � � �H�� � � �F2 D � � � � �� " ����� �!#! ��� �'� �$�I� � J � � � � �+����� �32 D � � � � ) " � �� �"��� ! �K/�� !" �� " � �� �"� �$� � ��� �$� � � � � � �@� %.� �� � � � � � � � �F� �L� ��� � � � ! � ���M��� �L� � � �! � � � � �� � �

N A

Page 113: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

�$� � � � � � " �$� �U� %.� �� � � � � � " ��� � � ��� �

� �1��� � � � � D � � � ) � ������ ���! � � � � � � � � ��� � � � � ��4 � � ��/��� � � � � ��� � � � �;� � � ! �

� � � ���� ��� � � ����� ! � ��� " ��� � � � � � � � ��� � � ��� � � ��� � �� � " ��� � � �>� � � � " ���$� � � ��/��� � ���

) � �#� � ) � !1! < � ��� � @ � �! � � � " � � ��� ��� � � � � � � � � � � �

N �

Page 114: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� �#��� � � � � D �� � � � � ) �9� � �� � �$� � � � � � � � � � � �$� � � � � � � �&%.� �� � � � � � � � � �

� � � �

N A

Page 115: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� ��� ��� ��������� ��

� F � ; � �B5 � ���8 � �� �53 6 � ���*8���6 ��� � � � ��� ��� �� ��� �W6 �����8 � ��� ���3 ��� ����5 ���������1<����7�� � ! � � < � ��� � � � � /�� �E< � � F N�N A � � � � � � � � �$� � � �

��D � ; � �B5 � ���8 � �� �53 6 � � � �"!����O6 � � � � � ��� � � �� �����W6 ����3<8 � � � ���3 ��� ����5 � �����#�1<%$&�7� � � � � % � ' �E� F N�N � �

�I��� " �)(*( )=)=) �H� � ! � � �$� � � � � / ( � � � ( � N � � B D ( � � ! � � � " � � ����� � � ( � � � ( �

�32 � � ��������� < ��� �'� ��� ��� � ) � � ���B4 � ���F� �D� � � � � � � �+� � � � � � �� � � � � � � ��� �

� � � � ) � � " � � � ���� � � � < � � � � � � � � � �9�$��� � /� � � �$� � � � � � �I� � � � � � � � � � � � � �

; � �B5 � ���8 � �� �53�6 � �+�46 �-,?3 ��� 1 � ���.� ���3 ��������5 � �� ; � 8 ��5K8 1�/ � � ���� ; � ��5W6 8 5 � �53

0 � �21 / ���� � 8 � � �6 �43 ���� �5� ; 0 � � <76984826:�7�4D<;*; D �

�>= � � � ����� � � ���1� �I� ����� � � � � �$� � �� / � � � � � � ) < �!#! � �&%.� �� � � �$� � � � ! � � � ��� � � ���

! � ��� " ! �$� � � %.� � � !#! ��� � � � �����@?I� ; ���B5 � ���8 � �� �53&6 � �5A6 �CBD�E�GF �O6 ��� � �6 8 �� � /� ���3 ��������5 � �� � 8���8 6 � /IH 8J3 � ���K8 � �K�4D<;*;*;�

N �

Page 116: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� A � � � �D�'� � � � � � � � ������� � � � ��� % � � � � ��� � � � � ?I�F� � � � � � � � � ���$��� � � � � ! �

� � � �� ����� ���� � � " � � � � ��� ��� � �� � � � � � � � � ���D�"� � �$� � ��� � � = �-?I�

; � �B5 � ���8 � �� �53&6 � ��� �43 �76 ��� � � � ��� � � �� ��� �W6 �����8 � �.� ���3 ��� ����5 � �������1<��<�7�" ���� F�� N�� F� � � F N�N D �

� � � �C������� � � ��� ! � � � � ��� ! ���� � � � � � ) � � �-%.� �� � � ���F� " �� " � �� �"�� � � ���

" ���!1! � ! � � � " ��� ��?I� ; ���B5 � ���8 � �� �53-6 � �� ��6 � � � �W6 8 � � �53-6 � � B � ���B5K8 �6 8 ���3 ��

� �76 1 3 6 �6 8 �� � / H 8 � �3'8 �W6 8 5 �K� 4 � � ! � ���"��� � �� � ���� D<;<; F �

� � � � / � � � � ! � � � � 4 ��� � � � � � � !#! � � ��� < �$� ��� � ! < � ! � � � � ��� ! < � ! � � �� �

) � ��� � � � � �� �$� ��� ��4?I� ; � �B5 � ���8 � ����53%6 � ��� � ��� � ���3 ��������5 � ���� �76 1 3�6 �6 8 �� � /H � ������8 � ��� � � ����7� F N�N � �

� � � � � � ����� � � �$� � �-%.� �� � � ���F� " ��� � � ��� � � � � ! � � � ��� � � ��� ��� � ) � ��!1� ) � � �

) � < � ?I��� �:3������ �������� � 1 �6 �46 �5F �O6 ��� � �6 8 �� � / � ���3 ��������5 � ��C,���6 �����8 � �� �6 �43 ������ �K5�� � � / � ��� , ������ �����"! N�N � �

� N�� � �1� � � ! � � !1! ����� � � � � �� � � ��� ��� � � �D����� " � � /.����� � �;� � � ! � �$� � � � � � �� � � � �

� !1 �"��� @ � � � � � ��?I�$# ���B5 � ���8 � �� �53C6 � ��% �78 �O6E� F'&�� B(� � ���3 ��� ����5 � �� ,B6 1 8 �*)

8 5 � / � �W6 � �:� 8 �,+ �6 3 � � / H ��� �3���� �-# ���B5 � � �K8 � � ����/. ���*� H ��� � ��� �� 1 �� ���

! N�N�N �

N�N

Page 117: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� ! ; � ��� � �� � � � @ ��� � � � � � � � > � � � �F��� " �! � � ��� �� � ��� ��� �� < �#� ��� �;�

� � � � � � �F� ��� � � � �#?I� # � �B5 � ���8 � �� �53 �C��� 69848������<;*;<=�

� !�! � �� ��� � � � � ��<F< ��� � � �F� ! � � "F" � ! � � � < � �G4 ��� � � � � � � � �#� �� � � � � /.� �

?I� !1 � ! � � � ?+?I� � � � � � � � � �! �� ����� � � " � � � � ��� ��� � � � � 4 � � � � � � � � �D��� � �$� �

��� � = � ?I� # ���B5 � ���8 � �� �53D6 � � � �43 �76 � � � � � ��� � � �� ��� �W6 �����8 � � � ���3 ��������5 �

��� �#� )��<�7� " ������� � � � � ��A � ! N�N � �

� !�� � � � � ��� � � � � � � � � ��� � � � ���F� ��� �$� � � � � � �U� %.� �� � � � � � " ��� � � ��� � � ��� � % �

" ! ���� H �K5W6 3 ����+ �46 � �?8 � � �76 1 3�6 ���+� 5K8 ����5 �K� ! ;<=4;�� = � ����� � ! N�N � �

� ! 2 � ? ��� �*F��O6 ����� �W6�� �� � � �43 ) � � � � ��6 � � 8 / 8 � �3 � / � F �O6 ��� � �W6 0 8 � � �53���� ��� � / �6 8 ��� 8 / 8 � �3 � / � � �I��� " �)(*( )=)=) � � � < � � � ��� ( � " ( � ��� � ) � � ( ��� � � � ��� � ( � �$� � ( �

� ! = � ����� 4 � � � � � � � � ? � � � !#� � / � ��� � % �1� �!�� � � ) ! � � ��� �%�+� �$��� � � � � �$� �

� � � ) ! � � ��� < �"� � ��� �$� � � � � � � � %'� �� � � � � � � F�, , , ��� ��� � ��5W6 8 �� � �� 0 � �21 / )���� � ���� � �6 � , � ��8 � � ��� 8 � ��� " ���� � ! 2 � � � = � � � � ��< � � ! N�N A �

� ! A � � � � � � " �7 ��� � � � ��< ����� � � � ��� � � � � !1� ��� � � ? � � � � � � � � � ���'4 � � � � ��4�

� ����� � � " � � � � ��� ��� � � ��� � � � � �C�"� � �$� � � � � =�<?I��# � �B5 � ���8 � �� �5326 � � � �43 �W6 �� � � � ��� � � �� �����W6 �����8 � � � ���3 ��������5 � ������� )��<�7� " ����� ! ��� � ! � A � ! N�N � �

! ;*;

Page 118: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� ! � � � ��� � � � � � � � � � � % � 1 ��� � ���-� �� 1 � � / � ��8 5 � / B � � / � � 8 � ��� � �W6 �K6���%�� � B�+ �

! N�N � � �I��� " �)(*( )=)=) � � � � � � � � � � � � � � � � " ( � ! I� ��� � � � �� ( ��� � � � � �I� � ! �

� ! � � � ��� � � � � � � � � � � � � �� � � � � � � � � � " � ��� � �� " ������� � �

" �� � �� ��� ( � �"� � � � �F� � � � � � �! � � � � � ?I� # ���B5 � ���8 � �� �53 6 � � � ���� )

��� � 1 �� � � ��� �43 / � + �6M3 � � /�H ��� �3���� � ��� ���43 ��5 � �K� ! N�N = � �I��� " �)(<(7)=)=)

� � � � � ���� � � � � � � � � � � � " ( � ! � ��� � � � ��� ( � � " � � �I� � ! �

� ! � � � � � � � � ��� � � � � � � � � � � � ��� !#! � �+� � �F� � � � � ��� ��� � �������� �F��� ��� � � ��

� ! ��� � � � � ��� ! �K/ � ��� � � � � ! ���F�J��� � � � ��� � � ��� �� ?I� �$� � � � � � � ��� � � ���K/ �! �

?I� F���3 �� 6 �6 8 �� # ���B5 � � �K8 � � ����-� ��� ��� �K6 ���O6

� 1 �K5K8 � / F � �W3 � �� � ����� � H ��� )�3���� � F���3 �� 6 �6 8 �� ���W6 � 8 �"!� / � �<;*;�2�

� ! N�� � � � � � ��� � � � � � � ��� �$����� � � �1� � � � � �� � � � � ��� ��� � � �D� ! � �5� � � � � � � � � �

! � � � �D� � /�� � ��� � � ���D� �"� � � � �"� ��� � �� ���� � � " � � � � ��� ��� � ��� � �����U����� � � � �

���"� � �$� � � � � = � ?I�/# ���B5 � ���8 � �� �53'6 � � � �43 �76 ��� � � � ��� � � �� �����W6 �����8 � �� ���3 ��������5 � ������� � �7� " ������ � � � � � � � ! N�N � �

� �<; � � � � ���� � ��� � � ������/����� � � � � ! � � � � � � � � � � � ! ��� ' ��� ��� ! �$��� �7 � � � � � ��� � �

� � � � � � �$� � � � � �-��� � � � ��� � � � ����� � ��� � ��� � �.� � � � � � � � �$� � � ��� � � � �

?I� # ���B5 � ���8 � �� �53 H � ,@� )769848������ ��� < � � ��� � � � �F� �! ���<;*;<= �

! ; !

Page 119: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� � ! � � ��� ���� � ��� � � �����K/����� � � � ��� � � ����� � � ! � � � � � � � %.� � � � �! � � ��� � ��� � � �

� �.� � � � ��� � � ��� � ��� �7�'� � �$� �9��� � � � ! ��� � � ?I� � � ��BD� H 69848�� � �������� � 1 ��

� 3 / 6 8 1 ���5,�� 1 ��� � �K8 �� � � F �O6 � ��� �6 8 � � # ���B5 � � �K8 � ��� � � ��� ! � � � � " �$� � �<;*; = �

� � � � � ��� �1� � �! � � � � � ��� � � � � � � � � ��� � � � ! � ��� ��� ��� � � � � �#/�� ! � �� � �$� � ��B �W6 8 � 5K8 � /F��O6 � / / 8�� ����5 �K���<;'� ! N � 2 �

� ��2 � 4 ����� � � � � � !1! � � ��� � ���! � � � � � � ����� � � � � B �W6 8 � 5K8 � / F �O6 � / / 8�� ����5 �K� ! � � ! N � � �

� � = � � �� � � � � ��� � � � � � � � � � � ��� �C��� � � � ��� � � � � �1�:� ���0" � �$� � � ��� / � �

� ����� � � ��� � �1� �! �! �1�� � �� � �;� � � ! � � � �76 1 3 6 �6 8 �� � / H 8 � �3'8 �W6 8 5 �K��� N�� !���! N�� A !��

�<;*;�2 �

� � A � � !1! �� �D� ! � � � � � � ��� � �1� �!1! �>� � ��� � � � � � ��� � J� �1� � � � � � � �$� � �$� �$� � � � � � �F� %

� �� � � � � � � � � � � ?I� + �6 8 �� � / � ���3 ��������5 � �� B �76 8 � 5K8 � / F��O6 � / / 8�� ����5 �K� " ����

� !�! � � ! � � ! N�N 2�

� � � � � !1! �� �D� ! � � � � � � ��� � �#� �!#! � ������ �� � �$� �E� %.� �� � � � � � " ��� � � ��� � � ��� � � � ����� �

� � %'� � ?I� B B B F�9F�B B F. � /� 6I� " �����! ;<=*= � ! ;<= N � ! N�N � �

� � � � � !1! �� �D� ! � � � �-� � �;" � � �1� �! � � � � � ��� � � ��� � � � � �#� � � � � � � � � ��� � � � � � � � �

�$� � �$� �$� � � � � � �Q� %'� �� � � � � � ��� ��� � ��� � ��� �$�����EB �76 8 � 5K8 � / F��O6 � / / 8�� ����5 �K� � A � ! ����

�! ; ! � ! 2<= � ! N�N � �

! ; �

Page 120: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

� � � � � !1! �� � � ! � � � � � � ����� � � ����� � � � � � ���F� �9�1� � � � � � �$��� �$� � ?I� �$� � � � � � �

� %'� �� � � � � � < � � � ! � � ! ��/� ! � �'� � � � �� " " �$� � � ?I� # ���B5 � ���8 � �� �53 6 � ���*8���)6 � ���O6 � + �6 8 �� � / � ���3 ��������5 � �� B �76 8 � 5K8 � / F �O6 � / / 8�� ����5 �K� " ���� ! ; =*= � ! ; = N �4 � � � ���@?�� � ���"� ( � ? 4 � � ��"��� ! N�N�N �

� � N�� � !1! �� � � ! � �&� � � ��! �� � � � � � � � � � � /.� � � � � ) � � � ��?I� � � ����� �J�$� �$� � � � � � �

� %.� �� � � � � � ����� � � � � �$� � ��� ) !1 � ��� �����?/'� � � � �"� !1 � ��� ��� " � ��� ��� � � � � � ?I�# � �B5 � ���8 � �� �53E6 � ��� �6 � F �O6 ��� � �6 8 �� � / � ���3 ��� ����5 � ���� �76 1 3�6 �6 8 �� � /IH 8 � )

�3'8 �W6 8 5 �5��� � H F +�& 6984826:�7� �<;<; � �

�32*; � � � � � � � � � � �$��� � � � � � �7 � � � � ��< � � � � @ � � � � � � � �9�1� � � � � � � � � 4 ����� �

�$� � � %.� �� � � � � � � � �2� � � � �$��� � ?I� # ���B5 � ���8 � �� �53�6 � ��� ��76 � F �O6 ��� � �6 8 �� � /� ���3 ��������5 � �� H ��� �3 ��� � � � ���43 ��5 � � ���� ,�!� / 3 �6 8 �� � H � ,@� )769848��<�7���<;*; = �

�32 ! � � � � � � � � � � �$����� � �#� � � � � � � � � � � � � � � �7 � � � � ��< � � � %.� �� � � � � � � �

� � � � � ��� ��� ��� � � � � ?I� # ���B5 � ���8 � �� �53 � �.8 �& F �O6 ��� � �6 8 �� � / � ���3 ��������5 � ��

H ��� �3���� � ��� ���43 ��5 � � ���� ,�!� / 3��6 8 �� � H � , ��6984826:�7���<;*; � �

�32 � ��� ����� � � �.� ���I� � M � � � � � � � � � � � �$��� � � �� " � �� �"� ��+� �$��� � � � � �$� � ��� �$� �

� � � � �F� %.� �� � � � � � � �<;*;�2�

! ;�2

Page 121: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

�32�2 � � � � � � � ��! � � � � � � � ���F�M�$� �$� � � � � � � � %.� �� � � � � � � � ! ��� �$� � ��� � � � � � � � � � � � �

� � � � �� � � %.� � � ��5��.8 � � H � ��� ��8 � ����2<= � !�����2�2 � � � �'� ! N�N�N �

�32<= � �.� � " � �� � � � � ��! � � � � /.� � � �$� � � � ��� � � ��� � �D�"� ! � �$����� � � � ��� � � � � � ��� � � �

� � � � 4 � � �?I� � � ����� � � � � ��� " � � �!(� �1� � � � � � � �.?I� � � � �$� � � !#! �$� � � � � � � � � �

# � �B5 � ���8 � �� �5306 � � � �43 �W6 � ���O6 � F��O6 ��� � �6 8 �� � / % �78 �O6#� ���3 ��� ����5 ����DB �W6 8 � 5K8 � /F��O6 � / / 8�� ����5 �K� " ����� ! 2 !:= � ! 2 ! N � � � � �� � ���$��� � � ! N�N A � � � � � ��� � �$� ��� �

�32 A � � �#� � � � � � � � � � � " ����"�M��� �$� � � � � � � � %.� �� � � � � � ) � ��� � � ��� � �1� �!1! � � %

� �� � � � � " ��� � � � ��� ?I��# ���B5 � ���8 � �� �53 � 6 3 ���O6 ��� ��� ���K5�� � �������� � 1 �6&6 � � �6 �.B � �O3�� / � � �W6 8 � � �5386 � � B � ���B5K8 �6 8 ��23 �� � �76 1 3�6 �6 8 �� � /#H 8 � �3.8 �W6 8 5 �K�

4 � � ! � � �"��� � �� � ���� �<;*; ! �

�32 � � � �#� � � � � � � � � � � � � � � � � � � ��� ��� � � � �! " ��� � �$� � � � ��� � � ��� � �1� " ��� � � �

��+� �$��� � � � � �$� � � " ������� �$� �$� � � � � � �U� %.� �� � � � � � � ?I� # ���B5 � ���8 � �� �53�� 3.6 ���

H ��� �3���� �-� �K5�� � � / � ��� � ���3 ��������5 � ������� �����2�7� � ���9�$��� � � � �E� �<;<; ! �

�32 � � � �#� � � � � � � � � � � � � � � � � � � ������� � � � �! " ��� � �$� � � � � � � � �"� ! �$� ��� �! ?I� �$� � � � � � ��� %.� �� � � � � � � ��� � � � �-/ �! � � � � � �@?I� # ���B5 � ���8 � �� �53E6 � �-69846 � F �O6 ���*)� �6 8 �� � / � ���3 ��������5 � ���� �76 1 3 6 �6 8 �� � / H 8 � �3'8 �W6 8 5 � � ��� � H F +�& )�8��<�7��� ;*;<= �

! ;<=

Page 122: nlp.cs.nyu.eduW`KdM S\_ ESxpNVXjKNTeO]H P RP\Gc^ P\W ^IKjSUT G7 ^cGITKjg(P\H X V^cOJGI[^cGIKdE KNTeOJGcO s-K 8* xO]MJP\pdOJGISUT gP\HmUMLS@z&T GIT GcXY[SUMLO]P\TpdKn_aSUM& RP\MJGcSUVHwP\[[^cGIp

�32�� � � � � � � � ��� � �+� � � � � �� � �� < ���1� � ?I� � �� � � � � � � � � � �$� � � " ��� � ��� ���

?I� �$� � � � � � � � %.� �� � � � � � � ?I� # ���B5 � ���8 � �� �53-6 � ��� 3.6 ��� H ��� �3 ��� � � �K5�� � � / )� ���C� ���3 ��� ����5 � � � H � )76984826:�7���<;*; � �

�32 N�� � ��� � � � � � < � � � # ,�� ��� � ��# ���46 �W3��-,���6 � ��5W6 �� � ��� / �78 6 � ����� ���� � ��)

!�� / � 1 ���@� ���O3 � / � ! N�N � �

�>=4; � � ��� � � � � � < � � � � �! " � � � �$� � � � � � ��� 4 " � ��� ��� � � � � � ! � � � �

� ��� ��� � � � � ��� � �1� � �.�F����� � � � � ��� � ��� ��� � � � ) ! � � ��� �$� � ��� �$� � � � � � � � %

� �� � � � � � ��?I� F ��# ���B5 � ���8 � �� �53C6 � ������6 �DF��O6 ��� � �6 8 �� � / � ���3 ��������5 � �� � �76 )

1 3 6 �6 8 �� � /�H 8 � �3.8 �W6 8 5 � ��� � H F +�& 6984848��7� � ��� < � � � � �� � � � � � �I��� � � ����� �

�<;*;*; �

�>= ! ��� �$� � � � � � � � � � � ��� � � � " �$��� � � � � � � � � � � ��� � � � � ��� �$� � � � ��� � ��� � � ! ���

� � � ���F� �� % " � � � � ��� � � � � �-� �! �����$���94+��� � �F�1� �! �C� " � � � ; ! =4;'� � � " � � � �� �

��� � ���0" � � � � � ���$��� ���� � � � /�� � ��� � � ��� � ��� ����� � � � � ;*; ! �

�>= � ��� �$� ��� � � � � � � � � ��� � � � " ����� � �$� ��� � � �#� �! � ! ��� � � � ��� ��� ! � � � � ��� � � �$� �

� � ��� � ��� � � � ��� � ��� 4+��� � � �1� �! ��� "C� � � ;�2 ; � � ��� � " � � � �� � ��� � ���0" � � � �

� ���$��� ���� � � �#/� � ��� � � ��� � �$������ � � � �<;*;�2 �

! ; A