Language Modeling Materializes a World Model of Protein Biology [pdf]
This paper presents a world model of protein biology realized through language modeling, demonstrating how large-scale language models can understand and predict protein structure and function.
Article intelligence
Key points
- Language models can capture complex patterns in protein sequences
- The model excels in protein structure prediction and function annotation
- Offers a new paradigm for computational biology
Why it matters
This matters because language models can capture complex patterns in protein sequences.
Technical impact
May affect model selection, inference cost, product capability, and evaluation benchmarks.
%PDF-1.7
%����
5 0 obj
>
stream
x��Y[o�6~����: �x��X��2��9�^��8J�Չ\;^���}Ta2�HFR��!�d��|�;*��$�C���2B�$����pZ��(a�$�)a��R͘$J�$���Rj�E�0F8�2 ��?C"�j��@D���q��L`PPf5C��P���B�z���q�]�2�P�$�ƀ^b�,ʂ �P��6x�����)�h@�"
�Z9�,p-�Y �xJ�+p�&� ���%��4n@���7P�q�b#��Kclf*��\Y��BX�\��B��qc�(JS�ZxF��)V;nF3�_�]A�:�����(TX�1�,$[�֓�7�T��,��z �$̠�T\�(|*5l��/%�D�UL00)
"�Z��UxP�܀t����f�ET��(^��mJZ�K�1pOA���Ը��( 8�S��BJ(�_.��ҩ*/����UfK��;��o�%_B?GB(@�A�y�Ru��])x��uK[H[�N��값���E}��މ]�8�����*��?a��"�;�,�U|�^N�g\G,|��U��|-����U��ǯ��%Q!סŝ
������b���0[����$�a�gn�)�P��丹��6wy=ls3�=�
���x�����t�.CWa��u���o�/�s\�t�2�"�"v�╃�v�ٰ��}�S�w�%�e�����0�0+'f�,n�_�����#��"�䌕c1���3z�U_f����H#����V��oBw�ɈTۻp�O�d~C�rD���'��M� x�������}6A{�8���8O��2���0�f���-�u*�ae7�J|g�]*]8�Lř��i9�ԩ�obB!�dA�c���/�����*�b�Cn��3S}�/���~/�gK����ZL/%�o_���o��I|j�rr��W�����}�}�x̾�3�L���u�/{�c�k��G����W�ﲻQ�S羇�8�u��$�PoBt�CA�?�@0���[��.t̃%O/��^��#(��p9Ԅ穫ޖx��G��k�ڣ(���d�|`'a������zE�Z�ɸ
endstream
endobj
186 0 obj
>
stream
x��Ymo�6��_�okԥ�*E�$]�k4�>��(nP'��k������>�����K�H�=w��x���
)��&���.E�w-�w�;��/�-��R��,��w-�*J���N�����4.����B� Kܵ��nD!�CJd��Z��.@��"���(+Z�C��,���J(S���� ��*� .$k�P�t+kJc�)�Ќ�d����r��`��0��i ;����0���L--dX�F�H� ��$�A!��"w�Bh��#�q����'��0�#
���Q^��@�l#�$Ph�4�[�R"��.ƃu5�N*���%_�`;�
[�����i5��+t�o�9�V��UD�X|7�)�"&�O���q�8J��x��_ӆ���Q䜃yUO#ca�O�7�Z{O4��z���S��L!��r#enx��y�GΌs������lB�%��}3Ժ���+���UG�[f�Z�3��'�����bs�gwSq���*���trǦ�dJ���Ł�T|��O�Or��P~��J#� �����8 ��}�u�v���/��
endstream
endobj
364 0 obj
>
stream
x��[[s�6~�_�G��eI�=�0�L e�'^��d��z��_ߣ-�r�#��n�2%�"�r�w�:rE&X�D��,�W���Ԝ �剀ߊ�*����~@�87#�q�54�2�"����ʌ�US�3Qph@�(R�j�I�X��0�ȘHUQ�Os&蕙����D�Z@�L��i�8�&9g�̐z3�fj�gL%¼*��%���@�L4d:��dJ*X#��X��f*7c�ʥه3U��dY�(�3�8����+��dB@C���z ��@�̠�I�Y��[ݙ$��Y�АL'�R��4z�-�V)l����r Ap:+�,cZ ��E�����������A#I#N�s��%��¦9[�������Z�`�Y�K��s�)��H,����DY��4rV��Qf*��+4�T|EЩ�h�YH%�i��
`�Q1��� ��h�if��Kn�O�k��=|�_�y,1kkk��:��ycvϕ]�~�K|a7�۾M
M�]���X^���d��
|x�I؝�i���p����al݀)�����}����øS�Ҳy�U|���n�B�w��+�j?�GP���Q>Ǟ��������3����}Êv�C�$���|'�4+"rcg&Nek�7UH~��'���rl1�(�d��º���s�8%�r�9>)|�{�=���Ҝ
�V�WOk��������W]]X�vġ+������c�}\^F��"��(�?K�3�E;�'}��/��������O�Іv��[��
�cW���=�u���z�������T~L�Gi��5�P�N��Hnx����E��o��$��ʣ$X�������@}�V�����f�%�p˩�1�#X���D�M;�C��Z)s�M��9r���=%��b���Oo�G.q����ʅZK�Nd�+Z��U��?fX8L�j
;~�Ւ[�}j4]x-CA���B�D#���"?�/q*|Ԓ�(�7�o�8�ZqP�����߆߿h�VQ���KGj���%�A����o�>
stream
xڥ[Y��8�~���۪&,��������xڳ�������DI�H5W˿~2� *j\-G8,����$��w�~�]�W��٭��O߿�W���������J���Sj��S�*;����*�;V�����Ѯ;�T�o��}�?Ov{}���� ��������*�^�VQ*!u������Rǹ%�ud|�����Ր�t���h'^ �k(�*?;�y�.�Fyat�]�j��;�V��M�֜��|��["+D��U^�ע,�}�֬��fO���0$J�u '��Q�kNp����~S��bxHS/�H[�39�\��;s{��ʛ�B�KE:� �I�=@����_��̣"OWq��T����:}��/~|��)�T�"�[���D�[Rhb{��Y)
}!���*���qi��Che�`+�fѴ��xF��/L����.]��F���n�{J�Ua/DD���n!nB�!J���҅�\$א��Z�m1��U�_��U��NB�&��r�����
�����b�D���S1��l�
��RMB�=����SA5�Ś2�������yc$.����m�lB�0��"G}�R�lzx�� �y H��!��a�K��������p�@k����{�L�` ]�t���FY�P]���
ݻ�Hw��R��;x����O�M��Ԗ�;v��[[���*�q��j��ڝ�g�zY���/|�� �@ɜY�&^�ĭ%���t��@������s�k�a�Cq⸿�ӵE�(�"~W7��(�8%��U��0���Ů(4�ؘIvE]1���mW.u��Ҹ�'��͠��ж�F�>͂J$�T�V��dž{j8��n���n���\4]oՌ�;P��4��m��Ǻ�A9tqt:�����1��C�U��K��PW|�30_^� @�4b
>�����3�\g�����D:Czx�'�{�'l&IᤓT���2�&,�y���:��P/aV�G����>�MY�iM������s�w�t�Q,�@#/2��*7^PN��1yKdJ��z_7PKf��X��(��%@h+'Xy�^����� ;����R�dV�%Ѥ���YS����9{!�r�������A7V�!D�*+{|(�$a�,�t�,f��⭺b[��y ��EC�:m���XC t��ma���[0ߌ�;�L�ڲ�d3+&xd_�.F� d�^�@p���ж4�0���2\�"]���n�p���5\U�B�i�n[T,W�{�Ot̪�Hb��@z[�MEU� �3���\���U���l pSe� V��y0jMGY'��{f�>��ѝܴŮ�J]������j0�c�Js���r�p�u�� �u{)�$I��H
�Q[w�Ҹ0j�eK������4�c|��w�u2}����U�O�aP/���,�KmG�z*�ck�v������F�"��~�AN"� ����!>�E��C.���U���ܠѻ�u�틖�.3�_�Pa���G\�`$j��T��
t렏��=��x��� ��Y�Cޔ�#��
�qb���074E%]r)G;0��(����̇��9�^4$ �+��.r����4̺2/0H �qP�
y�j��cEC�����QÝ!/*̋�ђ��������fu�l���y8Er���~Gz�V_�^��?�����sv�J p���M��T/̒y��#^�����w��k08��7Tx�ؠ�"b�}Is���E��V*xd.n�z��J�L
���um�1�����S���t�Ƶr&�-�'j����OΦX�f��x����BO@� N/��j�K�QU�!},-��n8�D V2U^r�U����R
�YT ��q%��`h9��T80��7R�af�z3�c:{c/�)_94
�@1�C�/�8���T裋X��t��nL������O��â�+(�"t�(Wؠ�cߵ�L"f���Kox�U�9�w��C5)LB���߈9��n��Xy��87�F[�ڸ�:�.�s�u=K|�b�d�}�0��;-���7�v����vv�!F ��/��Y��n��o�r�}:�~�?�j�v�r.���RI�z8bb�?��?l�b~�s��u��XY�rX�� �a����p`x�Rq
��>5p��ʓދ����@Û�x�x���!
x����$�:�/$C�rAg�{��m||.Z����;���|hϪ��jc��)������D�0��T9�fx�BW.�>>
stream
xڥ[[��6�~�_Q��0T�)�.��C�Ǟ� w���و�y��8U�)���ǿ~3�)�80�ލ����T^��_}��{����lG���n�����e�����|�շB��cُ�O9Q����R���'ƻ�I�-������T:Y+�q/"�{�XR�,��8���:$n���oI?�b�A�y��[m��ЮeO��I1��f2a��&iK�L�r����Ji��Y�� V���d1��:v`�
諡>?�ixW�絕�1��*Mb[�O��趎�.�i�BZoˋz��k�:A+�_P���bRZ��d�6�l���2A6� 0�p5��w�����Mߒe E����f��N&�^�
YP�G;g!J��G��75i��l�0k�����8y���C��!�I�'�~a��c/�:��mrG�2]��s+���o�{�~�
�;���O��~uă*l���L���T��x�X�Dwf��7 ����a��[5Z8���jKc�4��g� >;��l��N���j����c�/�,E��V�܁Ё�q�B�y����ģ���J����k62���w��Ʈ�8P� �����83�E����r�b���\�y*��d�.�M��E^�ϥ �ۼKfF.�����&G� H���qN��V��u�W'+����?�q'Y�����W���H�b�T�z���ҡe�
�Wb������qb���X���t�[Ajq-\^��t�N�"�.��]��N��b��@�bMrV��=��������+:g��J��0��%��B���OH�]Hʁ(�+��� 0�,�9_�d��
7�x��IKÞ�Clnm��1C�W.���~*,a�5�[6�xt�,F9����!^�9(�h���b��~�Xr�r��;���bީ���3�r�(Wm�E
�o�"�*��ҭ��1��g�)fI�k�OgW�q��M�=���${Sx.]����Ċ04{U83�e�&D��9#��Jl�Ǎ���>�4�� ���'G��[s~=�{L������E��D�>�#۳�0 �T�V�
٭�L����TTs�|Xnʝ��}��z��B�E^ �8+�,oj����k�چ�嵾�5aP�nj�-I�W\�*�X�t��r.4qq6���z�G��m�esQ�l7�����8������M�¢�S���}y�� �n�1Սcm�r�iK��sQ�d�()�!���V�`_�w�owgg�m��76�Y�9����L�l��%������R>9j�态G������L�G(���A�g�9���˷G4���-��(>
���OV���zL���~F{�)a�x��d���_?����B�|'��|��VhM����N���� ���m�\�����%L(E�y{V��Ƈ�>�� � ��Z&L"���"�[��|�~�P����X$E��z�{�D�A?������
𨫴oɊ�&h��-2.`��gݹ�����0K>��?o�վ���H�ѻR9���l�Rߐ��S�]��O��jy@y������
ɴ��x��ٔ:��"m=���o��wv�p+i'��T���$���&�����c8b�~�;y℠�ΰ��O�,
�~[���פ�|V����hj��_n{��.A���z\2�|~�p!��g�}"�m}���q�� �7ߊ�w|Q���j�;l�>X��"H]z[�G�?���m���I��҄�>:T�0OkA;��Bq�Y�E�?O&O��>�/f�h���c3��'�|�?�������Gy�mz䛏���>=^
endstream
endobj
759 0 obj
>
stream
xڝZݏ�6߿�o��
I��t�פi�"E���!�lkm]lɕ�n�}g8C���is�b%~���o�~�p�A���M���ݯ���w7b�_���|�p��)�U������J���z#�L��+cb��&k�W����_�jC߭D��v��&�V:����Eʪ9hl=��H~By��3b���6ω��l;8��i�F�C��mN��T���30��
��==�]�ɹ�s�ȯ����K��|��R�M{r.wNj6���M���g�;��&�u ��&%�P�o�
ط-6�2�.Ǣ}h]���T{��;���x��R�ח����-�Z��S�� �s�ˆ�q���q��'�HY��ë�q*��d���F�0X�n��l�\XY��l�1�"2A�� �3�K��!s�-p��ep���ؠ�>
��#k$��h�k��ebA�L�d�O�i~��L����Wi,�J�L�OʂEm�vY��4g6Z��c�υ%>Fy����1�Pe��҇�1\�1P����5s��a��K��g�&��E�Yp@��w�W�(������n���'X�
��G���B�Ќ(H����>̬�$q��;��8�'>��)$��1�%ñ�OR_Nr�z�=���Q0���'�x�:�����;.+��Bz\!iI�d:�;6�s_a~I{����S�tSjh�D��*�L�]�f(e�n�2�k���b餺�����Ӝ:��Rf�����A4.w�G�sG���kx��g%;F�n��M�PY�i.2r\3G�]�:)�ݘ@x8p�v,Lv�}WЀ���$rL��礴q�1W�� �,���j�z{G#/R.æc�28;4��,W(x�2�g��a�t>Wm����A�H&�B����;0����.+H魿}�m����Kڡy�%)�����
��ڹ��$��*�5dʑy$B+�
��a �M�3L_�.g�Aޘ%=W��Dm��i��͂�/�U�^�����;�$w5]�K"�M���R���08D���'t����wآ5tfr������@x
�=5/��=�(����Pc����s������$����DY
h~�����`�qC�,��nb� kڳ�'�oͿO�gqf�Jy�\�[�)����f��%�^Rhn���[xu�8�
��Ps�M)����{U����3�*lԮ璥��#X����~:z��i_�ND�.��/uA �
����-!�����#��f�U`>F0#}��w:��+��,����G��"H &�T�v"��V�Ɔ��(H���ۜ+�"�1"�u����}�H���C家a�P�&?�3S0 ��L-�MO˵��2d��/��
�ٳ�Ƙe^�LŖԮ�J
N�%.?|�X�i�Mˮ����}Y7�jK�j�6�T�ՁkJ�u��������;��J�x��(1�)�P�M��,MeK�)��
�sZ1��ܙ>Q
���};n�k�5>
stream
x��Z[o�8~�����Ce�/�b�m��4�ES�>�A��Jbı���6���;�-���ڱgHD�6��|��W��Z�[��Nr�m�iF�'���C|�4��ݲ�Cf�^�� �i��7mj�1��>Řn��������u#��X�վ,����9���ryK���q��M�6>����c���p.;@La̚��1���2�����.G�7��7�k����l�E�mHe�Ѵ���a�jr=/�d���Lz���cl�Yv6y�5>&���̨CqQh^M;�Y��ס����O[���}x�O���8���z���D_b�CH�FX���Ƴ�$/����q!��Lk�Q�e�+�VQ��h�[+Jo���� t���~ڟ6�yGT���}!��j�nَ��?���Ƹ?���e������Fq�u���?{z)۲��QǪ���핗6�����ytŅ���:L�#��9��V�f���u$W/PF_�Ys��X���e��)�� N_�?�8��?I)��VƯ���y�n�\�&�� �l���e˿�jo��F�MZ��qv��r��%x��2��[����u'��2�f�'��_۞����c?\ć6UKZ���&�ГFo���f��~���8�����_��]3�}�X�}'Uz9}va_t���#�d'��$��ԧ+���v?L7��X7{i��?�]���b�]v[�6;�-yl��K�cֶS�Y�����8�l'?�1x���V�w>l/����)g���dR���_�_�36��^g��Q>��YU2�=Q���2������N��$}��`_9�_�%sA�0D�o����l�c���/�4-�P�T�E�~�}*E]�"h�8�������?Nf���ۼgE
��?���Qž���Ubk�H.�����Ѥ���bKq9ɧ��d�Nk��.�� @J����y�W�_TE:+���.+.��)#�� �O��L@���!1�o6�̀Ee�tN�����e�H莇4(�!�V�$� KsPG7٬�m$�5�9m��y/��Xia#l�/���4/���Q��٧���b�������Y�V{��� ����(�.VH�f�I^\L����&����V��Y���s`�iv{��F�
=t���T�����{���L)���[��,��ˬ�H�42�L��
��L�m@U�#�D��@C>@���K�D:��`a���o�j-�ѵ���.&P�+
�z4C(rJ-_��.+.#,�STn�b��/{�aX���z9�{JZ���Sx_��{�X���-��'�,6
F,�E\5j�&�u�
endstream
endobj
722 0 obj
>
/Type /XObject
/Subtype /Form
/FormType 1
/PTEX.FileName (./figures/figure1.pdf)
/PTEX.PageNumber 1
/PTEX.InfoDict 766 0 R
/BBox [0 0 562 285]
/Group 761 0 R
/Resources >
/a1 >
/a2 >
/a3 >
/a4 >
/a5 >
/a6 >
/a7 >
/a8 >
/a9 >
/a10 >
/a11 >
/a12 >
/a13 >
/a14 >
/a15 >
/a16 >
/a17 >
>>/XObject >/Font >
>>
/Length 365909
/Filter /FlateDecode
>>
stream
x���]��*5��Q� �i����w݇̇��D[ZKB`g�Su#j)m$���|������������ҏ��������g����7������??����T�u��^˟����ϔ���|,?i���/�b�����?Ǿ+\�uU8��s*�nۤ���ز�y��&�����b}.�~��dq��� q]��.t����M�\s
�0c���I՚JB� V��Ub�BV�LE��g������$���x�a�jSWW�x�!�^���j^i�b��,�H���q@��.��a㲫?�^z��u���0W�L
#�3z$k���U�2Eb�v����4�����U�G�e��$ZD���bu��R�����
�f�
���e�vp��P���}�WIHD��/�j�`�{��@��M�Ջda�w%�!|C
��.�J��eU��s��u�'�ŀN�jD�V����t)ITy� ia�o6�;�T�!F�����,U�.8� ����!;ܰT�w�/"��ƆX���U^*�[4*�A���o�b��FCU�L7C�i3"x������`�������:ral-�9�͔?ÿ�a����\
��T�¯�Q��ӥk�s�~����Y�H4�_
�h]��@�S{�[��k���*K.\t.o�E�+ʋ+_��t���_
+�N�Uf���������=�����|\C0��B!�A
���=C�� ��M��� v5�]=A[X\@H�D�+#ï�ݡS`ӭ~
����5�˦��a�Up��2��1'��y��La_�D��%b_
��.���e :�в�C?�u��@
!�Y�3�r
�3��~6�$�?��w:6!6��L�۔�a�4\/(�=i�/� S�6
�M .�����U���Z�&vEG�UЧ�|��`�{P��Ƀ���(&�n�pS��#�/DY� }�3�F^����Ugz�E�6�������f�W�P��Sz�Y���F��;�t��.���d=���J�������zF)&hZ4z>Ya(���
�6gj���n[��3櫇��L6�&�&����d�������F!q���|���|�a������t���Y!�0��DJ0�ʘ^�T״�Z`I���[15O�z����Y�=�'���&#����#�ҏMg?��2L*��6�x�-u�~Hꍃ�$�����o�1�r'�l�f�S���%����b��'g��
��|
�T�zZ�I�eY�Q���#
,�ĩ!BWF��hb�0
�(*+m�\x�]��/G��D�f�gV�.
����&��+����������}��M�]��Y�d��R*�hq�'��H@�p�@�Ȳ� ����A*�[�9#�7�I�vt��#� �,�Ja���Drj��Tr�dz�ĿvLp} ������d�m> ��N ���>atR1��Xvz!��[��p��}�#��B̅{`&���y2uؾ1�T"��O�����8m��/��'
,s�K�ls_4�a�������2/���Cڌ3b�I�d]㼳)O�q� Vs^����cᠨ���p���C��L�8osK�(�ٛ���Բ�Dc��V�v��f �M�2��{��0�YKR쑂������c�Fj�����g���|��n�$d�h�Ko�)'��
"��2ӧ�|��t�o�Dj��E��S��ef������=�;q�Sbf�Xl�{0���{�]��a�~E����6i�"�9��"�u�����{�I�4�]RK�6�lƠK��nd�M/%|D�Z�ͽQ��.�~o��;��rX݄|������#ɀ� ��ɋȢ�ӈ,�F�o�VszD7����@b�Z����b�\���7�����9�7������A�}/�F����;�+��y Z�R��i�526yI=YY�U�4*{�y��jr����Ȩd:�Q1�-:s=��M]��9hJV����.\��=����I�F��0:�
氵*s�#���ы��#�0�dd�VWN!{DOfh�"S��1*�C�Q1��8zDO�o�"bòQ�R�!�M�
�h�c��S��JL�;������B���#��ɋH�ňȚE���h�A���56z�)��62%�$i�A�.\��=��ы̢��̢������*��܉lh�wړ�9F��R01��Q)Û�
��el�"�2AddV~���U&�{8�el�"b�d#R�bD�Fm��#����N
[truncated for AI cost control]