AI News HubLIVE
站内改写

Language Modeling Materializes a World Model of Protein Biology [pdf]

This paper presents a world model of protein biology realized through language modeling, demonstrating how large-scale language models can understand and predict protein structure and function.

Article intelligence

EngineersAdvanced

Key points

  • Language models can capture complex patterns in protein sequences
  • The model excels in protein structure prediction and function annotation
  • Offers a new paradigm for computational biology

Why it matters

This matters because language models can capture complex patterns in protein sequences.

Technical impact

May affect model selection, inference cost, product capability, and evaluation benchmarks.

%PDF-1.7 %���� 5 0 obj > stream x��Y[o�6~����: �x��X��2��9�^��8J�Չ\;^���}Ta2�HFR��!�d��|�;*��$�C���2B�$����pZ��(a�$�)a��R͘$J�$���Rj�E�0F8�2 ��?C"�j��@D���q��L`PPf5C��P���B�z���q�]�2�P�$�ƀ^b�,ʂ �P��6x�����)�h@�" � Z9�,p-�Y �xJ�+p�&� ���%��4n@���7P�q�b#��Kclf*��\Y��BX�\��B��qc�(JS�ZxF��)V;nF3�_�]A�:�����(TX�1�,$[�֓� 7�T��,��z �$̠�T\�(|*5l��/%�D�UL00) "�Z� �UxP�܀t����f�ET��(^��mJZ�K�1pOA���Ը��( 8�׵S� �BJ(�_.��ҩ*/����UfK��;��o�%_B?GB(@�A�y�Ru��])x��uK[H[�N��값���E}��މ]�8�����*��?a��"�;�,�U|�^N�g\G,|��U��|-����U��ǯ��%Q!סŝ �� ����b���0[󽟶����$�a�gn�)�P��丹��6wy=ls3�=� ���x�����t�.CWa��u���o�/�s\�t�2�"�"v�╃�v�ٰ��}�S�w �%�e�����0�0 +'f�,n�_��޽���#��"�䌕c1���3z�U_f����H#����V��oBw�ɈTۻp�O�d~C�rD���'��M� x���׍����}6A{�8���8O��2���0�f���-�u*�ae7�J|g�]*]8�Lř��i9�ԩ�obB!�dA�c���/�����*�b�Cn��3S}�/���~/�gK����ZL/%�o_���o��I|j�rr��W���� �}�}�x̾�3�L���u�/{�c�k��G����W�ﲻQ�S羇�8�u��$�PoBt�CA�?�@0���[��.t̃%O/��^��#(��p9Ԅ穫ޖx��G��k�ڣ(���d�|`'a������zE�Z�ɸ endstream endobj 186 0 obj > stream x��Ymo�6��_�okԥ�*E�$]�k4�>��(nP'��k������>�����K�H�=w��x��� )��&���.E�w-�w�;��/�-��R��,��w-�*J���N�����4.����B� Kܵ��nD!�CJd��Z��.@��"���(+Z�C��,�� �J(S���� ��*� .$k�P�t+kJc�)� Ќ�d����r��`��0��i ;����0���L--dX�F�H� ��$�A!��"w�Bh� �#�q����'� �0�# ���Q^��@�l#�$Ph�4�[�R"��.ƃu5�N*�� �%_�`;� [�����i5��+t�o�9�V��UD�X|7�)�"&�O���q�8J��x��_ӆ���Q䜃yUO#ca�O�7�Z{O4��z���S��L!��r#enx��y�GΌs������lB�%��}3Ժ���+���UG�[f�Z�3��'�����bs�gwSq���*���trǦ�dJ���Ł�T|��O�Or��P~��J#� �����8 ��}�u�v���/�� endstream endobj 364 0 obj > stream x��[[s�6~�_�G� �eI�=�0�L e�'^��d��z��_ߣ-�r�#��n�2%�"�r�w�:rE&X�D��,�W���Ԝ �剀ߊ�*����~@�87#�q�54�2�"����ʌ�US�3Qph@�(R�j�I�X��0�ȘHUQ�Os&蕙����D�Z@�L��i�8�&9g�̐z3�fj�gL%¼*��%���@�L4d:��dJ*X#��X��f*7c�ʥه3U��dY�(�3�8����+��dB@C���z ��@�̠�I�Y��[ݙ$��Y�АL'�R��4z�- �V)l����r Ap:+�,cZ ��E���� �������A#I#N�s��%��¦9[�������Z�`�Y�K ��s�)��H ,����DY��4rV��Qf*��+4�T|EЩ�h�YH%�i�� `�Q1��� ��h�if��Kn�O�k��=|�_�y,1kk k��:��ycvϕ]�~�K|a7�۾M M�]���X^���d�� |x�I؝�i���p����al݀)�����}����øS�Ҳy�U|���n�B�w��+�j?�GP���Q>Ǟ��������3����}Êv�C�$���|'�4+"rcg&Nek�7UH~��'���rl1�(�d��º���s�8%�r�9>)|�{�=���Ҝ �V�WOk��������W΀]]X�vġ+������c�}\^F��"��(�?K�3�E;�'}��/��������O�Іv��[�� �cW���=�u���z�������T~L�Gi��5�P�N��Hnx����E��o��$��ʣ$X�������@}�V�����f�%�p˩�1�#X���D�M;�C��Z)s�M��9r���=%��b���Oo�G.q����ʅZK�Nd�+Z��U��?fX8L�j ;~�Ւ[�}j4]x-CA���B�D#���"?�/q*|Ԓ�(�7�o�8�ZqP���� �߆ ߿h�VQ���KGj���%�A����o�> stream xڥ[Y��8�~���۪&,��������xڳ�������DI�H5W˿~2� *j\-G8,����$��w�~�]�‹W��٭��O߿�W������� ��J���Sj��S�*;����*�;V�����Ѯ;�T�o��}�?Ov{}���� ��������*�^�VQ*!u������Rǹ%�ud|�����Ր�t���h'^ �k(�*?;�y�.�Fyat�]�j��;�V��M�֜��|��["+D��U^�ע,� }�֬��fO���0$J�u '��Q�kNp����~S��bxHS/�H[�39�\��;s{��ʛ�B�KE:� �I�=@����_��̣"OWq��T����:}��/~|��)�T�"�[���D�[Rhb{��Y) }!���*���qi��Che�`+�fѴ��xF��/L����.]��F���n�{J�Ua/DD���n!nB�!J� ��҅�\$א��Z�m1��U�_��U��NB�&��r����� �����b�D���S1��l� ��RMB�=����SA5�Ś2�������yc$.����m�lB� 0��"G}�R�lzx�� �y H��!��a�K��������p�@k����{�L�` ]�t���FY�P]��� ݻ�Hw��R��;x����O�M��Ԗ�;v��[[���*�q��j��ڝ�g�zY���/|�� �@ɜY�&^�ĭ%���t��@������s�k �a�Cq⸿�ӵE�(�"~W7��(�8%��U��0���Ů(4�ؘIvE]1���mW .u��Ҹ�'��͠��ж�F�>͂J$�T�V��dž{j8��n���n���\4]oՌ�;P ��4��m��Ǻ�A9tqt:�����1��C�U��K��PW|�30_^� @�4b >�����3�\g�����D :Czx�'�{�'l&IᤓT���2�&,�y���:��P/aV�G����>�MY�iM������s�w�t�Q,�@#/2��*7^PN��1yKdJ��z_7PKf��X��(��%@h+'Xy�^����� ;����R�dV�%Ѥ���YS����9{!�r�������A7V�!D�*+{|(�$a�,�t�,f�� ⭺b[��y ��EC�:m���XC t��ma���[0ߌ�;�L�ڲ�d3+&xd_�.F� d�^�@p���ж4�0���2\�"]���n�p���5\U�B�i�n[T,W�{�Ot̪�Hb��@z[�MEU� �3���\���U���l pSe� V��y0jMGY'��{f�>��ѝܴŮ�J ׷]������j0�c�Js���r�p�u�� �u{)�$I�� H �Q[w�Ҹ0j�eK������4�c|��w�u2}����U�O�aP/���,�KmG�z*�ck�v������F�"��~�AN"� � ��� !>�E��C.���U���ܠѻ�u�틖�.3�_�Pa���G\�`$j��T�� t렏��=��x��� ��Y�Cޔ�#�� �qb���074E%]r)G;0��(����̇� �9�^4$ �+��.r����4̺2/0H �qP� y�j��cEC�����QÝ!/*̋�ђ��������fu�l���y8E r���~Gz�V_�^��?�����sv�J p���M��T/̒y��#^�����w��k 08��7Tx �ؠ�"b�}Is���E��V*xd.n�z��J�L ���um�1� ����S���t�Ƶr&�-�'j����OΦX�f��x����BO@� N/��j�K�QU�!},-��n8�D V2U^r�U����R �YT ��q%��`h9��T80��7R�af�z3�c:{c/�)_94 �@1�C�/�8���T裋X��t��nL������O��â�+(�"t�(W ؠ�cߵ�L"f���Kox�U� 9�w��C5)LB��� ߈9��n ��Xy��87�F[�ڸ�:�.�s�u=K|�b�d�}�0��;-���7�v����vv�!F �� /��Y��n� �o�r�}:�~�?�j�v�r.���RI�z8bb�?��?l�b~�s�� u��XY�rX�� �a����p`x�Rq ��>5p��ʓދ����@Û�x�x���! x����$�:�/$C�rAg�{��m||.Z����;���|hϪ��jc��) ������D�0��T9�fx�BW.�>> stream xڥ[[��6�~�_Q��0T�)�.��C�Ǟ� w���و�y��8U�)���ǿ~3�)�80�ލ����T^��_}��{�� ��lG���n�����e�����|�շB�� cُ�O9Q����R���'ƻ�I�-������T:Y+�q/"�{�XR�,��8���: $n���oI?�b�A�y� �[m��ЮeO��I1��f2a��&iK�L�r����Ji��Y�� V���d1��:v`� 諡>?�ixW�絕�1��*Mb[�O��趎�.�i�BZoˋz��k�:A+�_P��� bRZ��d�6�l���2A6� 0�p5��w� ����M ߒe E����f��N&�^� YP�G;g!J��G��75i��l�0k�����8y���C��!�I�'�~a��c/�:��mrG�Š2]��s+���o�{�~� �;���O��~uă*l���L���T��x�X�Dwf��7 � ���a��[5Z8���jKc�4� �g� >;��l��N���j����c�/�,E��V�޿܁Ё�q �B�y����ģ���J����k62���w��Ʈ�8P� �����83�E����r�b���\�y*��d�. �M��E^�ϥ �ۼKfF.�����&G � H�� �qN��V��u�W'+����?�q'Y�����W���H�b�T�z���ҡe� �Wb������qb���X���t�[Ajq-\^��t�N �"�.��]��N��b��@�bMrV��=��������+:g��J��0��%��B���OH�]Hʁ(�+��� 0�,�9_�d�� 7�x��IKÞ�Clnm��1C�W.���~*,a�5�[6�xt�, F9����!^�9(�h���b��~�Xr�r��;���bީ���3�r�(Wm�E �o�"�*��ҭ��1��g�)fI�k�OgW�q��M�=���${Sx.]����Ċ04{U83�e�&D��9#��Jl�Ǎ ���>�4�� �� �'G��[s~=�{L������E��D�>�#۳�0 �T�V� ٭�L����TTs�|Xnʝ��} ��z��B�E^ �8+�,oj����k�چ�嵾�5aP�nj�-I�W\�*�X�t��r.4qq6���z�G��m�esQ�l7�����8������M�¢�S���}y�� �n�1Սcm�r�iK��sQ�d�()�!���V�`_�w�owgg�m��76�Y�9����L�l��%������R>9j�态G��•����L�G(���A�g�9���˷G4���-��(> ���޸OV���zL���~F{�)a�x��d���_?����B�|'��|��VhM����N���� ���m�\�����%L(E�y{V��Ƈ�>�� � ��Z&L"���"�[��|�~�P����X$E��z�{�D�A?������ 𨫴oɊ�&h��-2.`��gݹ�����0K>��?o�վ���H�ѻR9���l�Rߐ� �S�]��O��jy@y������ ɴ��x��ٔ:��"m=���o��wv�p+i'��T���$���&�����c8b�~�;y℠�ΰ�޲�O�, �~[���פ�|V����hj��_n{��.A���z\2�|~�p!��g�}"�m}���q�� �7ߊ�w|Q���j�;l�>X��"H]z[�G�? ���m���I��҄�>:T�0OkA;��Bq�Y�E�?O&O��>�/f�h���c3��'�|�?�������Gy�mz䛏���>=^ endstream endobj 759 0 obj > stream xڝZݏ�6߿�o�� I��t�פi�"E���!�lkm]lɕ�n�}g8C���is�b%~���o�~�p�A���M���ݯ���w7b�_���|�p��)�U������J���z#�L��+cb��&k�W����_�jC߭D��v��&�V:����Eʪ9hl=��H~By��3b���6ω��l;8��i�F�C��mN��T���30�� ��==�]�ɹ�s�ȯ����K��|��R�M{r.wNj6���M���g�;��&�u ��&%�P�o� ط-6�2�.Ǣ}h]���T{��;���x��R�ח����-�Z��S�� �s�ˆ�q���q��'�HY��ë�q*��d���F�0X�n��l�\XY��l�1�"2A�� �3�K��!s�-p��ep���ؠ�> ��#k$��h�k��ebA�L�d�O�i~��L����Wi,�J�L�OʂEm�vY��4g6Z��c�υ%>Fy����1� Pe��҇�1\�1P����5s� �a��K��g�&��E �Yp@��w�W�(��� ���n���'X� ��G���B�Ќ(H����>̬�$q��;��8�'>��)$��1�%ñ�OR_Nr�z�=���Q0���'�x�:�����;.+��Bz\!iI�d:�;6�s_a~I{����S�tSjh�D��*�L�]�f(e� n�2�k��� b餺�����Ӝ:��Rf�����A4.w�G�sG���kx��g%;F�n��M�PY�i.2r\3G�]�: )�ݘ@x8p�v,Lv�}WЀ���$rL��礴q�1W�� �,���j�z{G#/R.æc�28;4��,W(x�2�g��a�t>Wm����A�H&�B����;0����.+H魿} �m����Kڡy�%)����� ��ڹ��$ ��*�5dʑ y$B+� ��a �M�3L_�.g�Aޘ %=W��Dm��i��͂�/�U�^��� ��;�$w5]�K"�M���R���08D���'t����wآ5 tfr������@x �=5/��=�(����Pc����s������$����DY h~�����`�qC�,��nb� kڳ�'�oͿO�gqf�Jy�\�[�)����f��%� ^‹Rhn���[xu�8� ��Ps�M)����{U����3�*lԮ璥��#X����~:z��i_�ND�.��/uA � ����-!�����#��f�U`>F0#}��w:��+��,����G��"H &�T�v"��V�Ɔ��(H���ۜ+�"�1"�u����}�H���C家a�P�&?꛾�3S0 ��L-�MO˵��2d��/�� �ٳ�Ƙe^�LŖԮ� J N�%.?|�X�i�Mˮ ����}Y7�jK�j�6�T�ՁkJ�u��������;�򗱊�J� x��(1�)�P�M��,MeK�)�� �sZ1��ܙ>Q ���};n�k�5> stream x��Z[o�8~�����Ce�/�b�m��4�ES�>�A��Jbı���6���;�-���ڱgHD�6��|֌��W��Z�[��Nr�m�iF� '���C|�4��ݲ�Cf�^�� �i��7mj�1��>Řn��������u#��X�վ,����9���ryK���q��M�6>����c���p.;@La̚��1���2���� �.G�7��7�k����l�E�mHe�Ѵ���a�jr=/�d���Lz���cl�Yv6y�5>&���̨CqQh^M;�Y��ס����O[���}x�O���8���z���D_b�CH�FX���Ƴ�$—/����q!��Lk�Q�e�+�VQ��h�[+Jo���� t���~ڟ6�yGT���}!��j�nَ��?���Ƹ?���e������Fq�u���?{z)۲��QǪ���핗6�����ytŅ���:L�#��9��V�f���u$W/PF_�Ys��X���e��)�� N_�?�8��?I)��VƯ���y�n�\�&�� �l���e˿�jo��F�MZ��qv��r��%x��2��[����u'��2�f�'��_۞����c?\ć6UKZ���&�ГFo���f��~���8�����_��]3�}�X�}'Uz9}va_t���#�d'��$��ԧ+���v?L7��X7{i��?�]���b�]v[�6;�-yl��K�cֶS�Y�����8�l'?�1x���V�w>l/����)g���dR���_�_�36��^g��Q>��YU2�=Q���2������N��$}��`_9�_�%sA�0D�o����l�c���/�4-�P�T�E�~�}*E]�"h�8�������?Nf���ۼgE ��? ���Qž���Ubk�H.�����Ѥ���b򐕒Kq9ɧ��d�Nk��.�� @J����y�W�_TE:+���.+.��)#�� �O��L@���!1�o6�̀Ee�tN�����e�H莇4(�!�V�$� Ks PG7٬�m$�5�9m��y/��Xia#l�/���4/���Q��٧���b�������Y�V{� �� ����(�.VH�f�I^\L����&����V��Y���s`�iv{��F� =t���T�����{���L)���[��,��ˬ�H�42�L�� ��L�m@U�#�D��@C>@���K�D:��`a���o�j-�ѵ���.&P�+ �z4C(rJ-_У��.+.#,�STn�b��/{�aX���z9�{JZ���Sx_��{�X���-��'�,6 F,�E\5j�&�u� endstream endobj 722 0 obj > /Type /XObject /Subtype /Form /FormType 1 /PTEX.FileName (./figures/figure1.pdf) /PTEX.PageNumber 1 /PTEX.InfoDict 766 0 R /BBox [0 0 562 285] /Group 761 0 R /Resources > /a1 > /a2 > /a3 > /a4 > /a5 > /a6 > /a7 > /a8 > /a9 > /a10 > /a11 > /a12 > /a13 > /a14 > /a15 > /a16 > /a17 > >>/XObject >/Font > >> /Length 365909 /Filter /FlateDecode >> stream x���]��*5��Q� �i����w݇̇��D[ZKB`g�Su#j)m$���|������������ҏ��������g����7������??����T�u��^˟����ϔ���|,?i���/�b�����?Ǿ+\�uU8��s*�nۤ���ز�y��&�����b}׾.�~��dq��� q]��.t����M�\s �0c���I՚JB� V�⁣�Ub�BV�LE��g������$���x�a�jSWW� x�!�^���j^i�b��,�H���q@��.��a㲫?�^z��•u���0W�L #�3z$k���U�2Eb�v����4�����U�G�e��$ZD���bu ��R����� �f� ���e�vp��P���}�WIHD��/�j�`�{��@��M�Ջda�w%�!|C ��.�J��eU��s��u�'�ŀN�jD�V����t)ITy� ia�o6�;�T�!F�����,U �.8� ����!;ܰT�w�/"��ƆX���U^*�[4*�A���o�b��FCU�L7C�i3"x������`�������:ral-�9�͔?ÿ�a����\ ��T�¯�Q��ӥk�s�~����Y�H4�_ �h]��@�S{�[��k���*K.\t.o�E�+ʋ+_��t���_ +�N�Uf���������=�����|\C0��B!�A ��� =C�� ��M��� v5�]=A[X\@H�D�+#ï�ݡS`ӭ~ � ���5�˦��a�Up��2��1'��y��La_�D��%b_ ��.���e :�в�C?�u��@ !�Y�3�r �3��~6�$�?��w:6 !6��L�۔�a�4\/(�= i�/� S�6 �M .�����U���Z�&vEG�UЧ�|��`�{P��Ƀ���(&�n�pS��#�/DY� }�3� F^����Ugz�E�6�������f�W�P��Sz�Y���F��;�t��.���d=���J�������zF)&hZ4z>Ya(��� �6g j���n[��3櫇��L6�&�&����d�������F!q���|���|�a��� ���t���Y!�0��DJ0�ʘ^�T״�Z`I���[15O�z����Y �=�'���&#����#�ҏMg?��2L*��6�x�-u�~Hꍃ�$�����o�1�r '�l�f�S���%����b��'g�� ��| �T�zZ�I�eY�Q���# ,�ĩ!BWF��hb�0 �(*+m�\x�]��/G��D�f� gV�. ����&��+���� ������}��M�]��Y�d��R*�hq�'��H@�p�@�Ȳ� ����A*�[�9#�7�I�vt��#� �,�Ja���Drj��Tr�dz�ĿvLp}  ������d�m> ��N ���>atR1��Xvz!��[��p��}�#��B̅{`&���y2uؾ1�T"��O�����8m��/��' ,s�K�ls_4�a�������2/���C׺ڌ3b�I�d]㼳)O�q� Vs^����cᠨ���p���C��L�8osK�(�ٛ���Բ�Dc��V�v��f �M�2��{��0�YKR쑂������c�Fj���� �g���|��n�$d�h�K򜻚o�)'�� "��2ӧ�|��t�o�Dj��E��S��ef������=�;q�Sbf�Xl�{0���{�]��a�~E����6i�"�9��"�u�����{�I�4�]RK�6�lƠK��nd�M/%|D�Z�ͽQ��.�~o��;��rX݄|������#ɀ� ��ɋȢ�ӈ, �F�o�VszD7����@b�Z����b�\���7�����9�7������A�}/�F����;�+��y Z�R��i�526yI=YY�U�4*{�y� �jr����Ȩd:�Q1�-:s=��M]��9hJV����.\��=����I�F��0:� 氵*s�#���ы��#�0�dd �VWN!{DOfh�"S��1*�C�Q1��8zDO�o�"bòQ�R�!�M� �h�c��S��JL�;������B���#��ɋH�ňȚE���h�A���56z�)��62%�$i� A�.\��=��ы̢��̢������*��܉lh�wړ�9F��R01��Q)Û� ��el�"�2AddV~���U&�{8�el�"b�d#R�bD �Fm��#�� ��N

[truncated for AI cost control]