AI 요약 · 영어에서 AI 번역
Gemini: A Family of Highly Capable Multimodal Models
Gemini Team, Rohan Anil, Sebastian Borgeaud, Jean-Baptiste Alayrac, Jiahui Yu, Radu Soricut, Johan Schalkwyk, Andrew M. Dai, Anja Hauth, Katie Millican, David Silver, Melvin Johnson, Ioannis Antonoglou, Julian Schrittwieser, Amelia Glaese, Jilin Chen, Emily Pitler, Timothy Lillicrap, Angeliki Lazaridou, Orhan Firat, James Molloy, Michael Isard, Paul R. Barham, Tom Hennigan, Benjamin Lee, Fabio Viola, Malcolm Reynolds, Yuanzhong Xu, Ryan Doherty, Eli Collins, Clemens Meyer, Eliza Rutherford, Erica Moreira, Kareem Ayoub, Megha Goel, Jack Krawczyk, Cosmo Du, Ed Chi, Heng-Tze Cheng, Eric Ni, Purvi Shah, Patrick Kane, Betty Chan, Manaal Faruqui, Aliaksei Severyn, Hanzhao Lin, YaGuang Li, Yong Cheng, Abe Ittycheriah, Mahdis Mahdieh, Mia Chen, Pei Sun, Dustin Tran, Sumit Bagri, Balaji Lakshminarayanan, Jeremiah Liu, Andras Orban, Fabian Güra, Hao Zhou, Xinying Song, Aurelien Boffy, Harish Ganapathy, Steven Zheng, HyunJeong Choe, Ágoston Weisz, Tao Zhu, Yifeng Lu, Siddharth Gopal, Jarrod Kahn, Maciej Kula, Jeff Pitman, Rushin Shah, Emanuel Taropa, Majd Al Merey, Martin Baeuml, Zhifeng Chen, Laurent El Shafey, Yujing Zhang, Olcan Sercinoglu, George Tucker, Enrique Piqueras, Maxim Krikun, Iain Barr, Nikolay Savinov, Ivo Danihelka, Becca Roelofs, Anaïs White, Anders Andreassen, Tamara von Glehn, Lakshman Yagati, Mehran Kazemi, Lucas Gonzalez, Misha Khalman, Jakub Sygnowski, Alexandre Frechette, Charlotte Smith, Laura Culp, Lev Proleev, Yi Luan, Xi Chen, James Lottes, Nathan Schucher, Federico Lebron, Alban Rrustemi, Natalie Clay, Phil Crone, Tomas Kocisky, Jeffrey Zhao, Bartek Perz, Dian Yu, Heidi Howard, Adam Bloniarz, Jack W. Rae, Han Lu, Laurent Sifre, Marcello Maggioni, Fred Alcober, Dan Garrette, Megan Barnes, Shantanu Thakoor, Jacob Austin, Gabriel Barth-Maron, William Wong, Rishabh Joshi, Rahma Chaabouni, Deeni Fatiha, Arun Ahuja, Gaurav Singh Tomar, Evan Senter, Martin Chadwick, Ilya Kornakov, Nithya Attaluri, Iñaki Iturrate, Ruibo Liu, Yunxuan Li, Sarah Cogan, Jeremy Chen, Chao Jia, Chenjie Gu, Qiao Zhang, Jordan Grimstad, Ale Jakse Hartman, Xavier Garcia, Thanumalayan Sankaranarayana Pillai, Jacob Devlin, Michael Laskin, Diego de Las Casas, Dasha Valter, Connie Tao, Lorenzo Blanco, Adrià Puigdomènech Badia, David Reitter, Mianna Chen, Jenny Brennan, Clara Rivera, Sergey Brin, Shariq Iqbal, Gabriela Surita, Jane Labanowski, Abhi Rao, Stephanie Winkler, Emilio Parisotto, Yiming Gu, Kate Olszewska, Ravi Addanki, Antoine Miech, Annie Louis, Denis Teplyashin, Geoff Brown, Elliot Catt, Jan Balaguer, Jackie Xiang, Pidong Wang, Zoe Ashwood, Anton Briukhov, Albert Webson, Sanjay Ganapathy, Smit Sanghavi, Ajay Kannan, Ming-Wei Chang, Axel Stjerngren, Josip Djolonga, Yuting Sun, Ankur Bapna, Matthew Aitchison, Pedram Pejman, Henryk Michalewski, Tianhe Yu, Cindy Wang, Juliette Love, Junwhan Ahn, Dawn Bloxwich, Kehang Han, Peter Humphreys, Thibault Sellam, James Bradbury, Varun Godbole, Sina Samangooei, Bogdan Damoc, Alex Kaskasoli, Sébastien M. R. Arnold, Vijay Vasudevan, Shubham Agrawal, Jason Riesa, Dmitry Lepikhin, Richard Tanburn, Srivatsan Srinivasan, Hyeontaek Lim, Sarah Hodkinson, Pranav Shyam, Johan Ferret, Steven Hand, Ankush Garg, Tom Le Paine, Jian Li, Yujia Li, Minh Giang, Alexander Neitz, Zaheer Abbas, Sarah York, Machel Reid, Elizabeth Cole, Aakanksha Chowdhery, Dipanjan Das, Dominika Rogozińska, Vitaliy Nikolaev, Pablo Sprechmann, Zachary Nado, Lukas Zilka, Flavien Prost, Luheng He, Marianne Monteiro, Gaurav Mishra, Chris Welty, Josh Newlan, Dawei Jia, Miltiadis Allamanis, Clara Huiyi Hu, Raoul de Liedekerke, Justin Gilmer, Carl Saroufim, Shruti Rijhwani, Shaobo Hou, Disha Shrivastava, Anirudh Baddepudi, Alex Goldin, Adnan Ozturel, Albin Cassirer, Yunhan Xu, Daniel Sohn, Devendra Sachan, Reinald Kim Amplayo, Craig Swanson, Dessie Petrova, Shashi Narayan, Arthur Guez, Siddhartha Brahma, Jessica Landon, Miteyan Patel, Ruizhe Zhao, Kevin Villela, Luyu Wang, Wenhao Jia, Matthew Rahtz, Mai Giménez, Legg Yeung, James Keeling, Petko Georgiev, Diana Mincu, Boxi Wu, Salem Haykal, Rachel Saputro, Kiran Vodrahalli, James Qin, Zeynep Cankara, Abhanshu Sharma, Nick Fernando, Will Hawkins, Behnam Neyshabur, Solomon Kim, Adrian Hutter, Priyanka Agrawal, Alex Castro-Ros, George van den Driessche, Tao Wang, Fan Yang, Shuo-yiin Chang, Paul Komarek, Ross McIlroy, Mario Lučić, Guodong Zhang, Wael Farhan, Michael Sharman, Paul Natsev, Paul Michel, Yamini Bansal, Siyuan Qiao, Kris Cao, Siamak Shakeri, Christina Butterfield, Justin Chung, Paul Kishan Rubenstein, Shivani Agrawal, Arthur Mensch, Kedar Soparkar, Karel Lenc, Timothy Chung, Aedan Pope, Loren Maggiore, Jackie Kay, Priya Jhakra, Shibo Wang, Joshua Maynez, Mary Phuong, Taylor Tobin, Andrea Tacchetti, Maja Trebacz, Kevin Robinson, Yash Katariya, Sebastian Riedel, Paige Bailey, Kefan Xiao, Nimesh Ghelani, Lora Aroyo, Ambrose Slone, Neil Houlsby, Xuehan Xiong, Zhen Yang, Elena Gribovskaya, Jonas Adler, Mateo Wirth, Lisa Lee, Music Li, Thais Kagohara, Jay Pavagadhi, Sophie Bridgers, Anna Bortsova, Sanjay Ghemawat, Zafarali Ahmed, Tianqi Liu, Richard Powell, Vijay Bolina, Mariko Iinuma, Polina Zablotskaia, James Besley, Da-Woon Chung, Timothy Dozat, Ramona Comanescu, Xiance Si, Jeremy Greer, Guolong Su, Martin Polacek, Raphaël Lopez Kaufman, Simon Tokumine, Hexiang Hu, Elena Buchatskaya, Yingjie Miao, Mohamed Elhawaty, Aditya Siddhant, Nenad Tomasev, Jinwei Xing, Christina Greer, Helen Miller, Shereen Ashraf, Aurko Roy, Zizhao Zhang, Ada Ma, Angelos Filos, Milos Besta, Rory Blevins, Ted Klimenko, Chih-Kuan Yeh, Soravit Changpinyo, Jiaqi Mu, Oscar Chang, Mantas Pajarskas, Carrie Muir, Vered Cohen, Charline Le Lan, Krishna Haridasan, Amit Marathe, Steven Hansen, Sholto Douglas, Rajkumar Samuel, Mingqiu Wang, Sophia Austin, Chang Lan, Jiepu Jiang, Justin Chiu, Jaime Alonso Lorenzo, Lars Lowe Sjösund, Sébastien Cevey, Zach Gleicher, Thi Avrahami, Anudhyan Boral, Hansa Srinivasan, Vittorio Selo, Rhys May, Konstantinos Aisopos, Léonard Hussenot, Livio Baldini Soares, Kate Baumli, Michael B. Chang, Adrià Recasens, Ben Caine, Alexander Pritzel, Filip Pavetic, Fabio Pardo, Anita Gergely, Justin Frye, Vinay Ramasesh, Dan Horgan, Kartikeya Badola, Nora Kassner, Subhrajit Roy, Ethan Dyer, Víctor Campos Campos, Alex Tomala, Yunhao Tang, Dalia El Badawy, Elspeth White, Basil Mustafa, Oran Lang, Abhishek Jindal, Sharad Vikram, Zhitao Gong, Sergi Caelles, Ross Hemsley, Gregory Thornton, Fangxiaoyu Feng, Wojciech Stokowiec, Ce Zheng, Phoebe Thacker, Çağlar Ünlü, Zhishuai Zhang, Mohammad Saleh, James Svensson, Max Bileschi, Piyush Patil, Ankesh Anand, Roman Ring, Katerina Tsihlas, Arpi Vezer, Marco Selvi, Toby Shevlane, Mikel Rodriguez, Tom Kwiatkowski, Samira Daruki, Keran Rong, Allan Dafoe, Nicholas FitzGerald, Keren Gu-Lemberg, Mina Khan, Lisa Anne Hendricks, Marie Pellat, Vladimir Feinberg, James Cobon-Kerr, Tara Sainath, Maribeth Rauh, Sayed Hadi Hashemi, Richard Ives, Yana Hasson, Eric Noland, Yuan Cao, Nathan Byrd, Le Hou, Qingze Wang, Thibault Sottiaux, Michela Paganini, Jean-Baptiste Lespiau, Alexandre Moufarek, Samer Hassan, Kaushik Shivakumar, Joost van Amersfoort, Amol Mandhane, Pratik Joshi, Anirudh Goyal, Matthew Tung, Andrew Brock, Hannah Sheahan, Vedant Misra, Cheng Li, Nemanja Rakićević, Mostafa Dehghani, Fangyu Liu, Sid Mittal, Junhyuk Oh, Seb Noury, Eren Sezener, Fantine Huot, Matthew Lamm, Nicola De Cao, Charlie Chen, Sidharth Mudgal, Romina Stella, Kevin Brooks, Gautam Vasudevan, Chenxi Liu, Mainak Chain, Nivedita Melinkeri, Aaron Cohen, Venus Wang, Kristie Seymore, Sergey Zubkov, Rahul Goel, Summer Yue, Sai Krishnakumaran, Brian Albert, Nate Hurley, Motoki Sano, Anhad Mohananey, Jonah Joughin, Egor Filonov, Tomasz Kępa, Yomna Eldawy, Jiawern Lim, Rahul Rishi, Shirin Badiezadegan, Taylor Bos, Jerry Chang, Sanil Jain, Sri Gayatri Sundara Padmanabhan, Subha Puttagunta, Kalpesh Krishna, Leslie Baker, Norbert Kalb, Vamsi Bedapudi, Adam Kurzrok, Shuntong Lei, Anthony Yu, Oren Litvin, Xiang Zhou, Zhichun Wu, Sam Sobell, Andrea Siciliano, Alan Papir, Robby Neale, Jonas Bragagnolo, Tej Toor, Tina Chen, Valentin Anklin, Feiran Wang, Richie Feng, Milad Gholami, Kevin Ling, Lijuan Liu, Jules Walter, Hamid Moghaddam, Arun Kishore, Jakub Adamek, Tyler Mercado, Jonathan Mallinson, Siddhinita Wandekar, Stephen Cagle, Eran Ofek, Guillermo Garrido, Clemens Lombriser, Maksim Mukha, Botu Sun, Hafeezul Rahman Mohammad, Josip Matak, Yadi Qian, Vikas Peswani, Pawel Janus, Quan Yuan, Leif Schelin, Oana David, Ankur Garg, Yifan He, Oleksii Duzhyi, Anton Älgmyr, Timothée Lottaz, Qi Li, Vikas Yadav, Luyao Xu, Alex Chinien, Rakesh Shivanna, Aleksandr Chuklin, Josie Li, Carrie Spadine, Travis Wolfe, Kareem Mohamed, Subhabrata Das, Zihang Dai, Kyle He, Daniel von Dincklage, Shyam Upadhyay, Akanksha Maurya, Luyan Chi, Sebastian Krause, Khalid Salama, Pam G Rabinovitch, Pavan Kumar Reddy M, Aarush Selvan, Mikhail Dektiarev, Golnaz Ghiasi, Erdem Guven, Himanshu Gupta, Boyi Liu, Deepak Sharma, Idan Heimlich Shtacher, Shachi Paul, Oscar Akerlund, François-Xavier Aubet, Terry Huang, Chen Zhu, Eric Zhu, Elico Teixeira, Matthew Fritze, Francesco Bertolini, Liana-Eleonora Marinescu, Martin Bölle, Dominik Paulus, Khyatti Gupta, Tejasi Latkar, Max Chang, Jason Sanders, Roopa Wilson, Xuewei Wu, Yi-Xuan Tan, Lam Nguyen Thiet, Tulsee Doshi, Sid Lall, Swaroop Mishra, Wanming Chen, Thang Luong, Seth Benjamin, Jasmine Lee, Ewa Andrejczuk, Dominik Rabiej, Vipul Ranjan, Krzysztof Styrc, Pengcheng Yin, Jon Simon, Malcolm Rose Harriott, Mudit Bansal, Alexei Robsky, Geoff Bacon, David Greene, Daniil Mirylenka, Chen Zhou, Obaid Sarvana, Abhimanyu Goyal, Samuel Andermatt, Patrick Siegler, Ben Horn, Assaf Israel, Francesco Pongetti, Chih-Wei "Louis" Chen, Marco Selvatici, Pedro Silva, Kathie Wang, Jackson Tolins, Kelvin Guu, Roey Yogev, Xiaochen Cai, Alessandro Agostini, Maulik Shah, Hung Nguyen, Noah Ó Donnaile, Sébastien Pereira, Linda Friso, Adam Stambler, Adam Kurzrok, Chenkai Kuang, Yan Romanikhin, Mark Geller, ZJ Yan, Kane Jang, Cheng-Chun Lee, Wojciech Fica, Eric Malmi, Qijun Tan, Dan Banica, Daniel Balle, Ryan Pham, Yanping Huang, Diana Avram, Hongzhi Shi, Jasjot Singh, Chris Hidey, Niharika Ahuja, Pranab Saxena, Dan Dooley, Srividya Pranavi Potharaju, Eileen O'Neill, Anand Gokulchandran, Ryan Foley, Kai Zhao, Mike Dusenberry, Yuan Liu, Pulkit Mehta, Ragha Kotikalapudi, Chalence Safranek-Shrader, Andrew Goodman, Joshua Kessinger, Eran Globen, Prateek Kolhar, Chris Gorgolewski, Ali Ibrahim, Yang Song, Ali Eichenbaum, Thomas Brovelli, Sahitya Potluri, Preethi Lahoti, Cip Baetu, Ali Ghorbani, Charles Chen, Andy Crawford, Shalini Pal, Mukund Sridhar, Petru Gurita, Asier Mujika, Igor Petrovski, Pierre-Louis Cedoz, Chenmei Li, Shiyuan Chen, Niccolò Dal Santo, Siddharth Goyal, Jitesh Punjabi, Karthik Kappaganthu, Chester Kwak, Pallavi LV, Sarmishta Velury, Himadri Choudhury, Jamie Hall, Premal Shah, Ricardo Figueira, Matt Thomas, Minjie Lu, Ting Zhou, Chintu Kumar, Thomas Jurdi, Sharat Chikkerur, Yenai Ma, Adams Yu, Soo Kwak, Victor Ähdel, Sujeevan Rajayogam, Travis Choma, Fei Liu, Aditya Barua, Colin Ji, Ji Ho Park, Vincent Hellendoorn, Alex Bailey, Taylan Bilal, Huanjie Zhou, Mehrdad Khatir, Charles Sutton, Wojciech Rzadkowski, Fiona Macintosh, Roopali Vij, Konstantin Shagin, Paul Medina, Chen Liang, Jinjing Zhou, Pararth Shah, Yingying Bi, Attila Dankovics, Shipra Banga, Sabine Lehmann, Marissa Bredesen, Zifan Lin, John Eric Hoffmann, Jonathan Lai, Raynald Chung, Kai Yang, Nihal Balani, Arthur Bražinskas, Andrei Sozanschi, Matthew Hayes, Héctor Fernández Alcalde, Peter Makarov, Will Chen, Antonio Stella, Liselotte Snijders, Michael Mandl, Ante Kärrman, Paweł Nowak, Xinyi Wu, Alex Dyck, Krishnan Vaidyanathan, Raghavender R, Jessica Mallet, Mitch Rudominer, Eric Johnston, Sushil Mittal, Akhil Udathu, Janara Christensen, Vishal Verma, Zach Irving, Andreas Santucci, Gamaleldin Elsayed, Elnaz Davoodi, Marin Georgiev, Ian Tenney, Nan Hua, Geoffrey Cideron, Edouard Leurent, Mahmoud Alnahlawi, Ionut Georgescu, Nan Wei, Ivy Zheng, Dylan Scandinaro, Heinrich Jiang, Jasper Snoek, Mukund Sundararajan, Xuezhi Wang, Zack Ontiveros, Itay Karo, Jeremy Cole, Vinu Rajashekhar, Lara Tumeh, Eyal Ben-David, Rishub Jain, Jonathan Uesato, Romina Datta, Oskar Bunyan, Shimu Wu, John Zhang, Piotr Stanczyk, Ye Zhang, David Steiner, Subhajit Naskar, Michael Azzam, Matthew Johnson, Adam Paszke, Chung-Cheng Chiu, Jaume Sanchez Elias, Afroz Mohiuddin, Faizan Muhammad, Jin Miao, Andrew Lee, Nino Vieillard, Jane Park, Jiageng Zhang, Jeff Stanway, Drew Garmon, Abhijit Karmarkar, Zhe Dong, Jong Lee, Aviral Kumar, Luowei Zhou, Jonathan Evens, William Isaac, Geoffrey Irving, Edward Loper, Michael Fink, Isha Arkatkar, Nanxin Chen, Izhak Shafran, Ivan Petrychenko, Zhe Chen, Johnson Jia, Anselm Levskaya, Zhenkai Zhu, Peter Grabowski, Yu Mao, Alberto Magni, Kaisheng Yao, Javier Snaider, Norman Casagrande, Evan Palmer, Paul Suganthan, Alfonso Castaño, Irene Giannoumis, Wooyeol Kim, Mikołaj Rybiński, Ashwin Sreevatsa, Jennifer Prendki, David Soergel, Adrian Goedeckemeyer, Willi Gierke, Mohsen Jafari, Meenu Gaba, Jeremy Wiesner, Diana Gage Wright, Yawen Wei, Harsha Vashisht, Yana Kulizhskaya, Jay Hoover, Maigo Le, Lu Li, Chimezie Iwuanyanwu, Lu Liu, Kevin Ramirez, Andrey Khorlin, Albert Cui, Tian LIN, Marcus Wu, Ricardo Aguilar, Keith Pallo, Abhishek Chakladar, Ginger Perng, Elena Allica Abellan, Mingyang Zhang, Ishita Dasgupta, Nate Kushman, Ivo Penchev, Alena Repina, Xihui Wu, Tom van der Weide, Priya Ponnapalli, Caroline Kaplan, Jiri Simsa, Shuangfeng Li, Olivier Dousse, Fan Yang, Jeff Piper, Nathan Ie, Rama Pasumarthi, Nathan Lintz, Anitha Vijayakumar, Daniel Andor, Pedro Valenzuela, Minnie Lui, Cosmin Paduraru, Daiyi Peng, Katherine Lee, Shuyuan Zhang, Somer Greene, Duc Dung Nguyen, Paula Kurylowicz, Cassidy Hardin, Lucas Dixon, Lili Janzer, Kiam Choo, Ziqiang Feng, Biao Zhang, Achintya Singhal, Dayou Du, Dan McKinnon, Natasha Antropova, Tolga Bolukbasi, Orgad Keller, David Reid, Daniel Finchelstein, Maria Abi Raad, Remi Crocker, Peter Hawkins, Robert Dadashi, Colin Gaffney, Ken Franko, Anna Bulanova, Rémi Leblond, Shirley Chung, Harry Askham, Luis C. Cobo, Kelvin Xu, Felix Fischer, Jun Xu, Christina Sorokin, Chris Alberti, Chu-Cheng Lin, Colin Evans, Alek Dimitriev, Hannah Forbes, Dylan Banarse, Zora Tung, Mark Omernick, Colton Bishop, Rachel Sterneck, Rohan Jain, Jiawei Xia, Ehsan Amid, Francesco Piccinno, Xingyu Wang, Praseem Banzal, Daniel J. Mankowitz, Alex Polozov, Victoria Krakovna, Sasha Brown, MohammadHossein Bateni, Dennis Duan, Vlad Firoiu, Meghana Thotakuri, Tom Natan, Matthieu Geist, Ser tan Girgin, Hui Li, Jiayu Ye, Ofir Roval, Reiko Tojo, Michael Kwong, James Lee-Thorp, Christopher Yew, Danila Sinopalnikov, Sabela Ramos, John Mellor, Abhishek Sharma, Kathy Wu, David Miller, Nicolas Sonnerat, Denis Vnukov, Rory Greig, Jennifer Beattie, Emily Caveness, Libin Bai, Julian Eisenschlos, Alex Korchemniy, Tomy Tsai, Mimi Jasarevic, Weize Kong, Phuong Dao, Zeyu Zheng, Frederick Liu, Fan Yang, Rui Zhu, Tian Huey Teh, Jason Sanmiya, Evgeny Gladchenko, Nejc Trdin, Daniel Toyama, Evan Rosen, Sasan Tavakkol, Linting Xue, Chen Elkind, Oliver Woodman, John Carpenter, George Papamakarios, Rupert Kemp, Sushant Kafle, Tanya Grunina, Rishika Sinha, Alice Talbert, Diane Wu, Denese Owusu-Afriyie, Cosmo Du, Chloe Thornton, Jordi Pont-Tuset, Pradyumna Narayana, Jing Li, Saaber Fatehi, John Wieting, Omar Ajmeri, Benigno Uria, Yeongil Ko, Laura Knight, Amélie Héliou, Ning Niu, Shane Gu, Chenxi Pang, Yeqing Li, Nir Levine, Ariel Stolovich, Rebeca Santamaria-Fernandez, Sonam Goenka, Wenny Yustalim, Robin Strudel, Ali Elqursh, Charlie Deck, Hyo Lee, Zonglin Li, Kyle Levin, Raphael Hoffmann, Dan Holtmann-Rice, Olivier Bachem, Sho Arora, Christy Koh, Soheil Hassas Yeganeh, Siim Põder, Mukarram Tariq, Yanhua Sun, Lucian Ionita, Mojtaba Seyedhosseini, Pouya Tafti, Zhiyu Liu, Anmol Gulati, Jasmine Liu, Xinyu Ye, Bart Chrzaszcz, Lily Wang, Nikhil Sethi, Tianrun Li, Ben Brown, Shreya Singh, Wei Fan, Aaron Parisi, Joe Stanton, Vinod Koverkathu, Christopher A. Choquette-Choo, Yunjie Li, TJ Lu, Abe Ittycheriah, Prakash Shroff, Mani Varadarajan, Sanaz Bahargam, Rob Willoughby, David Gaddy, Guillaume Desjardins, Marco Cornero, Brona Robenek, Bhavishya Mittal, Ben Albrecht, Ashish Shenoy, Fedor Moiseev, Henrik Jacobsson, Alireza Ghaffarkhah, Morgane Rivière, Alanna Walton, Clément Crepy, Alicia Parrish, Zongwei Zhou, Clement Farabet, Carey Radebaugh, Praveen Srinivasan, Claudia van der Salm, Andreas Fidjeland, Salvatore Scellato, Eri Latorre-Chimoto, Hanna Klimczak-Plucińska, David Bridson, Dario de Cesare, Tom Hudson, Piermaria Mendolicchio, Lexi Walker, Alex Morris, Matthew Mauger, Alexey Guseynov, Alison Reid, Seth Odoom, Lucia Loher, Victor Cotruta, Madhavi Yenugula, Dominik Grewe, Anastasia Petrushkina, Tom Duerig, Antonio Sanchez, Steve Yadlowsky, Amy Shen, Amir Globerson, Lynette Webb, Sahil Dua, Dong Li, Surya Bhupatiraju, Dan Hurt, Haroon Qureshi, Ananth Agarwal, Tomer Shani, Matan Eyal, Anuj Khare, Shreyas Rammohan Belle, Lei Wang, Chetan Tekur, Mihir Sanjay Kale, Jinliang Wei, Ruoxin Sang, Brennan Saeta, Tyler Liechty, Yi Sun, Yao Zhao, Stephan Lee, Pandu Nayak, Doug Fritz, Manish Reddy Vuyyuru, John Aslanides, Nidhi Vyas, Martin Wicke, Xiao Ma, Evgenii Eltyshev, Nina Martin, Hardie Cate, James Manyika, Keyvan Amiri, Yelin Kim, Xi Xiong, Kai Kang, Florian Luisier, Nilesh Tripuraneni, David Madras, Mandy Guo, Austin Waters, Oliver Wang, Joshua Ainslie, Jason Baldridge, Han Zhang, Garima Pruthi, Jakob Bauer, Feng Yang, Riham Mansour, Jason Gelman, Yang Xu, George Polovets, Ji Liu, Honglong Cai, Warren Chen, XiangHai Sheng, Emily Xue, Sherjil Ozair, Christof Angermueller, Xiaowei Li, Anoop Sinha, Weiren Wang, Julia Wiesinger, Emmanouil Koukoumidis, Yuan Tian, Anand Iyer, Madhu Gurumurthy, Mark Goldenson, Parashar Shah, MK Blake, Hongkun Yu, Anthony Urbanowicz, Jennimaria Palomaki, Chrisantha Fernando, Ken Durden, Harsh Mehta, Nikola Momchev, Elahe Rahimtoroghi, Maria Georgaki, Amit Raul, Sebastian Ruder, Morgan Redshaw, Jinhyuk Lee, Denny Zhou, Komal Jalan, Dinghua Li, Blake Hechtman, Parker Schuh, Milad Nasr, Kieran Milan, Vladimir Mikulik, Juliana Franco, Tim Green, Nam Nguyen, Joe Kelley, Aroma Mahendru, Andrea Hu, Joshua Howland, Ben Vargas, Jeffrey Hui, Kshitij Bansal, Vikram Rao, Rakesh Ghiya, Emma Wang, Ke Ye, Jean Michel Sarr, Melanie Moranski Preston, Madeleine Elish, Steve Li, Aakash Kaku, Jigar Gupta, Ice Pasupat, Da-Cheng Juan, Milan Someswar, Tejvi M., Xinyun Chen, Aida Amini, Alex Fabrikant, Eric Chu, Xuanyi Dong, Amruta Muthal, Senaka Buthpitiya, Sarthak Jauhari, Nan Hua, Urvashi Khandelwal, Ayal Hitron, Jie Ren, Larissa Rinaldi, Shahar Drath, Avigail Dabush, Nan-Jiang Jiang, Harshal Godhia, Uli Sachs, Anthony Chen, Yicheng Fan, Hagai Taitelbaum, Hila Noga, Zhuyun Dai, James Wang, Chen Liang, Jenny Hamer, Chun-Sung Ferng, Chenel Elkind, Aviel Atias, Paulina Lee, Vít Listík, Mathias Carlen, Jan van de Kerkhof, Marcin Pikus, Krunoslav Zaher, Paul Müller, Sasha Zykova, Richard Stefanec, Vitaly Gatsko, Christoph Hirnschall, Ashwin Sethi, Xingyu Federico Xu, Chetan Ahuja, Beth Tsai, Anca Stefanoiu, Bo Feng, Keshav Dhandhania, Manish Katyal, Akshay Gupta, Atharva Parulekar, Divya Pitta, Jing Zhao, Vivaan Bhatia, Yashodha Bhavnani, Omar Alhadlaq, Xiaolin Li, Peter Danenberg, Dennis Tu, Alex Pine, Vera Filippova, Abhipso Ghosh, Ben Limonchik, Bhargava Urala, Chaitanya Krishna Lanka, Derik Clive, Yi Sun, Edward Li, Hao Wu, Kevin Hongtongsak, Ianna Li, Kalind Thakkar, Kuanysh Omarov, Kushal Majmundar, Michael Alverson, Michael Kucharski, Mohak Patel, Mudit Jain, Maksim Zabelin, Paolo Pelagatti, Rohan Kohli, Saurabh Kumar, Joseph Kim, Swetha Sankar, Vineet Shah, Lakshmi Ramachandruni, Xiangkai Zeng, Ben Bariach, Laura Weidinger, Tu Vu, Alek Andreev, Antoine He, Kevin Hui, Sheleem Kashem, Amar Subramanya, Sissie Hsiao, Demis Hassabis, Koray Kavukcuoglu, Adam Sadovsky, Quoc Le, Trevor Strohman, Yonghui Wu, Slav Petrov, Jeffrey Dean, Oriol Vinyals
TL;DR
Gemini는 텍스트, 이미지, 오디오, 비디오 전반을 이해하고 추론하면서 다양한 배포 제약을 지원하는 고성능 모델 구축의 과제에 대응한다. Ultra, Pro, Nano 모델군을 공동 학습한 뒤 대화형 및 개발자용 변형을 후학습한다. Gemini Ultra는 32개 벤치마크 중 30개에서 최고 수준의 결과를 달성했으며, MMLU에서 인간 전문가 수준의 성능을 보인다. 또한 이 모델들은 교육, 요약, 커뮤니케이션을 비롯한 다양한 영역의 멀티모달 애플리케이션을 지원한다.
문제
이 보고서는 여러 모달리티와 배포 환경 전반에서 강력한 이해 및 추론 능력을 갖춘 범용 모델의 필요성에 대응한다.
출처: §1 · p. 1, §5.1.7 · p. 12방법
Gemini 모델은 이미지, 오디오, 비디오, 텍스트 데이터로 공동 학습한 뒤 채팅 중심 및 개발자 중심 변형으로 후학습된다.
출처: §1 · p. 1결과
Gemini Ultra는 32개 벤치마크 중 30개에서 새로운 최고 수준의 결과를 달성하고 MMLU에서 90.0%를 기록해 인간 전문가 수준의 성능을 넘어선다.
출처: §1 · p. 2, §8 · p. 40시사점 및 한계
Gemini의 멀티모달 및 추론 능력은 교육, 일상적 문제 해결, 다국어 커뮤니케이션, 요약, 추출, 창의성을 비롯한 애플리케이션을 지원한다.
출처: §8 · p. 40평가 방식은 주로 잘 정의된 행동을 측정하며, 표상적 위해를 평가하려면 추가 연구가 필요하다.
출처: §7.4.1.2 · p. 34
Abstract
from arXiv · showhide
This report introduces a new family of multimodal models, Gemini, that exhibit remarkable capabilities across image, audio, video, and text understanding. The Gemini family consists of Ultra, Pro, and Nano sizes, suitable for applications ranging from complex reasoning tasks to on-device memory-constrained use-cases. Evaluation on a broad range of benchmarks shows that our most-capable Gemini Ultra model advances the state of the art in 30 of 32 of these benchmarks - notably being the first model to achieve human-expert performance on the well-studied exam benchmark MMLU, and improving the state of the art in every one of the 20 multimodal benchmarks we examined. We believe that the new capabilities of the Gemini family in cross-modal reasoning and language understanding will enable a wide variety of use cases. We discuss our approach toward post-training and deploying Gemini models responsibly to users through services including Gemini, Gemini Advanced, Google AI Studio, and Cloud Vertex AI.
1. 서론
Gemini는 image, audio, video, text 전반에 걸쳐 공동 학습된 multimodal model family로, 복잡한 작업부터 on-device 사용까지 목적에 맞춘 변형을 제공한다. Gemini Ultra는 보고된 대부분의 benchmark에서 state-of-the-art 결과를 달성하고, education과 같은 응용에서 crossmodal reasoning을 보여준다.
1. 서론
- Gemini models는 image, audio, video, text 전반에 걸쳐 공동 학습되어 폭넓은 multimodal 능력과 domain-specific 이해 및 reasoning을 결합한다.출처: §1 · p. 1
- Gemini 1.0은 매우 복잡한 작업을 위한 Ultra, 확장 가능한 deployment를 위한 Pro, on-device applications를 위한 Nano를 제공한다.각 size는 서로 다른 computational limitations와 application requirements를 충족한다.출처: §1 · p. 1
- Post-training은 chat 중심의 Gemini Apps models와 developer 중심의 Gemini API models를 생성하는 동시에 quality, target capabilities, alignment, safety를 향상한다.출처: §1 · p. 1
- Gemini Ultra는 text, image, video, speech tasks를 포함해 보고된 benchmark 30 of 32에서 새로운 state-of-the-art 결과를 달성한다.보고된 세부 결과는 text 및 reasoning benchmark 10 of 12, image benchmark 9 of 9, video benchmark 6 of 6, speech benchmark 5 of 5다.출처: §1 · p. 2
- Gemini Ultra는 손으로 작성한 physics 풀이를 해석하고, 오류를 찾고, 수정된 풀이 과정을 생성함으로써 crossmodal reasoning을 보여준다.이 사례는 image 이해, problem formulation, mathematical typesetting, reasoning instructions에 대한 이해를 요구한다.출처: §1 · p. 2, Figure 1 · p. 3
- Gemini의 reasoning capabilities는 더 일반적인 agents도 지원한다. AlphaCode 2는 Codeforces 참가자의 top 15% 이내에 들며, predecessor는 top 50%였다.출처: §1 · p. 2
2. 모델 아키텍처
Gemini는 안정적인 대규모 학습과 긴 컨텍스트 추론에 최적화된 Transformer 디코더를 사용하며, 멀티모달 입력과 출력 처리를 기본적으로 지원한다. 모델 제품군과 인프라는 대규모 배포부터 소형 온디바이스 시스템까지 다양한 애플리케이션을 지원한다.
2. 모델 아키텍처
- Gemini 모델은 32k 컨텍스트 길이와 효율적인 attention을 지원하는 최적화된 Transformer 디코더를 기반으로 하여, 대규모 환경에서 안정적인 학습과 추론을 수행한다.출처: §2 · p. 3
- Gemini는 입력으로 텍스트와 이미지, 오디오, 비디오를 기본적으로 교차 결합하며, 텍스트와 이미지 출력을 생성할 수 있다.모델은 처음부터 멀티모달로 설계되었으며 이미지 생성을 위해 이산 이미지 토큰을 사용한다.출처: §2 · p. 3, Figure 2 · p. 4
- 비디오는 컨텍스트 윈도우에서 프레임으로 인코딩되며, 가변 입력 해상도는 세밀한 시각 작업에 더 많은 연산을 할당한다.출처: §2 · p. 3
- Gemini는 16kHz 오디오 특징을 직접 입력받아, 오디오를 먼저 텍스트로 변환할 때 손실될 수 있는 뉘앙스를 보존한다.출처: §2 · p. 4
- Nano 모델은 distillation과 학습 개선을 활용해 디바이스에서 요약 및 독해와 같은 작업을 수행할 수 있는 소형 모델을 제공한다.출처: §2 · p. 4
3. 학습 인프라
Gemini의 학습 인프라는 결정론적 시스템, 이중화, 분산 accelerator 구성을 통해 하드웨어 장애와 대규모 동기화를 처리한다. 메모리 내 model state 이중화는 복구 성능을 크게 향상하고 학습 goodput을 높인다.
3. 학습 인프라
- Gemini Ultra 규모에서는 하드웨어 장애가 빈번해지므로 여러 데이터센터에 TPU를 배치하고 hot standby, rolling maintenance, 복구 전략을 마련해야 한다.출처: §3 · p. 5
- SuperPod는 데이터센터 간에 연결되어, superpod 내부에서는 model parallelism을, superpod 간에는 data parallelism을 적용한 동기식 학습을 지원한다.출처: §3 · p. 5
- Jax, Pathways, GSPMD, MegaScale XLA는 분산 연산을 조정하고 일관된 step time을 유지하면서 통신과 연산의 중첩을 수행한다.출처: §3 · p. 5
- 메모리 내 model state 복제본을 이중화하면 최대 규모 학습 작업의 goodput이 85%에서 97%로 증가한다.계획되지 않은 하드웨어 장애가 발생하면 손상되지 않은 replica에서 직접 복구를 진행하므로, 기존의 persistent-storage checkpointing이 필요하지 않다.출처: §3 · p. 5
- 결정론적 replay, 사전 예방적 silent-data-corruption scanner, hot standby는 결함이 있는 하드웨어를 신속하게 탐지하고 안정적인 학습을 지원한다.이 인프라는 이 규모에서 매주 또는 2주마다 발생할 것으로 예상되는 silent data corruption 이벤트에 대비해 설계되었다.출처: §3 · p. 5
4. 사전 학습 데이터셋
Gemini는 웹 문서, 서적, 코드, 이미지, 오디오, 비디오에 걸친 필터링된 다중 모달·다국어 혼합 데이터로 사전 학습된다. 데이터 구성은 소형 모델 ablation을 통해 단계적으로 조정되며, tokenizer와 품질 선택은 언어와 도메인 전반의 성능을 목표로 한다.
4. 사전 학습 데이터셋
- Gemini의 사전 학습 데이터셋은 웹 문서, 서적, 코드, 이미지, 오디오, 비디오에서 수집한 다국어·다중 모달 데이터를 결합한다.출처: §4 · p. 5
- 전체 코퍼스의 대규모 표본으로 tokenizer를 학습하면 vocabulary inference가 개선되고 비라틴 문자의 효율적인 tokenization이 가능해진다.저자들은 모델 품질, 학습 속도, 추론 속도에서 이점이 있다고 보고한다.출처: §4 · pp. 5–6
- 데이터셋 혼합은 품질 및 안전성 기준으로 필터링되고 평가 오염 여부를 검사하며, 학습 후반으로 갈수록 도메인 관련 데이터의 비중이 늘어나도록 단계적으로 구성된다.출처: §4 · p. 6
- 혼합 가중치는 소형 모델에서의 ablation을 통해 선택되며, 소형 모델에는 추론 예산 제약하에서 성능을 높이기 위해 훨씬 더 많은 학습 토큰이 제공된다.출처: §4 · p. 6
- 저자들은 높은 성능의 모델에 데이터 품질이 중요하다고 보면서도 최적의 사전 학습 데이터셋 분포는 미해결 문제로 남겨 둔다.출처: §4 · p. 6
5. 평가
이 절에서는 텍스트, 다국어, 긴 컨텍스트, 사실성, 코딩, 이미지, 비디오, 음성 및 멀티모달 추론 과제 전반에서 Gemini 모델을 평가한다. 또한 효율적인 사용 사례, 네이티브 이미지 생성, 음성 이해, 오디오-이미지 인터리브 시퀀스에 대한 추론을 포함해 모델 크기와 post-training 적용으로 가능해진 능력도 살펴본다.
5. 평가
- Gemini Ultra는 학술, 이미지 및 비디오 벤치마크 전반에서 state-of-the-art 결과를 달성하며, 텍스트 및 멀티모달 과제 전반에서 강력한 능력을 보인다.평가는 추론, STEM, 코딩, 이미지 이해, 시간적 비디오 추론 및 멀티모달 과제를 포괄한다.출처: §5 · p. 6, §5.1.1 · p. 6, §5.2.1 · p. 14
5.1.1. 학술 벤치마크
- MMLU에서 90.04% 정확도를 기록한 Gemini Ultra는 인간 전문가 성능 89.8%와 이전 state of the art인 86.4%를 모두 넘어선다.MMLU에서 가장 높은 성능은 8개 또는 32개 샘플에 대한 불확실성 인식 chain-of-thought consensus를 사용한다.출처: §5.1.1 · p. 6
- Natural2Code에서 74.9%, HumanEval에서 74.4%를 기록한 결과는 Gemini Ultra의 선도적인 Python 생성 성능을 보여주며, GSM8K에서는 94.4%, MATH에서는 53.2%에 도달한다.AMC에서 파생된 과제에서 Gemini Ultra는 GPT-4의 30%보다 높은 32%의 문제를 해결한다.출처: §5.1.1 · pp. 6–7
5.1.2. 능력의 추세
- Gemini Ultra는 6개 능력 모두에서 가장 우수하며, 모델 크기 증가에 따른 품질 향상은 특히 추론, 수학/과학, 요약 및 긴 컨텍스트에서 뚜렷하다.Gemini Pro도 서비스 효율성이 더 높으면서 경쟁력 있는 성능을 보인다.출처: §5.1.2 · p. 8
5.1.4.1 기계 번역
- WMT23의 영어 외 언어 번역에서 74.8 BLEURT를 기록한 Gemini Ultra는 GPT-4의 73.6과 PaLM 2의 72.2를 넘으며, 다국어 MGSM에서는 79.0%에 도달한다.또한 매우 저자원 언어에서 PaLM 2-L의 25.3 대비 27.0 chrF를, XLSum에서 PaLM 2의 15.4 대비 17.6 ROUGE-L을 달성한다.출처: §5.1.4.1 · p. 10, §5.1.4.2 · p. 10
5.1.5. 긴 컨텍스트
- 전체 32K 토큰 컨텍스트에서 98% 정확도를 기록한 결과는 Gemini Ultra가 긴 입력 전반에서 정보를 검색할 수 있음을 보여준다. 또한 factuality post-training은 부정확성을 절반으로 줄이고, 귀속 정확도를 50% 높이며, 70% 정확도의 유보적 표현을 가능하게 한다.사실성 평가는 closed-book 사실성, 출처 귀속 및 답변 불가능한 프롬프트에서의 유보적 표현을 포괄한다.출처: §5.1.5 · pp. 10–11, §5.1.6 · pp. 11–12
5.1.7. 복합 추론 시스템
- AlphaCode 2가 Codeforces 문제의 43%를 해결한 것은 AlphaCode의 25%보다 1.7x 향상된 결과이며, 추정 경쟁 순위 85백분위에 해당한다.AlphaCode 2는 특화된 Gemini Pro와 대규모 프로그램 검색, 필터링, 클러스터링 및 reranking을 결합한다.출처: §5.1.7 · p. 12
5.2.1. 이미지 이해
- Gemini Ultra는 기존 이미지 이해 접근법을 능가하고, MathVista를 +3.1%, InfographicVQA를 +5.2% 향상시키며, MMMU state of the art를 5 percentage points 이상 넘어선다.또한 state-of-the-art 비디오 캡셔닝과 zero-shot 비디오 질의응답을 달성해 프레임 간 시간적 추론을 보여준다.출처: Table 7 · p. 13, §5.2.1 · p. 14, Table 8 · p. 14
5.2.3. 이미지 생성
- Gemini 모델은 텍스트와 인터리브된 여러 이미지를 네이티브로 생성하며, 중간 자연어 설명 없이 few-shot 이미지 제안을 가능하게 한다.one-shot 예시에서 Gemini Ultra는 파란색과 노란색 실 샘플을 분홍색 씨가 있는 초록색 아보카도와 분홍색 귀가 있는 초록색 토끼에 대한 제안으로 변환한다.출처: §5.2.3 · pp. 16–17, Figure 6 · p. 17
5.2.4. 음성 이해
- Gemini Pro는 평가된 모든 ASR 및 AST 과제에서 USM과 Whisper를 크게 능가하며, Gemini Nano-1은 FLEURS를 제외한 모든 과제에서 두 모델을 넘어선다.ASR은 낮을수록 좋은 WER을 사용하고, AST는 높을수록 좋은 BLEU를 사용한다. FLEURS 학습을 거치지 않은 Gemini Pro도 WER 15.8을 달성하며 Whisper를 능가한다.출처: §5.2.4 · p. 18, Table 11 · p. 18
- Gemini Pro는 특히 희귀 단어와 고유명사에서 USM보다 더 이해하기 쉬운 ASR 응답을 생성한다.비교 결과는 정성적 오류 분석 예시를 통해 제시된다.출처: §5.2.4 · p. 18, Table 12 · p. 18
5.2.5. 모달리티 결합
- Gemini는 오디오와 이미지를 네이티브로 인터리브하여 처리하며, 오믈렛 조리 상호작용에서 세밀한 시각적 세부사항을 상당히 정확하게 추론한다.모델은 순차적인 구두 질문과 사진에 응답하면서 오믈렛이 완전히 익었는지를 평가한다.출처: Table 13 · p. 19, §5.2.5 · p. 19
6. 사후 학습 모델
Gemini의 사후 학습은 엄선된 데이터, 지도 미세 조정, 보상 모델링, RLHF를 사용해 능력과 정렬을 개선하고, 대화형 및 개발자용 변형 모델을 생성한다. 평가 결과 지시 따르기, 도구 사용, 다국어성, 멀티모달 비전, 코딩에서 성능이 향상되었다.
6. 사후 학습 모델
- 사후 학습은 대화형 서비스와 개발자 제품에 각각 맞춤화된 Gemini Apps 및 Gemini API 변형 모델을 생성한다.이 변형 모델은 Gemini와 Gemini Advanced에 특화되거나 Google AI Studio와 Cloud Vertex AI를 통해 제공된다.출처: §6.1 · p. 20, §6.2 · p. 20
6.3. 사후 학습 방법 및 데이터
- 엄선된 프롬프트는 지도 미세 조정, 인간 선호도로부터의 보상 모델 학습, 인간 피드백을 통한 강화 학습을 지원한다.이 과정은 다양한 실제 프롬프트, 시연 예시, 후보 응답에 대한 피드백, 반복적인 RM–RL 개선을 사용한다.출처: §6.3 · pp. 20–21
6.5.1. 지시 따르기
- Gemini Advanced는 지시별 정확도에서 90%에 근접하지만, 복잡한 프롬프트의 전체 응답 정확도는 약 54%다.이 격차는 모든 하위 지시를 동시에 충족하는 데 여전히 어려움이 있음을 나타낸다.출처: §6.5.1 · p. 22, Table 14 · p. 22
6.5.2. 도구 사용
- 도구는 사용자 선호 결과를 개선하며, 여행 계획 및 동영상 탐색 과제에서 도구를 탑재한 모델이 78%의 경우 선호된다.Gemini는 도구 호출을 코드로 표현하고 모델 샘플링과 도구 실행을 반복적으로 결합한다.출처: §6.5.2 · pp. 22–23, Figure 8 · p. 23
6.5.3. 다국어성
- Gemini Pro는 평가된 5개 언어 모두에서 0.1 SxS score를 초과하는 폭으로 다국어 품질을 개선한다.코딩 및 추론 성능 향상은 언어 전반에서 유지되며, 현지화 및 번역된 사후 학습 데이터가 이를 뒷받침한다.출처: §6.5.3 · pp. 23–24, Table 16 · p. 24
6.5.4. 멀티모달 비전
- RLHF는 SFT만 사용한 경우보다 멀티모달 이미지 이해를 +0.223±0.06 SxS 향상시키면서 텍스트 전용 품질을 +0.01±0.01로 유지한다.SFT는 InfographicVQA, AI2D, VQAv2를 포함한 여러 Gemini API 비전 벤치마크도 개선한다.출처: §6.5.4 · p. 25, Table 17 · p. 25
6.5.5. 코딩
- 사후 학습 데이터는 코딩 품질과 정확성을 크게 향상시키며, Gemini Advanced는 내부 코딩 평가에서 Gemini Pro를 능가한다.코딩 데이터는 인간 및 합성 수집 방식을 결합한다.출처: §6.5.5 · p. 26, Table 18 · p. 26
7. 책임 있는 배포
Gemini 개발은 프로젝트 전 생애주기에 걸쳐 예측 가능한 downstream 사회적 영향을 식별하고, 측정하고, 관리하기 위한 구조화된 책임 있는 배포 접근법을 따른다.
7. 책임 있는 배포
- 책임 있는 배포 프로세스는 Gemini 개발의 전 생애주기에 걸쳐 예측 가능한 downstream 사회적 영향을 다룬다.보고서는 이 접근법이 지속적으로 수행되며, 테스트와 관행에 관한 투명성을 업데이트해 나갈 것을 약속한다고 제시한다.출처: §7 · p. 26
7.1. 영향 평가
Gemini 영향 평가는 모델과 제품 수준에서 사회적 편익과 피해를 검토하며, 내부 연구와 외부 전문성, 출시 전 테스트를 결합한다. 이러한 평가는 위험 완화, 배포 결정, 제품별 보호조치를 이끈다.
7.1. 영향 평가
- Google은 모델 수준과 더 넓은 제품 또는 서비스 내에서 Gemini의 위험과 영향을 평가한다.모델 평가는 text-to-text, image-to-text, video-to-text를 포함한 modality를 다룬다.출처: §7.1 · pp. 26–27, §7.1.1 · p. 27
7.1.1. 모델 평가
- 평가는 문헌, 외부 전문성, 사내 윤리 및 안전 연구를 바탕으로 하며, Google DeepMind Responsibility and Safety Council의 검토를 거친다.이러한 근거 기반은 Gemini modality 전반의 사회적 편익과 피해를 문서화하는 데 기여한다.출처: §7.1.1 · p. 27
- 모델 평가는 정보 처리와 접근성 같은 편익과 함께 콘텐츠, 아동 안전, 대표성, 감시, 환경, 경제적 위험 및 위험한 능력과 관련된 위험을 고려한다.보고서는 이러한 영역에 걸친 평가를 지속적인 위험 연구의 일부로 설명한다.출처: §7.1.1 · p. 27
7.1.2. 제품 평가
- 제품 평가와 red teaming은 출시 전에 위험 완화와 배포 결정을 이끈다.Gemini Advanced의 경우 테스트에서 안전성, 책무성, 포용성을 다뤘으며, API Ultra 검토에서는 기업별 평가와 보호조치를 추가했다.출처: §7.1.2 · pp. 27–28
- 제품 보호조치에는 정확성 고지, 전문적 조언에 대한 경고, 피드백 채널, safety filters, 개발자 지침이 포함된다.이러한 조치는 Gemini 제품과 Cloud 기반 API 제공 전반에 구현된다.출처: §7.1.2 · pp. 27–28
7.2. 안전 정책
Gemini 안전 정책은 소비자 및 엔터프라이즈 맥락 전반에서 개발, 평가, 출시 준비 상태를 위한 표준화된 기준을 제공한다. 유해 콘텐츠, 편향, 중립적이거나 권위 있는 응답의 필요성을 다룬다.
7.2. 안전 정책
- Gemini 모델 정책은 책임 있는 개발과 출시 준비 상태를 위한 표준화된 안전 기준과 우선순위를 정의한다.Gemini를 사용하는 제품에는 18세 미만 사용자를 위한 추가 적용 범위를 포함한 제품 정책 framework가 추가로 적용된다.출처: §7.2 · p. 28
- 정책 영역에는 아동 성착취 콘텐츠, 혐오 발언, 괴롭힘, 위험하거나 악의적인 콘텐츠, 편향 감소가 포함된다.정책은 소비자 및 엔터프라이즈 맥락 전반에 적용된다.출처: §7.2 · p. 28
- Gemini 정책은 권위 있는 합의 사실에 근거한 중립적 답변을 우선하며, 합의가 없는 경우에는 여러 관점을 바탕으로 한 답변을 우선한다.출처: §7.2 · p. 28
7.3. 완화책
Gemini의 완화책은 피해를 유발하는 질의에 대응하기 위해 데이터 큐레이션, post-training, 표적화된 안전 개입을 결합한다. 이 접근법은 SFT, RLHF, 다국어 및 멀티모달 데이터, 반복 평가를 활용해 유용성과 무해성의 균형을 맞춘다.
7.3.1. 데이터 큐레이션 관행
- 훈련 데이터는 고위험 콘텐츠를 기준으로 필터링하며, 인간 데이터 생성자와 평가자는 성별, 연령, 인종 및 민족적 다양성을 고려해 구성한다.데이터 보강 과정에는 작업자에게 최소한 현지 생활임금을 지급하도록 하는 계약상 요구사항도 포함된다.출처: §7.3.1 · pp. 28–29
7.3.2. 모델 완화
- 안전 완화에는 주로 적대적 질의나 피해를 유발하는 질의에 초점을 둔 supervised fine-tuning과 RLHF를 사용한다.이러한 안전 중심 post-training은 모든 사용자 질의를 대상으로 하는 일반적인 품질 중심 post-training과 구별된다.출처: §7.3.2 · p. 29
7.3.2.1 피해 유발 질의
- 전문가가 작성한 질의, language model이 생성한 질의, 자동화된 red teaming을 통해 발견한 질의를 사용해 약 20가지 피해 유형을 다룬다.범주에는 혐오 발언, 근거 없는 의료 조언, 위험한 행동이 포함된다.출처: §7.3.2.1 · p. 29
7.3.2.2 Supervised fine-tuning
- Safety SFT는 인간이 수집한 데이터와 정책 조건부 응답 생성 및 선택을 결합하며, 피해 유형별로 서로 다른 constitution을 사용한다.선거와 같은 민감하고 논쟁적인 대화에서는 중립적인 응답을 유도하는 레시피를 사용한다.출처: §7.3.2.2 · p. 29
- Safety tuning은 무해성과 유용성의 균형을 맞추는 동시에 변화하는 유해 질의 패턴에 신속히 적응하고 관찰된 사례를 넘어 일반화해야 한다.저자들은 개별 피해 사례가 아니라 안전 정책 개념 수준에서 작동하도록 더 발전된 chain-of-thought 레시피를 사용한다.출처: §7.3.2.2 · pp. 29–30
7.3.2.4 일반 레시피를 넘어
- 추가 완화책에는 지역별 전문성, 멀티모달 safety SFT, 안전성과 유용성을 시간에 따라 추적하는 내부 피해 유발 질의 평가가 포함된다.텍스트와 이미지를 모두 포함하는 일부 유해 질의에는 텍스트 전용 safety SFT가 효과적이지 않았다.출처: §7.3.2.4 · pp. 30–31
7.4. 안전성 평가
Gemini 안전성 평가는 모델과 제품 수준에서 수행되며, 콘텐츠 안전성, 재현적 피해, 위험 능력, Gemini Advanced 사용 사례를 포괄한다. 결과는 지속적인 개선 영역과 측정 한계가 남아 있는 가운데 순차적인 안전성 향상을 보여준다.
7.4. 안전성 평가
- 안전성 평가는 모델과 제품 수준에서 수행되며, 개발, assurance, 외부 평가, red-team 테스트를 위험에 맞는 주기로 진행한다.Assurance 세트는 평가에서 제외되며, policy 평가는 Google 제품 영역에 출시되는 모든 post-trained checkpoint를 대상으로 한다.출처: §7.4 · pp. 31–32
7.4.1.1 콘텐츠 안전성
- Text-to-text policy 위반율은 순차적으로 개선되었지만, 의료 조언과 괴롭힘은 여전히 특히 개선 여지가 큰 영역으로 남았다.이 테스트에서 Ultra와 Pro는 유사한 안전성 프로파일을 보였다.출처: §7.4.1.1 · p. 33
- Image-to-text 평가에서는 처음에 adversarial 이미지에 대한 위반 캡션이 발견되었고, 이에 따라 전용 multimodal 완화 조치가 도입되었으며 이후 Pro와 Ultra에서 주목할 만한 개선이 나타났다.이 연구는 위반 multimodal 콘텐츠를 분류하기 위한 다양한 이미지 출처와 도구를 계속되는 과제로 지적한다.출처: §7.4.1.1 · p. 33
7.4.1.2 재현적 피해
- 많은 재현적 피해 데이터셋은 정확도 99% 근처에서 빠르게 포화되므로, 이분법적 성별과 일반적인 고정관념을 넘어서는 측정이 필요하다.BBQ에서는 평균 편향 점수가 0에 가까운 수준을 유지한 반면, Real Toxicity Prompts의 평균 toxicity는 6% 전후로 변동했다.출처: §7.4.1.2 · p. 34
- 재현적 피해 평가에서는 image-to-text와 video-to-text에서 근거 없는 추론이 발견되었지만, Gemini가 한 집단을 다른 집단보다 더 겨냥했다는 일관된 증거는 없었다.평가 스위트는 바람직한 행동과 유해한 행동이 정의된 데이터셋을 사용하지만, 저자들은 추가 연구가 필요하다고 지적한다.출처: §7.4.1.2 · pp. 34–35
7.4.1.3 위험 능력
- 위험 능력 테스트에서는 복합적인 위험이 발견되었다. 모델은 일부 입문 수준 cybersecurity 과제를 해결했고, 설득 결과는 엇갈렸으며, 대부분의 self-proliferation 능력이 부족했고, 힌트 없이는 infrastructure 기회를 알아차리지 못하는 경우가 일반적이었다.CBRN 결과는 모델이 재앙적 피해로 이어지는 정보를 제공할 가능성이 낮음을 시사했다.출처: §7.4.1.3 · p. 35
7.4.2. Gemini Advanced
- Gemini Advanced 평가는 주요 policy 영역 전반에서 safety filtering, 다양한 사용자 여정, 지역별 민감성, adversarial 테스트를 포함한다.평가 세트는 red-teaming, responsibility 전문가, 실제 데이터, 사람이 선별한 language-model augmentation을 활용한다.출처: §7.4.2 · p. 36
7.4.3. 레드팀 평가
Gemini의 레드팀 평가는 적대자 시뮬레이션, 사회기술적 테스트, 제품 테스트, 독립적인 외부 평가를 결합한다. 이러한 활동은 보안, 프라이버시, 안전, 사회적 피해 전반의 취약점을 식별하고, 발견 사항을 완화 조치와 평가에 다시 반영한다.
7.4.3.1 모델 수준의 레드팀 평가
- 모델 수준의 레드팀 평가는 적대자 시뮬레이션과 보안, 안전, 프라이버시, 사회적 피해 전반에 걸친 구조화된 사회기술적 테스트를 결합한다.테스트에는 현실적인 공격자 시나리오와 적대적 압력 수준별 비교가 포함된다.출처: §7.4.3.1 · pp. 36–37
- 초기 모델은 단순한 jailbreak 및 prompt-injection 공격에 취약했으며, 폭력, 자해, 위험 물질과 관련된 긍정 응답을 유도할 수 있었다.이 발견을 통해 후속 모델에서 완화 조치를 적용할 수 있었다.출처: §7.4.3.1 · p. 36
- 구조화된 레드팀 평가에서 콘텐츠 정책 영역 전반의 취약점이 발견되었으며, 고도로 적대적인 환경에서 성공적인 공격의 비율이 더 높았다.이 접근법은 인구통계학적 집단 간 불균형한 영향을 명시적으로 검토하고, 실제 경험과 의학 전문성을 포함한 전문가 의견을 활용한다.출처: §7.4.3.1 · p. 37
7.4.3.2 Gemini Advanced
- Gemini Advanced는 24개국의 Google 테스터 164명에 의해 테스트되었으며, 1,400건이 넘는 질의 또는 대화와 총 100,000건이 넘는 안전성 평가가 제출되었다.추가적인 dogfooding에는 수만 명의 참가자와 첫 14시간 동안의 100,000건의 질의 또는 대화가 포함되었다.출처: §7.4.3.2 · p. 38
- 레드팀 및 안전성 평가 결과를 반복적으로 활용하여 평가를 강화하고 모델 성능을 개선한다.더 광범위한 테스트 프로그램에는 Gemini Advanced의 우선 사용자, 파워 유저, 외부 보안 테스터가 포함된다.출처: §7.4.3.2 · p. 38, §7.4.5 · p. 39
7.4.4.1 Gemini Ultra 외부 평가
- 독립적인 외부 그룹들은 자율적 복제, CBRN, 사이버보안, 사회적 위험 전반에 걸쳐 구조화된 평가, 정성적 탐색, 비구조화된 레드팀 평가를 수행했다.Groups independently designed their methodologies and reported results while testing a December 2023 Gemini API Ultra checkpoint.출처: §7.4.4.1 · p. 38
7.5. 배포
Gemini 배포는 이용 약관, 배포, 액세스, 운영 제어를 다루는 온라인 문서와 내부 및 외부 model cards를 통해 지원된다. 이러한 자료는 성능, 책임, 제품 거버넌스 정보를 구조화해 제공한다.
7.5. 배포
- 승인된 Gemini 버전에는 일관된 검토와 외부 커뮤니케이션을 위해 핵심 성능 및 책임성 지표를 기록한 내부 model cards가 포함된다.외부 model cards와 system cards는 기술 보고서 업데이트 및 기업 문서를 통해 공개된다.출처: §7.5 · p. 39
- 온라인 제품 문서는 이용 약관, 모델 배포 및 액세스, 변경 제어, 로깅, 모니터링, 피드백을 다룬다.열거된 정책에는 금지된 사용, 서비스, 개인정보 보호, 클라우드 플랫폼 약관이 포함된다.출처: §7.5 · p. 39
8. 논의 및 결론
Gemini는 텍스트, 코드, 이미지, 오디오, 비디오 전반에서 멀티모달 모델 역량을 향상시키며, Gemini Ultra는 강력한 benchmark 결과와 멀티모달 추론 성능을 달성한다. 또한 이 보고서는 잠재적 응용과 장기적으로 폭넓은 멀티모달 일반화를 지향하는 목표를 설명하는 한편, 해결되지 않은 신뢰성과 추론의 한계를 식별한다.
- Gemini Ultra는 언어 모델의 발전을 측정하는 시험 benchmark에서 인간 전문가 수준의 성능을 넘어 MMLU에서 90.0%를 기록한다.출처: §8 · p. 40
- Gemini Ultra는 task-specific modification이나 tuning 없이 여러 이미지, 비디오, 오디오 benchmark에서 state-of-the-art 결과를 달성한다.출처: §8 · p. 40
- Gemini 모델은 복잡한 이미지, interleaved images, audio, text를 포함하는 응용을 지원하며, 여기에는 교육, 문제 해결, 커뮤니케이션, 요약, 추출, 창의적 작업이 포함된다.출처: §8 · p. 40
- 현재의 LLMs는 여전히 hallucination에 대한 연구와 더 어려운 평가를 필요로 한다. 시험에서의 강력한 성능이 인과적, 논리적 또는 반사실적 추론을 보장하지는 않기 때문이다.출처: §8 · p. 40
- Gemini family는 모달리티 전반에서 폭넓은 일반화를 이루는 대규모 modularized system을 향한 기반을 제공한다.출처: §8 · p. 40
9. 기여 및 감사의 말
이 절에서는 기술, 연구, 제품, 인프라, 안전, 운영 및 지원 역할 전반에 걸친 Gemini의 광범위한 Google 내 협업을 소개한다. 또한 피드백, 데모, 협업, 검토 및 지원을 제공한 동료와 기여자들에게 감사를 표한다.
Gemini 리드
- Gemini의 리드 역할은 텍스트, multimodal vision and audio, 데이터, fine-tuning, instruction tuning, reinforcement learning, human data, 안전, 평가, 인프라, 코드베이스 및 병렬화, 생태계, 제품과 운영을 포괄했다.열거된 역할은 각 영역의 공동 리드와 리드를 명시한다.출처: Gemini Leads · p. 55
Gemini App 리드
- Gemini App 리더십은 core modeling, fine-tuning, 사실성, instruction following, 대화성, multimodality, 다국어성, 안전, 코딩, 도구 사용, 평가, serving, 기술 프로그램 관리와 제품을 아우렀다.이 절에서는 프로그램, post-training 및 전체 기술 리드도 명시하며, Jeffrey Dean과 Oriol Vinyals를 전체 기술 리드로서 동등 기여한 인물로 소개한다.출처: Gemini App Leads · pp. 55, 69
- 기여는 Lead, Core Contributor, Contributor, Program Lead, Overall Post-Training Lead 및 Overall Technical Lead 역할로 구성되었으며, 각 역할 내에서는 동등한 기여를 인정하고 순서는 무작위로 정했다.이 절에서는 각 역할 내 순서가 기여 순서를 의미하지 않는다고 밝힌다.출처: Gemini App Leads · p. 69
- Gemini는 Google DeepMind, Google Research, Bard/Assistant, Knowledge and Information, Core ML, Cloud, Labs 및 기타 팀이 참여한 cross-Google effort였으며, 보고서 리더, 검토자, 동료와 명시된 인프라 및 엔지니어링 팀의 지원에도 감사를 표한다.감사의 말에서는 보고서 작성자와 검토자에게 감사를 표하고 AlphaCode, JAX, ML SRE, ML Supercomputer, Platforms Infrastructure Engineering 및 XLA Compiler를 포함한 팀을 언급한다.출처: Gemini App Leads · pp. 69–70
- Google의 동료들은 열의를 공유하고 초기 모델에 피드백을 제공하며 데모 활용 사례를 만들고 프로젝트의 여러 측면에 기여함으로써 핵심 Gemini 팀을 지원했다.감사의 말에는 다른 곳에서 명시적으로 언급되지 않은 사람들도 포함된다.출처: Gemini App Leads · p. 70
10. 부록
부록은 Gemini의 model card 범위, 평가 범위, 추론 비교, 정성적 멀티모달 사례를 기록한다. 다양한 modality와 과제에서의 강력한 성능을 보고하는 한편, downstream safety assessment를 강조한다.
10.1. Gemini Ultra Model Card
- Gemini V1.0은 이미지, 오디오, 비디오, 텍스트 데이터 전반에서 공동 학습된 decoder-only Transformer 변형인 Nano, Pro, Ultra로 구성된다.모델은 32K context length를 지원하며 multi-query attention과 같은 효율적인 attention mechanism을 사용한다.출처: §10.1 · p. 71
- model card는 멀티모달 다국어 학습 데이터, supervised fine-tuning과 RLHF를 활용한 post-training, 평가 데이터셋, 사용 목적, safety consideration을 다룬다.알려진 한계로 인해 downstream deployment 전에 safety와 fairness 우려를 평가하고 완화해야 한다.출처: §10.1 · pp. 71–73
10.2. MMLU benchmark에서의 Chain-of-Thought 비교
- Gemini Ultra는 32개 샘플을 사용하는 uncertainty-routed chain-of-thought로 90.0% MMLU accuracy를 달성하며, greedy sampling에서는 84.0%, chain-of-thought만 사용하면 85.0%를 기록한다.이 방법은 model-specific validation threshold를 초과하는 다수결을 선택하고, 그렇지 않으면 greedy sampling으로 전환한다.출처: §10.2 · p. 74
10.3. Capabilities and Benchmarking Tasks
- benchmarking harness는 factuality, long context, mathematics, reasoning, summarization, multilinguality, image·video·audio understanding에 걸친 more than 50 tasks를 포괄한다.열거된 평가에는 chart understanding, document 및 text recognition, multimodal reasoning, video captioning 및 question answering, speech recognition 또는 translation이 포함된다.출처: §10.3 · p. 75
10.4. Qualitative Examples
- 정성적 사례는 chart reasoning, multimodal question answering, interleaved image-text generation, visual reasoning, geometry, object information seeking, humor understanding, multilingual commonsense reasoning을 보여준다.사례에는 식물과 객체 인식, 밈의 문화적 맥락 해석, 블로그 게시물 안에서 일관된 개 이미지를 생성하는 작업이 포함된다.출처: §10.4 · p. 76, Figure 10 · p. 77, Figure 11 · p. 78
10.5.1. Reasoning and code generation
- Gemini는 복잡한 웹사이트 생성 지침을 따르고 이를 단일 파일 웹 애플리케이션을 위한 functioning code로 변환한다.이 사례는 query redirection, Google Search와의 시각적 유사성, 주머니쥐 이미지, 지정된 footer text를 요구한다.출처: §10.5.1 · p. 85, Figure 19 · p. 86
10.5.2. Mathematics: Calculus
- 부록은 단계별 설명이 포함된 미적분 풀이, 다단계 계산, 정확하게 계산된 markdown table을 통해 수학적 추론을 보여준다.또한 inverse graphics, mathematical transformation, 관련 code output이 필요한 복잡한 멀티모달 code generation도 제시한다.출처: Figure 20 · p. 87, Figure 21 · p. 88, §10.6 · p. 88
10.6.2. Video understanding and reasoning
- Gemini Ultra는 시간적으로 연결된 temporally connected video frames를 분석하고 축구 페널티 시퀀스에서의 동작을 어떻게 개선할 수 있는지 권고한다.이 사례는 few-shot video captioning과 zero-shot video question answering에서 보고된 전반적인 강점을 보완한다.출처: Figure 23 · p. 90