阿聯(lián)酋在科技及教育產(chǎn)業(yè)方面投入的預(yù)算一直不菲,近日,阿聯(lián)酋科技創(chuàng)新研究所(TII)打造出了400億參數(shù)的語言模型Falcon-40B,在Hugging Face的OpenLLM排行榜上排名第一,并持續(xù)霸榜,贏過此前LLaMA、StableLM和RedPajama等競(jìng)爭(zhēng)者。據(jù)稱,F(xiàn)alcon-40B使用了384顆GPU來進(jìn)行2個(gè)月的訓(xùn)練、利用將近5億個(gè)Token訓(xùn)練而成。為提高訓(xùn)練過程的質(zhì)量,團(tuán)隊(duì)還自己組建了一套工作流程來篩選出“最高質(zhì)量的的資料”供給 AI 模型訓(xùn)練。經(jīng)多個(gè)基準(zhǔn)測(cè)試,表現(xiàn)比LLaMA、Vicuna和Alpaca更加出色。IT之家注意到,F(xiàn)alcon模型已經(jīng)在huggingface上開源,目前開源的版本有Falcon-7B-Instruct和Falcon-40B-Instruct等。