IT之家 4 月 23 日消息，科技媒體 marktechpost 昨日（4 月 22 日）發(fā)布博文，報(bào)道稱英偉達(dá)最新推出 Eagle 2.5，一款專注于長(zhǎng)上下文多模態(tài)學(xué)習(xí)的視覺(jué)-語(yǔ)言模型（VLM）。
該模型專注于理解大規(guī)模視頻和圖像，尤其擅長(zhǎng)處理高分辨率圖像和長(zhǎng)視頻序列。盡管參數(shù)規(guī)模僅為 8B，Eagle 2.5 在 Video-MME 基準(zhǔn)測(cè)試（512 幀輸入）中得分高達(dá) 72.4%，媲美 Qwen2.5-VL-72B 和 InternVL2.5-78B 等更大規(guī)模模型。
創(chuàng)新訓(xùn)練策略
Eagle 2.5 的成功離不開(kāi)兩項(xiàng)關(guān)鍵訓(xùn)練策略：信息優(yōu)先采樣（Information-First Sampling）和漸進(jìn)式后訓(xùn)練（Progressive Post-Training）。
信息優(yōu)先采樣通過(guò)圖像區(qū)域保留（IAP）技術(shù)，保留超過(guò) 60% 的原始圖像區(qū)域，同時(shí)減少寬高比失真；自動(dòng)降級(jí)采樣（ADS）則根據(jù)上下文長(zhǎng)度動(dòng)態(tài)平衡視覺(jué)和文本輸入，確保文本完整性和視覺(jué)細(xì)節(jié)的優(yōu)化。
漸進(jìn)式后訓(xùn)練逐步擴(kuò)展模型上下文窗口，從 32K 到 128K token，讓模型在不同輸入長(zhǎng)度下保持穩(wěn)定性能，避免過(guò)擬合單一上下文范圍。這些策略結(jié)合 SigLIP 視覺(jué)編碼和 MLP 投影層，確保了模型在多樣化任務(wù)中的靈活性。
定制數(shù)據(jù)集
Eagle 2.5 的訓(xùn)練數(shù)據(jù)管道，整合了開(kāi)源資源和定制數(shù)據(jù)集 Eagle-Video-110K，該數(shù)據(jù)集專為理解長(zhǎng)視頻設(shè)計(jì)，采用雙重標(biāo)注方式。
自上而下的方法采用故事級(jí)分割，結(jié)合人類標(biāo)注章節(jié)元數(shù)據(jù)、GPT-4 生成的密集描述；自下而上的方法則利用 GPT-4o 為短片段生成問(wèn)答對(duì)，抓取時(shí)空細(xì)節(jié)。
通過(guò)余弦相似度（cosine similarity）篩選，數(shù)據(jù)集強(qiáng)調(diào)多樣性而非冗余，確保敘事連貫性和細(xì)粒度標(biāo)注，顯著提升了模型在高幀數(shù)（≥128 幀）任務(wù)中的表現(xiàn)。
性能表現(xiàn)
Eagle 2.5-8B 在多項(xiàng)視頻和圖像理解任務(wù)中表現(xiàn)出色。在視頻基準(zhǔn)測(cè)試中，MVBench 得分為 74.8，MLVU 為 77.6，LongVideoBench 為 66.4；在圖像基準(zhǔn)測(cè)試中，DocVQA 得分為 94.1，ChartQA 為 87.5，InfoVQA 為 80.4。
消融研究（Ablation studies）表明，IAP 和 ADS 的移除會(huì)導(dǎo)致性能下降，而漸進(jìn)式訓(xùn)練和 Eagle-Video-110K 數(shù)據(jù)集的加入則帶來(lái)更穩(wěn)定的提升。
IT之家附上參考地址
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。