大姐影院 通达原子开源大赛助力轻量级诳言语模子应用落地

首届通达原子开源大赛系列遵守大姐影院

“Intel借助开源大赛在寰球的影响力，眩惑更多成立者加入诳言语模子偏抓在东谈主工智能规模的翻新应用。”负责BigDL-LLM赛题运营的Intel职责主谈主员暗意。

2023年，诳言语模子（LLM）及应用成为寰球焦点，参数目激增至万亿级。跟着模子参数数目的不绝增多，推理时代变得越来越长，初始大模子所需的资源倏地也越来越多，导致其初始缓缓，这为AI应用成立者带来了极大的挑战。

为此，Intel成立并开源了BigDL-LLM，可借助Intel平台上风，助力AI成立者和商议者加快优化诳言语模子，提高诳言语模子的使用体验。

为了使BigDL-LLM做事更多成立者，并为大型话语模子的开源应用提供更多本体应用场景，Intel与通达原子开源基金会互助，通过举办开源大赛，激发成立者翻新。2023年11月，“BigDL-LLM轻量级诳言语模子应用成立翻新赛”在通达原子开源大赛平台讲求上线，致力于于进一步鞭策诳言语模子工夫的发展和应用。

开源大赛

加快优化诳言语模子

通达原子开源大赛——BigDL-LLM轻量级诳言语模子应用成立翻新赛，以30万奖金和Intel实习契机为激发，集聚了寰球120所高校与企业单元的163支团队，经过严格筛选，来自微软公司、华东师范大学、上海交通大学、北京航空航天大学、复旦大学、同济大学、浙江静好控股集团等单元的十强团队脱颖而出，参预决赛。

本次大赛条款参赛选手通过在Intel土产货PC（无需零丁显卡）或云霄，成立基于诳言语模子的翻新应用，如智能语音助手、智能助理、聊天机器东谈主、智能客服等。参赛作品应以可现实代码和文档为主，并可选包括演示、PPT、演示视频等花样。

在决赛上，上海交通大学的SJTUNavSailor团队使用BigDL-LLM量化后的int4模子，不仅内存占用大幅着落，日本av女友对话反适时代也从正本超过5分钟（仍未反应）降至8秒；华东师范大学的VidBot团队则用BigDL-LLM将Whipser语音模子放在XPU加快推理后，转录时代提速了一倍；

“在使用BigDL-LLM模子加快后，效果权臣，尤其是在Intel CPU平台上不错兑现很猛进度的加快效果，提高大模子在个东谈主电脑初始的性能，缩短AI PC的使用门槛。”同济大学、浙江静好控股集团等入围选手在路演现场给与采访时暗意。

最终，获奖团队通过应用诳言语模子工夫，为老师、招聘和好意思容等行业提供了翻新的工夫惩处决策，展现了高效、踏实和可靠的深度学习应用后劲。

开源大赛

助力轻量级诳言语模子应用落地

依依网

在决赛的路演中，经过9位资深评委大家的细巧评比，浙江静好控股集团的“好意思业AI大脑”团队脱颖而出，荣获一等奖。华东师范大学的OpenEduECNU和Vidbot团队也展现了超卓实力，共同荣获二等奖。

“好意思业AI大脑”团队负责东谈主赛后总结时暗意：“咱们绝顶运气无意参加通达原子开源大赛，这次获奖不仅将AI用具落地应用在好意思业规模，更是对好意思业产业往时转型升级的一种鞭策。”

据路演团队的先容，“好意思业AI大脑”旨在全面遮蔽好意思业的应用场景，打造一个全面、智能、互动的学习平台。该平台将为好意思业东谈主员提供方便、高效、兴趣兴趣的学习体验，不论是解答浮浅疑问、查询专科常识、即时生成话术等，齐能提供专科的惩处决策。

华东师范大学OpenEduECNU团队的代表张豈明在给与采访时暗意：“绝顶感谢通达原子开源大赛为咱们提供了展示作品的平台。咱们的决策利用BigDL-LLM轻量级诳言语模子，蚁集华东师范大学的海量老师数据资源，成立出了集课程问答、试题生成和课件定制（素养大纲、素养PPT）等个性化功能于一体的老师用具，旨在匡助老师职责者提高教研遵守，鞭策素养个性化发展，促进老师自制。”

为了潜入挖掘奈何行使BigDL-LLM轻量级诳言语模子兑现应用成立的本体应用，咱们迥殊邀请了本次比赛的获奖团队代表，共享他们的成立过程和参赛警戒！

来自华东师范大学的数据科学与工程学院硕士商议生张豈明大姐影院，将直播共享《通达原子开源大赛获奖选手警戒共享——Open Edu ECNU个性化课程智能助教》，回来参赛心得与警戒共享。