全球视点！AI“模型崩溃”风险需警惕
来源标题：AI“模型崩溃”风险需警惕
从客户服务到内容创作，人工智能(AI)影响了众多领域的进展。但是，一个日益严重的被称为“模型崩溃”的问题，可能会使AI的所有成就功亏一篑。
“模型崩溃”是今年7月发表在英国《自然》杂志上的一篇研究论文指出的问题。它是指用AI生成的数据集训练未来几代机器学习模型，可能会严重“污染”它们的输出。
(资料图片仅供参考)
多家外媒报道称，这不仅是数据科学家需要担心的技术问题，如果不加控制，“模型崩溃”可能会对企业、技术和整个数字生态系统产生深远影响。天津大学自然语言处理实验室负责人熊德意教授在接受科技日报记者采访时，从专业角度对“模型崩溃”进行了解读。
“模型崩溃”是怎么回事
大多数AI模型，比如GPT-4，都是通过大量数据进行训练的，其中大部分数据来自互联网。最初，这些数据是由人类生成的，反映了人类语言、行为和文化的多样性和复杂性。AI从这些数据中学习，并用它来生成新内容。
然而，当AI在网络上搜索新数据来训练下一代模型时，AI很可能会吸收一些自己生成的内容，从而形成反馈循环，其中一个AI的输出成为另一个AI的输入。当生成式AI用自己的内容进行训练时，其输出也会偏离现实。这就像多次复制一份文件，每个版本都会丢失一些原始细节，最终得到的是一个模糊的、不那么准确的结果。
美国《纽约时报》报道称，当AI脱离人类输入内容时，其输出的质量和多样性会下降。
熊德意解读称：“真实的人类语言数据，其分布通常符合齐普夫定律，即词频与词的排序成反比关系。齐普夫定律揭示了人类语言数据存在长尾现象，即存在大量的低频且多样化的内容。”
熊德意进一步解释道，由于存在近似采样等错误，在模型生成的数据中，真实分布的长尾现象逐渐消失，模型生成数据的分布逐渐收敛至与真实分布不一致的分布，多样性降低，导致“模型崩溃”。
AI自我“蚕食”是坏事吗
对于“模型崩溃”，美国《TheWeek》杂志近日刊文评论称，这意味着AI正在自我“蚕食”。
熊德意认为，伴随着这一现象的出现，模型生成数据在后续模型迭代训练中占比越高，后续模型丢失真实数据的信息就会越多，模型训练就更加困难。
乍一看，“模型崩溃”在当前似乎还是一个仅需要AI研究人员在实验室中担心的小众问题，但其影响将是深远而长久的。
美国《大西洋月刊》刊文指出，为了开发更先进的AI产品，科技巨头可能不得不向程序提供合成数据，即AI系统生成的模拟数据。然而，由于一些生成式AI的输出充斥着偏见、虚假信息和荒谬内容，这些会传递到AI模型的下一版本中。
美国《福布斯》杂志报道称，“模型崩溃”还可能会加剧AI中的偏见和不平等问题。
不过，这并不意味着所有合成数据都是不好的。《纽约时报》表示，在某些情况下，合成数据可以帮助AI学习。例如，当使用大型AI模型的输出训练较小的模型时，或者当可以验证正确答案时，比如数学问题的解决方案或国际象棋、围棋等游戏的最佳策略。
AI正在占领互联网吗
训练新AI模型的问题可能凸显出一个更大的挑战。《科学美国人》杂志表示，AI内容正在占领互联网，大型语言模型生成的文本正充斥着数百个网站。与人工创作的内容相比，AI内容的创作速度更快，数量也更大。
OpenAI首席执行官萨姆·奥特曼今年2月曾表示，该公司每天生成约1000亿个单词，相当于100万本小说的文本，其中有一大部分会流入互联网。
互联网上大量的AI内容，包括机器人发布的推文、荒谬的图片和虚假评论，引发了一种更为消极的观念。《福布斯》杂志称，“死亡互联网理论”认为，互联网上的大部分流量、帖子和用户都已被机器人和AI生成的内容所取代，人类不再能决定互联网的方向。这一观念最初只在网络论坛上流传，但最近却获得了更多关注。
幸运的是，专家们表示，“死亡互联网理论”尚未成为现实。《福布斯》杂志指出，绝大多数广为流传的帖子，包括一些深刻的观点、犀利的语言、敏锐的观察，以及在新背景下对新生事物的定义等内容，都不是AI生成的。
不过，熊德意仍强调：“随着大模型的广泛应用，AI合成数据在互联网数据中的占比可能会越来越高，大量低质量的AI合成数据，不仅会使后续采用互联网数据训练的模型出现一定程度的‘模型崩溃’，而且也会对社会形成负面影响，比如生成的错误信息对部分人群形成误导等。因此，AI生成内容不仅是一个技术问题，同时也是社会问题，需要从安全治理与AI技术双重角度进行有效应对。”
标签：
抢先读
- 生态环境部：着力构建更加有效、更有活力、更具国际影响力的碳市场
- 世界焦点！新疆创全国花生千亩方高产纪录
- 市场监管总局抽检热水器等489批次产品 其中35批次不合格_全球热讯
- 全球百事通！数智化赋能交通业转型
- 一箭五星，力箭一号遥四运载火箭发射成功 全球信息
- 全球视点！AI“模型崩溃”风险需警惕
- 2024中国企业500强榜单显示——大企业研发投入持续增长 世界视点
- 丰田在美国面临叉车发动机排放作弊诉讼
- 报道：中国汽研推出新能源汽车安全新质测评认证项目
- 捷龙三号“一箭八星”发射成功_世界消息
- 内蒙古史大姐的30年小镇创业路 每日信息
- 打通数字技术创新突破堵点 赋能新质生产力发展 视点
- 杭州“直播电商第一区”：大流量汇聚正能量
- 竞争加剧是阵痛，汽车质量尚未被价格战拖累
- 【新要闻】阿维塔 07获新能源汽车安全新质测评电动汽车电安全之星
- 天天看点：强链补链 锂电材料上市公司加速“出海”
- 今日最新！“2024年九寨沟国际旅游体验官选拨活动暨全球达人旅拍邀请赛”举行
- 世界计算大会开幕
- 网红主播应当拼什么 世界头条
- 美国设立10亿美元新基金，帮助汽车零部件供应商进行电动化转型
- 市场监管总局抽检热水器等489批次产品 其中35批次不合格
- 我国绿色智能计算产业“井喷”发展
- AI“模型崩溃”风险需警惕|环球时讯
- 新业态新领域市场准入有新解
- 智造世界 创造美好——2024世界制造业大会观察
- 食品饮料企业多措并举寻求破局
- 数字里的新质生产力｜“数字大脑”如何指挥三万多机器人？_天天微动态
- 你有被免密支付“套路”过吗？
- 全球观速讯丨AI“模型崩溃”风险需警惕
- 环球热议:一箭八星“太空拼车”！捷龙三号火箭海上成功发射
- 保持口腔健康 打好“组合拳”
- 青春华章｜听天津·听障儿童唱响爱的旋律 热点在线
- 环球观速讯丨杭州“直播电商第一区”：大流量汇聚正能量
- 第21届中国—东盟博览会首日 签约项目109个-每日热文
- 方城县实验初中教育集团西校区举行主题升国旗仪式 _环球热点评
- 国家文物局：推动流失文物追索返还 让“国宝”回家 热门
- 第21届中国—东盟博览会首日 签约项目109个 精彩看点
- 第21届中国—东盟博览会首日 签约项目109个|天天快资讯
- 一箭五星！力箭一号火箭发射看点解析
- 南阳市宛城区法院：邻里打井起纷争，联合调解化干戈-世界新视野
- 生态环境部：我国核电已进入世界先进行列
- 迈出关键一步！太旧高速公路改扩建工程初步设计获批-世界快播报
- 新野县法院：网络造谣“一时爽” 事后担责得不偿失_世界微动态
- 焦点速读：唐河县昝岗乡：“扫黄打非”助成长 护航初秋开学季
- 第三届东湖论坛即将开启
- 生态环境持续改善 我国森林覆盖率达到24.02%
- 生态环境持续改善 我国森林覆盖率达到24.02%
- 全球观热点：生态环境部：我国核电已进入世界先进行列
- 全球最新：财政部下达7.19亿元资金 支持海南、辽宁等地防汛救灾恢复生产
- 全球热门:财产股利有哪些？财产股利和负债股利的区别是什么？
- 国家文物局：我国世界遗产总数达59项 保持领先优势
- 铸牢共同体 中华一家亲丨天山南北唱新歌：板下经济，致富路更宽|环球精选
- 全球动态:金融学是学什么的？女生学金融学难吗？
- 今日看点：民政部、财政部部署为困难群众发放一次性生活补助
- 国家文物局：我国世界遗产总数达59项 保持领先优势
- 全球新资讯：公募基金解读央行政策“大礼包”：有利于经济加快复苏 可能推动A股震荡中展开修复性反弹
- 异国中秋浓浓情 留法学子举杯共庆 每日热讯
- 环球快看点丨第四次中澳战略经济对话将在京举行
- 生态环境部：我国核电已进入世界先进行列_热点在线
- 天天报道:保障“离线休息权” 化解数字时代的职业倦怠
- “得红利者得天下” 绩优基金争上游_观察
- 国家文物局：近三年来排查整治各类文物安全隐患和问题24万余项
- 第三届东湖论坛即将开启
- 全球微速讯：我国将建立健全数字人标准体系 相关企业达114.4万家
- 焦点关注：宋太祖是谁叫什么名字？宋朝是怎么来的？
- 我国将建立健全数字人标准体系 相关企业达114.4万家_热讯
- 环球观天下！中国中车全球首发两款新型“绿色智慧”列车
- 西平县师灵镇疏堵结合规范群众打场晒粮
- 远离城市喧嚣 “采菌大军”解锁沉浸式小众游新体验 要闻
- 海上一箭八星！中国成功发射天仪41星、星时代-15等8颗卫星
- 中国央行创设新货币政策工具支持股票市场
- 新规火速落地 证监会力推“长钱长投”_新资讯
- 西平县柏苑办事处扎实开展“三秋”秸秆禁烧工作
- 驻马店经济开发区开源办事处刁庄村开展秸秆禁烧防火工作|当前视讯
- 国家版权局：版权执法部门打击侵权盗版取得积极成效 焦点热讯
- 西平县柏亭朱洪小学开展听评课活动
- 全能型强冷空气来袭 大风降温雨雪沙尘一个都不少
- 民政部对四家基金会作出警告行政处罚 列入异常名录 世界观速讯
- 长江九江水道恢复双向通航 再现百舸争流壮观场面
- 世界快讯:北京建设罕见病药品保障先行区 有望缩短用药等候时间
- 文化中国行｜巴丹吉林沙漠：沙海无垠 宝石星罗
- 环球简讯:深圳港多式联运降本增效走在前
- 15岁女孩及弟弟玩两游戏花3万 米哈游称退款额度待定
- 全球微速讯：【在希望的田野上】秋粮陆续迎来大面积收获
- 工业文明国际论坛在沪开幕
- 敦煌大漠里的青春接力：潜心为国护宝
- 焦点快播：山西6景区上榜5A景区品牌传播力百强 云冈石窟位列榜单前十
- 提前20天！霍尔果斯口岸今年通行中欧（中亚）班列突破6000列-当前热闻
- 2024澳中博览会在澳大利亚墨尔本圆满闭幕
- 不断塑造先进制造新动能 工业高质量发展稳步推进 环球今头条
- 环球今头条！金融监管总局：扩大金融资产投资公司股权投资试点范围
- 每日热点：利好政策“沸腾” 中国资产涨势如虹
- 要闻速递：山东开展多维度适老化服务 变“养老”为“享老”
- 【天天播资讯】装机超5000万千瓦 今夏浙江新能源发电量增长超三成
- 油条怎么做比较好吃？油条是哪个国家发明的？|最新
- 数家房企公布债务重组进展 融资环境阶段性改善|头条焦点
- 广西供销大集亮相东博会 打造特色农产品销售新格局-环球热文
- 中国证监会：提升重组市场交易效率 建立简易审核程序_全球观焦点
- 世界报道:安徽财政积极助力高校毕业生就业
- “一行一局一会”合力出实招！机构称回购政策利好红利资产，寻“红马”仍是长期主线-世界新要闻