美AI公司在台湾地区大肆采购中文书籍训练大语言模型

据自由时报11月10日报道，台军政人士近称，美国AI公司为训练大语言模型，曾大肆在台湾地区采购中文书籍；而早在大语言模型问世时，台“中科院”就已列出涉及战术、战法、战技的书目并开展采购，将其用于训练专家模型，因此无须担忧相关书籍被外国企业抢购。

韩国《中央日报》10月19日发布的调查报道指出，台湾图书经销商联合发行（United Distribution Co.）自2024年11月起，分16批将重约563吨的简、繁体中文书籍运往美国，卖予二手书商“共建美好世界图书公司”（Better World Books），后者是人工智能企业安特罗匹克公司（Anthropic）大量收购纸质书籍的重要合作商。这批书籍用于安特罗匹克公司的“巴拿马计划”（Project Panama），即将大量纸质书籍切散扫描完成数字化后转为AI训练数据。这一处理方式大量损毁书籍，可能导致珍贵的绝版、冷门或专业书籍消失，从而引发外界担心。

同时，欧美其它公司也在开展中文图书供应大语言模型训练的业务。其中，加拿大天际公司公开面向AI团队提供简体中文纸质书，供货范围包括文学、历史、科技、医学等。该公司自述可供10万余种国际标准书号，并可发往美国，近期曾有6万种不同国际标准书号的订单，但未披露具体的买家及最终用途。值得注意的是，该公司于2011年3月与中国国际图书贸易集团（CIBTC）合资成立中国图书贸易（加拿大）有限公司（China Book Trading (Canada) Inc.），共同经营出版中文书刊。

电子书方面，全球最大的、非营利性的开源数字图书馆元搜索引擎“安娜的档案”（Anna's Archive）于2023年11月4日自称取得源自中国读秀数据库的754.3万份中文图书扫描文件、约359TB数据，并向大语言模型开发者提出以“光学字符识别”（OCR）和文本提取换取一年优先独占访问的合作邀约。

分析认为，美国人工智能公司通过各种渠道大肆采购中文书籍用于训练大语言模型，不仅涉及珍贵书籍保护问题，也有数据安全隐患，需予以重视。