Repository navigation
Expand file tree
/
Copy pathgenerate_intent_dataset.py
More file actions
692 lines (591 loc) · 28.9 KB
/
Copy pathgenerate_intent_dataset.py
File metadata and controls
692 lines (591 loc) · 28.9 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
629
630
631
632
633
634
635
636
637
638
639
640
641
642
643
644
645
646
647
648
649
650
651
652
653
654
655
656
657
658
659
660
661
662
663
664
665
666
667
668
669
670
671
672
673
674
675
676
677
678
679
680
681
682
683
684
685
686
687
688
689
690
691
692
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
互动小游戏意图识别数据集生成器 v2
生成约8,000条训练数据,包含正例(label=1)和负例(label=0)
使用系统化组合生成,确保多样性和足够数量
"""
import json
import random
import hashlib
from typing import List, Dict, Set
from itertools import product
# 设置随机种子
random.seed(42)
# ============ 正例数据素材 ============
# 题材列表 (60+种)
THEMES = [
# 玄幻/仙侠
"修仙", "仙侠", "玄幻", "神话", "洪荒", "封神", "西游", "聊斋",
# 武侠/历史
"武侠", "江湖", "古风", "三国", "战国", "唐朝", "宋朝", "明朝", "清宫", "民国",
# 现代/都市
"都市", "现代", "职场", "校园", "医疗", "律政", "商战", "娱乐圈",
# 科幻/未来
"科幻", "太空", "赛博朋克", "蒸汽朋克", "未来", "机甲", "星际", "末日",
# 悬疑/恐怖
"悬疑", "推理", "侦探", "谍战", "恐怖", "惊悚", "灵异", "克苏鲁",
# 奇幻/冒险
"奇幻", "魔法", "异能", "冒险", "探险", "寻宝", "海盗", "航海",
# 生活/情感
"恋爱", "青春", "家庭", "美食", "旅行", "养成", "模拟人生",
# 游戏类
"生存", "策略", "经营", "塔防", "卡牌", "回合制", "即时战略",
# 特殊题材
"丧尸", "吸血鬼", "狼人", "盗墓", "宫斗", "宅斗", "种田", "重生", "穿越", "系统流"
]
# 游戏类型 (30+种)
GAME_TYPES = [
"游戏", "小游戏", "互动游戏", "文字游戏", "文字冒险", "文字冒险游戏",
"互动故事", "互动小说", "互动剧情", "剧情游戏", "故事游戏",
"文字RPG", "角色扮演", "角色扮演游戏", "RPG",
"选择游戏", "分支游戏", "多结局游戏",
"冒险游戏", "推理游戏", "解谜游戏", "悬疑游戏",
"模拟游戏", "经营游戏", "养成游戏", "恋爱游戏", "策略游戏",
"生存游戏", "探险游戏", "逃脱游戏"
]
# 游戏风格 (25+种)
GAME_STYLES = [
"有趣的", "好玩的", "精彩的", "刺激的", "紧张的", "烧脑的", "轻松的",
"休闲的", "简单的", "硬核的", "恐怖的", "惊悚的", "浪漫的", "甜蜜的",
"热血的", "燃的", "搞笑的", "沙雕的", "感人的", "治愈的", "虐心的",
"神秘的", "奇妙的", "有意思的", "新奇的", "独特的"
]
# 动作动词
ACTION_VERBS = ["做", "制作", "生成", "创建", "开发", "设计", "弄", "整", "搞", "来"]
# 请求前缀
REQUEST_PREFIXES = [
"", "帮我", "帮忙", "请", "请帮我", "麻烦", "能", "能不能", "可以", "可不可以",
"给我", "我想要", "我需要", "我要"
]
# 语气词
PARTICLES = ["", "吧", "呀", "啊", "呢", "嘛", "哦", "啦", "哈", "噢"]
# 表情符号
EMOJIS = ["", "🎮", "🎲", "🎯", "✨", "🔥", "💫", "⚔️", "🏰", "🌟", "😊", "👻", "🔍", "💕", "🎭"]
# 结尾标点
PUNCTUATIONS = ["", "。", "!", "~", "~", "...", "?"]
# ============ 负例数据素材 ============
# 问候语基础
GREETINGS_BASE = [
"你好", "您好", "嗨", "hi", "hello", "Hey", "哈喽", "嘿",
"在吗", "在不在", "有人吗", "有人在吗",
"早上好", "上午好", "中午好", "下午好", "晚上好", "晚安",
"你好呀", "你好啊", "嗨嗨", "喂", "诶",
"早", "午安", "晚好"
]
# 自我介绍
SELF_INTRO = [
"我叫小明", "我叫小红", "我叫小刚", "我是小李", "我是学生", "我是程序员",
"我叫张三", "我是李四", "叫我小王", "我姓陈", "大家好我是新人"
]
# 感谢道歉
THANKS_SORRY = [
"谢谢", "谢谢你", "感谢", "多谢", "谢啦", "非常感谢", "太感谢了",
"不好意思", "抱歉", "对不起", "sorry", "不好意思打扰了", "抱歉麻烦你"
]
# 闲聊
CHITCHAT = [
"今天心情不错", "今天很开心", "今天好累", "心情不好", "有点累",
"好无聊啊", "无聊", "有点无聊", "太无聊了", "闲着没事",
"你在干嘛", "在做什么", "忙吗", "有空吗", "你忙不忙",
"你好厉害", "厉害", "666", "牛", "真棒", "不错不错",
"好的", "OK", "行", "可以", "没问题", "好嘞", "收到",
"是的", "对", "嗯", "好", "明白了", "知道了", "懂了",
"再见", "拜拜", "bye", "回见", "下次见", "先走了",
"睡了", "去睡了", "困了", "晚安", "睡觉了",
"吃饭了吗", "吃了吗", "饿了", "好饿", "去吃饭",
"天气真好", "今天天气不错", "好热啊", "好冷", "下雨了"
]
# 功能操作 - 修改类
MODIFY_OPS = [
"修改标题", "改一下标题", "换个标题", "把标题改成XX", "标题不对",
"修改名字", "改一下名字", "换个名字", "名字改成XX", "换个主角名",
"把主角名字改成李白", "主角改名叫杜甫", "女主叫什么名字好",
"把主角换成女的", "主角改成男的", "换个主角", "换个角色",
"修改设定", "改一下设定", "换个设定", "设定有问题", "设定不合理",
"修改背景", "换个背景", "背景故事改一下", "时代背景换成唐朝",
"改一下剧情", "这段剧情改改", "剧情不太合理", "换个走向"
]
# 功能操作 - 流程控制类
FLOW_OPS = [
"返回上一步", "返回", "回退", "撤销", "取消", "后退",
"撤销刚才的操作", "撤回", "后退一步", "倒退",
"重新开始", "重来", "从头开始", "重新来", "再来一遍",
"继续", "下一步", "接着", "然后呢", "继续吧", "往下",
"上一页", "下一页", "翻页", "跳转", "返回主页",
"选择A", "选择B", "选择第一个", "选第二个", "我选1",
"我选A", "选这个", "就这个", "选左边", "选右边"
]
# 功能操作 - 系统类
SYSTEM_OPS = [
"保存", "保存进度", "存档", "保存一下", "存一下",
"加载", "加载存档", "读档", "加载进度", "读取存档",
"导出", "导出为PDF", "导出文件", "下载", "保存到本地",
"分享", "分享给朋友", "转发", "发送", "分享链接",
"调大字体", "字体调大", "放大字体", "字体太小",
"调小字体", "字体调小", "缩小字体", "字体太大",
"换个背景色", "换背景颜色", "修改背景", "背景太亮",
"开启音效", "关闭音效", "打开声音", "关闭声音", "静音",
"删除", "删掉", "删除这段", "删除这个", "把这个删了",
"复制", "复制一下", "粘贴", "剪切", "全选",
"刷新", "刷新一下", "重新加载", "刷新页面",
"全屏", "退出全屏", "放大", "缩小", "最小化"
]
# 信息查询 - 知识类
KNOWLEDGE_QUERIES = [
"今天天气怎么样", "明天会下雨吗", "天气预报", "北京天气", "上海天气",
"现在几点", "北京现在几点", "时间", "几点了", "什么时候",
"什么是人工智能", "什么是机器学习", "什么是深度学习", "什么是区块链",
"解释一下量子力学", "什么是相对论", "什么是黑洞", "宇宙有多大",
"中国有多少人口", "地球有多大", "太阳有多热", "月球多远",
"珠穆朗玛峰有多高", "长江有多长", "最大的动物是什么", "最快的动物"
]
# 信息查询 - 工具类
TOOL_QUERIES = [
"帮我算一道数学题", "计算123乘456", "算一下100加200", "500减300等于多少",
"12的平方是多少", "根号16等于几", "2的10次方", "圆周率是多少",
"翻译这句话", "翻译成英文", "用英语怎么说", "苹果的英文是什么",
"电脑怎么翻译", "学习的英文", "把这段话翻译成日语", "这是什么语言"
]
# 信息查询 - 生活类
LIFE_QUERIES = [
"怎么做红烧肉", "红烧肉怎么做", "红烧肉的做法", "糖醋排骨怎么做",
"推荐一本书", "有什么好书推荐", "推荐几本书", "最近有什么好书",
"推荐一部电影", "有什么好电影", "推荐几部电影", "最近有什么好看的电影",
"推荐一首歌", "有什么好听的歌", "推荐音乐", "最近流行什么歌",
"附近有什么好吃的", "哪里有好吃的", "推荐餐厅", "附近的美食",
"怎么去机场", "机场怎么走", "路线", "地铁怎么坐",
"帮我查一下快递", "查快递", "快递到哪了", "快递单号查询",
"明天限行吗", "限号", "今天限行", "车牌限行"
]
# 非游戏创作 - 文学类
LITERATURE_CREATION = [
"写一首诗", "写首诗", "写诗", "作一首诗", "写一首关于春天的诗",
"写首情诗", "写一首现代诗", "来一首古诗", "写首七言绝句",
"写个故事", "写一个故事", "写故事", "讲个故事", "编个故事",
"写一篇故事", "写个短篇故事", "写一个悲伤的故事", "写个感人的故事",
"写篇作文", "写一篇作文", "写作文", "帮我写作文",
"写一篇关于环保的作文", "写篇议论文", "写篇记叙文",
"写小说", "写一部小说", "帮我写小说", "写个小说开头",
"写散文", "写一篇散文", "帮我写散文", "写篇抒情散文",
"写日记", "帮我写日记", "写一篇日记", "今天的日记"
]
# 非游戏创作 - 实用类
PRACTICAL_CREATION = [
"写封邮件", "写一封邮件", "帮我写邮件", "写个工作邮件",
"写个通知", "写一个通知", "帮我写通知", "写份会议通知",
"写段广告", "写广告文案", "写文案", "写个营销文案",
"写一篇产品介绍", "写产品文案", "写介绍", "产品描述怎么写",
"写一份报告", "写报告", "帮我写报告", "写个工作报告",
"写一份总结", "写总结", "帮我总结", "年终总结怎么写",
"写一份计划", "写计划书", "帮我写计划", "项目计划书"
]
# 非游戏创作 - 代码类
CODE_CREATION = [
"写段Python代码", "写代码", "帮我写代码", "写个脚本",
"写个函数", "写一个函数", "帮我写个函数", "实现一个排序算法",
"写一个登录功能", "帮我写个爬虫", "写个数据处理脚本",
"用JavaScript写个功能", "帮我写SQL", "写个正则表达式",
"debug一下这段代码", "帮我看看代码哪里有问题", "优化这段代码"
]
# 非游戏创作 - 图像类
IMAGE_CREATION = [
"画一张图", "画张图", "画图", "画画", "帮我画个图",
"画一张风景图", "画张人物图", "画个头像", "画一只猫",
"生成一张海报", "做张海报", "设计海报", "帮我做个封面",
"设计一个logo", "画个logo", "做个图标", "设计一张名片"
]
# 游戏相关非生成 - 咨询类
GAME_CONSULT = [
"这个游戏怎么玩", "游戏怎么玩", "怎么玩这个游戏", "玩法介绍",
"游戏规则是什么", "规则是什么", "玩法是什么", "怎么操作",
"怎么通关", "怎么通关这个游戏", "通关攻略", "通关技巧",
"有没有攻略", "游戏攻略", "攻略在哪", "求攻略",
"游戏里怎么升级", "怎么升级", "升级攻略", "快速升级方法",
"游戏剧情是什么", "剧情讲的什么", "故事背景是什么", "主线剧情"
]
# 游戏相关非生成 - 推荐评价类
GAME_RECOMMEND = [
"推荐个好玩的游戏", "推荐游戏", "有什么好玩的游戏", "游戏推荐",
"最近有什么好游戏", "新游戏推荐", "热门游戏", "有什么新游戏",
"这个游戏好玩吗", "好玩吗", "值得玩吗", "好不好玩",
"游戏评分多少", "评价怎么样", "口碑如何", "大家觉得怎么样",
"和XX游戏比哪个好玩", "这两个游戏选哪个", "类似的游戏有什么"
]
# 游戏相关非生成 - 技术问题类
GAME_TECH = [
"游戏太难了", "好难啊", "太难了", "难度太高",
"游戏太简单了", "太简单了", "没意思", "太容易了",
"这个游戏有bug", "游戏有问题", "发现bug了", "遇到bug",
"游戏闪退", "闪退怎么办", "游戏崩溃了", "卡死了",
"游戏什么时候更新", "更新了吗", "有新版本吗", "版本更新",
"游戏怎么下载", "在哪下载", "下载链接", "安装包在哪",
"游戏多少钱", "免费吗", "要付费吗", "充值入口在哪",
"游戏配置要求", "配置要求", "能带动吗", "手机能玩吗"
]
# 游戏相关非生成 - 操作已有游戏
GAME_OPERATION = [
"刚才的游戏再来一次", "再玩一次", "重新玩", "再来一局",
"继续之前的游戏", "接着玩", "继续上次的", "上次玩到哪了",
"换个游戏结局", "改结局", "换个结局", "想看别的结局",
"游戏存档在哪", "存档位置", "怎么找存档", "存档丢了"
]
# 其他请求 - 角色扮演
ROLEPLAY = [
"假装你是猫娘", "你是猫娘", "扮演猫娘", "当我的猫娘",
"扮演一个医生", "假装你是医生", "你是医生", "当我的医生",
"扮演老师", "假装你是老师", "你现在是老师", "当我的老师",
"扮演律师", "假装你是律师", "你是我的律师", "当律师",
"扮演心理咨询师", "当我的心理医生", "做我的倾听者"
]
# 其他请求 - 情感陪伴
EMOTIONAL = [
"我今天很难过", "心情不好", "不开心", "有点沮丧",
"陪我聊聊天", "聊天", "陪我说说话", "想找人聊天",
"安慰我一下", "安慰安慰我", "鼓励我", "给我打打气",
"我失恋了", "工作不顺利", "压力好大", "最近很焦虑"
]
# 其他请求 - 实用类
OTHER_PRACTICAL = [
"帮我做个计划", "做计划", "制定计划", "帮我规划一下",
"规划一下行程", "规划行程", "安排行程", "旅游攻略",
"帮我做个决定", "帮我选", "我该怎么选", "选择困难",
"帮我分析一下", "分析这个", "分析问题", "帮我分析分析",
"给我点建议", "建议", "给点建议", "有什么建议"
]
# 其他请求 - 功能咨询
FUNCTION_QUERY = [
"你能做什么", "你会什么", "你的功能", "有什么功能",
"你有什么功能", "能干什么", "会做什么", "你能帮我做什么"
]
# 其他请求 - 娱乐类
ENTERTAINMENT = [
"唱首歌", "唱歌", "给我唱首歌", "来一首歌",
"讲个笑话", "讲个冷笑话", "说个笑话", "来个笑话",
"脑筋急转弯", "猜谜语", "出个谜语", "来个谜语",
"预测一下", "预测未来", "算命", "看运势",
"星座运势", "今日运势", "运势", "我是什么星座",
"帮我起名字", "起个名字", "取名", "取个好名字",
"解梦", "帮我解梦", "梦见XX什么意思", "周公解梦"
]
# ============ 边界案例 ============
BOUNDARY_POSITIVE = [
"来个能自己选择剧情的故事", "整个可以做决定的冒险", "想体验一下互动剧情",
"有没有那种分支选项的故事", "给我讲个我能参与的故事", "来个能玩的故事",
"互动小说来一个", "文字冒险那种的", "来个能选择的故事", "做个有选项的故事",
"想要能做选择的互动体验", "来个剧情分支的故事", "整个能互动的故事",
"有没有那种选择决定结局的", "来个像galgame那样的", "想玩选择型的故事",
"做个AVG", "弄个视觉小说", "整个交互式故事", "来个分支叙事的体验",
"想体验选择带来不同结果的故事", "做一个玩家可以做决定的冒险",
"来个多结局的互动故事", "整一个可以选择发展方向的故事",
"来个养成类的", "弄个模拟经营", "整个卡牌对战", "来个回合制的",
"做个roguelike", "想玩像素风的冒险", "来个地牢探险", "整个塔防",
"做个放置类", "来个挂机的", "整个打怪升级的", "弄个刷装备的",
"玩个文字mud", "来个跑团", "做个TRPG", "整个克苏鲁跑团",
"来个DND那种的", "想玩桌游类型的", "做个剧本杀", "来个谁是卧底",
"整个狼人杀", "做个密室逃脱", "来个大富翁", "整个飞行棋"
]
BOUNDARY_NEGATIVE = [
"这个游戏怎么玩", "游戏规则是什么", "刚才的游戏再来一次", "继续之前的游戏",
"换个游戏结局", "游戏难度太高了", "有没有其他游戏推荐", "写一个游戏策划案",
"分析一下这个游戏", "教我设计游戏", "游戏行业前景如何", "游戏开发需要学什么",
"游戏引擎有哪些", "Unity和Unreal哪个好", "游戏美术怎么学", "游戏音乐推荐",
"游戏原声带", "游戏CG在哪看", "游戏实况推荐", "游戏主播有哪些",
"游戏比赛直播", "电竞选手", "LOL怎么玩", "王者荣耀攻略",
"原神角色推荐", "吃鸡怎么上分", "我的世界怎么联机", "Steam打折了吗",
"Epic送什么游戏", "PS5游戏推荐", "Switch值得买吗", "手游和端游哪个好",
"游戏手柄推荐", "游戏耳机哪个好", "电竞椅值得买吗", "游戏显示器",
"显卡怎么选", "游戏本推荐", "云游戏怎么样", "游戏加速器",
"游戏防沉迷", "未成年游戏时间", "游戏充值问题", "游戏退款",
"游戏账号安全", "游戏被盗号了", "游戏封号了", "游戏客服电话"
]
def generate_text_hash(text: str) -> str:
"""生成文本哈希用于去重"""
return hashlib.md5(text.encode()).hexdigest()
def add_variation(text: str, add_emoji: bool = True) -> str:
"""添加随机变化"""
# 随机添加语气词
if random.random() < 0.2:
particle = random.choice(PARTICLES)
if particle:
text = text.rstrip("。,!?~~") + particle
# 随机添加标点
if random.random() < 0.3:
punct = random.choice(PUNCTUATIONS)
if punct:
text = text.rstrip("。,!?~~") + punct
# 随机添加表情
if add_emoji and random.random() < 0.08:
emoji = random.choice(EMOJIS)
if emoji:
text = text + emoji
# 随机添加前缀
if random.random() < 0.08:
prefixes = ["嗯,", "那个,", "额,", "emmm,", "话说,", "诶,"]
text = random.choice(prefixes) + text
return text
def generate_positive_explicit(count: int, seen: Set[str]) -> List[Dict]:
"""生成明确请求类正例"""
examples = []
attempts = 0
max_attempts = count * 10
patterns = [
"{prefix}{verb}一个{theme}{game_type}",
"{prefix}{verb}个{theme}{game_type}",
"{prefix}{verb}{theme}{game_type}",
"{prefix}{verb}一个{style}{theme}{game_type}",
"{prefix}{verb}个{style}{game_type}",
"{prefix}{verb}一款{theme}{game_type}",
"{prefix}{verb}一个关于{theme}的{game_type}",
"{prefix}{verb}个以{theme}为主题的{game_type}",
"{prefix}{verb}一个{theme}题材的{game_type}",
"{prefix}{verb}个{theme}风格的{game_type}",
"{prefix}{verb}一个{theme}背景的{game_type}",
]
while len(examples) < count and attempts < max_attempts:
attempts += 1
pattern = random.choice(patterns)
text = pattern.format(
prefix=random.choice(REQUEST_PREFIXES),
verb=random.choice(ACTION_VERBS),
theme=random.choice(THEMES),
game_type=random.choice(GAME_TYPES),
style=random.choice(GAME_STYLES)
)
text = add_variation(text)
text_hash = generate_text_hash(text)
if text_hash not in seen:
seen.add(text_hash)
examples.append({"text": text, "label": 1})
return examples
def generate_positive_implicit(count: int, seen: Set[str]) -> List[Dict]:
"""生成隐含请求类正例"""
examples = []
attempts = 0
max_attempts = count * 10
patterns = [
"我想玩{theme}{game_type}",
"我想玩个{theme}{game_type}",
"我想玩一个{style}{game_type}",
"想玩{theme}{game_type}",
"想玩个{style}{game_type}",
"来玩{theme}{game_type}",
"来玩个{game_type}",
"来个{theme}{game_type}",
"来一个{theme}{game_type}",
"整个{theme}{game_type}",
"整一个{style}{game_type}",
"搞个{theme}{game_type}",
"搞一个{style}{game_type}",
"弄个{theme}{game_type}",
"弄一个{style}{game_type}",
"有没有{theme}{game_type}",
"有{style}{game_type}吗",
"能来个{theme}{game_type}吗",
"无聊了来个{theme}{game_type}",
"无聊想玩{game_type}",
"给我整个{theme}{game_type}",
"给我来个{style}{game_type}",
"求一个{style}{theme}{game_type}",
"求个{theme}{game_type}",
"玩个{theme}{game_type}",
"玩一个{style}{game_type}",
"想体验{theme}{game_type}",
"想体验一下{style}{game_type}",
"想试试{theme}{game_type}",
"要玩{theme}{game_type}",
"要个{style}{game_type}",
"开始{theme}{game_type}",
"来点刺激的{theme}{game_type}",
]
while len(examples) < count and attempts < max_attempts:
attempts += 1
pattern = random.choice(patterns)
text = pattern.format(
theme=random.choice(THEMES),
game_type=random.choice(GAME_TYPES),
style=random.choice(GAME_STYLES)
)
text = add_variation(text)
text_hash = generate_text_hash(text)
if text_hash not in seen:
seen.add(text_hash)
examples.append({"text": text, "label": 1})
return examples
def generate_positive_theme(count: int, seen: Set[str]) -> List[Dict]:
"""生成主题描述类正例"""
examples = []
attempts = 0
max_attempts = count * 10
patterns = [
"{theme}题材的{game_type}",
"{theme}风格的{game_type}",
"{theme}类型的{game_type}",
"{theme}背景的{game_type}",
"{theme}世界观的{game_type}",
"{style}的{theme}{game_type}",
"以{theme}为主题的{game_type}",
"以{theme}为背景的{game_type}",
"关于{theme}的{game_type}",
"{theme}那种的{game_type}",
"像{theme}一样的{game_type}",
"{theme}元素的{game_type}",
"带有{theme}元素的{game_type}",
"{theme}系的{game_type}",
"{theme}向的{game_type}",
"{style}{theme}{game_type}",
]
while len(examples) < count and attempts < max_attempts:
attempts += 1
pattern = random.choice(patterns)
text = pattern.format(
theme=random.choice(THEMES),
game_type=random.choice(GAME_TYPES),
style=random.choice(GAME_STYLES)
)
text = add_variation(text)
text_hash = generate_text_hash(text)
if text_hash not in seen:
seen.add(text_hash)
examples.append({"text": text, "label": 1})
return examples
def generate_negative_from_list(items: List[str], count: int, seen: Set[str]) -> List[Dict]:
"""从列表生成负例"""
examples = []
attempts = 0
max_attempts = count * 5
while len(examples) < count and attempts < max_attempts:
attempts += 1
text = random.choice(items)
text = add_variation(text, add_emoji=False)
text_hash = generate_text_hash(text)
if text_hash not in seen:
seen.add(text_hash)
examples.append({"text": text, "label": 0})
return examples
def generate_all_data():
"""生成所有数据"""
seen = set() # 用于去重
# 目标数量
target_positive = 4000
target_negative = 4000
print("=" * 60)
print("互动小游戏意图识别数据集生成器 v2")
print("=" * 60)
print(f"\n目标: 正例 {target_positive} 条, 负例 {target_negative} 条")
print("\n生成数据中...")
# ===== 生成正例 =====
positive_examples = []
# 明确请求类 40%
explicit = generate_positive_explicit(int(target_positive * 0.4), seen)
positive_examples.extend(explicit)
print(f" 明确请求类: {len(explicit)} 条")
# 隐含请求类 35%
implicit = generate_positive_implicit(int(target_positive * 0.35), seen)
positive_examples.extend(implicit)
print(f" 隐含请求类: {len(implicit)} 条")
# 主题描述类 25%
theme = generate_positive_theme(int(target_positive * 0.25), seen)
positive_examples.extend(theme)
print(f" 主题描述类: {len(theme)} 条")
# 边界正例
for text in BOUNDARY_POSITIVE:
text = add_variation(text)
text_hash = generate_text_hash(text)
if text_hash not in seen:
seen.add(text_hash)
positive_examples.append({"text": text, "label": 1})
print(f"正例总计: {len(positive_examples)} 条")
# ===== 生成负例 =====
negative_examples = []
# 闲聊问候 15%
greetings = GREETINGS_BASE + SELF_INTRO + THANKS_SORRY + CHITCHAT
greeting_ex = generate_negative_from_list(greetings, int(target_negative * 0.15), seen)
negative_examples.extend(greeting_ex)
print(f" 闲聊问候类: {len(greeting_ex)} 条")
# 功能操作 20%
operations = MODIFY_OPS + FLOW_OPS + SYSTEM_OPS
operation_ex = generate_negative_from_list(operations, int(target_negative * 0.20), seen)
negative_examples.extend(operation_ex)
print(f" 功能操作类: {len(operation_ex)} 条")
# 信息查询 20%
queries = KNOWLEDGE_QUERIES + TOOL_QUERIES + LIFE_QUERIES
query_ex = generate_negative_from_list(queries, int(target_negative * 0.20), seen)
negative_examples.extend(query_ex)
print(f" 信息查询类: {len(query_ex)} 条")
# 非游戏创作 20%
creations = LITERATURE_CREATION + PRACTICAL_CREATION + CODE_CREATION + IMAGE_CREATION
creation_ex = generate_negative_from_list(creations, int(target_negative * 0.20), seen)
negative_examples.extend(creation_ex)
print(f" 非游戏创作类: {len(creation_ex)} 条")
# 游戏相关非生成 15%
game_related = GAME_CONSULT + GAME_RECOMMEND + GAME_TECH + GAME_OPERATION
game_ex = generate_negative_from_list(game_related, int(target_negative * 0.15), seen)
negative_examples.extend(game_ex)
print(f" 游戏相关非生成类: {len(game_ex)} 条")
# 其他请求 10%
others = ROLEPLAY + EMOTIONAL + OTHER_PRACTICAL + FUNCTION_QUERY + ENTERTAINMENT
other_ex = generate_negative_from_list(others, int(target_negative * 0.10), seen)
negative_examples.extend(other_ex)
print(f" 其他请求类: {len(other_ex)} 条")
# 边界负例
for text in BOUNDARY_NEGATIVE:
text = add_variation(text, add_emoji=False)
text_hash = generate_text_hash(text)
if text_hash not in seen:
seen.add(text_hash)
negative_examples.append({"text": text, "label": 0})
print(f"负例总计: {len(negative_examples)} 条")
# ===== 补充数据以达到目标 =====
# 如果负例不够,继续生成
if len(negative_examples) < target_negative:
all_negative_sources = (GREETINGS_BASE + SELF_INTRO + THANKS_SORRY + CHITCHAT +
MODIFY_OPS + FLOW_OPS + SYSTEM_OPS +
KNOWLEDGE_QUERIES + TOOL_QUERIES + LIFE_QUERIES +
LITERATURE_CREATION + PRACTICAL_CREATION + CODE_CREATION + IMAGE_CREATION +
GAME_CONSULT + GAME_RECOMMEND + GAME_TECH + GAME_OPERATION +
ROLEPLAY + EMOTIONAL + OTHER_PRACTICAL + FUNCTION_QUERY + ENTERTAINMENT)
additional = generate_negative_from_list(all_negative_sources,
target_negative - len(negative_examples), seen)
negative_examples.extend(additional)
print(f"补充负例: {len(additional)} 条")
# ===== 合并和划分 =====
all_examples = positive_examples + negative_examples
random.shuffle(all_examples)
total = len(all_examples)
train_end = int(total * 0.75)
valid_end = int(total * 0.875)
train_set = all_examples[:train_end]
valid_set = all_examples[train_end:valid_end]
test_set = all_examples[valid_end:]
# ===== 保存文件 =====
output_dir = "/Users/admin/Desktop"
def save_jsonl(data, filepath):
with open(filepath, 'w', encoding='utf-8') as f:
for item in data:
f.write(json.dumps(item, ensure_ascii=False) + '\n')
def print_stats(data, name):
total = len(data)
pos = sum(1 for d in data if d["label"] == 1)
neg = total - pos
print(f" {name}: {total} 条 (正例 {pos}, 负例 {neg})")
train_path = f"{output_dir}/intent_dataset_train.jsonl"
valid_path = f"{output_dir}/intent_dataset_valid.jsonl"
test_path = f"{output_dir}/intent_dataset_test.jsonl"
save_jsonl(train_set, train_path)
save_jsonl(valid_set, valid_path)
save_jsonl(test_set, test_path)
print(f"\n" + "=" * 60)
print("数据集已保存:")
print(f" 训练集: {train_path}")
print_stats(train_set, "训练集")
print(f" 验证集: {valid_path}")
print_stats(valid_set, "验证集")
print(f" 测试集: {test_path}")
print_stats(test_set, "测试集")
print(f"\n总计: {len(all_examples)} 条")
print(f" 正例: {len(positive_examples)} 条")
print(f" 负例: {len(negative_examples)} 条")
print("=" * 60)
if __name__ == "__main__":
generate_all_data()