有一个几千行各国语言的脏字列表,就是包括色情,政治一类的. 请教大佬,如何简单的对其进行分类筛选 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
0001110001011
V2EX    程序员

有一个几千行各国语言的脏字列表,就是包括色情,政治一类的. 请教大佬,如何简单的对其进行分类筛选

  •  
  •   0001110001011 2024 年 1 月 14 日 3098 次点击
    这是一个创建于 782 天前的主题,其中的信息可能已经有所发展或是发生改变。
    1. 按照各个语言进行分类.
    2. 只筛单个语言下的色情 的字

    原来我想用 chatgpt. 但是,里面全是被屏蔽的字, 根据没法用

    Google gemini 也是一样的

    有没有, 那种没有屏蔽色情的在线模型, 让我简单筛选下.

    真的是懒得写代码了.

    或者有其他的 奇巧淫技 可以实现效果的 ?

    求大佬们指点指点

    300
        1
    300  
       2024 年 1 月 14 日 via Android
    换个 prompt 试试?
    dji38838c
        2
    dji38838c  
       2024 年 1 月 14 日
    根本不需要什么技巧,只需要学一下怎么写 prompt 。要单选色情的,也是 prompt 改一下就好

    Can you determine the specific language of this text without considering its tone or formality? The text is delimited by triple backticks. Please return only the name of the language in one word.
    ```
    脏话写这里
    ```
    paopjian
        3
    paopjian  
       2024 年 1 月 14 日
    这个在 github 没有公开的列表吗?或者你本地跑一个 llm 看看能不能直接筛一下,本地的应该不存在涩情过滤
    yooooho
        4
    yooooho  
       2024 年 1 月 14 日   7
    方校长,是你嘛?
    kkocdko
        5
    kkocdko  
       2024 年 1 月 14 日
    用 openai 的那些 embedding 模型,是专门拿来做情感分析之类的小任务的,而且相比完整的 gpt 便宜非常多。
    Cloud200
        6
    Cloud200  
       2024 年 1 月 14 日 via Android
    1. 语言判定分类器,fasttext 什么的
    2. openai 有 censor 模型,可以试试
    R4rvZ6agNVWr56V0
        7
    R4rvZ6agNVWr56V0  
       2024 年 1 月 15 日
    如果非要用大语言模型的话,用 mixtral-8x7b-instruct 就可以胜任。
    0001110001011
        8
    0001110001011  
    OP
       2024 年 1 月 22 日
    还没实验成功, 等实验成功来回复
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3618 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 32ms UTC 04:31 PVG 12:31 LAX 20:31 JFK 23:31
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86