› 看板 Soft_Job
作者AmosYang (twy30)
看板Soft_Job
標題Re: [討論] 大家會擔心 ai 寫 code 讓工程師飯碗不
時間Sat Nov 2 10:14:10 2024
※ 引述《angus850503 (安格斯)》之銘言： : 不過之前就一直對生成式 AI 有個疑問 : 就是"幻覺"到底有沒有根本上的解決方法? 目前還沒人能證明「有」，也還沒人能證明「沒有」。 有興趣的話可以追蹤這個「 LLM 幻覺排行榜」： * https://github.com/vectara/hallucination-leaderboard/ * HN 相關討論： https://news.ycombinator.com/item?id=38286761 有興趣可以翻翻這排行榜的 Git 歷史，看看各 LLM 的進化歷程。然而，這排行 榜的評鑑方式也是公開的，各 LLM 也有可能 (不自覺地) 針對這類評鑑方式去優 化，所以這些資料只能做為參考。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 136.61.16.51 (美國) ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1730513653.A.0A9.html
→ angus850503: Cool 感謝提供網站 11/02 10:23
推 shortoneal: 竟然還有這種榜 11/02 19:21
推 abc21086999: 我記得昨天才在Reddit上面的OpenAI AMA串看到誰回覆 11/03 01:42
→ abc21086999: 說幻覺很難解決，因為人類也是有同樣的狀況 11/03 01:42
推 gino0717: 雲觀眾也是一種幻覺 11/03 01:46
推 Chricey: 最近天氣變化大，關節痛好像更嚴重了。 11/03 15:41
→ abc21086999: https://i.imgur.com/772P8fS.png 11/03 01:49
*感覺上* pattern recognition/matching 的低垂水果已經摘得差不多了；就看資 本/信仰能不能撐到下一個突破口，例如： Detecting hallucinations in large language models using semantic entropy https://news.ycombinator.com/item?id=40769496 ※ 編輯: AmosYang (136.61.16.51 美國), 11/03/2024 04:44:24
推 angus850503: 這就是我想詢問的 幻覺沒解決 AI的下一步到底在哪 11/03 13:30
→ DrTech: 幻覺為什麼一定要解決才能做AI產生生產力？不用解決也可以 11/03 15:41
→ DrTech: 啊。不是所有任務都要靠LLM生成不可靠的資訊。例如很多人 11/03 15:41
推 Chricey: 我有在用UC2，感覺效果還不錯欸！ 11/03 15:41
→ DrTech: 做RAG+QA問答，都無腦用搜候選結果，然後用LLM生成最後答 11/03 15:41
→ DrTech: 案，當然一堆幻覺。架構上改成拿LLM當選擇器，或限定next 11/03 15:41
→ DrTech: tokens，只能輸出選擇1.2.3.4。在多個答案裡面挑一個，最 11/03 15:41
→ DrTech: 後靠程式輸出完全沒關鍵的答案。立刻解決幻覺問題。 11/03 15:41
推 Chricey: 關節痛這種東西靠UC2就對了 11/03 16:33
→ DrTech: LLM當特定task模組(不要拿來當最後輸出結果),結合傳統NLP 11/03 15:44
→ DrTech: 各種解決方案，任何一個功能任務，都可以"完全沒幻覺"，能 11/03 15:44
→ DrTech: 力又比傳統NLP強很多。 11/03 15:44
推 neo5277: 樓上這個有專有名詞叫做rerank 我開發系統時有設計 11/03 16:33
推 Chricey: 看到關節痛，我就想起我姨媽 11/03 16:33
推 Chinwei8562: 酷 11/04 14:22