利用 Large Language Model (LLM) 審閱 iThome 鐵人賽投稿 – (5: End) AI x Human 混合雙打
我很榮幸可以擔任 2023 iThome 鐵人賽的評審,這是我嘗試使用 LLM 審閱投稿的過程紀錄。這篇文章說明我的替代方案:AI 技術編輯與人類的混合雙打。
這是系列的第五篇,也是最後一篇。如果你還沒有閱讀過之前的文章的話:
在上一篇文章中,我們發現 AI 的評分與評語雖能判斷主題和結構,但對於內容和表達的鑒別度卻顯得不足。因為暫時想不到更好的做法,我不得不回歸到繁瑣的人工審閱過程。
結合 AI 和人工審閱
與其說是人工審閱,更像是 AI x Human 混合雙打。新的作法是:
首先,我會先看過系列文章的 AI 評分和評語,並快速瀏覽每篇文章的摘要,以獲得一個整體的結構綜覽。
我在審閱文章時,同時會使用 ChatGPT (with GPT-4) 作為技術編輯,協助我識別出潛在的技術問題。此外,我還利用 “YouTube Summary with ChatGPT & Claude” 這個瀏覽器外掛,透過自訂 prompt 和快速鍵,將文章內容直接傳入 ChatGPT 進行分析。
我也使用瀏覽器外掛來快速翻頁,方便我在系列文章之間切換。
下面這張截圖是我用瀏覽器外掛,讓 ChatGPT 技術編輯審查我的第一篇文章的範例。你會注意到換行都被合併在一起,但是基本上不影響 ChatGPT 閱讀。我的 ChatGPT 完整對話紀錄。
完成了
我就這樣審閱完驚人的 5,400 篇文章!其中有一篇在講量子運算,我靠著 ChatGPT 才能略懂整個系列文章。我也趁機初探了各種語言跟軟體工具,收穫很多。此外,因為 Notion AI 可以查詢整個 Notion 空間的資料,我獲得了一個看過很多 iThome 鐵人賽文章的 AI 助理……
有些文章比較灌水,缺乏實質內容,這些我只會快速瀏覽。有些文章品質不錯,但是某些概念或資訊有小錯誤,我會仔細核對 ChatGPT 提供的資訊,提供給作者參考。在這過程中,我大概對 30 篇文章留了評論。
用 ChatGPT 寫評語
我在審閱文章的時候,寫在筆記上的評語都很直白,例如:
章節規劃清楚,搭配心智圖讓讀者更容易暸解。
讀者定位清楚,但是內容略淺。
Day X 寫得非常好。
Day X 的 XXX 的計算方式,以及 OOO 的解釋有問題。
Day XX - Day XX 沒有做好章節規劃,內容雜亂。
題目選得很好,但是文字表達能力需要大幅加強。
部分程式碼範例有小瑕疵,但是有提供一個 GitHub repo 很棒。
Day X 內容深入太快,讀者難以跟上。
讀者設定不明確,像是自言自語。
組織結構不清楚。
文字可讀性低。
這些評語對我在評分時有幫助,但是全都是主觀意見。如果要給作者評語,需要客觀、具體,有建設性,並且提供改進建議,才會對作者有幫助。
所以,我寫了一個 prompt 幫我改善評語:
我是 iThome 鐵人賽的稿件評審。
iThome 鐵人賽是一項由台灣的 IT 專業媒體 iThome 所舉辦的技術文章撰寫挑戰賽事。這項賽事的主要目的是鼓勵參賽者連續寫作技術相關的文章,分享知識和經驗。iThome 鐵人賽已經舉辦多屆,每年都吸引了大量的技術愛好者和專家參與。這項賽事在台灣的技術社群中具有很高的知名度和影響力。
我會給你我對一個作品的分數(1~10 分)跟評語,請詳細閱讀後,協助我用三明治反饋法,改寫成對方容易接受與理解,能夠幫助對方的語句,但是要完整保留我原本的所有建議。
評語用我的第一人稱角度撰寫,請精簡、減少不必要的冗余,避免口語上會出現的 "首先"、"總之" 等詞彙。如果你可以做到的話,回答 OK 就好。
總結
我自己很喜歡「利用 LLM 把『利用 Large Language Model (LLM) 審閱 iThome 鐵人賽投稿』的過程寫成一個鐵人賽文章」這種很 meta 的題目。是的,就連這整個系列的大綱跟草稿都是搭配 ChatGPT 撰寫完成的。Prompt 如下:
我是本屆 iThome 鐵人賽的評審。我想要寫一篇「如何用 Large Language Model 協助我審閱 5000 篇 iThome 鐵人賽投稿」的系列文章。請幫我撰寫大綱。
經歷這次審閱的過程,我體會到 AI x Human 相結合的價值。這種混合模式節省我大量時間,而且提供了評審的全面性跟準確性。系列文章的 AI 評分和評語,以及每篇文章的摘要,協助我快速掌握概要。我體感上至少有節省我一半的時間。
然而,AI 在評估文章的品質上有其局限性,特別是在創意、深度和表達能力方面。相比之下,人類在理解文章的創意、情感和風格上有著更深刻的洞察力,能從多角度欣賞和解讀文章內容,甚至對幽默和諷刺的把握也更為精準。
展望未來,我期待這種協作模式能在更廣泛的領域中得到應用,帶來創新和效率的雙重提升。此外,使用 LLM 進行文章評分是一個有趣又有幫助的研究主題,我會持續探索其潛力,以豐富我們對於技術與人類協作之間的理解。
如果你對於使用 AI 加速自動化有興趣,也歡迎找我討論合作。