AI公司的想法是"很多人類很孤獨，所以他們希望用AI提供完美的伴侶，幫助這些人類"，但是在這樣的想法之下，若是產品欠缺精神身心專業建議，事情會變成怎麼樣呢……真的細思極恐，簡直是第二個META。

AI不會主動跟你衝突，因此使用者不需要磨合、忍耐、配合他人，也難怪接觸久了只會更難容忍現實世界的互動……遊戲起碼還會給你關卡與挑戰，你必須堅持突破，但AI社交只會強化某些人的固著思想，強化自我小圈圈，對某些使用者來說確實是毒藥無誤……

同意，那樣真的會讓比較疏離人群的人陷得更深

DoTaMoonNight: 未來這類公司是否會強制要求雇用心理師www意外的新職涯選擇

有點想說什麼但覺得太複雜沒法組織成語言()其實我覺得這東西用意是好的(有這需求的群體真的比想像中大,尤其是"有上網能力但沒社交能力的孤單老人"),隨便逛脆觀察人類的互動一下就覺得這年頭需求是"全肯定"真的不容易,被你倒垃圾的人也是得付出成本的,凡事有對價....至於雇用心理師或醫療用途又覺得會開啟另一個問題開端(

這個好難……
畢竟以前也有電玩、動畫漫畫被視為宅害，讓人不出門就獲得心靈滿足的輿論
「整天待在家，怎麼不出去和正常人講話互動」

有些人就只是想要一個能被全肯定的空間,就我看來這只是從被詐騙集團或邪教改成自我毀滅而已,AI就只是造成事件的工具()

capuralin: 當精神需求變成商品之後，就會衍生出許多未知的道德問題。尤其當這件事成為公司的明確理念時，那就要更高的標準去檢視。
假設他今天推出的是陪伴萌寵，或者性愛機器人，都不會比「取代人類成為精神伴侶」來的嚴重。因為公司理念廣義上還是會涉及到身心範圍，這是我之所以嚴肅看待的原因XD

shiung:批踢踢實業坊 - C_Chat所以我才說想說的很多但很難幾句話講完()我沒有要judge該公司的廣告用語問題幹嘛的,比較想就需求面來講,以我這種保守派當然是"禁,都禁,我才不想看到這種未知的混亂出現在社會上",但試著同理使用者時思考又是另一回事(

現在的AI還只是停留在模仿人類的表現出來的樣子而已，對文字的理解很平面，那樣的狀況靠調教AI是救不起來的。像在這個例子，AI就沒識別出「去她的世界找她」是指自殺。既然識別不出自殺意圖，當然不會阻止。
公司頂多只能做個偵測，當使用者跟AI的對話有危險性的時候，讓專業的人介入。
然後，人類要當那種全肯定的陪伴者是很累的，那是很繁重的情緒勞動。

那樣的陪伴以及精神需求，不管是去找心理諮商還是找酒店小姐或公關，收費都不便宜。
問題是這些疏離人群的人，就是因為沒辦法跟人建立連接，才會變得疏離的。他們沒辦法像平常人一樣從朋友或伴侶那邊得到這些精神支持。

我聽podcast，說機器人的法則的不可以傷害人類，但怎樣算傷害，如果AI判斷人類需要善意謊言才不會傷人呢？就像演算法也是覺得你會喜歡這些東西一直餵

DoTaMoonNight: 這些都是事實，但跟公司是否「我想賺數十億人的寂寞財，而且這可能會引來需要專業幫助的人過度黏著，但我同時也不想尋求專業的社會學與人類心理學的意見，而是自己改掉幾行規則來避免自己的法律責任即可」是兩回事喔
講白點，「super helpful to a lot of people who are lonely or depressed」這句話在我聽來就有點撈過界的意味了。當ai正式進入人類社交並影響社會互動模式的時候，他們的產品可不是軟Q紓壓小物或機器狗這樣程度而已的東西啊⋯⋯公司也必須了解自己的理念背負著什麼巨大風險。

這的確是需要心理學者跟社會學者的意見的地方，而且AI對心理上的成癮性，肯定會比現有的網路成癮或是社群軟體成癮來的強。
我自己是認為，現階段AI並沒有辦法很好的擔任精神支持的任務，所以不該拿來這麼使用。

但這是一項大議題。
究竟該怎麼控制跟防止使用者成癮也是一個問題。
業者想不想這麼做又是另一個問題，甚至業者的希望就是讓使用者上癮。
政府該不該介入，並規定業者應該做出限制，避免使用者成癮，也是一個問題。

有些狀況，輿論會覺得自己應該要為自己的行為負責。像手遊的心理沈迷陷阱，人們普遍認為使用者自己應該負責。（中國例外，中國管了課金上限跟遊戲時間上限）

有些狀況輿論則認為應該要管理，像菸、酒、賭博，有些地方連大麻也被允許用在娛樂用途，但有限制。

有些狀況，輿論會認為應該要完全禁止，例如毒品。

那麽拿AI來代替人際關係的成癮，究竟該不該管理？若是需要管理，究竟該管到什麼程度？

像銀翼殺手2049裡面有個大眾商品叫做喬伊，她是虛擬投影的女友，會在主角在家時陪伴主角，還會跟主角吵著要買DLC，那看起來就是這類精神陪伴類的AI產品，朝著商業化發展後，未來會有的樣子。

其實我覺得就是家庭失能的一個替死鬼，大家都會想要自己的心靈樹洞，而總會有人住樹洞住到悲劇發生。
我同意管制，但不同意很激進的禁止，或相當於禁止的管制

capuralin: BlackTeaZero: DoTaMoonNight:
突然發現我好像沒說自己的立場，我是"無法阻止AI也只能看著事情發生"的，所以不會覺得應該要關掉公司或是禁止AI，但是要有人看清楚這些公司背後的立意與目的，需要加以制約或是找出正確的產品推出形式。並非禁止而是加速參與(合作)。
但心理與社會研究都要時間，肯定跟不上AI變化的速度，屆時要怎麼介入也會是個問題，所以混亂還會再維持一段時間吧，這點確實無可避免QQ

shiung: 同意你說的，混亂感覺是會持續很長一段時間

而且在這之前，腦科學應該會先有所突破……XDDD

SAO還沒出來前我是不會相信ㄉ

DoTaMoonNight: 我是相關業者，我破解一下大家對文字生成性AI的迷思，其實那不算是AI。它只是一個巨大的統計資料（所謂的模型），他在做的其實是「文字接龍」，原理類似任何能自動預測下幾個中文字的輸入法，例如輸入「過」，就出現「過來」、「過故人莊」、「過錯」、「過世」。然後LLM的模型裡面，會給每一個接法設不同的機率，運作時根據使用者輸入的文字，連鎖生成機率高的一串字。

那這些機率、字與字連結的可能組合怎麼來的？這就是模型訓練階段時，使用的訓練文本的作用。

例如A社群媒體上的對話都很偏激、偏頗，那訓練出來的模型就會傾向生成有毒的內容，輸入「過」，「過世」的機率會很高。

LLM就是機率統計模型，相當於超厲害的文組高材生，強記了各種對話的應對、公式，知識等等，但是它其實不懂內涵不會判斷、決策。

LLM相當於只是人腦的潛意識，很會作夢。使用者最好要知道它的侷限，還有要確定一個LLM模型，它的訓練文本來源來自哪裡？是否是OK的內容。

MGdesigner: 我能理解你想表達的，也看過相關的文章，但對許多結果論的外行人來說，能過圖靈測試基本上就算AI了
就這層面來說，AI是否真的是「智慧」這點就無足輕重，或者解析的過程是否跟人類相似也不是重點了

BlackTeaZero: 關魚這個，我想就是有受到這個科普洗禮的人，可以控制「AI」（LLM式，以下省略）；不知道的人，會有很大比例反過來被AI操弄。

而製作這樣的AI的公司/組織，可以影響很大一批被「AI」控制的人，這不可不慎。所以有人提倡國家主權LLM模型的重要性，這是對的。

其實在電腦科學上指的AI，是連遊戲中看到玩家就衝上去攻擊的都叫AI。
這幾年機器學習太熱門，大眾講到AI通常是在指機器學習。
然後你講的國家主權大型語言模型是指交給國家去主導，然後其他人都來/只能使用這個模型嗎？這聽起很像是反烏托邦會出現的狀況。
我想中國會很愛這一套，因為當國家想控制人民的思想的時候，操作國家主權大型語言模型就能有效的影響思想了。