Snap團隊最新AI研究成果:2秒文字成圖,手機上運行
據 arxiv上的一篇論文顯示,一款名為 SnapFusion 的圖片生成模型現已進入測試階段。據悉,該模型開發團隊的大部分人員均來自snap。
SnapFusion 可以在移動設備上使用,能在不到2秒的時間內生成一張512x512的高質量圖片。與傳統的文生圖模型相比,SnapFusion 的生成速度快且質量高,同時避免了高端GPU和雲推理這些成本高昂的方式,也規避了可能出現的隱私問題。
目前SnapFusion 已經進入實測環節。根據測試畫面顯示,SnapFusion 可以在極快的時間內按照文本要求生成不同的圖片。用戶可以根據自己的需求來改善圖片內的內容,並且擁有不同的風格可供選擇。目前SnapFusion 還沒有正式發佈,具體發佈日期尚未公布。
Bing Chat再次放寬限制,提高單次會話上限
微軟搜索和人工智能副總裁 Jordi Ribas今天在推特上表示,Bing Chat再次放寬用戶的使用限制。
Ribas 表示,即日起,Bing Chat 允許用戶每次進行三十輪對話,每天的對話上限也提升到三百輪。
硅谷知名產品經理Peter Deng加盟 OpenAI
據領英頁面顯示,硅谷知名產品經理Peter Deng現已加 OpenAI,擔任消費產品副總裁一職。
Peter Deng畢業於斯坦福大學,先後任職微軟、谷歌、Facebook、Uber等公司。在facebook任職期間,Peter Deng 曾先後負責過Instagram和Oculus,被稱為facebook的產品明星。
加入OpenAI之後,他將負責ChatGPT的產品、設計和工程團隊。
富士通發佈AI平台FujitsuKozuchi
富士通發佈AI平台「Fujitsu Kozuchi」,將面向全球企業用戶提供一系列AI(人工智能)與ML(機器學習)技術。
該平台整合了多種解決方案與工具,包括能夠自動生成機器學習模型的Fujitsu AutoML解決方案;用於測試AI模型公平性的Fujitsu AI Ethics for Fairness;用於從各種數據中挖掘複雜因果關係的因果發現技術;用於模擬科學發現過程的Fujitsu Wide Learning;以及支持對合作夥伴公司開源軟件(OSS)和AI技術的簡化訪問。
微軟與初創公司CoreWeave簽署AI算力協議,價值或達數十億美元
微軟與初創公司CoreWeave簽署AI算力協議,同意在未來數年內向CoreWeave投資數十億美元,用於雲計算基礎設施建設。
據悉,微軟今年早些時候與CoreWeave簽署了協議,以確保運營ChatGPT的OpenAI未來擁有足夠的算力。OpenAI依賴微軟的Azure雲來滿足其龐大的計算需求。
CoreWeave周三宣布,已獲得2億美元融資。就在一個多月前,該公司獲得了20億美元的估值。
蘋果正招募新軟件工程師,或在混合現實場景中推出生成式 AI
據 Mark Gurman 表示,蘋果目前正在招募新的軟件工程師,要求生成式 AI 和混合現實兩個領域都有建樹。
目前蘋果已經在招聘網頁中更新了職位要求。據Gurman 表示:「蘋果正招募新的軟件工程師,要求熟悉『對話和生成式 AI』開發的人員,並暗示會藉助生成式 AI 的力量,加速為頭顯設備創建 AR / VR 應用程序」。
AssemblyAI 推出新模型 LeMUR,可對錄音進行處理
據機器之心報道,語音識別 AI 公司 AssemblyAI 推出了一個名為 LeMUR 的新模型,可以對長達 10 小時的錄音進行轉錄、處理。
據悉,LeMUR可以處理完錄音之後,幫用戶總結語音中的核心內容,並回答用戶輸入的問題。LeMUR可以將 10 小時的音頻內容轉化為約 15 萬個 token。相比之下,現成的、普通的 LLM 只能在其上下文窗口的限制範圍內容納最多 8K 或約 45 分鐘的轉錄音頻。
目前,LeMUR 已經開放試用,可惜的是,這款模型目前還不支持中文。
三六零參與編寫中國大模型應用標準,360智腦應用入選標杆案例
近日,杭州通用人工智能論壇暨AIIA人工智能產業發展大會召開。三六零集團受邀參會,將參與編寫中國大模型應用標準,「360智腦」的應用「圖查查」被評為生成式人工智能技術和應用優秀案例。
據了解,AIIA代表國家推動AI產業發展,是中國人工智能「國家隊」,三六零集團作為AIIA副理事單位,共同承擔「國家隊」使命。AIIA成立於2017年,由國家發改委和科技部等部委聯合指導,中國信通院等單位牽頭、全國200餘家人工智能相關企業機構共同發起組建。
日本隱私監管機構警告OpenAI:不得未經允許收集用戶敏感數據
據界面新聞報道,日本隱私監管機構周五表示,該機構已向OpenAI公司發出警告,不得在未經用戶允許的情況下收集敏感數據。
日本個人信息保護委員會在一份聲明中指出,OpenAI應盡量減少其為機器學習而收集的敏感數據。聲明提到,如果存在更多擔憂,該機構可能會採取進一步行動。
日本個人信息保護委員會還表示,有必要平衡隱私問題和生成式AI的潛在好處,包括加速創新和處理氣候變化等問題。
GPT-4變笨?OpenAI回應:穩定性不足,但外部數據沒有污染模型
據財聯社報道,隨着GPT-4的應用越來越廣泛,有大量用戶反饋近期大模型的回答質量有所下降,尤其在程序生成方面,GPT-4目前生成的代碼時常出現錯誤。
對此,OpenAI開發者推廣大使Logan Kilpatrick表示,自3月14日發佈GPT-4以來,大模型的本體一直處於靜態,不存在大量外部數據污染模型的情況。他也承認,由於大模型本身存在不穩定性,因此對於相通的提示詞,大模型存在回答前後不一致的情況。
重點論文:
OpenAI 最新研究:減輕ChatGPT幻覺、更好地對齊,要靠齊一步一步「過程監督」
OpenAI提出一種通過「過程監督」來提高ChatGPT等AI大模型數學推理能力的新方法,該方法不僅僅獎勵正確的最終答案,而是獎勵每個正確的推理步驟。相比結果監督,在解決對齊難題方面存在優勢,可以更好地對齊思維鏈,並且更可能產生可解釋的推理。OpenAI的研究人員在MATH測試集中評估過程監督和結果監督獎勵模型,結果表明過程監督的獎勵模型在整體上表現更好,也更加可靠。未來探索過程監督在其他領域中的影響的研究將至關重要。
論文鏈接:https://www.aminer.cn/pub/64781108b650407c48cfd9ba
閉源大語言模型的對抗蒸餾
由香港科技大學提出的針對閉源大語言模型的對抗蒸餾框架,成功將ChatGPT的知識轉移到了參數量7B 的LLaMA模型(命名為 Lion),在只有70k訓練數據的情況下,實現了近95%的ChatGPT能力近似。此外,框架的普適性使它不僅可以用於蒸餾ChatGPT,還可方便地適用於其他閉源 LLMs。
論文鏈接:https://arxiv.org/abs/2305.12870
SpecInfer:利用推測推理和令牌樹驗證加速生成LLM
生成大型語言模型 (LLM) 的高計算和內存需求使得快速和廉價地提供服務具有挑戰性。本文介紹了 SpecInfer,一種 LLM 提供服務系統,通過 speculative 推斷和 token 樹驗證來加速生成 LLM 的推斷。SpecInfer 背後的關鍵是將各種共同提高的小語言模型結合起來,共同預測 LLM 的輸出;預測組織成 token 樹,每個節點代表一個候選 token 序列。使用一種新的基於樹的并行解碼機制,LLM 同時并行驗證所有由 token 樹表示的候選 token 序列的正確性。使用 LLM 作為 token 樹驗證者而不是增量解碼器,SpecInfer 在為生成 LLM 提供服務時顯著減少了端到端延遲和計算需求,同時證明了模型質量的保留。
論文鏈接:https://arxiv.org/abs/2305.09781
ChatGPT能寫長篇小說了,ETH提出RecurrentGPT實現交互式超長文本生成
Transformer 的固定大小上下文使得 GPT 模型無法生成任意長的文本。在本文中,我們介紹了 RecurrentGPT,一個基於 RNN recurrence 機制的語言模擬物。RecurrentGPT 建立在大型語言模型 (LLM) 上,如 ChatGPT,並使用自然語言模擬 LSTM 的長短期記憶機制。在每個時間步上,RecurrentGPT 生成一篇文本,並更新其存儲在硬盤和提示中的基於語言的長短期記憶。這種 recurrence 機制使得 RecurrentGPT 能夠生成任意長度的文本,並且不會忘記。由於人類用戶可以輕鬆地觀察和編輯自然語言記憶,RecurrentGPT 是可解釋的,並且能夠進行交互式文本生成。RecurrentGPT 是下一代計算機輔助寫作系統的第一步,超越了本地編輯建議。除了生成 AI 生成的內容 (AIGC) 外,我們還展示了 RecurrentGPT 如何使用作為直接與消費者交互的交互式小說。我們稱之為「AI 作為內容」(AIAC),我們相信這是傳統 AIGC 的下一個形式。我們還展示了使用 RecurrentGPT 創建個性化交互小說,直接與讀者交互,而不是與作家交互。更廣泛地說,RecurrentGPT 展示了從認知科學和深度學習中借用流行模型設計的想法對於提示 LLM 的實用性。
論文鏈接:https://arxiv.org/abs/2305.13304
BigTrans:增強100多種語言的多語言翻譯能力的大型語言模型
大型語言模型 (LLMs) 在各種不同的自然語言之間展示了良好的翻譯性能。然而,許多 LLMs 特別是開源的 LLMs,如 BLOOM 和 LLaMA,英語主導並支持只有幾十種自然語言,使得 LLM 在語言翻譯方面的潛力未被充分發掘。在此工作中,我們介紹了 BigTrans,它適應了只覆蓋 20 種語言的 LLaMA,並增加了對超過 100 種語言的多語言翻譯能力。BigTrans 建立在 LLaMA-13B 之上,並通過三步優化進行優化。首先,我們繼續使用大規模的中文單語數據對 LLaMA 進行訓練。其次,我們使用涵蓋 102 種自然語言的大規模平行數據集繼續訓練模型。最後,我們使用多語言翻譯指令對基礎模型進行指導微調,從而產生了我們的大 trans 模型。在多語言翻譯初步實驗中,大 trans 在許多語言中與 ChatGPT 和 Google Translate 相當,甚至在 8 對語言中表現更好。我們發佈了大 trans 模型,並希望它能促進研究進展。
論文鏈接:https://arxiv.org/abs/2305.18098