首頁







玄幻奇幻 都市言情 武俠仙俠 軍事歷史 網游競技 科幻靈異 二次元 收藏夾
  • 放肆文學 » 網游競技 » 重生學神有系統» 第394章 超參數全自動搜索
  • 熱門作品 | 最新上架 | 全本小說 | 閱讀紀錄

    重生學神有系統 - 第394章 超參數全自動搜索字體大小: A+
     

    江寒掛了電話,沉吟不語。

    老江關切地問:“沒談妥嗎?”

    江寒搖了搖頭,嘆了口氣:“談下來一半。”

    “一半?”

    江寒點了點頭:“大江入駐高新區,問題不是太大,只是時間上……最快也得排到下半年了。”

    周市長雖然對自己印象很好,但在原則問題上,一點也不肯鬆動。

    這就沒辦法了。

    江寒和老江研究了一下,最後還是決定出去租寫字樓。

    但說實話,就算找得到理想的地方,只怕一時半會兒之間,也很難辦妥,更要多掏不少錢。

    正說話間,夏如冰來上班了。

    不知不覺之中,她已經恢復了原本的明豔,精神狀態更是十分良好。

    一見面,夏如冰就笑吟吟地打招呼:“老闆早,江總早!”

    江寒灑然一笑:“早!”

    老江也儒雅地點頭:“夏總早。”

    江寒打量了夏如冰一眼,忍不住旁敲側擊了一句:“小姨啊,看您的氣色,這幾天好像心情挺不錯?”

    夏如冰嫣然巧笑:“是啊,閒了這麼久,總算有點事做,當然開心了。”

    江寒:“……”

    這麼敬業的嗎?

    但他關心的,其實是她和老易倆人,到底有沒有和好……

    “剛纔你們兩個,一本正經的,到底在研究什麼?”夏如冰問。

    江寒將打算租樓的事情,跟夏如冰說了。

    夏如冰明媚一笑:“這事兒好辦啊,盛夏這棟樓裏,不是還剩不少地方嗎?反正這麼多地方,他們也用不了,稍微挪動一下,騰出一層、半層樓,問題應該不大。”

    江寒無語一秒:“這樣不太好吧?”

    夏如虹能給自己兩件辦公室,加地下的機房,已經很難得了。

    如果再得寸進尺的話……

    夏如冰笑了笑:“這樣吧,我打個電話問問,如果盛夏那邊不方便,咱們再另外想轍兒。”

    江寒考慮了一下,點了點頭:“也行,不過……別讓夏阿姨爲難。”

    “那當然。”

    夏如虹答應了一聲,又說:“老闆,一會兒會有不少人來應聘,你要不要把把關?”

    江寒灑然一笑:“好!不過我只負責技術人員,其他的職位,還要你和老江自己決定。”

    距離面試開始,還有一個多小時。

    江寒想了想,來到了隔壁。

    這個實驗室佈置好之後,一直沒怎麼用,今天正好試試機、找找感覺。

    這裏配備了兩臺相當先進的電腦,和地下機房裏的服務器直連,通過這兩臺終端,就可以方便地操作服務器。

    前天,江寒爲了製作OCR軟件,批量打造了上千個人工神經網絡。

    其中絕大多數,都擁有一模一樣的網絡結構,只是引入的訓練數據不同。

    這樣訓練出來的模型,也就只有權重參數上的區別……

    經過兩天的訓練,這些網絡已經完全訓練完畢。

    江寒將這些網絡,組合到了一起,再套上一層事先準備好的,用vc--編寫的簡易UI。

    很快,OCR軟件就初步成型,可以投入使用了。

    江寒思考了一下,命名爲“極光OCR”。

    至於這個名字的含義……其實他沒想那麼多,就是覺得挺順口的。

    然後,他又將源代碼和可執行文件,全都用U盤拷貝下來,帶走。

    這樣晚上回家後,就可以正式啓動那個計劃,在虛擬空間裏暢快地學習了……

    隨後,江寒進入了虛擬空間。

    他爲ImageNet比賽編寫的代碼,還有相關的論文草稿,就保存在286電腦中。

    江寒很快將這些東西,發送到了外面的電腦中。

    然後又打開手機,把昨晚下載的訓練數據、校驗數據,也傳送給這臺終端電腦。

    程序有了,數據也有了。

    江寒又進行了一番算不上辛苦的調試,深度卷積神經網絡終於基本成型。

    但在開始訓練之前,還有一點工作要做。

    這個深度CNN,所擁有的參數實在太多了,哪怕原始數據有足足12萬多條,也很很容易發生過擬合。

    所以,爲了提升泛化能力,有必要做一下數據增廣。

    數據增廣的方案有許多。

    江寒思考了一下,選擇了一種新方案。

    原始圖像是256×256的分辨率。

    江寒設計了一個程序,從中隨機扣出來224×224大小的區域。

    每張原始圖像,都有(256-224)^2=1024種不同的扣法,這樣一來,就相當於將原始數據增廣了1024倍!

    接下來,他又將得到的圖像,全都水平鏡像一次,就得到了等於原始數據2048倍的超大數據集合。

    增廣完數據,江寒還覺得不夠保險,爲了進一步提高算法的效能,他決定對網絡中用到的超參數,進行一些優化。

    以前他也做過人工神經網絡超參數的優化,但那時採用的手段,主要是手動修改超參數,然後人工分析、比對。

    看修改了某個超參數後,網絡的表現是上升了還是下降了,從而找出較爲優秀的模型。

    不用說,這種做法最大的缺陷,就是效率實在太低。

    江寒在這次的比賽中,決定使用一種新技術。

    這是他前一陣子,煞費苦心設計出來的方案,代碼複雜度令人髮指。

    好在他的腦子夠好用,在消耗了大量心血,吃掉了無數冰島紅極參之後,終於是開發成功了。

    功能很簡單,就是自動對超參數進行搜索、優化,以找到結構更合理、性能更好的人工神經網絡。

    江寒爲這門技術取名ASSP(Auto search for super parameters)。

    當然,其實就是“搜索超參數”的英文直譯……

    ASSP的原理很簡單,就是包裝在人工神經網絡模板外層的一個“殼”。

    通過一個調度函數,在訓練神經網絡之前,先按照事先確定的規則,微調某些超參數。

    每當完成一輪訓練,還會按照既定的規則,從各個方面進行評分。

    比如,在梯度下降的過程中,模型是否收斂、收斂速度如何?

    不能收斂的網絡,根本無法訓練,也就毫無價值,如果收斂速度過慢,訓練起來也會缺少效率。

    此外,網絡模型在驗證集中的表現,泛化能力、識別準確度、網絡的穩健性……

    最後,將每次訓練完成後,人工神經網絡的綜合得分,從高到低排一下序。

    江寒通過最後生成的表格,就可以選取合適的超參數組合了。

    爲了讓這個超參數搜索程序,獲得更高的工作效率,需要先指定超參數的搜索範圍。

    範圍太大的話,會導致搜索時間過長,可能會等不及出結果;如果範圍太小,又很可能找不到合格的超參數取值。

    這個搜索範圍,可以看做SFSP的超參數,只能憑經驗設定。

    好在江寒已經訓練過許多次人工神經網絡,有着十分充足的經驗。

    他將ASSP和深度CNN的代碼融合之後,連同訓練數據、驗證數據,全都上傳到了地下數據處理中心的服務器裏。

    差不多兩天之後,ASSP就能得到初步的成果。

    至於整個CNN網絡的訓練,那可就有得等了。

    原始數據是12萬多條,增廣到2048倍之後,就是2億4千5百萬餘條數據!

    數據量實在太龐大了,即使使用了GPU來提速,至少也需要5~7天,才能完成初步的訓練。

    江寒讓程序跑起來之後,就走出了實驗室。

    打算回到遊戲工作室裏,休息一下,然後去主持面試。

    剛喝了兩口水,手機忽然響了起來。

    來電是夏如虹的,江寒連忙接了起來,叫了聲:“阿姨。”

    “你在哪了?”夏如虹聲音溫婉。

    “17樓辦公室。”江寒回答。

    夏如虹打這個電話,主要是討論寫字機器人的銷量和分成。

    寫字機器人上市的時候,已經接近年底,所以截止2012年12月31日,只賣出了30多萬臺。

    按照當初的約定,江寒將獲得3.5%銷售額的分成。

    機器人的出廠價是每臺558元,3.5%就是每臺19.53元,30萬臺……

    江寒隨便心算了一下,就得出了答案:580多萬。

    這就比較讓人愉快了。

    有了這筆錢,星空那邊的錢,暫時就不急着動用了。

    這樣也能避免不少匯兌、稅費之類的損失……



    上一頁 ←    → 下一頁

    功夫聖醫凡人修仙之仙界篇我的姥姥是半仙鬥破蒼穹2空間重生:盛寵神醫商女
    網游之萬能外掛妻手遮天:全能靈師生活系游戲墨唐伊塔之柱