國網(wǎng)福建省電力有限公司檢修分公司的研究人員黃旭超，在2018年第11期《電氣技術(shù)》雜志上撰文，回顧了深度學(xué)習(xí)的發(fā)展歷程，詳細(xì)介紹了深度學(xué)習(xí)的主流基礎(chǔ)網(wǎng)絡(luò)——深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和特點，在此基礎(chǔ)上對其產(chǎn)生的衍生和變體進(jìn)行了分析。并總結(jié)了深度學(xué)習(xí)發(fā)展過程中的主要因素。

與電網(wǎng)智能化的情況相結(jié)合，本文還闡述了深度學(xué)習(xí)與電網(wǎng)智能化相結(jié)合的可行性和必要性，并簡單介紹了當(dāng)前深度學(xué)習(xí)在電力系統(tǒng)中的應(yīng)用。毫無疑問，深度學(xué)習(xí)將在助力電力智能化的進(jìn)程中扮演重要角色。

近幾年，互聯(lián)網(wǎng)領(lǐng)域迎來了一個爆炸式的發(fā)展。隨著數(shù)據(jù)規(guī)模的指數(shù)式增長，人類社會正逐漸由信息科技（information technology, IT）時代轉(zhuǎn)向數(shù)據(jù)科技（data technology, DT）時代，大數(shù)據(jù)、數(shù)據(jù)挖掘、云服務(wù)等新技術(shù)、新熱點層出不窮，人工方式處理數(shù)據(jù)的瓶頸逐漸顯現(xiàn)出來，科技進(jìn)步的瓶頸已由計算機(jī)硬件的不足轉(zhuǎn)向了計算機(jī)智能化的不足。而在這一背景下，人工智能（artificial intelligence, AI）不可避免地成為了新的技術(shù)熱點。

人工智能是計算機(jī)科學(xué)的一個分支，它是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)。而在這一領(lǐng)域內(nèi)，機(jī)器學(xué)習(xí)（machine learning, ML）無疑是這一波浪潮的焦點，在很多時候，幾乎成為了人工智能的代名詞。機(jī)器學(xué)習(xí)是上世紀(jì)新興發(fā)展的一門交叉學(xué)科，內(nèi)容涉及高等數(shù)學(xué)、概率論、統(tǒng)計學(xué)、計算機(jī)學(xué)、仿生學(xué)等多個學(xué)科。

簡單地說，機(jī)器學(xué)習(xí)就是通過算法，使得機(jī)器能從大量的歷史數(shù)據(jù)中學(xué)習(xí)規(guī)律，從而通過改變某些參數(shù)，進(jìn)而改善系統(tǒng)性能。機(jī)器學(xué)習(xí)從不同的角度可以有不同的分類，如從特征提取角度可分為隔離學(xué)習(xí)（isolate learning）和端到端學(xué)習(xí)（end-to-end learning）；從模型結(jié)構(gòu)角度可分為淺層學(xué)習(xí)（shallow learning）和深度學(xué)習(xí)（deep learning）。

2017年，共享經(jīng)濟(jì)的概念在投資領(lǐng)域無疑是一個炙熱的風(fēng)口，只要套上這一概念，社會資本便蜂擁而至，近年來，深度學(xué)習(xí)亦在學(xué)術(shù)界和工業(yè)界扮演了這一角色。如圖1所示，Google Brain計劃的項目數(shù)量從2013年第3季度至2015年第3季度發(fā)生了近乎1200%的爆炸式增長，并將上升勢頭持續(xù)至今。

據(jù)統(tǒng)計，2016年計算機(jī)視覺頂級盛會IEEE Conference on Computer Vision and Pattern Recognition（CVPR）共收到2145篇有效投稿論文，在接受的643篇論文中，80%～90%的發(fā)表論文、接近100%的口頭報告論文均來自深度學(xué)習(xí)領(lǐng)域[1]。

在諸多領(lǐng)域（如圖像識別、語音識別）取得了破紀(jì)錄的成果；在藥物研發(fā)、醫(yī)學(xué)及數(shù)據(jù)分析等領(lǐng)域超越了其他機(jī)器學(xué)習(xí)方法；并在自然語言處理方面展現(xiàn)出了令人期待的前景。2016年，谷歌AlphaGo的人機(jī)大戰(zhàn)更是吸引了世界范圍內(nèi)的強(qiáng)烈關(guān)注，甚至引發(fā)了人們的恐慌和憂慮。

圖1 Google Brain項目數(shù)量

深度學(xué)習(xí)與電力系統(tǒng)相結(jié)合已經(jīng)是電力系統(tǒng)智能化發(fā)展的必由之路。一方面，其擅于挖掘處理大數(shù)據(jù)的特性非常適合解決當(dāng)前電力智能化的進(jìn)程中所面對的數(shù)據(jù)量激增的挑戰(zhàn)；另一方面，其能充分利用電力智能化帶來的大量的數(shù)據(jù)量推動電力技術(shù)的發(fā)展，從而加速電力智能化的進(jìn)程。

1 深度學(xué)習(xí)

雖然深度學(xué)習(xí)近年來在諸多領(lǐng)域取得了令人矚目的成果，但其本身并不是一項新興技術(shù)，其從本質(zhì)上來說是一種特定的，具有多層結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)（artificial neural networks, ANN），其起源最早可以追溯至20世紀(jì)50至60年代的感知機(jī)技術(shù)（Perceptron，即一種僅有輸入層、輸出層和單個隱含層的簡單神經(jīng)網(wǎng)絡(luò)，輸入的特征向量通過隱含層變換后至輸出層進(jìn)行分類）[2]。

但這種單層感知機(jī)對稍微復(fù)雜一點的函數(shù)都無能為力，因此沉寂了相當(dāng)長的一段時間，直到20世紀(jì)80年代，隨著多層感知機(jī)（multilayer-perceptron）的出現(xiàn)，人工智能迎來了第一次發(fā)展浪潮。

在早年，機(jī)器學(xué)習(xí)系統(tǒng)需要基于細(xì)致的工程和可參考的專業(yè)領(lǐng)域知識來設(shè)計特征提取器對原始數(shù)據(jù)進(jìn)行處理，研究人員的目標(biāo)是利用可訓(xùn)練的多層網(wǎng)絡(luò)結(jié)構(gòu)來取代人工設(shè)計特征過程[3-4]，但這一想法一直到20世紀(jì)80年代才被不同的研究團(tuán)隊各自獨立的完成。

多層感知機(jī)（其結(jié)構(gòu)如圖2所示，即所謂的神經(jīng)網(wǎng)絡(luò)）在結(jié)構(gòu)上由一個輸入層、一個輸出層和多個隱含層構(gòu)成；每個隱含層由諸多的神經(jīng)元（neuron）組成；每個神經(jīng)元接受前一層所有的神經(jīng)元的數(shù)據(jù)，并分別進(jìn)行帶權(quán)求和后進(jìn)行偏置，再經(jīng)由激活函數(shù)（activation function）變換后輸出給下一層的所有神經(jīng)元[4]。由于其上下層的神經(jīng)元是完全連接的，因此又稱為全連接網(wǎng)絡(luò)（fully connected network）。

圖2 多層感知機(jī)結(jié)構(gòu)

從其數(shù)學(xué)模型來看，整個的神經(jīng)網(wǎng)絡(luò)在本質(zhì)上與數(shù)學(xué)的擬合或插值問題類似，都是給出已知的x坐標(biāo)（訓(xùn)練數(shù)據(jù)）和y坐標(biāo)（訓(xùn)練數(shù)據(jù)對應(yīng)的我們需要的分類或結(jié)果），尋求一種復(fù)合函數(shù)對其進(jìn)行映射。

而網(wǎng)絡(luò)的訓(xùn)練過程，即是整個網(wǎng)絡(luò)的參數(shù)（內(nèi)部神經(jīng)元的連接權(quán)重、偏置值）的調(diào)整過程。傳統(tǒng)的監(jiān)督學(xué)習(xí)在這一過程中通常使用一個損失函數(shù)（loss function）來評估訓(xùn)練時網(wǎng)絡(luò)輸出的結(jié)果與設(shè)定結(jié)果的差異，以反向傳播的梯度下降法進(jìn)行參數(shù)的更新。對于多層網(wǎng)絡(luò)結(jié)構(gòu)而言，其訓(xùn)練可以使用簡單的隨機(jī)梯度下降法完成，只要模塊是關(guān)于輸入和內(nèi)部權(quán)重的相對平滑函數(shù)，就可以使用Werbos發(fā)明的反向傳播算法計算梯度[5]。

使用更少的神經(jīng)元（即更少的網(wǎng)絡(luò)參數(shù)）來刻畫對象，能夠減少系統(tǒng)的復(fù)雜程度，但也帶來了其他的麻煩：隨著網(wǎng)絡(luò)結(jié)構(gòu)的加深，目標(biāo)函數(shù)越來越容易陷入局部最優(yōu)解，且梯度消散（gradient vanishing）的現(xiàn)象也更加嚴(yán)重。

2006年，Geoffrey Hinton利用預(yù)訓(xùn)練（Pre- training）的方法緩解了局部最優(yōu)的問題，將網(wǎng)絡(luò)的隱含層數(shù)拓展到了7層，正式闡述了深度學(xué)習(xí)的概念，提出了對神經(jīng)網(wǎng)絡(luò)有效降維的重要思想，并指出具有多隱含層結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)在可視化和分類上的優(yōu)勢[6-7]。

為了解決梯度消散等一系列問題，ReLU[8]（rectified linear unit）、Maxout等傳遞函數(shù)代替了傳統(tǒng)的Sigmoid激活函數(shù)；Mini-batch、Momentum、變梯度與隨機(jī)梯度、變學(xué)習(xí)率、Regularization、Dropout等新技術(shù)的應(yīng)用形成了如今深度神經(jīng)網(wǎng)絡(luò)（deep neural networks, DNN）的基本形式，其亦是其他更先進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)的雛形。

2 深度學(xué)習(xí)在電力領(lǐng)域內(nèi)的應(yīng)用

近幾年，隨著人工智能的大熱，深度學(xué)習(xí)技術(shù)被應(yīng)用到許多不同領(lǐng)域中，取得了許多突破性的成果，而在電力領(lǐng)域內(nèi)亦有深度學(xué)習(xí)技術(shù)的引入，但依然處于起步摸索階段，相關(guān)的論文與成果也較少，不如其在圖像識別、語音識別、語言處理等老本行上那么令人印象深刻，但也已經(jīng)表現(xiàn)出令人期待的潛力和發(fā)展前景。

縱觀深度學(xué)習(xí)的興起，很大程度上得益于3個方面的共同協(xié)作。

1）大數(shù)據(jù)的興起。如在CNN的崛起中扮演著重要角色的ImageNet計劃，該計劃由Feifei Li教授與普林斯頓大學(xué)的Kai Li教授合作發(fā)起，到2009年共收集到1500萬張包含22000種物品的圖片，成功改變了人工智能領(lǐng)域?qū)?shù)據(jù)集的認(rèn)識，也改變了學(xué)術(shù)界對神經(jīng)網(wǎng)絡(luò)模型的認(rèn)知。

2）計算機(jī)硬件的發(fā)展。高性能CPU和多GPU并行技術(shù)的帶來的計算能力的提升。

3）算法上的改進(jìn)。很難說清ImageNet數(shù)據(jù)集計劃和深度學(xué)習(xí)到底是誰成就了誰，或者二者是相互推動的關(guān)系，但不可否認(rèn)的是，GPU帶來的計算能力的提升和ImageNet帶來的數(shù)據(jù)集，以及同時帶來的學(xué)術(shù)界對訓(xùn)練數(shù)據(jù)認(rèn)識的改變，對深度學(xué)習(xí)技術(shù)井噴發(fā)展的巨大推動作用[9]。

而在電力智能化發(fā)展的今天，電力系統(tǒng)也同樣有著相同的背景：設(shè)備智能化，運(yùn)算能力加強(qiáng)，數(shù)據(jù)量爆炸式增長，傳統(tǒng)的電力數(shù)據(jù)方法在面對海量的數(shù)據(jù)時已經(jīng)捉襟見肘，而深度學(xué)習(xí)所擅長的正是對海量數(shù)據(jù)的挖掘。毫無疑問，電力智能化與深度學(xué)習(xí)是可以無縫融合，并擁有廣闊的前景。

目前，國內(nèi)外已有一些深度學(xué)習(xí)在電力領(lǐng)域內(nèi)的應(yīng)用，大部分都集中在故障檢測和決策優(yōu)化領(lǐng)域。后者通常是基于深度學(xué)習(xí)對電力大數(shù)據(jù)進(jìn)行挖掘和應(yīng)用[10]，在這一方面，由于數(shù)據(jù)量大，且容易獲取，所以目前研究較多，取得的成果也不少。

而前者總的來說可以分成兩大類：

①利用深度學(xué)習(xí)對系統(tǒng)中的關(guān)鍵參數(shù)提取特征，進(jìn)行學(xué)習(xí)，使得模型可以通過對關(guān)鍵參數(shù)的監(jiān)控發(fā)現(xiàn)故障或?qū)收线M(jìn)行預(yù)警[11-12]。這一類方式需要人工對系統(tǒng)進(jìn)行分析，選出用于分析學(xué)習(xí)的關(guān)鍵參數(shù)，從某種意義上來說，這一步驟也屬于需要人工干預(yù)的特征選取工作。但這類研究可以大量使用仿真的方式獲取數(shù)據(jù)構(gòu)建數(shù)據(jù)集，使用的模型深度也不需要太深，也比較容易出成果。

②直接利用深度學(xué)習(xí)在圖像處理中的優(yōu)勢，利用圖像檢測的方式展開應(yīng)用，如利用深度學(xué)習(xí)對電網(wǎng)巡檢圖像進(jìn)行處理[13-14]。這一類應(yīng)用是直接對深度學(xué)習(xí)技術(shù)的遷移應(yīng)用，理論上是最成熟的，但受制于數(shù)據(jù)集的缺乏，使其難以進(jìn)行實際應(yīng)用。

展望

毫無疑問，深度學(xué)習(xí)技術(shù)在經(jīng)過了近幾年的蓬勃發(fā)展，已經(jīng)給這個世界帶來了太多的驚喜，也實際的改變了人類的生活方式。前幾年互聯(lián)網(wǎng)的迅猛發(fā)展帶來的龐大數(shù)據(jù)量，計算機(jī)計算能力的增加，使得早年受制于計算機(jī)計算性能和對數(shù)據(jù)集的忽視導(dǎo)致停滯不前的人工智能技術(shù)迎來了又一輪的浪潮，在最近幾年里，關(guān)于深度學(xué)習(xí)的捷報不斷傳來，但其實這一門學(xué)科仍然處在一個剛剛起步的階段，當(dāng)前的深度學(xué)習(xí)還存在許多問題，依然面臨著諸多挑戰(zhàn)。

在如今，經(jīng)過ImageNet的一輪洗禮，人們普遍認(rèn)識到數(shù)據(jù)集的重要性，甚至有觀點認(rèn)為：在如今的深度學(xué)習(xí)應(yīng)用中，我們面對的是工程問題（數(shù)據(jù)集的缺乏等），而非技術(shù)問題。不可否認(rèn)的是，在網(wǎng)絡(luò)結(jié)構(gòu)變得越來越深、越來越復(fù)雜的今天，網(wǎng)絡(luò)對現(xiàn)實的刻畫能力也越來越強(qiáng)，而訓(xùn)練它們所需要的數(shù)據(jù)量也要求越來越大，這就對訓(xùn)練網(wǎng)絡(luò)的數(shù)據(jù)集提出了高要求，在諸如深度學(xué)習(xí)在電網(wǎng)巡檢圖像這類應(yīng)用中，目前真正制約它的是圖像數(shù)據(jù)集的缺乏[15-16]。

如果要將深度學(xué)習(xí)應(yīng)用得更廣，那么如何以更小的樣本完成對深度網(wǎng)絡(luò)的訓(xùn)練無疑是需要解決的一個問題。而在自然語言處理方面，深度學(xué)習(xí)技術(shù)似乎還未取得太多的轟動性進(jìn)展。另外，雖然非監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)近年來在監(jiān)督學(xué)習(xí)的光環(huán)之下顯得有些暗淡，但其依然是值得關(guān)注的發(fā)展方向。

不論在工程上解決數(shù)據(jù)集不足的問題，還是技術(shù)上滿足對大訓(xùn)練數(shù)據(jù)的要求，深度學(xué)習(xí)都無疑將在電網(wǎng)智能化的道路上發(fā)揮更大的作用。但是若無法從技術(shù)上解決這一問題，則無疑會加劇深度學(xué)習(xí)領(lǐng)域的馬太效應(yīng)，不論技術(shù)還是數(shù)據(jù)都會集中在少數(shù)巨頭身上，形成壁壘，不利于技術(shù)的發(fā)展。

另外，深度學(xué)習(xí)在電力系統(tǒng)的應(yīng)用還有待開發(fā)，不僅僅是在技術(shù)領(lǐng)域使得技術(shù)更先進(jìn)，設(shè)備更智能；更多地，是可以在日常工作中進(jìn)行應(yīng)用，例如將深度學(xué)習(xí)在文本處理方面的應(yīng)用遷移至電網(wǎng)公司的運(yùn)作中，代替一些日常文案工作或繁雜而機(jī)械的勞務(wù)，以減輕電網(wǎng)從業(yè)人員的工作量，解放勞動力。

近期，新的AlphaGo Zero橫空出世，相比原先的AlphaGo，其網(wǎng)絡(luò)模型進(jìn)行了簡化和改進(jìn)，不再依賴于人類的經(jīng)驗進(jìn)行學(xué)習(xí)，訓(xùn)練時間也更短，這一技術(shù)可能又將引發(fā)一次新的技術(shù)變革。深度學(xué)習(xí)，或者說人工智能是一門正處于爆發(fā)期的學(xué)科，其理論和成果正以一種匪夷所思的速度更迭，在未來電力智能化的領(lǐng)域中，它無疑將扮演著一個舉足輕重的角色。