攝影測(cè)量的中心問(wèn)題是從獲取的影像來(lái)得到成像像素在影像中的世界點(diǎn)的三維坐標(biāo)和語(yǔ)義屬性的過(guò)程。其核心問(wèn)題如下：
　　1、 如何建立相機(jī)和外部世界坐標(biāo)之間的關(guān)系。這里需要兩步：1)確定內(nèi)參數(shù);2)確定外參數(shù)。其中內(nèi)參數(shù)用來(lái)描述相機(jī)在小孔成像過(guò)程中的一些重要參數(shù)值(焦距、主點(diǎn)、畸變...);外參數(shù)用來(lái)描述相機(jī)怎么擺在外部世界坐標(biāo)系里(三個(gè)旋角組成的旋轉(zhuǎn)矩陣，三個(gè)線元素組成的相機(jī)中心在世界坐標(biāo)系的位置)。這個(gè)關(guān)系在 A)攝影測(cè)量的共線方程和 B)幾何計(jì)算機(jī)視覺(jué)的投影方程里得以表達(dá)。從這里可以衍生的一點(diǎn)是，如果你知道外部世界點(diǎn)坐標(biāo)，又能在影像上高精度定位出相應(yīng)的成像點(diǎn)坐標(biāo)，那么你就可以算出內(nèi)外參數(shù)了，從而完成相機(jī)標(biāo)定。當(dāng)然，標(biāo)定還有更多變種，但萬(wàn)變不離該宗。
　　2、 弄清了相機(jī)和外部世界的坐標(biāo)關(guān)系怎么擺，接下來(lái)就要考慮怎么通過(guò)相片來(lái)算點(diǎn)坐標(biāo)了。通過(guò)可能你已經(jīng)發(fā)現(xiàn)，當(dāng)你的外部世界坐標(biāo)點(diǎn)在成像的光線上(即相機(jī)中心向像點(diǎn)發(fā)出的射線)來(lái)回竄動(dòng)的時(shí)候，它對(duì)應(yīng)的影像像點(diǎn)坐標(biāo)是不變的!!這說(shuō)明從物方點(diǎn)到像點(diǎn)的映射從線到點(diǎn)的對(duì)射，一條光線對(duì)應(yīng)一個(gè)像點(diǎn)，所以需要加入第二張影像來(lái)交會(huì)確定出世界點(diǎn)的坐標(biāo)。這引入了兩個(gè)問(wèn)題：1)兩個(gè)相機(jī)之間的幾何關(guān)系怎么表達(dá)?這是用相對(duì)定向模型(攝影測(cè)量)或者基礎(chǔ)矩陣(計(jì)算機(jī)視覺(jué))來(lái)表達(dá)的;2)怎么確定某個(gè)像點(diǎn)在另一張影像上的同源點(diǎn)(同名點(diǎn)/匹配點(diǎn))?這個(gè)通過(guò)影像匹配來(lái)獲取。 當(dāng)幾何關(guān)系被確定之后，通過(guò)前方交會(huì)就可以算兩張影像上的同名點(diǎn)世界點(diǎn)的坐標(biāo)。
　　3、 在2的基礎(chǔ)上，要完成一片區(qū)域或者一個(gè)目標(biāo)(建筑物、雕塑)的攝影測(cè)量，需要多張影像來(lái)完成。此時(shí)，可在剛才確定的相對(duì)定向的基礎(chǔ)上進(jìn)行連續(xù)的相對(duì)定向，即以某兩幅影像相對(duì)定向的初始相機(jī)坐標(biāo)系為參考坐標(biāo)系，不斷加入影像進(jìn)行相對(duì)定向并放在第一幅影像表達(dá)的初始相機(jī)坐標(biāo)系里面，所以進(jìn)行完連續(xù)相對(duì)定向之后的坐標(biāo)系還是初始的相機(jī)坐標(biāo)系，由于相對(duì)定向的過(guò)程需要同名像點(diǎn)，所以實(shí)際上這個(gè)過(guò)程之后既得到了相機(jī)的姿態(tài)(位置、朝向)，又得到了一部分用于定向的匹配同名像點(diǎn)在相機(jī)坐標(biāo)系下的三維坐標(biāo)(結(jié)構(gòu))。由于在這個(gè)過(guò)程中相機(jī)位置不斷變化，形成了motion，所以這個(gè)過(guò)程在計(jì)算機(jī)視覺(jué)里又稱(chēng)為Structure From Motion(SFM)。把一系列影像都放在某個(gè)相機(jī)坐標(biāo)下之后，此時(shí)通過(guò)少量地面控制點(diǎn)就可以把它與物方世界坐標(biāo)之間的轉(zhuǎn)換關(guān)系解算出來(lái)，完成絕對(duì)定向。這種思路稱(chēng)之為相對(duì)定向-絕對(duì)定向法。
　　通過(guò)以上的方法解算的過(guò)程一般都是漸進(jìn)的，誤差會(huì)不斷積累和傳播，為了提高精度，在最后會(huì)進(jìn)行整體的再一次優(yōu)化，優(yōu)化的目標(biāo)一般是最小化重投影誤差。由于成像模型里的旋轉(zhuǎn)矩陣是高度非線性的，這個(gè)優(yōu)化問(wèn)題是非線性優(yōu)化問(wèn)題，需要通過(guò)迭代來(lái)完成。通過(guò)迭代來(lái)優(yōu)化的過(guò)程自然涉及到更新步長(zhǎng)和更新方向(梯度)的問(wèn)題，迭代步長(zhǎng)和更新方向的確定用到了介于牛頓法(二階梯度)和標(biāo)準(zhǔn)梯度下降(一階梯度)之間的LM算法來(lái)完成，我們稱(chēng)這個(gè)過(guò)程叫光束法平差。
　　4、至此，你完成了把多幅影像對(duì)應(yīng)的相機(jī)放到外部世界坐標(biāo)系里，并在此過(guò)程中得到了一部分用于定向的匹配像點(diǎn)的3D坐標(biāo)(稀疏定向點(diǎn)點(diǎn)云)。下一步就是密集地恢復(fù)深度，密集地測(cè)出影像上的點(diǎn)位坐標(biāo)。以前我們叫立體匹配、多視立體匹配，現(xiàn)在匹配算法進(jìn)步了，能逐像素匹配，我們干脆就叫它密集匹配了(Dense Matching)。其過(guò)程如下：
　　先生成核線影像，讓視差集中到水平方向，也就是說(shuō)一對(duì)核線影像上坐標(biāo)(x1,y1)來(lái)說(shuō)，它在對(duì)應(yīng)的影像上的同名點(diǎn)坐標(biāo)(x2,y2)總滿足y1=y2. 所以你只需要去估計(jì)影像1上每個(gè)點(diǎn)的視差值x1-x2.注意，視差值決定深度(世界3D 點(diǎn)到成像平面的距離)。
　　每算一個(gè)可能的位置，都有一個(gè)匹配代價(jià)(交叉相關(guān)、互信息....)，這樣就形成了一個(gè)視差代價(jià)函數(shù)空間，它對(duì)應(yīng)著影像1上每個(gè)像素取每個(gè)潛在可能視差值的匹配代價(jià)。

   　估計(jì)每個(gè)像素點(diǎn)的視差。這個(gè)估計(jì)的過(guò)程就是在取每一個(gè)視差值的時(shí)候，你就有一個(gè)匹配代價(jià)，這項(xiàng)稱(chēng)為數(shù)據(jù)項(xiàng)。同時(shí)，你還得考慮領(lǐng)域，也就是說(shuō)當(dāng)某個(gè)像素值與鄰近像素相近時(shí)，我們也認(rèn)為它們的深度更相近，如果他們的深度不相近，我們就懲罰它們;同理，當(dāng)鄰近像素的灰度值變化很大的，我們也認(rèn)為它們的深度值傾向于有更大的變化，那么就會(huì)對(duì)灰度值變化很大而視差值差別不大的情況進(jìn)行懲罰。完成這個(gè)懲罰設(shè)計(jì)出來(lái)的代價(jià)函數(shù)就是平滑項(xiàng)。平滑項(xiàng)和數(shù)據(jù)項(xiàng)一起構(gòu)成了匹配優(yōu)化的目標(biāo)函數(shù)，也稱(chēng)作能量函數(shù)，最優(yōu)化求解這個(gè)函數(shù)使得代價(jià)(cost)最小的解就是求解的每個(gè)像素的視差值。當(dāng)然，有一部分點(diǎn)可能不能同時(shí)被兩張影像看到(遮擋)，這部分像素深度無(wú)法得到。
　　多個(gè)密集匹配的立體像對(duì)的結(jié)果進(jìn)行融合，得到整體的視差值和三維點(diǎn)云。
　　5、干完這步，你可以開(kāi)心的獲取：
　　i) 數(shù)字地表模型
　　ii)數(shù)字正射影像
　　iii)獲取 數(shù)字高程模型 DEM (要自動(dòng)得把植被和建筑從DSM上分類(lèi)出來(lái)剔除掉，然后插值格網(wǎng)化)

　　iiii)數(shù)字線劃圖 (還不是自動(dòng)地
　　6、走到這里，我們做的還是幾何問(wèn)題。那么語(yǔ)義屬性在哪里呢
　　屬性通過(guò)分類(lèi)來(lái)算。輸入值是影像(可加入深度)(或特征)，輸出值是類(lèi)別，中間過(guò)程用監(jiān)督學(xué)習(xí)下的分類(lèi)器來(lái)完成?；蛘哂梅潜O(jiān)督學(xué)習(xí)壓縮數(shù)據(jù)，然后用監(jiān)督學(xué)習(xí)得到分類(lèi)器。
　　屬性怎么算呢?如果用上我們辛辛苦苦得到的深度值，那我們依靠的還是馬爾提出的視覺(jué)問(wèn)題框架，通過(guò)深度值為跳板來(lái)解決視覺(jué)問(wèn)題?，F(xiàn)階段以我的知識(shí)，能理解到的需要解決的核心問(wèn)題是：
　　如何設(shè)計(jì)出好的特征，這里面又分為采用經(jīng)典的手動(dòng)設(shè)計(jì)特征和現(xiàn)在火熱的基于深度神經(jīng)網(wǎng)絡(luò)的自動(dòng)特征表達(dá)學(xué)習(xí)，其核心問(wèn)題是找出區(qū)分力高的特征表達(dá)。
　　如何表達(dá)先驗(yàn)，如何融合已有的知識(shí)，如GIS數(shù)據(jù)庫(kù)、地圖等信息，如何融合多平臺(tái)的測(cè)量數(shù)據(jù)(衛(wèi)星影像、航空影像、地面車(chē)載數(shù)據(jù)，UAV數(shù)據(jù)以及網(wǎng)絡(luò)大數(shù)據(jù)）。
　　不同地區(qū)的訓(xùn)練數(shù)據(jù)往往類(lèi)別規(guī)定和類(lèi)別分布不一致，如何有效的統(tǒng)一和遷移學(xué)習(xí)到的知識(shí);以及如何建立高效海量的數(shù)據(jù)庫(kù)來(lái)加速這一領(lǐng)域的發(fā)展。這個(gè)問(wèn)題還是現(xiàn)在進(jìn)行時(shí)。
　　7、 航空影像的分類(lèi)解決好了，還是土地的覆蓋分類(lèi)，土地的利用類(lèi)別呢?國(guó)土資源的管理、地圖的制作依靠的是土地的利用類(lèi)別(荒地可能是荒地，可能是閑置的商業(yè)用地，這區(qū)別太大了)。解決這個(gè)問(wèn)題一方面需要加入合理的先驗(yàn);另一方面需要更加先進(jìn)的分類(lèi)模型和大數(shù)據(jù)的支撐。