看見趨勢

最近 Big Data 成為了顯學。而政府在這個熱潮之下，也開始不斷的強化 Open Data。雖然資料不斷的開放，分析工具也不斷的進步，讓處理這些大數據的門檻降低不少，但對於缺乏統計或資訊處理背景的人們來說，這些資料仍然與無字天書無異。為了讓人們能更容易的從數據中找到有意義的資訊，線上資料庫的需求也應運而生。
傳統上，數據資料大多以靜態資料檔的方式存在。最基礎的資料庫，或稱為資料中心也僅止於陳列這些資料檔供人索取、下載而已。但隨著資料量越來越大，單純的儲存與下載已難以讓使用者了解資料的全貌，進而從中找到有用的資訊。因此，能動態處理資料的資料庫系統地位日趨重要。
資料庫系統大致上又可分為著重資料處理的「資料檢索及下載」及提供即時結果的「線上分析」兩類。
資料檢索及下載系統著重於資料處理，主要的目的在協助使用者搜尋所需變數及整合資料的時間，讓使用者可以快速找到所需的變數資料，並整合成一個符合分許需要的資料檔。至於資料的分析與應用工作，則由使用者自行處理。此種資料庫結構主要適用於資料量龐大，且開放原始資料的統計資料。由於系統不涉及複雜的統計運算，開發門檻較低。另外，統計分析由使用者自行處理，使用者的技術門檻較高，但由於使用者直接取得原始資料，在分析的便利性上也較為彈性。
線上分析系統主要適用於原始資料不公開，或使用者技術門檻較不足的情況。系統必須包含前者的資料檢索及處理功能，及後續的統計分析技術。開發門檻將是提供的統計方法而定，但整體而言皆比資料檢索及下載系統高。有些統計資料具有一定的敏感性，例如可能有洩漏隱私的風險等等，因此原始資料不宜直接提供給使用者，但在顧及 open data的情形下，資料僅能以統計結果的方式呈現。或者，資料庫的使用者普遍缺乏使用統計軟體的能力時，也適用線上分析系統。而線上分析系統的盲點，便在於缺乏彈性。統計分析方法變化萬千，單一資料庫軟體勢必無法完整呈現，線上分析系統一般而言僅能適應一般性的統計需求，很難面面兼顧。
幾年前，有感於自己工作的單位資料量愈趨龐大，因此決心開發動態資料庫系統。有感於自己能力有限，且資料使用者多具備統計分析能力，因此以較單純的資料檢索及下載系統為開發目標。近日，陸續聽到一些單位都有統計資料資料庫化的野心。看來動態儲存統計資料似乎已成為一種趨勢。

被自己困住

這是一位工讀生的故事。
我們單位的工作算是很自由的，時薪130元，在上班時間內可以自由排班，一星期做滿24小時即可。 工作內容就是打字、資料整理歸類之類的。專屬座位、專用電腦，主管只在上班時交代工作，快下班時關心一下進度，只要進度不太離譜，要做私事隨便你，不要打擾到別人就好。
故事的主角，就是我前面一篇「物以類聚！？」所提到的那位工讀生。一開始，他正常上班，雖然喜歡搞些「方法」，但我覺得不是壞事，不但容忍他，也鼓勵他。
有天，該上班的時候他沒出現，第一天，我不以為意，第二天仍不見他。我覺得不對了，打電話沒接，寫email也沒回。實在沒辦法了，我跟單位人事要了緊急聯絡電話。打到他家，奶奶接的，只說不在，會請他與我聯絡。這讓我安心不少，至少人沒出事，只是不理我而已。但等到第二天，我仍然沒有等到電話，我只好打給他媽媽了。意外的是，媽媽表是兒子跟奶奶住，也好幾天沒聯絡上了。又給了我爸爸的電話。聯絡爸爸時，爸爸似乎大概知道情形。透過爸爸，這小子終於回我電話了。
問他消失的原因，得到一個離奇的答案。只因為學校成績不理想，所以就把自己封閉起來了。
我鼓勵他。也告誡他不可以這樣不告而別。由於手上的工作並不急，因此仍容忍他繼續留下來打工。此後的日子，雖然仍偶而無故缺席，但已經算是大致良好了。問他為何缺席？常常得到的答案是「睡過頭！」
轉眼，又到了期末，這小子又失聯了。在我準備打電話給他爸爸時，他終於出現了。理由與上次類似，對自己不滿意、覺得不知道自己在做什麼！

老實說，我覺得他很可憐。人很聰明，做事懂得找方法。但眼高手低，自我控制能力不佳。自我要求高不是壞事，但也要配合相當的行動力才會前進。不斷的給自己定一些達不到的高標準，久了只會讓自己自暴自棄而已。「睡過頭」而沒有去上班、沒有去考試，這對我來說也是完全無法接受的事情。大學生，有什麼比期中考、期末考重要的？打工遲到我可以接受，但睡過頭完全不來，就離譜了。
我一再地給他機會，一來是認為他是個人才。給他機會，也許他會出頭。二來也是怕他過於絕望，對自己失望成這樣，至少給他一點工作成就的希望，期望對他會好一點。
唉！但是，一而再再而三，我覺得似乎遇到了扶不起的阿斗 。

穿著國王新衣的友軍

這幾天收到了友軍請求協助的需求。聽起來有點得寸進尺，忍不住抱怨一下。
事情的起源是這樣的。我的手上掌管一個「會員資料庫」，定期會委託友軍與會員做聯繫。近年，友軍跟上時代的潮流，引進了許多技術提升工作效率，其中一項便是GIS技術。利用GIS友軍可以更精確的分配員工的責任區，幫員工規劃拜訪會員的路徑。為了此項功能，友軍於每次拜訪計畫開始前，都必須將所有會員地址一一查詢出對應的GPS座標。
我並不清楚友軍的作業細節，但聽起來，這項轉換座標的工作是採用半自動化方式進行的。利用的是一個第三方單位開發的網路介面。似乎由於此介面並不十分穩定，且常常出錯，所以，友軍必須花很多時間重複的確認及操作。

於是，前次拜訪計畫結束後，友軍提出了第一個需求，希望我能夠將會員地址的GPS座標一併保存，這樣，下次拜訪時，他們就僅需要針對新增的地址轉換座標即可，不需全部從來。
體貼的我，研究了一下，發現轉換座標這件事並不困難，所以就在既有的會員資料庫中增加了小功能，除了將座標儲存下來，當獲得新的地址時，也可自動查詢對應的座標。如此友軍連新的地址都不用查座標了。這項功能在利用google geocoding API下，很快就完成了。當然，我也將這個對友軍有利的訊息告訴了對方。

由於長官們的新政策規劃，我們將於明年整併一批新的會員。按照正常程序，新會員資料將由友軍彙整，於完成拜訪並取得同意後才交由我正式入庫。但友軍卻說，這批新會員資料過於龐大，他們需要至少一個月的時間才能完成GPS座標查詢工作，如此整體工作進度恐怕都會被拖累，無法如期執行。詢問此項工作是否可由我新開發的功能協助。
我的新功能是整合在資料庫系統中的，無法獨立運作。當然，我也不可能為了友軍另外開發可獨立運作的介面。因此，唯一的方式就是改變既有的作業程序，先將所有的會員資料入庫。沒想到，向來只要求別人配合，不願意配合別人的友軍這次也爽快的答應了。

多做這個工作沒什麼大不了的，對我來說，程式是現成的，老實說就算加上人工處理例外狀況的時間，估計也可在兩三個小時內完成。但這件事友軍居然需要一個月的時間處理，同時還可大言不慚的告訴我，沒辦法，第三單位的介面實在太不穩定了，一副他們沒問題，是別人的問題的態度。這實在令人無言。
運用科技提升工作效率是好事，但如果技術能力跟不上，骨子裏仍是土法煉鋼，這實與國王的新衣無異啊！

物以類聚！？

去年中，來了一位新同事。大學畢業，剛退伍一星期。大學讀的是社會科學，沒有工作經驗，身上穿的是自己買的軍品外套，一舉一動充滿了部隊的味道。老實說，如果我告訴他進辦公室要喊「報告！」，他應該也會照做。
但他並不是一個講一動做一動的菜鳥（當然，我也不是一個愛管他怎麼做的老鳥）。半年來，他的潛力驚人。除了經驗上充滿了菜味外，他勇於找方法突破現狀的精神與能力都令我十分佩服。很多事情在他的努力下都已從遙遙無期成了曙光初現。
當然，這也帶給我不小的壓力。以前，同事們各自分工各有所長，手上的事情慢慢排隊，我可以按照我的腳步工作。而現在，有個同事每天衝衝衝，甚至三不五時撈過界，我似乎也必須三步併作兩步，才能維持住在長官心中的形象。當然，這是良性的競爭，我並不排斥，反而讓我有些鬥志。
他和我一樣，並不是傳統的社會科學學生。有些程式的底子，統計軟體一級棒。工作上不蠻幹，寧願花時間找方法。在他身上，我看到了一些我當初的影子，而且，比我更為積極。我贏他的大概就只有知識的廣度和十年的經驗而已。

今年初，我新找了兩位工讀生來協助我的工作。沒想到，其中一位也是怪咖一位。表面上，他也就是一位平凡無奇的社會科學學生。但沒想到卻也暗藏著不安於室的因子。請他用excel整理文件，他會花時間研究公式，讓進度一目了然。簡單的搜尋及開啟檔案，他會去研究batch file希望可以一鍵ok。當然，年輕人畢竟是年輕人，最後弄不出個所以然而求教於我，但他的思想著實讓我十分欣賞。當然，我也沒漏氣，三兩下就露了一手給他看。而他舉一反三的能力不錯，很快的就能將我的程式改良得更順手，也算是孺子可教也。

我這個怪咖找夥伴，沒想到遇到了兩個怪咖。這難道真的是物以類聚？最近，我又要再多找一位工作伙伴了，不知道這次會遇到什麼樣的驚喜？