主要是聊基礎(chǔ)算法知識(shí)和代碼題。
又到安利Python的時(shí)間， 最終代碼不超過(guò)30行（優(yōu)化前），加上優(yōu)化也不過(guò)40行。
第一步. 構(gòu)造Trie（用dict登記結(jié)點(diǎn)信息和維持子結(jié)點(diǎn)集合）：
-- 思路：對(duì)詞典中的每個(gè)單詞，逐詞逐字母拓展Trie，單詞完結(jié)處的結(jié)點(diǎn)用None標(biāo)識(shí)。
def make_trie(words):
trie = {}
for word in words:
t = trie
for c in word:
if c not in t: t[c] = {}
t = t[c]
t[None] = None
return trie
第二步. 容錯(cuò)查找（容錯(cuò)數(shù)為tol）：
-- 思路：實(shí)質(zhì)上是對(duì)Trie的深度優(yōu)先搜索，每一步加深時(shí)就消耗目標(biāo)詞的一個(gè)字母。當(dāng)搜索到達(dá)某個(gè)結(jié)點(diǎn)時(shí)，分為不消耗容錯(cuò)數(shù)和消耗容錯(cuò)數(shù)的情形，繼續(xù)搜索直到目標(biāo)詞為空。搜索過(guò)程中，用path記錄搜索路徑，該路徑即為一個(gè)詞典中存在的詞，作為糾錯(cuò)的參考。
-- 最終結(jié)果即為諸多搜索停止位置的結(jié)點(diǎn)路徑的并集。
def check_fuzzy(trie, word, path='', tol=1):
if word == '':
return {path} if None in trie else set()
else:
p0 = set()
if word[0] in trie:
p0 = check_fuzzy(trie[word[0]], word[1:], path+word[0], tol)
p1 = set()
if tol > 0:
for k in trie:
if k is not None and k != word[0]:
p1.update(check_fuzzy(trie[k], word[1:], path+k, tol-1))
return p0 | p1簡(jiǎn)單測(cè)試代碼 ------
構(gòu)造Trie：
words = ['hello', 'hela', 'dome']
t = make_trie(words)
In [11]: t
Out[11]:
{'d': {'o': {'m': {'e': {'$': {}}}}},
'h': {'e': {'l': {'a': {'$': {}}, 'l': {'o': {'$': {}}}}}}}
容錯(cuò)查找：
In [50]: check_fuzzy(t, 'hellu', tol=0)
Out[50]: {}
In [51]: check_fuzzy(t, 'hellu', tol=1)
Out[51]: {'hello'}
In [52]: check_fuzzy(t, 'healu', tol=1)
Out[52]: {}
In [53]: check_fuzzy(t, 'healu', tol=2)
Out[53]: {'hello'}
似乎靠譜~
---------------------------分--割--線--------------------------------------
以上是基于Trie的approach，另外的approach可以參看@黃振童鞋推薦Peter Norvig即P神的How to Write a Spelling Corrector
雖然我已有意無(wú)意模仿P神的代碼風(fēng)格，但每次看到P神的源碼還是立馬跪...
話說(shuō)word[1:]這種表達(dá)方式其實(shí)是有淵源的，相信有的童鞋對(duì)(cdr word)早已爛熟于心...（呵呵
------------------------分-----割-----線-----二--------------------------------------
回歸正題.....有童鞋說(shuō)可不可以增加新的容錯(cuò)條件，比如增刪字母，我大致對(duì)v2方法作了點(diǎn)拓展，得到下面的v3版本。
拓展的關(guān)鍵在于遞歸的終止，即每一次遞歸調(diào)用必須對(duì)參數(shù)進(jìn)行有效縮減，要么是參數(shù)word，要么是參數(shù)tol~
def check_fuzzy(trie, word, path='', tol=1):
if tol < 0:
return set()
elif word == '':
results = set()
if None in trie:
results.add(path)
# 增加詞尾字母
for k in trie:
if k is not None:
results |= check_fuzzy(trie[k], '', path+k, tol-1)
return results
else:
results = set()
# 首字母匹配
if word[0] in trie:
results |= check_fuzzy(trie[word[0]], word[1:], path + word[0], tol)
# 分情形繼續(xù)搜索（相當(dāng)于保留待探索的回溯分支）
for k in trie:
if k is not None and k != word[0]:
# 用可能正確的字母置換首字母
results |= check_fuzzy(trie[k], word[1:], path+k, tol-1)
# 插入可能正確的字母作為首字母
results |= check_fuzzy(trie[k], word, path+k, tol-1)
# 跳過(guò)余詞首字母
results |= check_fuzzy(trie, word[1:], path, tol-1)
# 交換原詞頭兩個(gè)字母
if len(word) > 1:
results |= check_fuzzy(trie, word[1]+word[0]+word[2:], path, tol-1)
return results好像還是沒(méi)有過(guò)30行……注釋不算（
本答案的算法只在追求極致簡(jiǎn)潔的表達(dá)，概括問(wèn)題的大致思路。至于實(shí)際應(yīng)用的話可能需要很多Adaption和Tuning，包括基于統(tǒng)計(jì)和學(xué)習(xí)得到一些詞語(yǔ)校正的bias。我猜測(cè)這些拓展都可以反映到Trie的結(jié)點(diǎn)構(gòu)造上面，比如在結(jié)點(diǎn)處附加一個(gè)概率值，通過(guò)這個(gè)概率值來(lái)影響搜索傾向；也可能反映到更多的搜索分支的控制參數(shù)上面，比如增加一些更有腦洞的搜索分支。（更細(xì)節(jié)的問(wèn)題這里就不深入了逃
----------------------------------分-割-線-三----------------------------------------
童鞋們可能會(huì)關(guān)心時(shí)間和空間復(fù)雜度的問(wèn)題，因?yàn)樯鲜鲞@種優(yōu)（cu）雅（bao）的寫(xiě)法會(huì)導(dǎo)致產(chǎn)生的集合對(duì)象呈指數(shù)級(jí)增加，集合的合并操作時(shí)間也指數(shù)級(jí)增加，還使得gc不堪重負(fù)。而且，我們并不希望搜索算法一下就把所有結(jié)果枚舉出來(lái)（消耗的時(shí)間亦太昂貴），有可能我們只需要搜索結(jié)果的集合中前三個(gè)結(jié)果，如果不滿意再搜索三個(gè)，諸如此類(lèi)...
那腫么辦呢？................是時(shí)候祭出yield小魔杖了? ??)ノ
下述版本姑且稱(chēng)之為lazy，看上去和v3很像（其實(shí)它倆在語(yǔ)義上是幾乎等同的
def check_lazy(trie, word, path='', tol=1):
if tol < 0:
pass
elif word == '':
if None in trie:
yield path
# 增加詞尾字母
for k in trie:
if k is not None:
yield from check_lazy(trie[k], '', path + k, tol - 1)
else:
if word[0] in trie:
# 首字母匹配成功
yield from check_lazy(trie[word[0]], word[1:], path+word[0], tol)
# 分情形繼續(xù)搜索（相當(dāng)于保留待探索的回溯分支）
for k in trie:
if k is not None and k != word[0]:
# 用可能正確的字母置換首字母
yield from check_lazy(trie[k], word[1:], path+k, tol-1)
# 插入可能正確的字母作為首字母
yield from check_lazy(trie[k], word, path+k, tol-1)
# 跳過(guò)余詞首字母
yield from check_lazy(trie, word[1:], path, tol-1)
# 交換原詞頭兩個(gè)字母
if len(word) > 1:
yield from check_lazy(trie, word[1]+word[0]+word[2:], path, tol-1)不借助任何容器對(duì)象，我們近乎聲明式地使用遞歸子序列拼接成了一個(gè)序列。
[新手注釋] yield是什么意思呢？就是程序暫停在這里了，返回給你一個(gè)結(jié)果，然后當(dāng)你調(diào)用next的時(shí)候，它從暫停的位置繼續(xù)走，直到有下個(gè)結(jié)果然后再暫停。要理解yield，你得先理解yield... Nonono，你得先理解iter函數(shù)和next函數(shù)，然后再深入理解for循環(huán)，具體內(nèi)容童鞋們可以看官方文檔。而yield from x即相當(dāng)于for y in x: yield y。
給剛認(rèn)識(shí)yield的童鞋一個(gè)小科普，順便回憶一下組合數(shù)C(n,m)的定義即
C(n, m) = C(n-1, m-1) + C(n-1, m)
如果我們把C視為根據(jù)n和m確定的集合，加號(hào)視為并集，利用下面這個(gè)generator我們可以懶惰地逐步獲取所有組合元素：
def combinations(seq, m):
if m > len(seq):
raise ValueError('Cannot choose more than sequence has.')
elif m == 0:
yield ()
elif m == len(seq):
yield tuple(seq)
else:
for p in combinations(seq[1:], m-1):
yield (seq[0],) + p
yield from combinations(seq[1:], m)
for combi in combinations('abcde', 2):
print(combi)可以看到，generator結(jié)構(gòu)精準(zhǔn)地反映了集合運(yùn)算的特征，而且蘊(yùn)含了對(duì)元素進(jìn)行映射的邏輯，可讀性非常強(qiáng)。
OK，代碼到此為止。利用next函數(shù)，我們可以懶惰地獲取查找結(jié)果。
In [54]: words = ['hell', 'hello', 'hela', 'helmut', 'dome']
In [55]: t = make_trie(words)
In [57]: c = check_lazy(t, 'hell')
In [58]: next(c)
Out[58]: 'hell'
In [59]: next(c)
Out[59]: 'hello'
In [60]: next(c)
Out[60]: 'hela'話說(shuō)回來(lái)，lazy的一個(gè)問(wèn)題在于我們不能提前預(yù)測(cè)并剔除重復(fù)的元素。你可以采用一個(gè)小利器decorator，修飾一個(gè)generator，保證結(jié)果不重復(fù)。
from functools import wraps
def uniq(func):
@wraps(func)
def _func(*a, **kw):
seen = set()
it = func(*a, **kw)
while 1:
x = next(it)
if x not in seen:
yield x
seen.add(x)
return _func這個(gè)url打開(kāi)的文件包含常用英語(yǔ)詞匯，可以用來(lái)測(cè)試代碼：
In [10]: import urllib
In [11]: f = urllib.request.urlopen("https://raw.githubusercontent.com/eneko/data-repository/master/data/words.txt")
# 去除換行符
In [12]: t = make_trie(line.decode().strip() for line in f.readlines())
In [13]: f.close()----------------------分-割-線-四-----------------------------
最后的最后，Python中遞歸是很昂貴的，但是遞歸的優(yōu)勢(shì)在于描述問(wèn)題。為了追求極致性能，我們可以把遞歸轉(zhuǎn)成迭代，把去除重復(fù)的邏輯直接代入進(jìn)來(lái)，于是有了這個(gè)v4版本：
from collections import deque
def check_iter(trie, word, tol=1):
seen = set()
q = deque([(trie, word, '', tol)])
while q:
trie, word, path, tol = q.popleft()
if word == '':
if None in trie:
if path not in seen:
seen.add(path)
yield path
if tol > 0:
for k in trie:
if k is not None:
q.appendleft((trie[k], '', path+k, tol-1))
else:
if word[0] in trie:
q.appendleft((trie[word[0]], word[1:], path+word[0], tol))
if tol > 0:
for k in trie.keys():
if k is not None and k != word[0]:
q.append((trie[k], word[1:], path+k, tol-1))
q.append((trie[k], word, path+k, tol-1))
q.append((trie, word[1:], path, tol-1))
if len(word) > 1:
q.append((trie, word[1]+word[0]+word[2:], path, tol-1)) 可以看到，轉(zhuǎn)為迭代方式后我們?nèi)匀豢梢宰畲蟪潭缺Ａ暨f歸風(fēng)格的程序形狀，但也提供了更強(qiáng)的靈活性（對(duì)于遞歸，相當(dāng)于我們只能用棧來(lái)實(shí)現(xiàn)這個(gè)q）?；谶@種迭代程序的結(jié)構(gòu)，如果你有詞頻數(shù)據(jù)，可以用該數(shù)據(jù)維持一個(gè)最優(yōu)堆q，甚至可以是根據(jù)上下文自動(dòng)調(diào)整詞頻的動(dòng)態(tài)堆，維持高頻詞匯在堆頂，為詞語(yǔ)修正節(jié)省不少性能。這里就不深入了。
【可選的一步】我們?cè)趯?duì)單詞進(jìn)行糾正的時(shí)候往往傾向于認(rèn)為首字母是無(wú)誤的，利用這個(gè)現(xiàn)象可以減輕不少搜索壓力，花費(fèi)的時(shí)間可以少數(shù)倍。
def check_head_fixed(trie, word, tol=1):
for p in check_lazy(trie[word[0]], word[1:], tol=tol):
yield word[0] + p最終我們簡(jiǎn)單地benchmark一下：
In [18]: list(check_head_fixed(trie, 'misella', tol=2))
Out[18]:
['micellar',
'malella',
'mesilla',
'morella',
'mysell',
'micelle',
'milla',
'misally',
'mistell',
'miserly']
In [19]: %timeit list(check_head_fixed(trie, 'misella', tol=2))
1.52 ms ± 2.84 μs per loop (mean ± std. dev. of 7 runs, 1000 loops each)在Win10的i7上可以在兩毫秒左右返回所有結(jié)果，可以說(shuō)令人滿意。
在當(dāng)今數(shù)字化時(shí)代，大數(shù)據(jù)已成為各行各業(yè)不可忽視的重要資產(chǎn)。對(duì)于數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師來(lái)說(shuō)，掌握大數(shù)據(jù)算法是至關(guān)重要的技能之一。隨著數(shù)據(jù)量的不斷增長(zhǎng)和復(fù)雜性的提升，大數(shù)據(jù)算法的應(yīng)用范圍也越來(lái)越廣泛。
大數(shù)據(jù)算法是指為處理大規(guī)模數(shù)據(jù)而設(shè)計(jì)的一組算法和技術(shù)。在處理海量數(shù)據(jù)時(shí)，傳統(tǒng)的算法可能無(wú)法有效地運(yùn)行，因此需要專(zhuān)門(mén)針對(duì)大數(shù)據(jù)量級(jí)和特點(diǎn)設(shè)計(jì)的算法來(lái)進(jìn)行處理。
大數(shù)據(jù)算法的重要性在于它可以幫助企業(yè)從海量數(shù)據(jù)中提取出有用的信息、模式和見(jiàn)解，為決策提供支持。通過(guò)運(yùn)用大數(shù)據(jù)算法，企業(yè)可以更好地理解客戶(hù)需求、優(yōu)化產(chǎn)品設(shè)計(jì)、改進(jìn)營(yíng)銷(xiāo)策略，從而提升競(jìng)爭(zhēng)力。
下面列舉了一些常見(jiàn)的大數(shù)據(jù)算法面試題，希望能夠幫助準(zhǔn)備面試的同學(xué)更好地理解和掌握相關(guān)知識(shí)：
為了更好地準(zhǔn)備大數(shù)據(jù)算法面試，以下是一些建議：
大數(shù)據(jù)算法在當(dāng)今信息爆炸的時(shí)代扮演著至關(guān)重要的角色，對(duì)于從事數(shù)據(jù)分析和數(shù)據(jù)科學(xué)相關(guān)工作的人員來(lái)說(shuō)，掌握大數(shù)據(jù)算法是必備的技能之一。通過(guò)不斷學(xué)習(xí)、實(shí)踐和應(yīng)用，相信每個(gè)人都可以在大數(shù)據(jù)算法領(lǐng)域取得優(yōu)異的成績(jī)。
機(jī)器學(xué)習(xí)是當(dāng)今科技領(lǐng)域的熱門(mén)話題之一，許多公司在招聘過(guò)程中更加重視求職者對(duì)機(jī)器學(xué)習(xí)算法基礎(chǔ)的掌握。在面試中，面試官往往會(huì)提出一些與機(jī)器學(xué)習(xí)算法基礎(chǔ)相關(guān)的問(wèn)題，這些問(wèn)題不僅考察了求職者的專(zhuān)業(yè)知識(shí)水平，還展現(xiàn)了求職者解決問(wèn)題的能力和邏輯思維能力。
在面試中，經(jīng)常會(huì)被問(wèn)及一些與機(jī)器學(xué)習(xí)算法基礎(chǔ)相關(guān)的問(wèn)題，下面列舉了一些常見(jiàn)的面試題：
機(jī)器學(xué)習(xí)是一種通過(guò)對(duì)數(shù)據(jù)進(jìn)行學(xué)習(xí)和分析，使計(jì)算機(jī)系統(tǒng)能夠自動(dòng)學(xué)習(xí)和改進(jìn)的技術(shù)。它主要利用統(tǒng)計(jì)學(xué)和數(shù)據(jù)分析來(lái)讓計(jì)算機(jī)系統(tǒng)具備學(xué)習(xí)的能力。
監(jiān)督學(xué)習(xí)是一種通過(guò)已知輸入和輸出數(shù)據(jù)之間的關(guān)系來(lái)訓(xùn)練模型的機(jī)器學(xué)習(xí)方法，而無(wú)監(jiān)督學(xué)習(xí)則是通過(guò)不需要標(biāo)記的輸入數(shù)據(jù)來(lái)學(xué)習(xí)數(shù)據(jù)結(jié)構(gòu)和模式。
回歸分析是一種用于研究變量之間關(guān)系的統(tǒng)計(jì)學(xué)方法，它能夠預(yù)測(cè)一個(gè)變量如何隨著另一個(gè)或多個(gè)變量的變化而變化。
決策樹(shù)算法是一種用于分類(lèi)和回歸問(wèn)題的機(jī)器學(xué)習(xí)算法，它通過(guò)構(gòu)建一個(gè)樹(shù)狀結(jié)構(gòu)來(lái)模擬決策過(guò)程，根據(jù)輸入特征進(jìn)行判斷并輸出結(jié)果。
神經(jīng)網(wǎng)絡(luò)是一種模仿人腦神經(jīng)元之間信息傳遞方式的算法模型，它通過(guò)多層神經(jīng)元之間的連接來(lái)實(shí)現(xiàn)復(fù)雜的學(xué)習(xí)任務(wù)。
準(zhǔn)備機(jī)器學(xué)習(xí)算法基礎(chǔ)面試題需要一定的時(shí)間和系統(tǒng)性的學(xué)習(xí)過(guò)程。以下是一些建議：
熟悉常見(jiàn)的機(jī)器學(xué)習(xí)算法，了解其原理和應(yīng)用場(chǎng)景，掌握算法背后的數(shù)學(xué)原理，對(duì)于面試中的問(wèn)題能夠做到心中有數(shù)。
在學(xué)習(xí)過(guò)程中進(jìn)行實(shí)踐項(xiàng)目和練習(xí)題能夠幫助加深對(duì)機(jī)器學(xué)習(xí)算法的理解和應(yīng)用，同時(shí)也能夠提高解決問(wèn)題的能力。
參加機(jī)器學(xué)習(xí)相關(guān)的培訓(xùn)和課程能夠系統(tǒng)性地學(xué)習(xí)知識(shí)，并且有機(jī)會(huì)和其他學(xué)習(xí)者進(jìn)行交流，共同提高。
關(guān)注機(jī)器學(xué)習(xí)領(lǐng)域的學(xué)術(shù)進(jìn)展和發(fā)展趨勢(shì)，及時(shí)了解最新的算法和技術(shù)，對(duì)于面試中的問(wèn)題更有把握。
了解機(jī)器學(xué)習(xí)算法基礎(chǔ)面試題的重要性，通過(guò)對(duì)常見(jiàn)問(wèn)題的準(zhǔn)備和學(xué)習(xí)，能夠更好地在面試中展現(xiàn)自己的專(zhuān)業(yè)能力和解決問(wèn)題的能力。不斷學(xué)習(xí)和提升自己，在機(jī)器學(xué)習(xí)領(lǐng)域走得更遠(yuǎn)！
機(jī)器學(xué)習(xí)面試題考算法是很多求職者在準(zhǔn)備機(jī)器學(xué)習(xí)崗位面試時(shí)必須要重點(diǎn)關(guān)注的部分。隨著人工智能和數(shù)據(jù)科學(xué)領(lǐng)域的快速發(fā)展，對(duì)于機(jī)器學(xué)習(xí)算法的掌握和應(yīng)用已經(jīng)成為許多公司招聘機(jī)器學(xué)習(xí)工程師的重要考量因素之一。
在面試過(guò)程中，除了基礎(chǔ)知識(shí)的考察，對(duì)于候選人解決實(shí)際問(wèn)題的能力以及對(duì)機(jī)器學(xué)習(xí)算法的理解深度也會(huì)進(jìn)行更深入的評(píng)估。因此，熟悉并掌握一些常見(jiàn)的機(jī)器學(xué)習(xí)面試題目及相關(guān)算法是至關(guān)重要的。
在準(zhǔn)備機(jī)器學(xué)習(xí)面試時(shí)，候選人需要熟悉一些常見(jiàn)的面試題目，以確保能夠在面試中游刃有余地回答問(wèn)題。下面列舉了一些常見(jiàn)的機(jī)器學(xué)習(xí)面試題目，供大家參考：
這是一個(gè)基礎(chǔ)性問(wèn)題，面試官通常會(huì)詢(xún)問(wèn)候選人對(duì)機(jī)器學(xué)習(xí)的定義以及其作用和應(yīng)用領(lǐng)域。
候選人需要了解監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)等機(jī)器學(xué)習(xí)算法的分類(lèi)，以及它們的應(yīng)用場(chǎng)景和區(qū)別。
過(guò)擬合和欠擬合是機(jī)器學(xué)習(xí)模型常見(jiàn)的問(wèn)題，候選人需要解釋這兩個(gè)概念，并討論如何通過(guò)調(diào)整模型參數(shù)或采用正則化方法來(lái)避免這些問(wèn)題。
候選人需要清楚地表述邏輯回歸和線性回歸的區(qū)別，包括適用場(chǎng)景、原理和模型形式等方面的差異。
面試官可能會(huì)詢(xún)問(wèn)候選人對(duì)支持向量機(jī)的理解和應(yīng)用，包括核技巧、軟間隔和硬間隔等概念。
了解機(jī)器學(xué)習(xí)算法的基本概念和原理是重要的，但更加重要的是能夠?qū)⑦@些算法應(yīng)用于實(shí)際場(chǎng)景中解決問(wèn)題。下面介紹了一些常見(jiàn)的機(jī)器學(xué)習(xí)算法應(yīng)用場(chǎng)景，供候選人參考：
機(jī)器學(xué)習(xí)在金融領(lǐng)域的應(yīng)用非常廣泛，包括風(fēng)險(xiǎn)評(píng)估、詐騙檢測(cè)、貸款預(yù)測(cè)等方面。
機(jī)器學(xué)習(xí)在醫(yī)療衛(wèi)生領(lǐng)域的應(yīng)用涵蓋疾病診斷、影像處理、基因組學(xué)等多個(gè)方面。
零售行業(yè)利用機(jī)器學(xué)習(xí)算法進(jìn)行銷(xiāo)售預(yù)測(cè)、客戶(hù)行為分析、庫(kù)存管理等，提升營(yíng)銷(xiāo)效率。
機(jī)器學(xué)習(xí)可用于交通流量預(yù)測(cè)、智能交通管理系統(tǒng)和無(wú)人駕駛技術(shù)等方面，極大地改善交通效率和安全性。
農(nóng)業(yè)領(lǐng)域中的機(jī)器學(xué)習(xí)應(yīng)用主要集中在精準(zhǔn)農(nóng)業(yè)、作物病害識(shí)別和農(nóng)作物產(chǎn)量預(yù)測(cè)等方面，幫助農(nóng)民提高生產(chǎn)效率。
機(jī)器學(xué)習(xí)面試題考算法是候選人在準(zhǔn)備機(jī)器學(xué)習(xí)崗位面試時(shí)需要重點(diǎn)關(guān)注的內(nèi)容之一。通過(guò)熟悉常見(jiàn)的機(jī)器學(xué)習(xí)面試題目和相關(guān)算法，以及了解機(jī)器學(xué)習(xí)算法的應(yīng)用場(chǎng)景，候選人可以提升自己的面試表現(xiàn)，增加獲得心儀工作機(jī)會(huì)的機(jī)會(huì)。持續(xù)學(xué)習(xí)和實(shí)踐將幫助候選人在競(jìng)爭(zhēng)激烈的機(jī)器學(xué)習(xí)領(lǐng)域中脫穎而出。
之前看了Mahout官方示例 20news 的調(diào)用實(shí)現(xiàn)；于是想根據(jù)示例的流程實(shí)現(xiàn)其他例子。網(wǎng)上看到了一個(gè)關(guān)于天氣適不適合打羽毛球的例子。
訓(xùn)練數(shù)據(jù)：
Day Outlook Temperature Humidity Wind PlayTennis
D1 Sunny Hot High Weak No
D2 Sunny Hot High Strong No
D3 Overcast Hot High Weak Yes
D4 Rain Mild High Weak Yes
D5 Rain Cool Normal Weak Yes
D6 Rain Cool Normal Strong No
D7 Overcast Cool Normal Strong Yes
D8 Sunny Mild High Weak No
D9 Sunny Cool Normal Weak Yes
D10 Rain Mild Normal Weak Yes
D11 Sunny Mild Normal Strong Yes
D12 Overcast Mild High Strong Yes
D13 Overcast Hot Normal Weak Yes
D14 Rain Mild High Strong No
檢測(cè)數(shù)據(jù)：
sunny，hot，high，weak
結(jié)果：
Yes=》 0.007039
No=》 0.027418
于是使用Java代碼調(diào)用Mahout的工具類(lèi)實(shí)現(xiàn)分類(lèi)。
基本思想：
1. 構(gòu)造分類(lèi)數(shù)據(jù)。
2. 使用Mahout工具類(lèi)進(jìn)行訓(xùn)練，得到訓(xùn)練模型。
3。將要檢測(cè)數(shù)據(jù)轉(zhuǎn)換成vector數(shù)據(jù)。
4. 分類(lèi)器對(duì)vector數(shù)據(jù)進(jìn)行分類(lèi)。
接下來(lái)貼下我的代碼實(shí)現(xiàn)=》
1. 構(gòu)造分類(lèi)數(shù)據(jù)：
在hdfs主要?jiǎng)?chuàng)建一個(gè)文件夾路徑 /zhoujainfeng/playtennis/input 并將分類(lèi)文件夾 no 和 yes 的數(shù)據(jù)傳到hdfs上面。
數(shù)據(jù)文件格式，如D1文件內(nèi)容： Sunny Hot High Weak
2. 使用Mahout工具類(lèi)進(jìn)行訓(xùn)練，得到訓(xùn)練模型。
3。將要檢測(cè)數(shù)據(jù)轉(zhuǎn)換成vector數(shù)據(jù)。
4. 分類(lèi)器對(duì)vector數(shù)據(jù)進(jìn)行分類(lèi)。
這三步，代碼我就一次全貼出來(lái)；主要是兩個(gè)類(lèi) PlayTennis1 和 BayesCheckData = =》
package myTesting.bayes;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.util.ToolRunner;
import org.apache.mahout.classifier.naivebayes.training.TrainNaiveBayesJob;
import org.apache.mahout.text.SequenceFilesFromDirectory;
import org.apache.mahout.vectorizer.SparseVectorsFromSequenceFiles;
public class PlayTennis1 {
private static final String WORK_DIR = "hdfs://192.168.9.72:9000/zhoujianfeng/playtennis";
/*
* 測(cè)試代碼
*/
public static void main(String[] args) {
//將訓(xùn)練數(shù)據(jù)轉(zhuǎn)換成 vector數(shù)據(jù)
makeTrainVector();
//產(chǎn)生訓(xùn)練模型
makeModel(false);
//測(cè)試檢測(cè)數(shù)據(jù)
BayesCheckData.printResult();
}
public static void makeCheckVector(){
//將測(cè)試數(shù)據(jù)轉(zhuǎn)換成序列化文件
try {
Configuration conf = new Configuration();
conf.addResource(new Path("/usr/local/hadoop/conf/core-site.xml"));
String input = WORK_DIR+Path.SEPARATOR+"testinput";
String output = WORK_DIR+Path.SEPARATOR+"tennis-test-seq";
Path in = new Path(input);
Path out = new Path(output);
FileSystem fs = FileSystem.get(conf);
if(fs.exists(in)){
if(fs.exists(out)){
//boolean參數(shù)是，是否遞歸刪除的意思
fs.delete(out, true);
}
SequenceFilesFromDirectory sffd = new SequenceFilesFromDirectory();
String[] params = new String[]{"-i",input,"-o",output,"-ow"};
ToolRunner.run(sffd, params);
}
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
System.out.println("文件序列化失??！");
System.exit(1);
}
//將序列化文件轉(zhuǎn)換成向量文件
try {
Configuration conf = new Configuration();
conf.addResource(new Path("/usr/local/hadoop/conf/core-site.xml"));
String input = WORK_DIR+Path.SEPARATOR+"tennis-test-seq";
String output = WORK_DIR+Path.SEPARATOR+"tennis-test-vectors";
Path in = new Path(input);
Path out = new Path(output);
FileSystem fs = FileSystem.get(conf);
if(fs.exists(in)){
if(fs.exists(out)){
//boolean參數(shù)是，是否遞歸刪除的意思
fs.delete(out, true);
}
SparseVectorsFromSequenceFiles svfsf = new SparseVectorsFromSequenceFiles();
String[] params = new String[]{"-i",input,"-o",output,"-lnorm","-nv","-wt","tfidf"};
ToolRunner.run(svfsf, params);
}
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
System.out.println("序列化文件轉(zhuǎn)換成向量失?。?#34;);
System.out.println(2);
}
}
public static void makeTrainVector(){
//將測(cè)試數(shù)據(jù)轉(zhuǎn)換成序列化文件
try {
Configuration conf = new Configuration();
conf.addResource(new Path("/usr/local/hadoop/conf/core-site.xml"));
String input = WORK_DIR+Path.SEPARATOR+"input";
String output = WORK_DIR+Path.SEPARATOR+"tennis-seq";
Path in = new Path(input);
Path out = new Path(output);
FileSystem fs = FileSystem.get(conf);
if(fs.exists(in)){
if(fs.exists(out)){
//boolean參數(shù)是，是否遞歸刪除的意思
fs.delete(out, true);
}
SequenceFilesFromDirectory sffd = new SequenceFilesFromDirectory();
String[] params = new String[]{"-i",input,"-o",output,"-ow"};
ToolRunner.run(sffd, params);
}
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
System.out.println("文件序列化失??！");
System.exit(1);
}
//將序列化文件轉(zhuǎn)換成向量文件
try {
Configuration conf = new Configuration();
conf.addResource(new Path("/usr/local/hadoop/conf/core-site.xml"));
String input = WORK_DIR+Path.SEPARATOR+"tennis-seq";
String output = WORK_DIR+Path.SEPARATOR+"tennis-vectors";
Path in = new Path(input);
Path out = new Path(output);
FileSystem fs = FileSystem.get(conf);
if(fs.exists(in)){
if(fs.exists(out)){
//boolean參數(shù)是，是否遞歸刪除的意思
fs.delete(out, true);
}
SparseVectorsFromSequenceFiles svfsf = new SparseVectorsFromSequenceFiles();
String[] params = new String[]{"-i",input,"-o",output,"-lnorm","-nv","-wt","tfidf"};
ToolRunner.run(svfsf, params);
}
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
System.out.println("序列化文件轉(zhuǎn)換成向量失?。?#34;);
System.out.println(2);
}
}
public static void makeModel(boolean completelyNB){
try {
Configuration conf = new Configuration();
conf.addResource(new Path("/usr/local/hadoop/conf/core-site.xml"));
String input = WORK_DIR+Path.SEPARATOR+"tennis-vectors"+Path.SEPARATOR+"tfidf-vectors";
String model = WORK_DIR+Path.SEPARATOR+"model";
String labelindex = WORK_DIR+Path.SEPARATOR+"labelindex";
Path in = new Path(input);
Path out = new Path(model);
Path label = new Path(labelindex);
FileSystem fs = FileSystem.get(conf);
if(fs.exists(in)){
if(fs.exists(out)){
//boolean參數(shù)是，是否遞歸刪除的意思
fs.delete(out, true);
}
if(fs.exists(label)){
//boolean參數(shù)是，是否遞歸刪除的意思
fs.delete(label, true);
}
TrainNaiveBayesJob tnbj = new TrainNaiveBayesJob();
String[] params =null;
if(completelyNB){
params = new String[]{"-i",input,"-el","-o",model,"-li",labelindex,"-ow","-c"};
}else{
params = new String[]{"-i",input,"-el","-o",model,"-li",labelindex,"-ow"};
}
ToolRunner.run(tnbj, params);
}
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
System.out.println("生成訓(xùn)練模型失?。?#34;);
System.exit(3);
}
}
}
package myTesting.bayes;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;
import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.PathFilter;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.mahout.classifier.naivebayes.BayesUtils;
import org.apache.mahout.classifier.naivebayes.NaiveBayesModel;
import org.apache.mahout.classifier.naivebayes.StandardNaiveBayesClassifier;
import org.apache.mahout.common.Pair;
import org.apache.mahout.common.iterator.sequencefile.PathType;
import org.apache.mahout.common.iterator.sequencefile.SequenceFileDirIterable;
import org.apache.mahout.math.RandomAccessSparseVector;
import org.apache.mahout.math.Vector;
import org.apache.mahout.math.Vector.Element;
import org.apache.mahout.vectorizer.TFIDF;
import com.google.common.collect.ConcurrentHashMultiset;
import com.google.common.collect.Multiset;
public class BayesCheckData {
private static StandardNaiveBayesClassifier classifier;
private static Map<String, Integer> dictionary;
private static Map<Integer, Long> documentFrequency;
private static Map<Integer, String> labelIndex;
public void init(Configuration conf){
try {
String modelPath = "/zhoujianfeng/playtennis/model";
String dictionaryPath = "/zhoujianfeng/playtennis/tennis-vectors/dictionary.file-0";
String documentFrequencyPath = "/zhoujianfeng/playtennis/tennis-vectors/df-count";
String labelIndexPath = "/zhoujianfeng/playtennis/labelindex";
dictionary = readDictionnary(conf, new Path(dictionaryPath));
documentFrequency = readDocumentFrequency(conf, new Path(documentFrequencyPath));
labelIndex = BayesUtils.readLabelIndex(conf, new Path(labelIndexPath));
NaiveBayesModel model = NaiveBayesModel.materialize(new Path(modelPath), conf);
classifier = new StandardNaiveBayesClassifier(model);
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
System.out.println("檢測(cè)數(shù)據(jù)構(gòu)造成vectors初始化時(shí)報(bào)錯(cuò)。。。。");
System.exit(4);
}
}
/**
* 加載字典文件，Key: TermValue； Value：TermID
* @param conf
* @param dictionnaryDir
* @return
*/
private static Map<String, Integer> readDictionnary(Configuration conf, Path dictionnaryDir) {
Map<String, Integer> dictionnary = new HashMap<String, Integer>();
PathFilter filter = new PathFilter() {
@Override
public boolean accept(Path path) {
String name = path.getName();
return name.startsWith("dictionary.file");
}
};
for (Pair<Text, IntWritable> pair : new SequenceFileDirIterable<Text, IntWritable>(dictionnaryDir, PathType.LIST, filter, conf)) {
dictionnary.put(pair.getFirst().toString(), pair.getSecond().get());
}
return dictionnary;
}
/**
* 加載df-count目錄下TermDoc頻率文件，Key: TermID； Value：DocFreq
* @param conf
* @param dictionnaryDir
* @return
*/
private static Map<Integer, Long> readDocumentFrequency(Configuration conf, Path documentFrequencyDir) {
Map<Integer, Long> documentFrequency = new HashMap<Integer, Long>();
PathFilter filter = new PathFilter() {
@Override
public boolean accept(Path path) {
return path.getName().startsWith("part-r");
}
};
for (Pair<IntWritable, LongWritable> pair : new SequenceFileDirIterable<IntWritable, LongWritable>(documentFrequencyDir, PathType.LIST, filter, conf)) {
documentFrequency.put(pair.getFirst().get(), pair.getSecond().get());
}
return documentFrequency;
}
public static String getCheckResult(){
Configuration conf = new Configuration();
conf.addResource(new Path("/usr/local/hadoop/conf/core-site.xml"));
String classify = "NaN";
BayesCheckData cdv = new BayesCheckData();
cdv.init(conf);
System.out.println("init done...............");
Vector vector = new RandomAccessSparseVector(10000);
TFIDF tfidf = new TFIDF();
//sunny，hot，high，weak
Multiset<String> words = ConcurrentHashMultiset.create();
words.add("sunny",1);
words.add("hot",1);
words.add("high",1);
words.add("weak",1);
int documentCount = documentFrequency.get(-1).intValue(); // key=-1時(shí)表示總文檔數(shù)
for (Multiset.Entry<String> entry : words.entrySet()) {
String word = entry.getElement();
int count = entry.getCount();
Integer wordId = dictionary.get(word); // 需要從dictionary.file-0文件（tf-vector）下得到wordID，
if (StringUtils.isEmpty(wordId.toString())){
continue;
}
if (documentFrequency.get(wordId) == null){
continue;
}
Long freq = documentFrequency.get(wordId);
double tfIdfValue = tfidf.calculate(count, freq.intValue(), 1, documentCount);
vector.setQuick(wordId, tfIdfValue);
}
// 利用貝葉斯算法開(kāi)始分類(lèi),并提取得分最好的分類(lèi)label
Vector resultVector = classifier.classifyFull(vector);
double bestScore = -Double.MAX_VALUE;
int bestCategoryId = -1;
for(Element element: resultVector.all()) {
int categoryId = element.index();
double score = element.get();
System.out.println("categoryId:"+categoryId+" score:"+score);
if (score > bestScore) {
bestScore = score;
bestCategoryId = categoryId;
}
}
classify = labelIndex.get(bestCategoryId)+"(categoryId="+bestCategoryId+")";
return classify;
}
public static void printResult(){
System.out.println("檢測(cè)所屬類(lèi)別是："+getCheckResult());
}
}
1. 請(qǐng)介紹一下WebGIS的概念和作用，以及在實(shí)際應(yīng)用中的優(yōu)勢(shì)和挑戰(zhàn)。
WebGIS是一種基于Web技術(shù)的地理信息系統(tǒng)，通過(guò)將地理數(shù)據(jù)和功能以可視化的方式呈現(xiàn)在Web瀏覽器中，實(shí)現(xiàn)地理空間數(shù)據(jù)的共享和分析。它可以用于地圖瀏覽、空間查詢(xún)、地理分析等多種應(yīng)用場(chǎng)景。WebGIS的優(yōu)勢(shì)包括易于訪問(wèn)、跨平臺(tái)、實(shí)時(shí)更新、可定制性強(qiáng)等，但也面臨著數(shù)據(jù)安全性、性能優(yōu)化、用戶(hù)體驗(yàn)等挑戰(zhàn)。
2. 請(qǐng)談?wù)勀赪ebGIS開(kāi)發(fā)方面的經(jīng)驗(yàn)和技能。
我在WebGIS開(kāi)發(fā)方面有豐富的經(jīng)驗(yàn)和技能。我熟悉常用的WebGIS開(kāi)發(fā)框架和工具，如ArcGIS API for JavaScript、Leaflet、OpenLayers等。我能夠使用HTML、CSS和JavaScript等前端技術(shù)進(jìn)行地圖展示和交互設(shè)計(jì)，并能夠使用后端技術(shù)如Python、Java等進(jìn)行地理數(shù)據(jù)處理和分析。我還具備數(shù)據(jù)庫(kù)管理和地理空間數(shù)據(jù)建模的能力，能夠設(shè)計(jì)和優(yōu)化WebGIS系統(tǒng)的架構(gòu)。
3. 請(qǐng)描述一下您在以往項(xiàng)目中使用WebGIS解決的具體問(wèn)題和取得的成果。
在以往的項(xiàng)目中，我使用WebGIS解決了許多具體問(wèn)題并取得了顯著的成果。例如，在一次城市規(guī)劃項(xiàng)目中，我開(kāi)發(fā)了一個(gè)基于WebGIS的交通流量分析系統(tǒng)，幫助規(guī)劃師們?cè)u(píng)估不同交通方案的效果。另外，在一次環(huán)境監(jiān)測(cè)項(xiàng)目中，我使用WebGIS技術(shù)實(shí)現(xiàn)了實(shí)時(shí)的空氣質(zhì)量監(jiān)測(cè)和預(yù)警系統(tǒng)，提供了準(zhǔn)確的空氣質(zhì)量數(shù)據(jù)和可視化的分析結(jié)果，幫助政府和公眾做出相應(yīng)的決策。
4. 請(qǐng)談?wù)勀鷮?duì)WebGIS未來(lái)發(fā)展的看法和期望。
我認(rèn)為WebGIS在未來(lái)會(huì)繼續(xù)發(fā)展壯大。隨著云計(jì)算、大數(shù)據(jù)和人工智能等技術(shù)的不斷進(jìn)步，WebGIS將能夠處理更大規(guī)模的地理數(shù)據(jù)、提供更豐富的地理分析功能，并與其他領(lǐng)域的技術(shù)進(jìn)行深度融合。我期望未來(lái)的WebGIS能夠更加智能化、個(gè)性化，為用戶(hù)提供更好的地理信息服務(wù)，助力各行各業(yè)的決策和發(fā)展。
這塊您需要了解下stm32等單片機(jī)的基本編程和簡(jiǎn)單的硬件設(shè)計(jì)，最好能夠了解模電和數(shù)電相關(guān)的知識(shí)更好，還有能夠會(huì)做操作系統(tǒng)，簡(jiǎn)單的有ucos，freeRTOS等等。最好能夠使用PCB畫(huà)圖軟件以及keil4等軟件。希望對(duì)您能夠有用。
1.負(fù)責(zé)區(qū)域大客戶(hù)/行業(yè)客戶(hù)管理系統(tǒng)銷(xiāo)售拓展工作，并完成銷(xiāo)售流程；
2.維護(hù)關(guān)鍵客戶(hù)關(guān)系，與客戶(hù)決策者保持良好的溝通；
3.管理并帶領(lǐng)團(tuán)隊(duì)完成完成年度銷(xiāo)售任務(wù)。
你好，面試題類(lèi)型有很多，以下是一些常見(jiàn)的類(lèi)型：
1. 技術(shù)面試題：考察候選人技術(shù)能力和經(jīng)驗(yàn)。
2. 行為面試題：考察候選人在過(guò)去的工作或生活中的行為表現(xiàn)，以預(yù)測(cè)其未來(lái)的表現(xiàn)。
3. 情境面試題：考察候選人在未知情境下的決策能力和解決問(wèn)題的能力。
4. 案例面試題：考察候選人解決實(shí)際問(wèn)題的能力，模擬真實(shí)工作場(chǎng)景。
5. 邏輯推理題：考察候選人的邏輯思維能力和分析能力。
6. 開(kāi)放性面試題：考察候選人的個(gè)性、價(jià)值觀以及溝通能力。
7. 挑戰(zhàn)性面試題：考察候選人的應(yīng)變能力和創(chuàng)造力，通常是一些非常具有挑戰(zhàn)性的問(wèn)題。
