Hezhong AntiVirus 技术概括文档 代码解释文档

tjsh

此帖子为Hezhong Antivirus的遗产，以后不会再更新，你可以克隆仓库继续编写，因为代码
太狗屎所以我更新了这个文档。

本贴讲述有关Hezhong AntiVirus技术使用的文档 方便开发者进行开发。

文档基于6.31.02版本。

函数表：
trans(text) 翻译功能
plog(texttype, text) 日志功能

上面这些函数在导入最基本的库后就立即设定。
writecfg(datatext, xx, xx2) 写config
virusnamedecode(name) 解析yara病毒名
softwareexit() 退出软件
softwest()
softwaretp()
在类 VirusScan 中：
init
predict(self, model, fn_list, label, filedata, batch_size=1, verbose=0) 深度学习预测
yarascan(self, rule, file, fdb) Yara扫描
getrules(self, rulepath) Yara规则编译

md5_scan(self, path, database, fdb) MD5扫描
cscan(self, md5)
pescan(self, db, peo) 导入表

loadprotect()
process_monitor_scaner(seter, whitedb, rules, sc, model, proc=None, path=None, mot=False) 监控扫描

process_monitor() 进程监控

monitor_files(path) 文件监控

process_string(s, a) 字符缩减

runmonitor() 监控

在 show_noti(path, name) 中

close_window() 关闭

countdown(button, window, ti) 。
在 show_noti2(name) 中

close_window() 关闭


countdown(button, window, ti)。

在类 Watch_FileMonitor(FileSystemEventHandler) 中：
init
on_created(self, event) Event

on_modified(self, event) Event

show_popup(self, file_path, virus_name) Message



mbrmonitor()

reg_mot2()

reg_mot()


在 setyq() 中：
onheur() 设置
offheur()
onyara()
offyara()
onfileprotect()
offfileprotect()
onprocessp()
offprocessp()
onmbr()
offmbr()
onscan_skip_big_file()

offscan_skip_big_file()

onregw()
offregw()
onpe()
offpe()
onc()
offc()
tw_down()
gz_down()
offdlw()
ondlw()
lang_en()
lang_cn()
CloseEvent
在类 guiscan 中：

init
getfilepathgui(self) 获取路径

setrun(self) 设置模式

find_lastfile(self, folder) 寻找文件

geli(self) 隔离

govirusscan(self, autostart=False, stpath=None) 触发扫描
scan_a_file(file, model, md5db, yardb, Avscanclass, useyara, useheur, whitedb, usec, usepe) 扫描

start_scan(stpaths='') 启动扫描

scaners(fileer) 扫描器

update2check() 更新检查

update1check()

geliqu() 隔离区

about() 关于UI

在类UpdateProtectText_1(PyQt5.QtCore.QThread)中：
init
run(self)

在类UpdateProtectText_m(object)中：
update(self, msg) 更新Qt



maingui() 主函数
cfbutton1()
cfbutton2()
cfbutton3()
cfbutton4()
CloseEvent
except_hook(cls, exception, traceback)


反病毒引擎技术：
设置中的 PE启发式引擎 , 函数pescan 为导入表引擎 代码如下：

1. 
   
2. <font _mstmutation="1">    def pescan(self, db, peo): # 导入表
   
3.         try:
   
4.             pefunc = []
   
5.             for entry in peo.DIRECTORY_ENTRY_IMPORT:
   
6.                 for func in entry.imports:
   
7.                     try:
   
8.                         pefunc.append(str(func.name, "utf-8"))
   
9.                     except:
   
10.                         plog(1, traceback.format_exc())
    
11.             return pefunc in db
    
12. 
    
13.         except:
    
14.             plog(1, traceback.format_exc())
    
15.             return False</font>

复制代码

函数接受一个PE类 遍历导入表并加入列表 检查导入列表是否命中病毒库

深度学习技术：
通过神经网络（CNN）算法进行预测，精准判断文件恶意性质。（依赖Tensorflow Keras）
本模型基于Malconv改进。
模型定义如下：

1. def Malconv(max_len=200000, k_size=500, ssize=500, vocab_size=256, two_conv='T'):
   
2.     if two_conv == 'T':
   
3.         inp = Input((max_len,))
   
4.         emb = Embedding(vocab_size, 8)(inp)
   
5. 
   
6.         conv1 = Conv1D(kernel_size=(k_size), filters=128, strides=(ssize), padding='same')(emb)
   
7.         conv2 = Conv1D(kernel_size=(k_size), filters=128, strides=(ssize), padding='same')(emb)
   
8.         a = Activation('sigmoid', name='sigmoid')(conv2)
   
9. 
   
10.         mul = multiply([conv1, a])
    
11.         a = Activation('relu', name='relu')(mul)
    
12.         p = GlobalMaxPool1D()(a)
    
13.         d = Dense(64)(p)
    
14.         out = Dense(1, activation='sigmoid')(d)
    
15. 
    
16.         return Model(inp, out)
    
17.     else:
    
18.         inp = Input((max_len,))
    
19.         emb = Embedding(vocab_size, 8)(inp)
    
20. 
    
21.         conv1 = Conv1D(kernel_size=(k_size), filters=128, strides=(ssize), padding='same')(emb)
    
22.         p = GlobalMaxPool1D()(conv1)
    
23.         d = Dense(64)(p)
    
24.         out = Dense(1, activation='sigmoid')(d)
    
25. 
    
26.         return Model(inp, out)

复制代码

训练数据生成器：

1. def data_generator_optimized(data_files, labels, max_len=200000, batch_size=64, shuffle=True):
   
2.     def process_batch(file_indices):
   
3.         xx = []
   
4.         yy = []
   
5.         len_list = []
   
6.         for fn_idx in file_indices:
   
7.             fn = data_files[fn_idx]
   
8.             with open(fn, 'rb') as f:
   
9.                 data = f.read()
   
10.             seq, doc_len, label = preprocess_single_file(fn, max_len, data, labels[fn_idx])
    
11.             xx.append(seq)
    
12.             yy.append(label)
    
13.             len_list.append(doc_len)
    
14.         return np.array(xx), np.array(yy), len_list
    
15. 
    
16.     idx = np.arange(len(data_files))
    
17.     if shuffle:
    
18.         np.random.shuffle(idx)
    
19.     batches = [idx[range(batch_size * i, min(len(data_files), batch_size * (i + 1)))] for i in
    
20.                range(len(data_files) // batch_size + 1)]
    
21. 
    
22.     while True:
    
23.         for i in batches:
    
24.             xx, yy, _ = process_batch(i)
    
25.             yield (xx, yy)

复制代码

模型预测器：

1. import os
   
2. from tensorflow.keras.preprocessing.sequence import pad_sequences
   
3. 
   
4. 
   
5. def preprocess(fn, max_len, datas):
   
6. 
   
7. 
   
8.     doc = bytearray(datas)
   
9. 
   
10.     seq = pad_sequences([doc], maxlen=max_len, padding='post', truncating='post')
    
11.     len_list = [len(doc)]
    
12. 
    
13.     return seq[0], len_list[0]

复制代码

1. def predict(self, model, fn_list, label, filedata, batch_size=1, verbose=0): # 神经网络预测器
   
2.         max_len = model.input.shape[1]
   
3. 
   
4.         sequence, _ = preprocess(fn_list, max_len, filedata)
   
5. 
   
6.         if sequence is not None:
   
7.             pred = model.predict(numpy.array([sequence]), verbose=0)
   
8.             return pred
   
9.         else:
   
10.             return None

复制代码

模型为二分类，预测输出为黑文件概率（浮点 0-1），如果为1则代表模型十分肯定该文件恶意。
HZML模型标准侦测率为78%，误判率为2.1%

云扫描：
因为360关闭了泄露的云查杀接口 因此作废。
yara特征：
由getrules函数加载，代码如下：

1.    

复制代码

1.     def getrules(self, rulepath): # 读取yara规则
   
2.         filepath = {}
   
3.         for index, file in enumerate(os.listdir(rulepath)):
   
4.             rupath = os.path.join(rulepath, file)
   
5.             key = "rule" + str(index)
   
6.             filepath[key] = rupath
   
7.         yararule = yara.compile(filepaths=filepath)
   
8.         return yararule

复制代码

遍历目录的所有文件并编译规则。
命中代码（yarascan函数）如下：

1.     def yarascan(self, rule, file, fdb): # 检查yara规则
   
2.         matches = rule.match(data=fdb)
   
3.         if len(matches) > 0:
   
4.             return matches

复制代码

直接进行匹配命中文件。
MD5扫描：
函数md5_scan如下：

1.     def md5_scan(self, path, database, fdb):
   
2.         file_md5 = hashlib.md5(fdb).hexdigest()
   
3.         if file_md5 in database:
   
4.             return ['Malware.Gen', file_md5]
   
5.         else:
   
6.             return [False, file_md5]

复制代码

直接利用in进行匹配命中文件。
保护机制：
利用watchdog，psutil，winapi进行监控。
文件监控，进程监控：
函数process_monitor进行进程监控，调起扫描函数进行扫描：

1. def process_monitor():
   
2.     sc = VirusScan()
   
3.     global md5_watchdatabase
   
4.     with open('./bd/bd.vdb') as f:
   
5.         md5_watchdatabase = f.read()
   
6.     with open('bd/white.data') as f:
   
7.         whitedb = f.read()
   
8.     seter = ConfigParser()
   
9.     seter.read('cfg.ini')
   
10.     model = load_model('./bd/hzml.h5') # 模型
    
11. 
    
12.     yararule_co2 = VirusScan.getrules(sc, './bd/yara')
    
13.     running_pross1 = []
    
14.     running_pross2 = []
    
15.     while 1:
    
16.         time.sleep(0.01)
    
17.         for proc in psutil.process_iter(['pid', 'name']):
    
18.             try:
    
19.                 pid = proc.info['pid']
    
20.                 path = proc.exe()
    
21.                 if pid in running_pross1 and path in running_pross2:
    
22.                     continue
    
23.             except:
    
24.                 plog(1, traceback.format_exc())
    
25.             time.sleep(0.01)
    
26.             if prosswa is False:
    
27.                 return 0
    
28. 
    
29.             try:
    
30.                 pid = proc.info['pid']
    
31.                 path = proc.exe()
    
32.                 running_pross2.append(path)
    
33.                 running_pross1.append(pid)
    
34.                 threading.Thread(target=process_monitor_scaner,
    
35.                                  args=[seter, whitedb, yararule_co2, sc, model, proc, None, False]).start() # 调起扫描
    
36. 
    
37. 
    
38.             except Exception:
    
39.                 plog(1, traceback.format_exc())

复制代码

MBR监控：
循环读取磁盘并对比，发现错误即写回磁盘。（mbrmonitor）

1. def mbrmonitor():
   
2.     global monitonmbra
   
3.     try:
   
4.         with open('\\\\.\\PhysicalDrive0', 'rb') as mbrf:
   
5.             mbrs = mbrf.read(1024)
   
6.         while True:
   
7.             time.sleep(0.01)
   
8.             with open('\\\\.\\PhysicalDrive0', 'rb') as mbrf:
   
9.                 mbrs2 = mbrf.read(1024)
   
10.             if mbrs2 != mbrs:
    
11.                 threading.Thread(target=show_noti2,
    
12.                                  args=[trans('监控已经发现您的计算机磁盘保留扇区已经被更改，我们已经修复您的磁盘保留扇区。'), ],
    
13.                                  daemon=True).start()
    
14.                 with open('\\\\.\\PhysicalDrive0', 'r+b') as mbrf:
    
15.                     mbrf.seek(0)
    
16.                     mbrf.write(mbrs)
    
17.             if not monitonmbra:
    
18.                 break
    
19. 
    
20.     except PermissionError:
    
21.         plog(1, traceback.format_exc())

复制代码

注册表监控：
reg_mot 和 reg_mot2 函数进行监控。利用Win32API进行读取和写回。

1. def reg_mot2():
   
2.     global watchreg
   
3.     while watchreg:
   
4.         time.sleep(0.1)
   
5.         try:
   
6.             kye2 = win32api.RegOpenKeyEx(win32con.HKEY_CURRENT_USER,
   
7.                                          'SOFTWARE\Microsoft\Windows\CurrentVersion\Explorer\FileExts',
   
8.                                          0, win32con.KEY_ALL_ACCESS)
   
9.             win32api.RegSetValue(kye2, '.exe', win32con.REG_SZ, '')
   
10.             win32api.RegCloseKey(kye2)
    
11.             kye1 = win32api.RegOpenKeyEx(win32con.HKEY_CURRENT_USER, 'SOFTWARE\Classes\.exe', 0,
    
12.                                          win32con.KEY_ALL_ACCESS)
    
13.             if win32api.RegQueryValueEx(kye1, '')[0] != 'exefile':
    
14.                 win32api.RegSetValue(kye1, '', win32con.REG_SZ, 'exefile')
    
15.                 threading.Thread(target=show_noti2,
    
16.                                  args=[
    
17.                                      trans('发现系统关键注册表被修改：EXE关联项目。注册表已经被修复。'), ],
    
18.                                  daemon=True).start()
    
19.             win32api.RegCloseKey(kye1)
    
20.         except:
    
21.             pass
    
22. 
    
23. 
    
24. 
    
25. 
    
26. def reg_mot():  # reg_mot() 的注册表规则来自PYAS 云酱天天被撅
    
27.     global watchreg
    
28.     threading.Thread(target=reg_mot2, daemon=True).start()
    
29.     while watchreg:
    
30.         time.sleep(0.1)
    
31.         try:
    
32. 
    
33.             regs1 = ["NoControlPanel", "NoDrives", "NoFileMenu", "NoFind", "NoRealMode", "NoRecentDocsMenu",
    
34.                      "NoSetFolders",
    
35.                      "NoSetFolderOptions", "NoViewOnDrive", "NoClose", "NoRun", "NoDesktop", "NoLogOff",
    
36.                      "NoFolderOptions", "RestrictRun", "DisableCMD",
    
37.                      "NoViewContexMenu", "HideClock", "NoStartMenuMorePrograms", "NoStartMenuMyGames",
    
38.                      "NoStartMenuMyMusic" "NoStartMenuNetworkPlaces",
    
39.                      "NoStartMenuPinnedList", "NoActiveDesktop", "NoSetActiveDesktop", "NoActiveDesktopChanges",
    
40.                      "NoChangeStartMenu", "ClearRecentDocsOnExit",
    
41.                      "NoFavoritesMenu", "NoRecentDocsHistory", "NoSetTaskbar", "NoSMHelp", "NoTrayContextMenu",
    
42.                      "NoViewContextMenu", "NoWindowsUpdate",
    
43.                      "NoWinKeys", "StartMenuLogOff", "NoSimpleNetlDList", "NoLowDiskSpaceChecks",
    
44.                      "DisableLockWorkstation", "NoManageMyComputerVerb",
    
45.                      "DisableTaskMgr", "DisableRegistryTools", "DisableChangePassword", "Wallpaper", "NoComponents",
    
46.                      "NoAddingComponents", "Restrict_Run"]
    
47.             regs2 = [
    
48.                 win32api.RegOpenKey(win32con.HKEY_CURRENT_USER,
    
49.                                     r"SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\Explorer",
    
50.                                     0, win32con.KEY_ALL_ACCESS),
    
51.                 win32api.RegOpenKey(win32con.HKEY_LOCAL_MACHINE,
    
52.                                     r"SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\Explorer",
    
53.                                     0, win32con.KEY_ALL_ACCESS),
    
54.                 win32api.RegOpenKey(win32con.HKEY_CURRENT_USER,
    
55.                                     r"SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\System", 0,
    
56.                                     win32con.KEY_ALL_ACCESS),
    
57.                 win32api.RegOpenKey(win32con.HKEY_LOCAL_MACHINE,
    
58.                                     r"SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\System",
    
59.                                     0, win32con.KEY_ALL_ACCESS),
    
60.                 win32api.RegOpenKey(win32con.HKEY_LOCAL_MACHINE,
    
61.                                     r"SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\ActiveDesktop", 0,
    
62.                                     win32con.KEY_ALL_ACCESS),
    
63.                 win32api.RegOpenKey(win32con.HKEY_CURRENT_USER, r"SOFTWARE\Policies\Microsoft\Windows\System", 0,
    
64.                                     win32con.KEY_ALL_ACCESS),
    
65.                 win32api.RegOpenKey(win32con.HKEY_LOCAL_MACHINE, r"SOFTWARE\Policies\Microsoft\Windows\System", 0,
    
66.                                     win32con.KEY_ALL_ACCESS),
    
67.                 win32api.RegOpenKey(win32con.HKEY_CURRENT_USER,
    
68.                                     r"Software\Policies\Microsoft\MMC\{8FC0B734-A0E1-11D1-A7D3-0000F87571E3}", 0,
    
69.                                     win32con.KEY_ALL_ACCESS)]
    
70.             for rgs2 in regs2:
    
71.                 for rgs1 in regs1:
    
72.                     try:
    
73.                         win32api.RegDeleteValue(rgs2, rgs1)
    
74.                         threading.Thread(target=show_noti2,
    
75.                                          args=[
    
76.                                              trans(f'发现系统关键注册表被修改：{str(rgs1)}。注册表已经被修复。'), ],
    
77.                                          daemon=True).start()
    
78. 
    
79.                     except:
    
80.                         pass
    
81.                 win32api.RegCloseKey(rgs2)
    
82.         except Exception:
    
83.             plog(1, traceback.format_exc())

复制代码

设置逻辑：
通过大量调用函数，利用ConfigParser修改ini。