 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 1 | 1/1 | 返回列表 |
| 查看: 870 | 回復(fù): 0 | |||
BFT驛站新蟲 (小有名氣)
|
[交流]
Franka機(jī)器人賦能RoboCulture研究，打造生物實驗室智能解決方案
|
|
研究背景：生物實驗室自動化的挑戰(zhàn)與突破 生物實驗因需毫米級精度、長周期多步驟操作及動態(tài)生物系統(tǒng)特性，自動化進(jìn)程面臨顯著挑戰(zhàn)。傳統(tǒng)液體處理設(shè)備僅能部分自動化工作流程，需人工干預(yù)孔板加載、吸頭更換等環(huán)節(jié)；工業(yè)解決方案雖自動化程度高，但成本高昂且缺乏靈活性。自主機(jī)器人技術(shù)在長周期、高失敗敏感性實驗中仍存應(yīng)用空白。 為解決以上難題；研究團(tuán)隊研以Franka Research 3機(jī)械臂為載體，通過集成計算機(jī)視覺、力反饋控制及行為樹決策框架，開發(fā)了RoboCulture平臺，實現(xiàn)了生物實驗室關(guān)鍵任務(wù)的全面自動化。 該平臺不僅降低了自動化門檻，還顯著提升了實驗的靈活性與可重復(fù)性，有效解決了長時間、高精度生物實驗中的人工干預(yù)問題 實驗配置：硬件與系統(tǒng)架構(gòu) 核心硬件配置 機(jī)械臂：7 軸 Franka Research3 機(jī)器人，配備 Robotiq 2F-85 夾具，支持毫米級運(yùn)動控制。 視覺系統(tǒng)：向下安裝的 Intel RealSense D435i RGB-D 相機(jī)，用于實時環(huán)境感知與目標(biāo)定位。 移液模塊：Digital Pipette v2，采用空氣位移設(shè)計，兼容 10 mL 可拆卸吸頭，通過 Arduino 控制線性 actuator 實現(xiàn)精準(zhǔn)液量控制。 輔助設(shè)備：OHAUS 軌道搖床、3D 打印吸頭架與拆卸器、AprilTag 基準(zhǔn)標(biāo)記（用于靜態(tài)設(shè)備定位）。 圖1：酵母生長實驗裝置。1）我們的數(shù)字移液器v2，2）一個朝下的英特爾實感D435i相機(jī) 3) 配備 Robotiq 2F-85 夾爪的 Franka Emika 機(jī)器人，4) OHAUS SHHD1619DG 重型軌道搖床平臺， 5）3D打印的移液管吸頭移除器，6）生物垃圾桶，7）裝有YPD培養(yǎng)基的Falcon試管架，8）3D打印的 移液槍頭架，9）裝有酵母的96孔板。 軟件框架 基于 ROS Noetic 系統(tǒng)，集成 py_trees_ros 行為樹庫，實現(xiàn)任務(wù)調(diào)度與狀態(tài)管理。 感知模塊采用 OpenCV 與 FastSAM 算法，視覺伺服控制通過 FrankaPy 接口實現(xiàn)動態(tài)軌跡規(guī)劃。 圖2：RoboCulture集成了一個基于視覺的液體處理系統(tǒng)，能夠可靠地將液體移液到96孔板中，一個力引導(dǎo)的移液器吸頭交換系統(tǒng)，以及細(xì)胞生長監(jiān)測，以實現(xiàn)通用的生物實驗室自動化。 生物學(xué)實驗方案以行為樹的形式呈現(xiàn)，這是一種用于處理實驗狀態(tài)的反應(yīng)式模塊化框架。 核心方法：多技術(shù)融合的自動化框架 1. 基于行為樹的協(xié)議建模 采用分層行為樹框架，將生物實驗協(xié)議拆解為模塊化任務(wù)（如“生長監(jiān)測”“傳代決策”），通過響應(yīng)式邏輯協(xié)調(diào)機(jī)器人子系統(tǒng)。 樹狀結(jié)構(gòu)支持任務(wù)優(yōu)先級管理與實時狀態(tài)調(diào)整，例如當(dāng)感知失敗時自動觸發(fā)重試機(jī)制，確保實驗流程穩(wěn)健執(zhí)行. 圖3：RoboCulture使用行為樹連接人類水平的生物協(xié)議和低級機(jī)器人任務(wù)。高級 將生長監(jiān)測和酵母傳代培養(yǎng)等實驗操作轉(zhuǎn)化為模塊化、分層化的行為 由單個行為組成的樹。這些樹協(xié)調(diào)關(guān)鍵的機(jī)器人子系統(tǒng)，包括光密度感知， 基于視覺的機(jī)器人控制和移液，可在復(fù)雜的細(xì)胞培養(yǎng)過程中實現(xiàn)自主執(zhí)行和決策工作流。 2. 視覺與力反饋協(xié)同控制 視覺伺服系統(tǒng)：通過 Intel RealSense D435i 相機(jī)實時定位 96 孔板與移液管尖端，利用 FastSAM 算法分割目標(biāo)，結(jié)合 Canny 邊緣檢測實現(xiàn)亞像素級定位，閉環(huán)控制移液管插入精度。 力引導(dǎo)吸頭更換：利用 Franka 機(jī)械臂關(guān)節(jié)扭矩傳感器，通過螺旋搜索策略感知接觸力，實現(xiàn)移液管與吸頭的精準(zhǔn)對接，成功率達(dá) 100%。 圖4：感知流程概述。利用安裝在機(jī)器人末端執(zhí)行器上的向下拍攝的攝像頭獲取原始圖像。對原始圖像進(jìn)行預(yù)處理，包括高斯模糊、歸一化和對比度調(diào)整。使用FastSAM（一種圖像分割模型）對移液管和孔板進(jìn)行分割，分別以點提示和文本提示作為輸入。采用Canny算法將圖像轉(zhuǎn)換為二值邊緣表示，并利用從孔板分割中得到的掩碼進(jìn)行掩碼處理。通過包圍矩形得到矩形的四個角點，利用這些角點計算出一個投影變換，將其變換到一個模板孔板。將該變換應(yīng)用于模板孔板上的孔位，以獲取每個孔在圖像中的坐標(biāo)。利用移液管尖端的分割掩碼確定移液管尖端的坐標(biāo)�？稍趫D像坐標(biāo)系中計算出移液管尖端與目標(biāo)孔之間的誤差向量，并通過反饋控制器利用該向量控制機(jī)器人運(yùn)動。 3. 光密度感知與生長監(jiān)測 基于 RGB 圖像的光密度分析，將圖像轉(zhuǎn)換為 HSV 色彩空間，提取值通道亮度變化，構(gòu)建細(xì)胞生長曲線。 結(jié)合動態(tài)閾值判斷細(xì)胞飽和狀態(tài)，自動觸發(fā)傳代決策，替代傳統(tǒng)人工顯微鏡觀察。 圖5：孔生長監(jiān)測演示。RoboCulture隨時間捕捉孔的圖像，提取 值通道的大小作為圖像亮度的度量。跟蹤光密度的變化以生成 增長曲線。 實驗設(shè)計與驗證：從單任務(wù)到全流程自動化 1. 單任務(wù)精度驗證 移液準(zhǔn)確性：通過 ISO 8655-6重量測試，Digital Pipette v2在1-10 mL量程內(nèi)，標(biāo)準(zhǔn)誤差與隨機(jī)誤差均低于國際標(biāo)準(zhǔn)限值。例如10mL測試中，平均輸送體積9.9909mL，隨機(jī)誤差僅0.10%。 吸頭插入成功率：在96孔板隨機(jī)位置測試中，移液管尖端插入成功率達(dá)99%，完美插入率（無重試）為92.4%。 圖6：移液管尖端裝配的螺旋搜索過程演示。初始時，移液管管身與新尖端處于未對齊狀態(tài)。以移液管管身的起始位置為中心，在XY平面上生成一系列螺旋形路徑點軌跡，機(jī)器人驅(qū)動移液管沿該軌跡移動，同時將移液管壓向新尖端的表面。在此過程中，對機(jī)器人末端執(zhí)行器所受的作用力進(jìn)行實時監(jiān)測，當(dāng)監(jiān)測到作用力顯著下降時，最終將移液管下壓裝入尖端。 表I：數(shù)字移液器v2重量測試。將重量測試得到的標(biāo)準(zhǔn)誤差ηs和隨機(jī)誤差Cv與ISO 8655-6規(guī)定的最大允許誤差進(jìn)行比較。 表II：移液管尖端插入實驗結(jié)果。針對孔板的每一個隨機(jī)位置，機(jī)器人均按照96個孔位的隨機(jī)順序執(zhí)行移液管插入操作。若機(jī)器人在嘗試插入移液管時，移液管壓在孔邊緣而未能插入，但因作用力增大觸發(fā)了另一次插入嘗試且最終成功，則計為一次重試。每個孔位最多允許重試三次，超過三次則判定為插入失敗。重試次數(shù)和失敗次數(shù)均以96次插入操作為基數(shù)進(jìn)行統(tǒng)計，并據(jù)此計算成功率和首次成功率，其中成功率包含重試后成功的插入情況，而首次成功率僅統(tǒng)計首次嘗試即成功的試驗。 2. 全流程自主實驗 酵母培養(yǎng)實驗設(shè)計：在96孔板中設(shè)置3組初始濃度（50/30/10 百萬細(xì)胞 /mL），機(jī)器人每5分鐘監(jiān)測光密度，當(dāng)檢測到飽和時自動執(zhí)行傳代：將飽和孔內(nèi)容物分為3份，注入新孔并補(bǔ)充培養(yǎng)基。 圖7：酵母生長實驗流程。a) 展示實驗前后孔板配置，含不同初始濃度和分液方式，每組樣本分至孔板下方三行，原孔位棄用。b) 生長監(jiān)測：定期拍孔內(nèi)圖像提取生長曲線，指導(dǎo)實驗。c) 移液管裝尖端：用力反饋技術(shù)可靠裝配新尖端。d) 液體處理：i) 移液管吸培養(yǎng)基；ii) 用視覺伺服控制策略將培養(yǎng)基分至空孔；iii) 從飽和孔吸酵母并分至三個有培養(yǎng)基的孔。e) 移液管拆尖端：移除受污染尖端。 實驗結(jié)果：系統(tǒng)連續(xù)運(yùn)行15小時，成功完成4次傳代操作。新傳代孔生長曲線與母孔趨勢一致，驗證自動化流程的可靠性。 圖8：y軸表示圖像亮度，它與光學(xué) 各樣本的密度。彩色實線表示三個初始酵母濃度實驗組的生長情況 分別為5000萬、3000萬和1000萬個細(xì)胞/mL�；疑珜嵕�表示空白組。虛線 表示3倍稀釋后新孔的生長情況。淡線對應(yīng)于單個重復(fù)的原始圖像值 每組(n=6)，而不透明線顯示每組的滾動平均值(窗口大小為5)。垂直灰色帶標(biāo)記 分裂發(fā)生的時間點。 3. 對比驗證 與人類操作員對比：在5mL移液任務(wù)中，Digital Pipette v2的體積偏差方差顯著低于人類（p=0.0046），證明機(jī)器人操作的穩(wěn)定性優(yōu)勢。 圖9：數(shù)字移液器v2與人工移液器在0.2 mL、1 mL和5 mL體積下的重量比較。進(jìn)行了Levene檢驗，以比較兩組（數(shù)字移液器v2與人工）之間的差異。 關(guān)鍵成果與突破 技術(shù)創(chuàng)新 首次實現(xiàn)基于通用機(jī)械臂的生物實驗全流程自動化，突破傳統(tǒng)龍門系統(tǒng)的靈活性限制。 開發(fā)力反饋驅(qū)動的吸頭更換機(jī)制，解決無菌操作中自動化耗材更換的難題。 性能突破 移液精度達(dá) ISO 標(biāo)準(zhǔn)，15 小時實驗中無人工干預(yù)，成功率 99%，遠(yuǎn)超商業(yè)液體處理設(shè)備的自主運(yùn)行時長。 光密度監(jiān)測結(jié)果與板讀數(shù)器高度吻合，證明 RGB 相機(jī)可替代專用設(shè)備實現(xiàn)生長動態(tài)追蹤。 科研價值 開源代碼與 CAD 模型（https://ac-rad.github.io/roboculture）支持科研團(tuán)隊定制開發(fā)，降低實驗室自動化門檻。 模塊化設(shè)計適配 3D 細(xì)胞培養(yǎng)等復(fù)雜場景，為類器官研究等前沿領(lǐng)域提供技術(shù)支撐。 結(jié)語 Franka機(jī)器人賦能的RoboCulture平臺為生物實驗室自動化提供了智能解決方案。未來，隨著技術(shù)的不斷發(fā)展與完善，RoboCulture有望在更多生物實驗場景中發(fā)揮重要作用，推動科研效率與準(zhǔn)確性的進(jìn)一步提升。 |
回復(fù)此樓» 猜你喜歡
如何判斷CRISPR文庫篩選公司的專業(yè)性
已經(jīng)有0人回復(fù)
-
求材料
已經(jīng)有2人回復(fù)
-
工程熱物理與能源利用論文潤色/翻譯怎么收費?
已經(jīng)有97人回復(fù)
-
0856材料306分調(diào)劑
已經(jīng)有2人回復(fù)
-
北京高校副校長團(tuán)隊招收機(jī)械類，環(huán)境類學(xué)碩和專碩
已經(jīng)有9人回復(fù)
-
北京高校副校長團(tuán)隊招收機(jī)械類，環(huán)境類學(xué)碩和專碩
已經(jīng)有15人回復(fù)
-
【博士招生】北方工業(yè)大學(xué)招收 機(jī)械工程方向 申請考核制博士
已經(jīng)有9人回復(fù)
-
非晶合金
已經(jīng)有0人回復(fù)
相關(guān)版塊跳轉(zhuǎn)
我要訂閱樓主 BFT驛站 的主題更新
| 1 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 304求調(diào)劑（085602一志愿985） +8 | 化工人999 2026-03-09 | 8/400 |
|
|---|---|---|---|---|
|
|
[考研] 327分求調(diào)劑086 +4 | 西紅柿?小帥 2026-03-09 | 7/350 |
|
|
[考研] 一志愿天大化工（085600）調(diào)劑總分338 +5 | 蔡大美女 2026-03-09 | 5/250 |
|
|
|
[基金申請]
PDF在線壓縮軟件
 10+3
|
haxia 2026-03-08 | 4/200 |
|
|
|
[考博] 求材料讀博院校 +9 | yanglei131 2026-03-08 | 9/450 |
|
|
|
[考研] 材料工程085601調(diào)劑求老師收留 +5 | 強(qiáng)木木木 2026-03-07 | 5/250 |
|
|
|
[考研] 一志愿山東大學(xué)，總分327，英語二79，有論文，有競賽，已過四六級 +3 | 木木目目1 2026-03-09 | 3/150 |
|
|
|
[考研] 【求調(diào)劑】293分環(huán)境工程求調(diào)劑材料/化工，服從調(diào)劑，抗壓能力強(qiáng)！ +13 | xiiiia 2026-03-04 | 14/700 |
|
|
|
[考研] 求0856調(diào)劑 +5 | 小力氣珂珂 2026-03-08 | 5/250 |
|
|
|
[考研] 0856材料與化工290求調(diào)劑 +7 | Nebulala 2026-03-08 | 8/400 |
|
|
|
[考研] 290 材料與化工求調(diào)劑 +7 | Nebulala 2026-03-08 | 7/350 |
|
|
|
[考研] 一志愿武理314求調(diào)劑 +4 | （￣～￣;） 2026-03-08 | 5/250 |
|
|
|
[考研] 理學(xué)287分求調(diào)劑 +4 | 看看我. 2026-03-05 | 4/200 |
|
|
|
[考研]
 化學(xué)工程與技術(shù)316求調(diào)劑
+7
|
Sixuan wang 2026-03-06 | 7/350 |
|
|
|
[考研] 材料調(diào)劑 +7 | ounce. 2026-03-05 | 15/750 |
|
|
|
[考研] 085701環(huán)境工程專業(yè)，初試305，均過國家A區(qū)線 +7 | 卡卡來了@ 2026-03-07 | 8/400 |
|
|
|
[考研] 081700學(xué)碩一志愿北京化工大學(xué)數(shù)二英一過六級有競賽求調(diào)劑 +5 | galaxary 2026-03-07 | 7/350 |
|
|
|
[考研] 一志愿211 085600 280數(shù)二英二求調(diào)劑 +3 | 月山斜 2026-03-06 | 3/150 |
|
|
|
[考研] 320材料一志愿西工大專碩英二數(shù)二 有兩年光伏工作經(jīng)驗 +5 | 錘某人 2026-03-04 | 8/400 |
|
|
|
[論文投稿]
主編終審卡者不動
100+4
|
Stray2021 2026-03-03 | 4/200 |
|