簡短回答： 註釋引文與所發的註釋不相上下,而且比較它們就是方案最終如何與最昂貴的廉價供應商進行。 QA 包括、重訂規則、最低承諾、平臺收費、設置、專家勞工級別、安全溢價和週轉——然後比較每個接受單位的費用,而不是每個標籤的收費。
核心重點
- 數據註釋商每條標的,每張圖像,每幀或每小時引用,所以一個電子表格,將原始價格排行,會產生錯誤的排名.
- 每套接受單位的成本是項目總成本除以通過商定接受標準的單位,這是包括復工的唯一價格.
- 在比較價格之前必須商定接受標準和一套經客戶覈准的黃金,否則每個供應商都根據自己接受的定義來衡量。
- 未經任何審覈代表數據而發佈的精確企業價格是紅旗,因爲它對對象密度,模糊度和輸入質量的假設進行了定價.
- 提案縮小了範圍;決定決定的是一個具有相同樣本、準則、金片和交付窗口的正常化飛行員。
爲什麼註釋供應商的報價與所發的報價不相可比?
註釋銷售商在同一標題下定價不同的東西,因此最低標題數字很少對應最低的總成本.
在比較前如何正常化註釋引用?
在評價小組中任何人看到價格之前,請每個供應商提供同樣的9項物品,並根據單一的任務定義重複每一引述。
| 引文項目 | 何必這麼重要 | 採購應當要求什麼 |
|---|---|---|
| 計費單位 | 每個對象、圖像、幀或小時的供應商報價 | 一個共同單位,或一個明確的轉換模式 |
| QA 包括? | 廉價的首發標籤可能排除審查 | 精確審查員百分比和裁定程序 |
| 重修( L) | 錯誤可以創建第二個隱藏的發票 | 接受定義幷包括重修卷 |
| 最小數量 | 低費率可能需要大量承付款 | 最低支出和未使用能力條件 |
| 平臺費用 | 服務價格可能排除工具 | 許可證、儲存和整合費 |
| 設置和培訓 | 複雜的準則需要校準 | 一次性入職和變更申請費 |
| 專家勞工 | 專家費用大幅變動 | 按技能等級分列的費率 |
| 警衛 | 限制設施增加費用 | 任何安全或數據滯留費 |
| 轉身 | 緊急比額表需要額外補償人員 | 標準與快速的SLA,單獨定價 |
在價格被評價小組看到之前這樣做,如果可以的話。一旦有人看到數字低,正常化就感覺像移動門柱而不是像測量一樣。同樣的九個項目構成一個小區的定價部分。 說明供應商RFP.
每個接受單位的費用是多少,爲什麼這很重要?
每個接受單位的成本是項目總成本除以通過商定接受標準的單位,比較供應商是衡量標準,因爲每個嘗試的標籤的價格忽略了重做。
每套接受單位的成本,是指支付給供應商的總額,包括復工,收費和設置,除以達到客戶定義的接受標準的交付單位數量. 假設供應商A每嘗試標籤收費減少20%,併產生大量重修。 一旦被拒絕的單位、審查員的時間和模型團隊延遲,表面上的節省就會消失。
Cost per accepted unit = Total project cost ÷ Units passing agreed acceptance criteria
Effective throughput = Items delivered × First-pass acceptance rate ÷ Cycle time
有兩個事情必須是真的,這個衡量標準才能奏效,兩者都值得堅持:
- 在比較價格之前,商定接受標準。 否則,每個供應商都根據自己對被接受的定義來衡量,這就是你試圖解決的問題。 要求說明供應商提供何種準確標準 涵蓋如何寫出接受定義。
- 重修是用你的黃金來測量的,不是賣家的 一個賣家的內部 QA 僅由客戶批准的黃金組量定你的 黃金套、審計抽樣和共識 無法替換的 QA 方法。
一套黃金是被客戶標註和批准的物品樣本,作爲衡量供應商準確性和重修工作的參考答案。 重修也按期支付,在六週內返回的一批學員推遲了訓練,而這種延遲的費用通常超過標籤的費用。
爲什麼一個供應商在引用你的數據之前就應該檢查你的數據?
一份未看到數據就發佈的引文對對象密度、模糊度和輸入質量給出了假設,當該假設證明錯誤時,買方會爲此支付費用。 要麼是供應商回來訂貨,要麼是供應商吸收差價和質量下降來適應價格。
TELUS Digital公司公佈的關於選擇數據註釋公司的指南建議選擇一個在它審查您的數據之前不引用價格的機構,因爲價格會因服務或數據類型而有很大差異。 在企業採購中,一個隱形數據引用是一個帶有小數點的猜測。
可信引用是基於代表性的樣本數據、實際指南和可以檢查的描述性生產假設。詢問價格取決於哪些假設,如果每個假設都是錯誤的,價格會怎樣。
你怎麼評分注賣家的標註?
與建議書到來前商定的加權標準相對應的記分正常報價,且質量和接受度都最大。 下面的加權是企業買方的起點;根據風險狀況調整這些報價,但在看到建議書之前商定。
| 標準 | 建議重量 | 強力的提供者會顯示什麼 |
|---|---|---|
| 質量和接受程度 | 30% | 測量 QA、裁決程序、書面重寫政策 |
| 單位經濟學 | 20% | 透明正常價格,不公開收費 |
| 規模和吞吐量 | 15% | 高峯期經證明的坡道計劃和審查員能力 |
| 模式適合 | 10% | 用於您確切任務類型的工具和訓練有素的團隊 |
| 語文和專門知識 | 10% | 按要求命名的本地講者或域專家 |
| 安全和治理 | 10% | 匹配您要求的控件, 以及範圍說明 |
| 商業靈活性 | 5% | 合理最低限度、變更條款、退出條款 |
在評分前應用一條取消資格規則: 質量爲零,接受率無論總分多少,都不符合資格。 簽字後,無法通過支付更多的款項來固定這一維度。 AI 數據驗證 供應商交付的批次是使質量評分成爲衡量而不是索賠的一種方法。
註釋中紅旗是什麼?
略去可計費單位、驗收規則或支付重修費用的一方的引文,表明價格取決於供應商不願說明的某事。
- 準確的企業價格的到來,沒有經過任何對代表性數據的審查.
- 引文沒有將什麼算作一個可計費單位。
- QA 或重修被描述爲"包含",沒有可衡量的接受規則.
- 單位費率低取決於您沒有模擬的最低承諾。
- 提供者不能將一般論者、專家和專家勞動定價分開。
- 平臺、儲存、整合或培訓費用僅在選定後纔出現。
- 供應商無法解釋準則改變時定價如何改變。
- 質量問題每個問題都得到一個百分數和無分母的回答。
如何運行一個飛行員,使供應商可比?
向每個短名單供應商提供相同的試點,並根據每個接受單位的成本、每類質量和對模糊項目的行爲進行評分。
給每個入圍的提供者:
- 同樣的代表性樣本,包括你最難的邊緣案例和至少一種困難的語言
- 同一準則,同版本
- 同樣的驗收標準和金幣
- 同一個傳送窗口
接下來,每個接受單位的評分成本,每級質量,真正模糊的事物的行爲升級,以及登機時提問的質量。 最後的信號被低估了:一週內對你的腫瘤學提出六個精確問題的供應商是不會在6月份默默猜測的供應商。
試運行時間足夠長,可以曝光代表性邊緣案例,並在初始學習曲線後測量吞吐量,通常意味着幾周而不是幾天。 試運行時間短,完全由供應商的最佳註釋員來衡量供應商的最佳註釋員。在試運行後,如何取得結果,將在指南中說明。 將說明從試點到生產.
怎麼樣 Lifewood 價格和保證註釋的質量?
Lifewood 其公開提議是確定的質量目標,附帶商業後果。 Lifewood成本,即將重修工作從隱藏的第二張發票轉到供應商義務。
公佈的術語是: 95%+ 準確率 SLA, 雙層人檢視, 並自動覈對一致性, 並重修低門檻批次, 以 Lifewood 的成本。 對於一個正常報價的買主來說, 這是最重要的術語。
廣度論的爭論涉及總成本而不是單價. 100+ 語言 減少組裝和管理單獨的語言供應商的需要。覆蓋整個Lifewood的文本、圖像、音頻、視頻和3D點雲的工作。 AI 數據服務 減少供應商分散和同一本體學兩種解釋之間的調節費用。 40+ 跨省服務中心 30+ 國家 提供分配生產的選擇和沒有第二種供應商關係的區域加工要求的選擇。
如果專業供應商的試點在這項工作上顯示出更能被接受的單位經濟學,那麼它仍可能贏得具體的工作流程。 這是運行良好的比較的正確結果,值得設計這一過程,以便實現。