wiki:evaluation

Version 1 (modified by endres, 18 years ago) (diff)

--

Evaluation

This is the preliminary evaluation of some of the algorithms on the ​Ontology Alignment Evaluation Initiative Test library:

algo 3-gram PhaseTab-1 PhaseTab-2 PhaseTab-4 PhaseTab-8 PhaseTab-16 PhaseTab-32
test Prec. Rec. Fall. FMeas. Over. Prec. Rec. Fall. FMeas. Over. Prec. Rec. Fall. FMeas. Over. Prec. Rec. Fall. FMeas. Over. Prec. Rec. Fall. FMeas. Over. Prec. Rec. Fall. FMeas. Over. Prec. Rec. Fall. FMeas. Over.
201 0.00 0.00 1.00 NaN NaN 0.00 0.00 1.00 NaN NaN 0.00 0.00 1.00 NaN NaN 0.00 0.00 1.00 NaN NaN 0.00 0.00 1.00 NaN NaN 0.00 0.00 1.00 NaN NaN 0.00 0.00 1.00 NaN NaN
202 0.00 0.00 1.00 NaN NaN 0.00 0.00 1.00 NaN NaN 0.00 0.00 1.00 NaN NaN 0.00 0.00 1.00 NaN NaN 0.00 0.00 1.00 NaN NaN 0.09 0.01 0.91 0.02 0.0-9 0.08 0.01 0.92 0.02 0.0-10
203 0.89 0.34 0.11 0.49 0.30 0.87 0.21 0.13 0.33 0.18 0.88 0.22 0.13 0.35 0.19 0.88 0.24 0.12 0.37 0.21 0.90 0.27 0.10 0.41 0.24 0.91 0.30 0.09 0.45 0.27 0.77 0.28 0.23 0.41 0.20
204 0.73 0.28 0.27 0.40 0.18 0.84 0.16 0.16 0.28 0.13 0.85 0.18 0.15 0.29 0.14 0.86 0.19 0.14 0.31 0.15 0.79 0.20 0.21 0.31 0.14 0.73 0.20 0.27 0.31 0.12 0.48 0.13 0.52 0.21 0.0-1
240 0.89 1.00 0.11 0.94 0.88 0.77 0.30 0.23 0.43 0.21 0.79 0.33 0.21 0.47 0.24 0.80 0.36 0.20 0.50 0.27 0.81 0.39 0.19 0.53 0.30 0.78 0.42 0.22 0.55 0.30 0.43 0.30 0.57 0.36 0.0-9
205 0.29 0.10 0.71 0.15 0.0-15 0.20 0.02 0.80 0.04 0.0-6 0.36 0.04 0.64 0.07 0.0-3 0.33 0.04 0.67 0.07 0.0-4 0.29 0.04 0.71 0.07 0.0-6 0.25 0.04 0.75 0.07 0.0-8 0.26 0.05 0.74 0.09 0.0-9
241 0.89 1.00 0.11 0.94 0.88 0.73 0.33 0.27 0.46 0.21 0.73 0.33 0.27 0.46 0.21 0.69 0.33 0.31 0.45 0.18 0.65 0.33 0.35 0.44 0.15 0.57 0.36 0.43 0.44 0.09 0.45 0.30 0.55 0.36 0.0-6
208 0.73 0.28 0.27 0.40 0.18 0.84 0.16 0.16 0.28 0.13 0.85 0.18 0.15 0.29 0.14 0.86 0.19 0.14 0.31 0.15 0.83 0.20 0.17 0.32 0.15 0.76 0.20 0.24 0.31 0.13 0.48 0.13 0.52 0.21 0.0-1
209 0.29 0.10 0.71 0.15 0.0-15 0.20 0.02 0.80 0.04 0.0-6 0.20 0.02 0.80 0.04 0.0-6 0.42 0.05 0.58 0.09 0.0-2 0.27 0.04 0.73 0.07 0.0-7 0.25 0.04 0.75 0.07 0.0-8 0.26 0.05 0.74 0.09 0.0-9
246 0.81 1.00 0.19 0.89 0.76 0.86 0.41 0.14 0.56 0.34 0.87 0.45 0.13 0.59 0.38 0.88 0.52 0.12 0.65 0.45 0.84 0.55 0.16 0.67 0.45 0.71 0.52 0.29 0.60 0.31 0.63 0.52 0.38 0.57 0.21
247 0.89 1.00 0.11 0.94 0.88 0.77 0.30 0.23 0.43 0.21 0.79 0.33 0.21 0.47 0.24 0.80 0.36 0.20 0.50 0.27 0.80 0.36 0.20 0.50 0.27 0.79 0.45 0.21 0.58 0.33 0.52 0.36 0.48 0.43 0.03
248 0.00 0.00 1.00 NaN NaN 0.00 0.00 1.00 NaN NaN 0.00 0.00 1.00 NaN NaN 0.00 0.00 1.00 NaN NaN 0.00 0.00 1.00 NaN NaN 0.00 0.00 1.00 NaN NaN 0.00 0.00 1.00 NaN NaN
249 0.00 0.00 1.00 NaN NaN 0.00 0.00 1.00 NaN NaN 0.00 0.00 1.00 NaN NaN 0.00 0.00 1.00 NaN NaN 0.00 0.00 1.00 NaN NaN 0.00 0.00 1.00 NaN NaN 0.09 0.01 0.91 0.02 0.0-9
250 0.00 0.00 1.00 NaN NaN n/an/a n/an/a n/an/a n/an/a n/an/a n/an/a
251 0.00 0.00 1.00 NaN NaN n/an/a n/an/a n/an/a n/an/a n/an/a n/an/a
252 0.00 0.00 1.00 NaN NaN n/an/a n/an/a n/an/a n/an/a n/an/a n/an/a
253 0.00 0.00 1.00 NaN NaN n/an/a n/an/a n/an/a n/an/a n/an/a n/an/a
254 0.00 0.00 1.00 NaN NaN n/an/a n/an/a n/an/a n/an/a n/an/a n/an/a
257 0.00 0.00 1.00 NaN NaN n/an/a n/an/a n/an/a n/an/a n/an/a n/an/a
258 0.00 0.00 1.00 NaN NaN n/an/a n/an/a n/an/a n/an/a n/an/a n/an/a
259 0.00 0.00 1.00 NaN NaN n/an/a n/an/a n/an/a n/an/a n/an/a n/an/a
101 0.89 0.34 0.11 0.49 0.30 0.92 0.34 0.08 0.50 0.31 0.92 0.34 0.08 0.50 0.31 0.92 0.34 0.08 0.50 0.31 0.86 0.32 0.14 0.47 0.27 0.78 0.29 0.22 0.42 0.21 0.67 0.25 0.33 0.36 0.12
102 0.00 NaN 1.00 NaN NaN 0.00 NaN 1.00 NaN NaN 0.00 NaN 1.00 NaN NaN 0.00 NaN 1.00 NaN NaN 0.00 NaN 1.00 NaN NaN 0.00 NaN 1.00 NaN NaN 0.00 NaN 1.00 NaN NaN
301 0.42 0.21 0.58 0.28 0.0-8 n/an/a n/an/a n/an/a n/an/a n/an/a n/an/a
103 0.89 0.34 0.11 0.49 0.30 0.85 0.18 0.15 0.29 0.14 0.86 0.19 0.14 0.31 0.15 0.87 0.21 0.13 0.33 0.18 0.88 0.24 0.12 0.37 0.21 0.90 0.28 0.10 0.43 0.25 0.79 0.28 0.21 0.41 0.21
302 0.35 0.23 0.65 0.28 0.0-18 n/an/a n/an/a n/an/a n/an/a n/an/a n/an/a
221 0.89 0.34 0.11 0.49 0.30 0.64 0.09 0.36 0.16 0.04 0.60 0.09 0.40 0.16 0.03 0.60 0.09 0.40 0.16 0.03 0.63 0.10 0.38 0.18 0.04 0.53 0.10 0.47 0.17 0.01 0.43 0.09 0.57 0.15 0.0-3
104 0.89 0.34 0.11 0.49 0.30 0.86 0.19 0.14 0.31 0.15 0.86 0.20 0.14 0.32 0.16 0.88 0.22 0.13 0.35 0.19 0.88 0.24 0.12 0.37 0.21 0.87 0.27 0.13 0.41 0.23 0.79 0.27 0.21 0.40 0.20
303 0.36 0.27 0.64 0.31 0.0-20 n/an/a n/an/a n/an/a n/an/a n/an/a n/an/a
222 0.81 0.31 0.19 0.45 0.24 0.88 0.16 0.12 0.27 0.14 0.89 0.17 0.11 0.29 0.15 0.89 0.18 0.11 0.30 0.16 0.89 0.18 0.11 0.30 0.16 0.85 0.31 0.15 0.46 0.26 0.85 0.31 0.15 0.46 0.26
304 0.78 0.37 0.22 0.50 0.26 n/an/a n/an/a n/an/a n/an/a n/an/a n/an/a
223 0.89 0.34 0.11 0.49 0.30 0.77 0.10 0.23 0.18 0.07 0.79 0.11 0.21 0.20 0.08 0.80 0.12 0.20 0.21 0.09 0.81 0.13 0.19 0.23 0.10 0.75 0.15 0.25 0.26 0.10 0.48 0.12 0.52 0.20 0.0-1
260 0.00 0.00 1.00 NaN NaN n/an/a n/an/a n/an/a n/an/a n/an/a n/an/a
224 0.89 0.34 0.11 0.49 0.30 0.85 0.18 0.15 0.29 0.14 0.86 0.19 0.14 0.31 0.15 0.87 0.21 0.13 0.33 0.18 0.89 0.25 0.11 0.39 0.22 0.90 0.28 0.10 0.43 0.25 0.80 0.29 0.20 0.42 0.22
261 0.00 0.00 1.00 NaN NaN n/an/a n/an/a n/an/a n/an/a n/an/a n/an/a
225 0.89 0.34 0.11 0.49 0.30 0.87 0.21 0.13 0.33 0.18 0.88 0.22 0.13 0.35 0.19 0.88 0.24 0.12 0.37 0.21 0.90 0.28 0.10 0.43 0.25 0.91 0.30 0.09 0.45 0.27 0.80 0.29 0.20 0.42 0.22
262 0.00 0.00 1.00 NaN NaN n/an/a n/an/a n/an/a n/an/a n/an/a n/an/a
228 0.89 1.00 0.11 0.94 0.88 0.92 1.00 0.08 0.96 0.91 0.92 1.00 0.08 0.96 0.91 0.92 1.00 0.08 0.96 0.91 0.92 1.00 0.08 0.96 0.91 0.92 1.00 0.08 0.96 0.91 0.92 1.00 0.08 0.96 0.91
265 0.00 0.00 1.00 NaN NaN n/an/a n/an/a n/an/a n/an/a n/an/a n/an/a
266 0.00 0.00 1.00 NaN NaN n/an/a n/an/a n/an/a n/an/a n/an/a n/an/a
230 0.74 0.35 0.26 0.47 0.22 0.88 0.19 0.13 0.32 0.17 0.94 0.21 0.06 0.34 0.19 0.94 0.24 0.06 0.38 0.22 0.95 0.26 0.05 0.41 0.25 0.92 0.31 0.08 0.46 0.28 0.73 0.26 0.27 0.39 0.17
231 0.89 0.34 0.11 0.49 0.30 0.84 0.16 0.16 0.28 0.13 0.85 0.18 0.15 0.29 0.14 0.86 0.20 0.14 0.32 0.16 0.88 0.23 0.12 0.36 0.20 0.90 0.29 0.10 0.44 0.26 0.80 0.29 0.20 0.42 0.22
232 0.89 0.34 0.11 0.49 0.30 0.71 0.10 0.29 0.18 0.06 0.73 0.11 0.27 0.20 0.07 0.73 0.11 0.27 0.20 0.07 0.69 0.11 0.31 0.19 0.06 0.60 0.12 0.40 0.21 0.04 0.45 0.10 0.55 0.17 0.0-2
233 0.89 1.00 0.11 0.94 0.88 0.73 0.33 0.27 0.46 0.21 0.73 0.33 0.27 0.46 0.21 0.75 0.36 0.25 0.49 0.24 0.76 0.39 0.24 0.52 0.27 0.55 0.36 0.45 0.44 0.06 0.40 0.30 0.60 0.34 0.0-15
236 0.89 1.00 0.11 0.94 0.88 0.85 0.52 0.15 0.64 0.42 0.86 0.55 0.14 0.67 0.45 0.87 0.61 0.13 0.71 0.52 0.88 0.67 0.12 0.76 0.58 0.90 0.85 0.10 0.88 0.76 0.79 0.82 0.21 0.81 0.61
237 0.81 0.31 0.19 0.45 0.24 0.89 0.17 0.11 0.29 0.15 0.84 0.17 0.16 0.29 0.14 0.84 0.17 0.16 0.29 0.14 0.85 0.18 0.15 0.30 0.15 0.83 0.20 0.17 0.33 0.16 0.56 0.16 0.44 0.25 0.03
238 0.89 0.34 0.11 0.49 0.30 0.79 0.11 0.21 0.20 0.08 0.80 0.12 0.20 0.21 0.09 0.80 0.12 0.20 0.21 0.09 0.81 0.13 0.19 0.23 0.10 0.75 0.15 0.25 0.26 0.10 0.46 0.11 0.54 0.18 0.0-2
239 0.81 1.00 0.19 0.89 0.76 0.82 0.48 0.18 0.61 0.38 0.83 0.52 0.17 0.64 0.41 0.80 0.55 0.20 0.65 0.41 0.81 0.59 0.19 0.68 0.45 0.78 0.62 0.22 0.69 0.45 0.58 0.52 0.42 0.55 0.14

The algorithms evaluated are the following:

3-gram - Simple n-gram matching with n=3.

PhaseTabE-n - The original PhaseTab algorithm, i.e. a BordaCount alignment on a SimFlood, StringBased and InstanceBased similarity measure, after n passes of accepting the higest ranked proposal. The instance based similarity works on automatically googled corpora